WO2018143744A1 - Touch sensing display device and method for controlling screen thereof - Google Patents

Touch sensing display device and method for controlling screen thereof Download PDF

Info

Publication number
WO2018143744A1
WO2018143744A1 PCT/KR2018/001506 KR2018001506W WO2018143744A1 WO 2018143744 A1 WO2018143744 A1 WO 2018143744A1 KR 2018001506 W KR2018001506 W KR 2018001506W WO 2018143744 A1 WO2018143744 A1 WO 2018143744A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
pressure
contact point
touch
zoom
Prior art date
Application number
PCT/KR2018/001506
Other languages
French (fr)
Korean (ko)
Inventor
전재범
Original Assignee
주식회사 하이딥
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이딥 filed Critical 주식회사 하이딥
Publication of WO2018143744A1 publication Critical patent/WO2018143744A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to a touch-sensitive display device and a screen control method thereof, and more particularly, to a device operability of a user by controlling a screen display in response to a pressure touch input in a device having a touch-sensitive display capable of sensing touch pressure.
  • the present invention relates to a touch-sensitive display device and a screen control method thereof.
  • a touch screen capable of detecting touch pressure has also appeared to enable a variety of touch manipulation methods.
  • the map image is retrieved and rendered by increasing the zoom level for the geographic origin and the geographic destination and decreasing the zoom level of other parts according to the intensity of the user's touch pressure. It is trying to shorten the time to do.
  • An object of the present invention is to provide a touch sensitive display device and a method of controlling the same, which control a screen display in response to touch pressure.
  • Another object of the present invention is to provide a touch-sensitive display device and a method of controlling the same, which can easily manipulate a vector image.
  • the touch-sensitive display device of the present invention includes a touch screen, pressure sensing means, and a controller.
  • the touch screen includes a display element and a touch sensing element that senses a touch on a screen.
  • the control unit controls the screen according to the pressure of the contact point.
  • control unit moves the screen in consideration of the position of the contact point.
  • the controller updates the resolution of the map to match the size of the map at the time of the hard press.
  • the screen when the user presses the screen beyond the threshold pressure at the end of the zoom gesture, the screen is enlarged or reduced more than the current magnification.
  • the viewpoint of the 3D vector image is adjusted and displayed according to the position of the contact point.
  • the screen display of the vector type image is controlled in response to the touch pressure, thereby simplifying the screen operation.
  • the zoom-in or zoom-out operation using two fingers can be more conveniently utilized.
  • the operation of changing the viewpoint in the 3D vector image can be easily manipulated.
  • FIG. 1 is a block diagram of a touch-sensitive display device according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining a zoom-in operation according to a first embodiment of the present invention.
  • FIG 3 is a view for explaining a zoom-in operation according to a second embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a zoom-in operation according to a third exemplary embodiment of the present invention.
  • FIG. 5 is a view for explaining a view point change operation according to a fourth embodiment of the present invention.
  • FIG. 7 is a diagram for describing a correlation between a touch point on a screen and a viewpoint change in a fourth exemplary embodiment of the present invention.
  • the touch-sensitive display device described herein includes a mobile phone equipped with a touch screen, a smart phone, a laptop computer, a terminal device for digital broadcasting, a personal digital assistant, a navigation device, and a slate PC. ), A tablet PC, an ultrabook, a wearable device, a kiosk, and the like.
  • FIG. 1 is a block diagram of a touch-sensitive display device 100 according to an embodiment of the present invention, showing an example in which the present invention is applied to a smartphone.
  • the touch-sensitive display device 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 130, an output unit 150, an interface unit 160, a memory 140, a controller 180, and a power supply unit. 160, and the like.
  • the components shown in FIG. 1 are not essential to implementing a mobile terminal device, and the mobile terminal device described herein may have more or fewer components than those listed above.
  • the wireless communication unit 110 may include a touch-sensitive display device 100 and a wireless communication system, between the touch-sensitive display device 100 and another touch-sensitive display device 100, or between the touch-sensitive display device 100 and an external server. It may include one or more modules to enable wireless communication of. In addition, the wireless communication unit 110 may include one or more modules for connecting the touch-sensitive display device 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of the mobile communication module 112, the wireless internet module 113, the short range communication module 114, and the location information module 115.
  • the mobile communication module 112 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network constructed according to technical standards or communication schemes for mobile communication.
  • the wireless internet module 113 refers to a module for wireless internet access and may be built in or external to the touch-sensitive display device 100.
  • the wireless internet module 113 is configured to transmit and receive wireless signals in a communication network according to wireless internet technologies such as a wireless local area network (WLAN), wireless-fidelity (Wi-Fi), and the like.
  • WLAN wireless local area network
  • Wi-Fi wireless-fidelity
  • the short range communication module 114 uses short range communication using technologies such as Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), ZigBee, and Near Field Communication (NFC). communication).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the location information module 115 is a module for obtaining the location (or current location) of the mobile terminal device.
  • a representative example thereof includes a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module. It is not limited to modules that directly calculate or obtain.
  • GPS Global Positioning System
  • WiFi Wireless Fidelity
  • the input unit 120 may include a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, an audio input unit, or a user input unit 123 for receiving information from a user. , Touch keys, mechanical keys, and the like.
  • the voice data or the image data collected by the input unit 120 may be analyzed and processed as a control command of the user.
  • the camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 140.
  • the microphone 122 processes external sound signals into electrical voice data.
  • the processed voice data may be utilized in various ways according to a function (or an application program being executed) performed by the touch-sensitive display device 100.
  • the user input unit 123 is for receiving information from a user. When information is input through the user input unit 123, the controller 180 may control an operation of the touch-sensitive display device 100 to correspond to the input information. Can be.
  • the user input unit 123 may be a mechanical input unit (or a mechanical key, for example, a button, a dome switch, or a jog located at the front, rear, or side surfaces of the touch-sensitive display apparatus 100). Wheels, jog switches, etc.) and touch input means.
  • the touch input means may include a virtual key, a soft key, or a visual key displayed on the touch screen through a software process, or a portion other than the touch screen. It may be made of a touch key disposed in the.
  • the virtual key or the visual key may be displayed on the touch screen while having various forms, for example, graphic, text, icon, video, or the like. It can be made of a combination of.
  • the sensing unit 130 may include one or more sensors for sensing at least one of information in the mobile terminal device, surrounding environment information surrounding the mobile terminal device, and user information.
  • the sensing unit 130 may include a proximity sensor 131, an illumination sensor 132, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • the sensor may include a G-sensor, a gyroscope sensor, a motion sensor, and the like.
  • the output unit 150 is used to generate an output related to sight, hearing, or tactile sense, and includes at least one of a display unit 151, an audio output unit 152, a hap tip module 153, and an optical output unit 154. can do.
  • the display unit 151 may include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible display). display, a 3D display, or an e-ink display.
  • the display unit 151 forms a layer structure with or is integrally formed with the touch sensor, thereby implementing a touch screen.
  • the touch screen may function as a user input unit 123 that provides an input interface between the touch-sensitive display device 100 and the user, and at the same time, may provide an output interface between the touch-sensitive display device 100 and the user. .
  • the display unit 151 may include a touch sensor that senses a touch on the display unit 151 so as to receive a control command by a touch method.
  • the touch sensor may sense the touch, and the controller 180 may generate a control command corresponding to the touch based on the touch sensor.
  • the content input by the touch method may be letters or numbers or menu items that can be indicated or designated in various modes.
  • the touch sensor may be formed in a film form having a touch pattern and disposed between the window and the display on the rear surface of the window, or may be a metal wire directly patterned on the rear surface of the window.
  • the sound output unit 152 outputs an audio signal such as music or voice and may include a receiver, a speaker, a buzzer, and the like.
  • the haptic module 153 generates various haptic effects that a user can feel. A representative example of the tactile effect generated by the haptic module 153 may be vibration.
  • the light output unit 154 outputs a signal for notifying occurrence of an event by using light of a light source of the touch-sensitive display device 100. Examples of events generated in the touch-sensitive display device 100 may include message reception, call signal reception, missed call, alarm, schedule notification, email reception, and information reception through an application.
  • the memory 140 stores data supporting various functions of the touch sensitive display apparatus 100.
  • the memory 140 may store a plurality of application programs or applications driven in the touch sensitive display apparatus 100, data for operating the touch sensitive display apparatus 100, and instructions. At least some of these applications may be downloaded from an external server via wireless communication. In addition, at least some of these applications may be installed on the touch-sensitive display device 100 from the time of shipment for basic functions (for example, call reception, call-out function, message reception, and call-out function) of the touch-sensitive display device 100. May exist.
  • the application program may be stored in the memory 140 and installed on the touch-sensitive display device 100 to be driven by the controller 180 to perform an operation (or function) of the mobile terminal device.
  • the controller 180 In addition to the operation related to the application program, the controller 180 typically controls the overall operation of the touch-sensitive display device 100.
  • the controller 180 may provide or process information or a function appropriate to a user by processing signals, data, information, etc. input or output through the above-described components, or by driving an application program stored in the memory 140.
  • the controller 180 may control at least some of the components in order to drive an application program stored in the memory 140.
  • the controller 180 may operate at least two or more of the components included in the touch-sensitive display apparatus 100 in combination with each other to drive the application program.
  • the power supply unit 190 receives power from an external power source and an internal power source under the control of the controller 180 to supply power to each component included in the touch-sensitive display device 100.
  • the power supply unit 190 may include a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other in order to implement an operation, control, or control method of the mobile terminal apparatus according to various embodiments described below.
  • the operation, control, or control method of the mobile terminal device may be implemented on the mobile terminal device by driving at least one application program stored in the memory 140.
  • the present invention has been described in the case where the present invention is applied to a smartphone.
  • a wired communication is used instead of wireless communication, and a camera and a microphone are used. It can be modified to be omitted. That is, according to the nature of the apparatus to which the present invention is applied, the components may be added or omitted as appropriate.
  • the touch-sensitive display device 100 may distinguish the type of touch command based on the pressure. For example, the touch-sensitive display device 100 may recognize a touch gesture less than a preset pressure as a selection command for the touched area. In addition, the display apparatus 100a may recognize a touch gesture having a predetermined pressure or more as an additional command.
  • the touch-sensitive display device 100 of the present invention is provided with a pressure sensing means.
  • the pressure sensing means may be integrally coupled to the touch screen or provided as a separate component, and the present invention is not limited to a specific pressure sensing scheme.
  • the pressure of the touch gesture can be detected using various methods.
  • the display unit 151 of the touch-sensitive display device 100 may include a touch recognition layer capable of sensing a touch and a fingerprint recognition layer capable of sensing a fingerprint.
  • the image quality of the touched part may vary.
  • the display unit 151 lightly the touched portion may be blurred.
  • the display unit 151 including the fingerprint recognition layer may recognize the touched part with an image quality proportional to the touch pressure.
  • the touch-sensitive display device 100 may detect the intensity of the touched part according to the image quality.
  • the touch sensitive display apparatus 100 may detect the strength of the touch pressure by using a touch area recognized by the touch recognition layer. When the user presses lightly on the display unit 151, the touched area may be relatively small. In addition, when the user presses hard, the touched area may be relatively large. The touch sensitive display apparatus 100 may calculate the touch pressure by using a relationship between the touched area and the pressure. Accordingly, the touch-sensitive display device 100 may recognize a touch gesture of a predetermined pressure or more.
  • the touch sensitive display apparatus 100 may detect the pressure of the touch gesture using a piezoletric element.
  • a piezoelectric element refers to a device that detects pressure or generates deformation / vibration by using a piezoelectric effect.
  • mechanical stress exactly a mechanical force or pressure
  • deformation occurs, electric charges accumulate as polarization occurs in the solid. (accumulate).
  • the integrated charge appears in the form of an electrical signal, ie a voltage, between the electrodes of the material. This phenomenon is called the piezoelectric effect, the solid material is called the piezoelectric material, and the integrated charge is called the piezoelectricity.
  • the touch-sensitive display device 100 may include a sensing unit (not shown) including a layer made of a piezoelectric material that can be driven by the piezoelectric effect.
  • the sensing unit may detect the applied mechanical energy (force or pressure) and the electrical energy (voltage, which is a kind of electrical signal) generated by the deformation, and detect the applied mechanical force or pressure based on the detected voltage. can do.
  • the touch-sensitive display device 100 may include three or more pressure sensors as pressure sensing means. Three or more pressure sensors may be disposed in different layers in the display unit 151 area or may be disposed in the bezel area.
  • the pressure sensor may sense the amount of pressure applied.
  • the strength of pressure detected by the pressure sensor may be inversely proportional to the touch point and distance.
  • the intensity of the pressure detected by the pressure sensor may be proportional to the touch pressure.
  • the touch sensitive display apparatus 100 may calculate the intensity of the touch point and the actual touch pressure by using the intensity of the pressure detected by each pressure sensor.
  • the touch sensitive display apparatus 100 may include a touch input layer that detects a touch input to detect a touch point.
  • the touch-sensitive display apparatus 100 may calculate the intensity of the touch pressure of the touch point by using the detected touch point and the intensity of the pressure detected by each pressure sensor.
  • FIG. 2 is a diagram for explaining a zoom-in operation according to the first exemplary embodiment of the present invention, and illustrates a case where the map screen is enlarged.
  • the present invention can be applied to enlarged viewing of various screens such as a web browser screen, a photo screen, a CAD screen, in addition to the enlarged view of the map screen.
  • the zoom-in gesture for enlarging the screen generally uses two fingers to touch two contact points P1 and P2 on the screen (initialization of the zoom-in gesture) and then the two fingers move away from each other, for example, in FIG.
  • the fingers are opened in the direction of the arrow (the state (b) of FIG. 2), and then the fingers are removed from the screen.
  • the controller 180 enlarges and displays the screen according to the zoom-in gesture. That is, the screen is displayed while increasing the magnification of the screen according to the degree of the finger spreading from the beginning of the zoom-in gesture until the finger opens and stops.
  • the enlargement of the screen is made around a middle point of two fingers or a center point of the screen.
  • the screen is moved in consideration of the position of the contact point.
  • the controller 180 enlarges and displays the screen accordingly, and as shown in FIG. 2C, one of the contact points P2 at the end of the zoom-in gesture.
  • the pressure of ' hereinafter referred to as' end pressure'
  • the touch screen is controlled to move the screen in consideration of the position of the contact point in the enlarged state. The screen at this time is shown in FIG.
  • the screen may be moved so that the first contact point is in the center of the screen, or the screen may be moved by a predetermined distance such that the first contact point is moved in the center direction of the screen.
  • the screen may be moved so that the center of the screen moves by a predetermined distance in the direction of the first contact point.
  • the moving distance may be configured to be adjusted according to the magnitude of the end pressure, or the screen may be moved while the end pressure of the first contact point is maintained larger than the threshold pressure.
  • the critical pressure can be appropriately set according to the apparatus, application field, etc. to which the critical pressure is applied.
  • the threshold pressure may be set to a predetermined ratio higher pressure, for example, 20% higher than the pressure at the first contact point at the beginning of the zoom-in gesture.
  • the threshold pressure may be set to a pressure higher than the pressure of the first contact point at the beginning of the zoom-in gesture by a predetermined magnitude or to a fixed magnitude of pressure.
  • FIG. 3 is a view for explaining a zoom-in operation according to a second exemplary embodiment of the present invention, which shows an enlarged view of a map screen.
  • the present invention can be applied to enlarged viewing of various screens such as a web browser screen, a photo screen, a CAD screen, in addition to the enlarged view of the map screen.
  • the zoom-in gesture for enlarging the screen generally uses two fingers to touch two touch points P3 and P4 on the screen (initialization of the zoom-in gesture), and then the two fingers move away from each other, for example, in FIG.
  • the controller 180 enlarges and displays the screen according to the zoom-in gesture while the zoom-in gesture is performed. That is, the screen is displayed while increasing the magnification of the screen according to the degree of the finger spreading from the beginning of the zoom-in gesture until the finger opens and stops.
  • a map having the same resolution is increased during the zoom-in operation, and only after the zoom-in gesture is over, the map is increased to fit the current screen size.
  • a map having a resolution that matches the current map size is displayed only after the user lifts a finger off the screen after the map of the current resolution is enlarged. Therefore, the information desired by the user is displayed during the zoom-in gesture. It was not possible to see if the resolution appeared.
  • the present embodiment is configured to update the resolution of the map to match the size of the map when the user presses harder than the threshold pressure at least one contact point during the zoom-in gesture.
  • the controller 180 enlarges and displays the screen accordingly.
  • the touch screen is updated to display and update the resolution of the screen so as to fit the enlarged screen when the pressure increases.
  • the resolution may be updated when the pressures of the two contact points P3 'and P4' are both greater than the threshold pressure.
  • the critical pressure can be appropriately set according to the apparatus, application field, etc. to which it is applied.
  • the threshold pressure may be set to a predetermined ratio higher pressure, for example, 20% higher than the pressure at the first contact point at the beginning of the zoom-in gesture.
  • the threshold pressure may be set to a pressure higher than the pressure of the contact point at the beginning of the zoom-in gesture by a predetermined magnitude or to a fixed magnitude of pressure.
  • FIG. 4 is a view for explaining a zoom-in operation according to a third exemplary embodiment of the present invention, which shows a case where the map screen is enlarged.
  • the present embodiment may be applied to a zoom out operation in which the map screen is reduced in addition to the enlarged view of the map screen.
  • the present invention can be applied to zoom-in and zoom-out operations of various screens, such as a web browser screen, a photo screen, and a CAD screen.
  • the zoom-in gesture for enlarging the screen generally uses two fingers to touch two contact points P1 and P2 on the screen (initialization of the zoom-in gesture) and then the two fingers move away from each other, for example, in FIG.
  • the fingers are opened in the direction of the arrow (the state (b) of FIG. 4), and the finger is removed from the screen.
  • the controller 180 enlarges and displays the screen according to the zoom-in gesture while the zoom-in gesture is performed. That is, the screen is displayed while increasing the magnification of the screen according to the degree of the finger spreading from the beginning of the zoom-in gesture until the finger opens and stops.
  • the zoom-out gesture is displayed while reducing the magnification of the screen in response to pinching fingers in the direction opposite to the arrow shown in (a) of FIG. 4 in the position of (b) of FIG.
  • the magnification is increased directly from the screen of the minimum magnification to the screen of the maximum magnification.
  • the magnification changes too rapidly in one operation, making it difficult to adjust the magnification as much as desired. Therefore, in the related art, it is configured to enlarge from the screen of the minimum magnification to the screen of the maximum magnification only through two or more zoom-in gestures. However, this is inconvenient to take a zoom gesture several times in order to obtain a screen of the desired magnification.
  • the screen when the screen is pressed beyond the threshold pressure at the end of the zoom gesture, the screen is enlarged or reduced more than the current magnification.
  • pressing the at least one contact point P5 'or P6' harder than the threshold pressure at the end of the zoom-out gesture further reduces and displays the screen.
  • both of the contact points P5 'and P6' must be pressed harder than the critical pressure to configure this function.
  • the final screen magnification in FIG. 4D may be determined in various ways.
  • the controller 180 may determine the pressure at the contact point (for example, the pressure at the first contact point or the average value of the pressure at the first contact point and the second contact point) detected at the end of the zoom gesture.
  • the final screen magnification can be adjusted according to the size. For example, in the case of the zoom-in operation, when the pressure is higher than the first threshold pressure and lower than the second threshold pressure, the final screen magnification is one step higher than the magnification in FIG. 4C, and the pressure is zero. 2 It can be adjusted at the maximum magnification if it is higher than the grain boundary pressure
  • the controller 180 may control to enlarge or reduce the screen continuously while the pressure of the contact point detected at the end of the zoom gesture is larger than the threshold pressure.
  • the user may be configured to continuously increase the magnification by 2 times while maintaining the state of FIG. 4C.
  • the controller 180 may control to enlarge or reduce the screen continuously until the final screen magnification reaches the limit magnification at the magnification at that time. For example, in the case of the zoom-out operation, if the user presses at least one of the contact points harder at the end of the zoom-out gesture and the pressure exceeds the threshold pressure, the controller 180 may end the zoom-out gesture at the end of the zoom-out gesture. The magnification of the screen may be sequentially reduced until the magnification at the time of pressing) becomes the lowest magnification which is the zoom-out limit magnification.
  • the critical pressure can be appropriately set according to the apparatus, application field, etc. to which it is applied.
  • the threshold pressure may be set to a predetermined ratio higher pressure, for example, 20% higher than the pressure at the first point of contact at the beginning of the zoom gesture.
  • the threshold pressure may be set to a pressure higher than the pressure of the contact point at the beginning of the zoom gesture by a predetermined size or to a fixed size pressure.
  • FIG. 5 is a view for explaining a viewpoint change operation according to a fourth embodiment of the present invention, and illustrates a case of changing and viewing a viewpoint of a 3D map screen.
  • the present invention can be applied to a viewpoint change operation of various screens including three-dimensional vector images, such as a three-dimensional CAD screen and a three-dimensional video game screen, in addition to changing and viewing a three-dimensional map screen.
  • the map image corresponding to the coordinates of the portion where the finger first touched moves with the movement of the finger. Accordingly, the user may move a portion of the map to the center of the screen using a scroll gesture.
  • the view point of the coordinate can be changed without changing the coordinate on the map located at the center of the screen.
  • it is inconvenient to use the viewpoint change icon separately provided to change the viewpoint and the portion where the map is displayed is narrowed because the viewpoint change icon should occupy a certain portion on the screen.
  • the viewpoint of the three-dimensional vector image is corresponding to the position of the contact point. It is controlled to display.
  • Various methods may be used as a method of adjusting the view corresponding to the position of the contact point.
  • a spherical coordinate system used when rendering a 3D vector image will be described. 6 shows a spherical coordinate system.
  • the object to be observed is located at the origin O of the coordinate system and the observer is located at a point P on the surface of a sphere of diameter r.
  • the coordinates of the observer may be represented by a diameter r, a horizontal angle ⁇ , and a vertical angle ⁇ .
  • the viewing point of the observer can be represented by the horizontal angle ⁇ and the vertical angle ⁇ .
  • FIG. 7 is a diagram for describing a correlation between a touch point on a screen and a viewpoint change in a fourth exemplary embodiment of the present invention.
  • the contact point P7 is The coordinate is (x1, y1).
  • the viewpoint is changed according to the value of the coordinate (x1, y1) of the contact point P7.
  • the viewpoint vertical angle corresponds to the vertical angle ⁇ in FIG. 6
  • the viewpoint horizontal angle corresponds to the horizontal angle ⁇ in FIG. 6.
  • the viewpoint may be changed and displayed only according to the coordinate values of the y-axis. For example, if the position of the contact point P7 is above the center of the screen, that is, if y1 has a positive value, the viewpoint vertical angle is increased and if it is below the center of the screen, that is, y1 is a negative value. If so, the viewpoint vertical angle is reduced.
  • FIG. 5 is an example of such a case. Since the position of the contact point P7 is above the center of the screen, the viewpoint vertical angle is increased so that the viewpoint becomes closer to the ground. In the screen of FIG.
  • the viewpoint may be changed and displayed only in accordance with the coordinate value of the x-axis. For example, when the position of the contact point P7 is to the left of the center of the screen, the viewpoint is moved to the right (that is, the horizontal angle of view is increased), and when the position of the contact point P7 is to the right than the center of the screen, the viewpoint is moved to the left ( That is, the viewpoint horizontal angle is reduced). Intuitively, when the left side is pressed from the center of the screen in the screen of FIG. 5 (a), the left part is moved backward from the origin and the right part is brought forward.
  • the viewpoint may be changed in consideration of both the coordinate value of the x-axis and the coordinate value of the y-axis. For example, when the position of the contact point P7 is the upper left of the screen, that is, when the value of y1 is positive and the value of x1 is negative, both the viewpoint vertical angle and the viewpoint horizontal angle are increased, and the position of the contact point P7 is increased.
  • the degree of change of the viewpoint may be determined according to any one or more of the pressure of the contact, the time of the contact, and the distance from the center of the screen to the contact point.
  • the degree of viewpoint change may be increased, and when the contact time is long, the degree of viewpoint change may be increased, and as the distance from the center of the screen is pressed, the degree of viewpoint change may be increased.
  • the pressure at the contact point P7 is maintained above the critical pressure, it may be controlled to continuously adjust and display the viewpoint of the screen.
  • the critical pressure can be appropriately set according to the apparatus, application field, etc. to which it is applied.
  • the critical pressure can be set to a fixed magnitude of pressure, which can be appropriately determined according to hardware characteristics, software characteristics, and the like.
  • the screen display of the vector type image is controlled in response to the touch pressure, thereby simplifying the screen operation.
  • the zoom-in or zoom-out operation using two fingers can be more conveniently utilized.
  • the operation of changing the viewpoint in the 3D vector image can be easily manipulated.

Abstract

A touch sensing display device of the present invention comprises a touch screen, a pressure sensing means, and a control unit. The touch screen comprises a display element and a touch sensing element for sensing a contact on the screen. The control unit controls the screen according to a pressure at a contact point. The control unit moves the screen, updates the resolution thereof, or additionally adjusts the magnification of the screen by considering the position of a contact point where a stronger pressure than a threshold pressure is applied. In another embodiment of the present invention, when a user pushes a point ("contact point") on the screen at a pressure greater than or equal to a threshold pressure, the view point of a three-dimensional vector image is adjusted according to the position of the contact point, and the adjusted vector image is displayed. According to the present invention, a control for a vector image is further simplified.

Description

터치 감지 디스플레이 장치 및 그 화면 제어 방법Touch-sensitive display device and its screen control method
본 발명은 터치 감지 디스플레이 장치 및 그 화면 제어 방법에 관한 것으로, 보다 상세하게는 터치 압력을 감지할 수 있는 터치 감지 디스플레이를 구비한 장치에서 압력 터치 입력에 반응하여 화면 표시를 제어함으로써 사용자의 기기 조작성을 향상시키기 위한 터치 감지 디스플레이 장치 및 그 화면 제어 방법에 관한 것이다. The present invention relates to a touch-sensitive display device and a screen control method thereof, and more particularly, to a device operability of a user by controlling a screen display in response to a pressure touch input in a device having a touch-sensitive display capable of sensing touch pressure. The present invention relates to a touch-sensitive display device and a screen control method thereof.
스마트폰, 태블릿 PC, 노트북 컴퓨터, 내비게이션 장치, 키오스크(KIOSK) 등과 같은 컴퓨팅 시스템의 조작을 위해 다양한 종류의 입력 장치들이 이용되고 있다. 그 중에서도 터치 스크린은 쉽고 간편한 조작성으로 인해 컴퓨팅 시스템에서의 이용이 증가하고 있다. Various types of input devices are used for the operation of computing systems such as smart phones, tablet PCs, notebook computers, navigation devices, kiosks, and the like. Among them, touch screens are increasingly used in computing systems due to their easy and convenient operation.
최근에는 사용자의 터치 동작을 감지하는 것에 더하여 터치 압력을 감지할 수 있는 터치 스크린도 등장하여 더욱 다양한 터치 조작 방법을 사용할 수 있게 되었다. Recently, in addition to detecting a user's touch operation, a touch screen capable of detecting touch pressure has also appeared to enable a variety of touch manipulation methods.
예를 들면 대한민국 특허공개 제10-2015-0068957호에서는 사용자의 터치 압력의 세기에 따라 지리적 출발지와 지리적 목적지에 대한 줌 레벨은 증가시키고 다른 부분의 줌 레벨은 감소시키도록 함으로써 지도 이미지를 불러와서 렌더링하는 시간을 단축하도록 하고 있다. For example, in Korean Patent Publication No. 10-2015-0068957, the map image is retrieved and rendered by increasing the zoom level for the geographic origin and the geographic destination and decreasing the zoom level of other parts according to the intensity of the user's touch pressure. It is trying to shorten the time to do.
이와 같이 터치 압력을 이용하여 디스플레이 장치의 조작성을 높이려는 시도가 있지만, 아직도 터치 압력에 반응하여 화면 표시를 제어하는 다양한 조작방법에 대한 요구를 충분히 만족시키지 못하고 있다.As described above, attempts have been made to increase the operability of the display device by using touch pressure, but still do not sufficiently satisfy the demand for various operation methods for controlling the screen display in response to the touch pressure.
본 발명의 목적은 터치 압력에 반응하여 화면 표시를 제어하는 터치 감지 디스플레이 장치 및 그 제어방법을 제공하는 것이다. SUMMARY OF THE INVENTION An object of the present invention is to provide a touch sensitive display device and a method of controlling the same, which control a screen display in response to touch pressure.
본 발명의 또 다른 목적은 벡터 방식의 이미지를 보다 용이하게 조작할 수 있는 터치 감지 디스플레이 장치 및 그 제어방법을 제공하는 것이다.Another object of the present invention is to provide a touch-sensitive display device and a method of controlling the same, which can easily manipulate a vector image.
본 발명의 터치 감지 디스플레이 장치는 터치 스크린과 압력 감지 수단과 제어부를 구비한다. 터치 스크린은, 디스플레이 소자와, 화면 상의 접촉을 감지하는 터치 감지 소자를 포함한다. 제어부는 접촉지점의 압력에 따라 화면을 제어한다. The touch-sensitive display device of the present invention includes a touch screen, pressure sensing means, and a controller. The touch screen includes a display element and a touch sensing element that senses a touch on a screen. The control unit controls the screen according to the pressure of the contact point.
본 발명의 일 실시예에서, 사용자가 줌인 제스처의 말기에 어느 한쪽의 접촉지점을 임계압력보다 세게 누르면 제어부는 해당 접촉지점의 위치를 고려하여 화면을 이동시킨다.In one embodiment of the present invention, when the user presses any contact point harder than the threshold pressure at the end of the zoom-in gesture, the control unit moves the screen in consideration of the position of the contact point.
본 발명의 다른 실시예에서, 사용자가 줌인 제스처를 하는 도중에 적어도 어느 한쪽의 접촉지점을 임계압력보다 세게 누르면 제어부는 지도의 해상도를 세게 눌려진 시점의 지도 크기에 맞게 갱신한다.In another embodiment of the present invention, if the user presses at least one of the contact points harder than the threshold pressure during the zoom-in gesture, the controller updates the resolution of the map to match the size of the map at the time of the hard press.
본 발명의 또다른 실시예에서, 사용자가 줌 제스처의 말기에 임계압력 이상으로 화면을 누르면 화면을 현 시점의 배율보다 더 확대 또는 축소하여 표시한다.In another embodiment of the present invention, when the user presses the screen beyond the threshold pressure at the end of the zoom gesture, the screen is enlarged or reduced more than the current magnification.
본 발명의 또다른 실시예에서, 사용자가 화면 상의 한 지점('접촉지점')을 임계압력 이상으로 누르면 접촉지점의 위치에 대응하여 3차원 벡터 화상의 시점을 조절하여 표시한다.In another embodiment of the present invention, when a user presses a point on the screen ('contact point') above the threshold pressure, the viewpoint of the 3D vector image is adjusted and displayed according to the position of the contact point.
본 발명에 따르면 터치 압력에 반응하여 벡터 방식의 이미지의 화면 표시를 제어하므로 화면 조작이 보다 간편해진다.According to the present invention, the screen display of the vector type image is controlled in response to the touch pressure, thereby simplifying the screen operation.
또한 본 발명에 따르면, 두 손가락을 이용한 줌인(zoom-in) 또는 줌아웃(zoom-out) 동작을 보다 편리하게 활용할 수 있다.In addition, according to the present invention, the zoom-in or zoom-out operation using two fingers can be more conveniently utilized.
또한 본 발명에 따르면, 3차원 벡터 이미지에서 시점의 변경 동작을 용이하게 조작할 수 있다.In addition, according to the present invention, the operation of changing the viewpoint in the 3D vector image can be easily manipulated.
도 1은 본 발명의 실시예에 따른 터치 감지 디스플레이 장치에 대한 블록도이다.1 is a block diagram of a touch-sensitive display device according to an embodiment of the present invention.
도 2는 본 발명의 제1 실시예에 따른 줌인 동작을 설명하기 위한 도면이다.2 is a view for explaining a zoom-in operation according to a first embodiment of the present invention.
도 3은 본 발명의 제2 실시예에 따른 줌인 동작을 설명하기 위한 도면이다.3 is a view for explaining a zoom-in operation according to a second embodiment of the present invention.
도 4는 본 발명의 제3 실시예에 따른 줌인 동작을 설명하기 위한 도면이다.4 is a diagram for explaining a zoom-in operation according to a third exemplary embodiment of the present invention.
도 5는 본 발명의 제4 실시예에 따른 시점 변경 동작을 설명하기 위한 도면이다.5 is a view for explaining a view point change operation according to a fourth embodiment of the present invention.
도 6은 구면좌표계(spherical coordinate system)를 보여주는 도면이다.6 shows a spherical coordinate system.
도 7은 본 발명의 제4 실시예에서 화면상의 접촉지점과 시점 변경과의 상관관계를 설명하기 위한 도면이다.FIG. 7 is a diagram for describing a correlation between a touch point on a screen and a viewpoint change in a fourth exemplary embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION The following detailed description of the invention refers to the accompanying drawings that show, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be embodied in other embodiments without departing from the spirit and scope of the invention with respect to one embodiment. In addition, it is to be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is defined only by the appended claims, along with the full range of equivalents to which such claims are entitled. Like reference numerals in the drawings refer to the same or similar functions throughout the several aspects.
이하, 첨부되는 도면을 참조하여 본 발명의 실시예에 터치 감지 디스플레이 장치 및 그 제어방법을 설명한다. 본 명세서에서 설명되는 터치 감지 디스플레이 장치에는 터치 스크린이 구비된 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말 장치, PDA(personal digital assistants), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device), 키오스크(KIOSK) 등이 포함될 수 있다.Hereinafter, a touch-sensitive display device and a method of controlling the same will be described with reference to the accompanying drawings. The touch-sensitive display device described herein includes a mobile phone equipped with a touch screen, a smart phone, a laptop computer, a terminal device for digital broadcasting, a personal digital assistant, a navigation device, and a slate PC. ), A tablet PC, an ultrabook, a wearable device, a kiosk, and the like.
도 1은 본 발명의 실시예에 따른 터치 감지 디스플레이 장치(100)에 대한 블록도로서, 본 발명이 스마트폰에 적용된 예를 보여주고 있다. 1 is a block diagram of a touch-sensitive display device 100 according to an embodiment of the present invention, showing an example in which the present invention is applied to a smartphone.
상기 터치 감지 디스플레이 장치(100)는 무선 통신부(110), 입력부(120), 센싱부(130), 출력부(150), 인터페이스부(160), 메모리(140), 제어부(180) 및 전원 공급부(160) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 이동 단말 장치를 구현하는데 있어서 필수적인 것은 아니며, 본 명세서 상에서 설명되는 이동 단말 장치는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.The touch-sensitive display device 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 130, an output unit 150, an interface unit 160, a memory 140, a controller 180, and a power supply unit. 160, and the like. The components shown in FIG. 1 are not essential to implementing a mobile terminal device, and the mobile terminal device described herein may have more or fewer components than those listed above.
무선 통신부(110)는, 터치 감지 디스플레이 장치(100)와 무선 통신 시스템 사이, 터치 감지 디스플레이 장치(100)와 다른 터치 감지 디스플레이 장치(100) 사이, 또는 터치 감지 디스플레이 장치(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 터치 감지 디스플레이 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다. 무선 통신부(110)는, 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다. The wireless communication unit 110 may include a touch-sensitive display device 100 and a wireless communication system, between the touch-sensitive display device 100 and another touch-sensitive display device 100, or between the touch-sensitive display device 100 and an external server. It may include one or more modules to enable wireless communication of. In addition, the wireless communication unit 110 may include one or more modules for connecting the touch-sensitive display device 100 to one or more networks. The wireless communication unit 110 may include at least one of the mobile communication module 112, the wireless internet module 113, the short range communication module 114, and the location information module 115.
이동통신 모듈(112)은, 이동통신을 위한 기술표준들 또는 통신방식에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 터치 감지 디스플레이 장치(100)에 내장되거나 외장될 수 있다. The mobile communication module 112 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network constructed according to technical standards or communication schemes for mobile communication. The wireless internet module 113 refers to a module for wireless internet access and may be built in or external to the touch-sensitive display device 100.
무선 인터넷 모듈(113)은 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity) 등과 같은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다. The wireless internet module 113 is configured to transmit and receive wireless signals in a communication network according to wireless internet technologies such as a wireless local area network (WLAN), wireless-fidelity (Wi-Fi), and the like.
근거리 통신 모듈(114)은 루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등의 기술을 이용하여 근거리 통신(Short range communication)을 지원하기 위한 것이다.The short range communication module 114 uses short range communication using technologies such as Bluetooth ™, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), ZigBee, and Near Field Communication (NFC). communication).
위치정보 모듈(115)은 이동 단말 장치의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있지만, 이동 단말 장치의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.The location information module 115 is a module for obtaining the location (or current location) of the mobile terminal device. A representative example thereof includes a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module. It is not limited to modules that directly calculate or obtain.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit 120 may include a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, an audio input unit, or a user input unit 123 for receiving information from a user. , Touch keys, mechanical keys, and the like. The voice data or the image data collected by the input unit 120 may be analyzed and processed as a control command of the user.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(140)에 저장될 수 있다. The camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode. The processed image frame may be displayed on the display unit 151 or stored in the memory 140.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 터치 감지 디스플레이 장치(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다.The microphone 122 processes external sound signals into electrical voice data. The processed voice data may be utilized in various ways according to a function (or an application program being executed) performed by the touch-sensitive display device 100.
사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 터치 감지 디스플레이 장치(100)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 터치 감지 디스플레이 장치(100)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.The user input unit 123 is for receiving information from a user. When information is input through the user input unit 123, the controller 180 may control an operation of the touch-sensitive display device 100 to correspond to the input information. Can be. The user input unit 123 may be a mechanical input unit (or a mechanical key, for example, a button, a dome switch, or a jog located at the front, rear, or side surfaces of the touch-sensitive display apparatus 100). Wheels, jog switches, etc.) and touch input means. As an example, the touch input means may include a virtual key, a soft key, or a visual key displayed on the touch screen through a software process, or a portion other than the touch screen. It may be made of a touch key disposed in the. The virtual key or the visual key may be displayed on the touch screen while having various forms, for example, graphic, text, icon, video, or the like. It can be made of a combination of.
센싱부(130)는 이동 단말 장치 내 정보, 이동 단말 장치를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(130)는 근접센서(131, proximity sensor), 조도 센서(132, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor) 등을 포함할 수 있다. The sensing unit 130 may include one or more sensors for sensing at least one of information in the mobile terminal device, surrounding environment information surrounding the mobile terminal device, and user information. For example, the sensing unit 130 may include a proximity sensor 131, an illumination sensor 132, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity. The sensor may include a G-sensor, a gyroscope sensor, a motion sensor, and the like.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. The output unit 150 is used to generate an output related to sight, hearing, or tactile sense, and includes at least one of a display unit 151, an audio output unit 152, a hap tip module 153, and an optical output unit 154. can do.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 터치 감지 디스플레이 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 터치 감지 디스플레이 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. The display unit 151 may include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible display). display, a 3D display, or an e-ink display. The display unit 151 forms a layer structure with or is integrally formed with the touch sensor, thereby implementing a touch screen. The touch screen may function as a user input unit 123 that provides an input interface between the touch-sensitive display device 100 and the user, and at the same time, may provide an output interface between the touch-sensitive display device 100 and the user. .
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다. 한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우와 윈도우의 배면 상의 디스플레이 사이에 배치되거나, 윈도우의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다.The display unit 151 may include a touch sensor that senses a touch on the display unit 151 so as to receive a control command by a touch method. By using this, when a touch is made to the display unit 151, the touch sensor may sense the touch, and the controller 180 may generate a control command corresponding to the touch based on the touch sensor. The content input by the touch method may be letters or numbers or menu items that can be indicated or designated in various modes. Meanwhile, the touch sensor may be formed in a film form having a touch pattern and disposed between the window and the display on the rear surface of the window, or may be a metal wire directly patterned on the rear surface of the window.
음향 출력부(152)는 음악이나 음성 등의 오디오 신호를 출력하기 위한 것으로서 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다. 햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 광출력부(154)는 터치 감지 디스플레이 장치(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 터치 감지 디스플레이 장치(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.The sound output unit 152 outputs an audio signal such as music or voice and may include a receiver, a speaker, a buzzer, and the like. The haptic module 153 generates various haptic effects that a user can feel. A representative example of the tactile effect generated by the haptic module 153 may be vibration. The light output unit 154 outputs a signal for notifying occurrence of an event by using light of a light source of the touch-sensitive display device 100. Examples of events generated in the touch-sensitive display device 100 may include message reception, call signal reception, missed call, alarm, schedule notification, email reception, and information reception through an application.
메모리(140)는 터치 감지 디스플레이 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(140)는 터치 감지 디스플레이 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 터치 감지 디스플레이 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 터치 감지 디스플레이 장치(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 터치 감지 디스플레이 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(140)에 저장되고, 터치 감지 디스플레이 장치(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말 장치의 동작(또는 기능)을 수행하도록 구동될 수 있다.The memory 140 stores data supporting various functions of the touch sensitive display apparatus 100. The memory 140 may store a plurality of application programs or applications driven in the touch sensitive display apparatus 100, data for operating the touch sensitive display apparatus 100, and instructions. At least some of these applications may be downloaded from an external server via wireless communication. In addition, at least some of these applications may be installed on the touch-sensitive display device 100 from the time of shipment for basic functions (for example, call reception, call-out function, message reception, and call-out function) of the touch-sensitive display device 100. May exist. The application program may be stored in the memory 140 and installed on the touch-sensitive display device 100 to be driven by the controller 180 to perform an operation (or function) of the mobile terminal device.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 터치 감지 디스플레이 장치(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(140)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 또한, 제어부(180)는 메모리(140)에 저장된 응용 프로그램을 구동하기 위하여, 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 터치 감지 디스플레이 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.In addition to the operation related to the application program, the controller 180 typically controls the overall operation of the touch-sensitive display device 100. The controller 180 may provide or process information or a function appropriate to a user by processing signals, data, information, etc. input or output through the above-described components, or by driving an application program stored in the memory 140. In addition, the controller 180 may control at least some of the components in order to drive an application program stored in the memory 140. In addition, the controller 180 may operate at least two or more of the components included in the touch-sensitive display apparatus 100 in combination with each other to drive the application program.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 터치 감지 디스플레이 장치(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함할 수 있으며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.The power supply unit 190 receives power from an external power source and an internal power source under the control of the controller 180 to supply power to each component included in the touch-sensitive display device 100. The power supply unit 190 may include a battery, and the battery may be a built-in battery or a replaceable battery.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말 장치의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말 장치의 동작, 제어, 또는 제어방법은 상기 메모리(140)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말 장치 상에서 구현될 수 있다.At least some of the components may operate in cooperation with each other in order to implement an operation, control, or control method of the mobile terminal apparatus according to various embodiments described below. In addition, the operation, control, or control method of the mobile terminal device may be implemented on the mobile terminal device by driving at least one application program stored in the memory 140.
한편, 상기 설명에서는 본 발명이 스마트폰에 적용되는 경우에 대해서 설명하였지만, 본 발명이 키오스크(KIOSK)와 같이 고정되어 설치되는 장치에 적용되는 경우에는 무선통신 대신에 유선통신이 사용되고 카메라와 마이크로폰 등이 생략되도록 변형 적용될 수 있다. 즉, 본 발명이 적용되는 장치의 성격에 따라 그 구성요소는 적절하게 추가 또는 생략되어 구성될 수 있다.Meanwhile, in the above description, the present invention has been described in the case where the present invention is applied to a smartphone. However, when the present invention is applied to a fixed installation device such as a kiosk, a wired communication is used instead of wireless communication, and a camera and a microphone are used. It can be modified to be omitted. That is, according to the nature of the apparatus to which the present invention is applied, the components may be added or omitted as appropriate.
본 발명에서 터치 감지 디스플레이 장치(100)는 압력에 기초하여 터치 명령의 종류를 구별할 수 있다. 예를 들어, 터치 감지 디스플레이 장치(100)는 기 설정된 압력 미만의 터치 제스처를 터치된 영역에 대한 선택 명령으로 인식할 수 있다. 그리고, 디 스플레이 장치(100a)는 기 설정된 압력 이상의 터치 제스처를 추가적인 명령으로 인식할 수 있다.In the present invention, the touch-sensitive display device 100 may distinguish the type of touch command based on the pressure. For example, the touch-sensitive display device 100 may recognize a touch gesture less than a preset pressure as a selection command for the touched area. In addition, the display apparatus 100a may recognize a touch gesture having a predetermined pressure or more as an additional command.
이를 위하여 본 발명의 터치 감지 디스플레이 장치(100)는 압력 감지 수단을 구비한다. 압력 감지 수단은 터치 스크린에 일체로 결합될 수도 있고 별도의 구성 요소로 마련될 수도 있으며, 본 발명은 특정 압력 감지 방식에 한정되지 않는다.To this end, the touch-sensitive display device 100 of the present invention is provided with a pressure sensing means. The pressure sensing means may be integrally coupled to the touch screen or provided as a separate component, and the present invention is not limited to a specific pressure sensing scheme.
터치 제스처의 압력은 다양한 방식을 이용하여 검출될 수 있다. 예를 들면, 터치 감지 디스플레이 장치(100)의 디스플레이부(151)는 터치를 감지할 수 있는 터치 인식 층과 지문을 감지할 수 있는 지문 인식 층을 포함할 수 있다. 사용자가 압력을 달리하여 터치하는 경우, 터치되는 부분의 이미지 퀄러티는 달라질 수 있다. 예를 들어, 사용자가 디스플레이부(151)를 가볍게 터치하는 경우, 터치되는 부분은 흐릿하게 인식될 수 있다. 반대로, 사용자가 디스플레이부(151)를 힘을 가해 터치하는 경우, 터치되는 부분은 명확하고 진하게 인식될 수 있다. 따라서, 지문 인식 층을 포함하는 디스플레이부(151)는 터치 압력에 비례하는 이미지 퀄러티로 터치되는 부분을 인식할 수 있다. 터치 감지 디스플레이 장치(100)는 이미지 퀄러티에 따라 터치되는 부분의 강도를 검출할 수 있다.The pressure of the touch gesture can be detected using various methods. For example, the display unit 151 of the touch-sensitive display device 100 may include a touch recognition layer capable of sensing a touch and a fingerprint recognition layer capable of sensing a fingerprint. When the user touches with different pressure, the image quality of the touched part may vary. For example, when the user touches the display unit 151 lightly, the touched portion may be blurred. On the contrary, when the user touches the display unit 151 by force, the touched portion may be clearly and strongly recognized. Therefore, the display unit 151 including the fingerprint recognition layer may recognize the touched part with an image quality proportional to the touch pressure. The touch-sensitive display device 100 may detect the intensity of the touched part according to the image quality.
또는, 터치 감지 디스플레이 장치(100)는 터치 인식 층이 인식하는 터치 면적을 이용하여 터치 압력의 세기를 감지할 수 있다. 디스플레이부(151) 상에서 사용자가 가볍게 누르는 경우, 터치되는 면적은 상대적으로 작을 수 있다. 그리고, 사용자가 세게 누르는 경우, 터치되는 면적은 상대적으로 클 수 있다. 터치 감지 디스플레이 장치(100)는 터치되는 면적과 압력의 관계를 이용하여 터치 압력을 산출할 수 있다. 따라서, 터치 감지 디스플레이 장치(100)는 기 설정된 압력 이상의 터치 제스처를 인식할 수 있다.Alternatively, the touch sensitive display apparatus 100 may detect the strength of the touch pressure by using a touch area recognized by the touch recognition layer. When the user presses lightly on the display unit 151, the touched area may be relatively small. In addition, when the user presses hard, the touched area may be relatively large. The touch sensitive display apparatus 100 may calculate the touch pressure by using a relationship between the touched area and the pressure. Accordingly, the touch-sensitive display device 100 may recognize a touch gesture of a predetermined pressure or more.
터치 감지 디스플레이 장치(100)는 압전 소자(piezoeletric element)를 이용하여 터치 제스처의 압력을 검출할 수도 있다. 압전소자는 압전효과를 이용하여 압력을 감지하거나 변형/진동을 발생시키는 장치를 말한다. 특정 고체물질(solid material)에 기계적 응력(mechanical stress)(정확하게는, 기계적 힘 또는 압력)이 주어지고 변형이 발생되면, 상기 고체내부에서 분극(polarization)이 발생되면서 전하(electric charge)가 집적된다(accumulate). 집적된 전하는 물질의 양 전극들 사이에서 전기적 신호, 즉 전압의 형태로 나타난다. 이러한 현상을 압전효과(piezoelectric effect)라 하며, 고체물질을 압전물질(piezoelectric material), 그리고 집적된 전하를 압전기(piezoelectricity)라고 한다. 터치 감지 디스플레이 장치(100)는 압전 효과에 의해 구동될 수 있는 압전물질로 이루어지는 레이어를 포함하는 센싱부(미도시)를 포함할 수 있다. 센싱부는 가해진 기계적 에너지(힘 또는 압력) 및 이에 의한 변형에 의해 발생되는 전기적 에너지(일종의 전기적 신호인 전압)를 검출(detect)할 수 있으며, 이러한 검출된 전압에 기초하여 가해진 기계적 힘 또는 압력을 감지할 수 있다.The touch sensitive display apparatus 100 may detect the pressure of the touch gesture using a piezoletric element. A piezoelectric element refers to a device that detects pressure or generates deformation / vibration by using a piezoelectric effect. When a certain solid material is subjected to mechanical stress (exactly a mechanical force or pressure) and deformation occurs, electric charges accumulate as polarization occurs in the solid. (accumulate). The integrated charge appears in the form of an electrical signal, ie a voltage, between the electrodes of the material. This phenomenon is called the piezoelectric effect, the solid material is called the piezoelectric material, and the integrated charge is called the piezoelectricity. The touch-sensitive display device 100 may include a sensing unit (not shown) including a layer made of a piezoelectric material that can be driven by the piezoelectric effect. The sensing unit may detect the applied mechanical energy (force or pressure) and the electrical energy (voltage, which is a kind of electrical signal) generated by the deformation, and detect the applied mechanical force or pressure based on the detected voltage. can do.
다른 실시 예로서, 터치 감지 디스플레이 장치(100)는 압력 감지 수단으로서 3개 이상의 압력 센서를 포함할 수 있다. 3개 이상의 압력 센서는 디스플레이부(151) 영역에 레이어를 달리하여 배치될 수도 있고 베젤 영역에 배치될 수도 있다. 사용자가 디스플레이부(151)를 터치하면 압력 센서는 가해지는 압력의 크기를 센싱할 수 있다. 압력 센서에서 감지되는 압력의 세기는 터치 지점과 거리에 반비례할 수 있다. 그리고, 압력 센서에서 감지되는 압력의 세기는 터치 압력에 비례할 수 있다. 터치 감지 디스플레이 장치(100)는 각 압력 센서에서 감지되는 압력의 세기를 이용하여 터치 지점 및 실제 터치 압력의 세기를 산출할 수 있다. 또는, 터치 감지 디스플레이 장치(100)는 터치 입력을 감지하는 터치 입력 층을 포함하여 터치 지점을 검출할 수 있다. 터치 감지 디스플레이 장치(100)는 검출된 터치 지점 및 각 압력 센서에서 감지되는 압력의 세기를 이용하여 터치 지점의 터치 압력의 세기를 산출할 수도 있다.In another embodiment, the touch-sensitive display device 100 may include three or more pressure sensors as pressure sensing means. Three or more pressure sensors may be disposed in different layers in the display unit 151 area or may be disposed in the bezel area. When the user touches the display unit 151, the pressure sensor may sense the amount of pressure applied. The strength of pressure detected by the pressure sensor may be inversely proportional to the touch point and distance. The intensity of the pressure detected by the pressure sensor may be proportional to the touch pressure. The touch sensitive display apparatus 100 may calculate the intensity of the touch point and the actual touch pressure by using the intensity of the pressure detected by each pressure sensor. Alternatively, the touch sensitive display apparatus 100 may include a touch input layer that detects a touch input to detect a touch point. The touch-sensitive display apparatus 100 may calculate the intensity of the touch pressure of the touch point by using the detected touch point and the intensity of the pressure detected by each pressure sensor.
이하, 본 발명의 화면 제어 방법의 몇가지 실시예를 도면을 참조하여 상세히 설명한다.Hereinafter, some embodiments of the screen control method of the present invention will be described in detail with reference to the drawings.
< 제1 실시예 ><First Embodiment>
도 2는 본 발명의 제1 실시예에 따른 줌인 동작을 설명하기 위한 도면으로서, 지도 화면을 확대하여 보는 경우를 보여주고 있다. 본 발명은 지도 화면을 확대하여 보는 경우 이외에도 웹브라우저 화면, 사진 화면, 캐드(CAD) 화면 등 다양한 화면을 확대하여 보는 경우에 적용이 가능하다.FIG. 2 is a diagram for explaining a zoom-in operation according to the first exemplary embodiment of the present invention, and illustrates a case where the map screen is enlarged. The present invention can be applied to enlarged viewing of various screens such as a web browser screen, a photo screen, a CAD screen, in addition to the enlarged view of the map screen.
화면을 확대하기 위한 줌인 제스처는 일반적으로 두 개의 손가락을 사용하여 화면 상의 두 접촉지점(P1, P2)에 접촉한 후에(줌인 제스처의 초기) 두 손가락이 서로 멀어지는 방향, 예를 들면 도 2의 (a)에서 화살표 방향으로 손가락을 벌린 다음에(도 2의 (b) 상태) 손가락을 화면에서 떼는 동작으로 이루어진다. 제어부(180)는 줌인 제스처에 따라 화면을 확대하여 표시한다. 즉, 줌인 제스처의 초기부터 손가락이 벌어져서 멈출 때까지 손가락이 벌어지는 정도에 따라 화면의 확대율을 키우면서 화면을 표시한다. 일반적으로 화면의 확대는 두 손가락의 중간지점 또는 화면의 중앙 지점을 중심으로 이루어지게 된다.The zoom-in gesture for enlarging the screen generally uses two fingers to touch two contact points P1 and P2 on the screen (initialization of the zoom-in gesture) and then the two fingers move away from each other, for example, in FIG. In step a), the fingers are opened in the direction of the arrow (the state (b) of FIG. 2), and then the fingers are removed from the screen. The controller 180 enlarges and displays the screen according to the zoom-in gesture. That is, the screen is displayed while increasing the magnification of the screen according to the degree of the finger spreading from the beginning of the zoom-in gesture until the finger opens and stops. In general, the enlargement of the screen is made around a middle point of two fingers or a center point of the screen.
그런데, 화면을 확대하면서 나타나는 상세 지도 상에서 사용자가 상세히 보고 싶었던 부분이 화면상의 우측 가장자리 또는 우측을 벗어난 부분에 있는 경우에, 종래에는 지도가 확대된 후에 사용자가 화면을 좌측으로 이동시키는 동작을 다시 수행하여야 한다.By the way, when the portion that the user wanted to see in detail on the detailed map that appears while enlarging the screen is located on the right edge or off the right side of the screen, conventionally, the user again moves the screen to the left after the map is enlarged. shall.
이러한 불편함을 해소하기 위하여 본 실시예에서는 사용자가 도 2의 (b) 상태에서 어느 한쪽의 접촉지점을 임계압력보다 세게 누르면 해당 접촉지점의 위치를 고려하여 화면을 이동시키도록 구성하고 있다.In order to solve this inconvenience, in the present embodiment, when the user presses any one contact point harder than the threshold pressure in the state of FIG. 2 (b), the screen is moved in consideration of the position of the contact point.
즉, 제어부(180)는 두 접촉지점 사이의 거리가 멀어지는 줌인 제스처가 감지되면 이에 따라 화면을 확대하여 표시하고, 도 2의 (c)에서와 같이 줌인 제스처의 말기의 어느 한쪽의 접촉지점(P2')의 압력(이하, '종료 압력'이라 함)이 임계압력보다 커지면 화면이 확대된 상태에서 해당 접촉지점의 위치를 고려하여 화면이 이동하도록 터치 스크린을 제어한다. 이때의 화면이 도 2의 (d)에 도시되어 있다.That is, when a zoom-in gesture is detected in which the distance between the two contact points is far from each other, the controller 180 enlarges and displays the screen accordingly, and as shown in FIG. 2C, one of the contact points P2 at the end of the zoom-in gesture. When the pressure of ') (hereinafter referred to as' end pressure') is greater than the threshold pressure, the touch screen is controlled to move the screen in consideration of the position of the contact point in the enlarged state. The screen at this time is shown in FIG.
세게 눌려진 접촉지점(제1 접촉지점)의 위치를 고려하여 화면을 이동시키는 방법은 다양한 방법이 사용될 수 있다. 예를 들면, 도 2의 (d)에서와 같이 제1 접촉지점이 화면의 중앙에 오도록 화면을 이동시킬 수도 있고, 제1 접촉지점이 화면의 중앙 방향으로 이동하도록 소정 거리만큼 화면을 이동시킬 수도 있고, 이와 반대로 화면의 중앙이 제1 접촉지점 방향으로 소정 거리만큼 이동하도록 화면을 이동시킬 수도 있다. 이때, 이동되는 거리를 종료 압력의 크기에 따라 조절하도록 구성하거나, 제1 접촉지점의 종료압력이 임계압력보다 큰 상태를 유지하고 있는 동안 화면을 이동시키도록 구성할 수도 있다.Various methods may be used to move the screen in consideration of the position of the hard pressed contact point (first contact point). For example, as shown in (d) of FIG. 2, the screen may be moved so that the first contact point is in the center of the screen, or the screen may be moved by a predetermined distance such that the first contact point is moved in the center direction of the screen. On the contrary, the screen may be moved so that the center of the screen moves by a predetermined distance in the direction of the first contact point. In this case, the moving distance may be configured to be adjusted according to the magnitude of the end pressure, or the screen may be moved while the end pressure of the first contact point is maintained larger than the threshold pressure.
또한, 임계압력도 적용되는 장치, 응용분야 등에 따라 적절하게 설정할 수 있다. 예를 들면, 임계압력을 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 비율 높은 압력, 예를 들면 20% 높은 압력으로 설정할 수 있다. 또는, 임계압력을 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 크기만큼 높은 압력으로 설정하거나, 고정된 크기의 압력으로 설정할 수도 있다.In addition, the critical pressure can be appropriately set according to the apparatus, application field, etc. to which the critical pressure is applied. For example, the threshold pressure may be set to a predetermined ratio higher pressure, for example, 20% higher than the pressure at the first contact point at the beginning of the zoom-in gesture. Alternatively, the threshold pressure may be set to a pressure higher than the pressure of the first contact point at the beginning of the zoom-in gesture by a predetermined magnitude or to a fixed magnitude of pressure.
< 제2 실시예 >Second Embodiment
도 3은 본 발명의 제2 실시예에 따른 줌인 동작을 설명하기 위한 도면으로서, 지도 화면을 확대하여 보는 경우를 보여주고 있다. 본 발명은 지도 화면을 확대하여 보는 경우 이외에도 웹브라우저 화면, 사진 화면, 캐드(CAD) 화면 등 다양한 화면을 확대하여 보는 경우에 적용이 가능하다.3 is a view for explaining a zoom-in operation according to a second exemplary embodiment of the present invention, which shows an enlarged view of a map screen. The present invention can be applied to enlarged viewing of various screens such as a web browser screen, a photo screen, a CAD screen, in addition to the enlarged view of the map screen.
화면을 확대하기 위한 줌인 제스처는 일반적으로 두 개의 손가락을 사용하여 화면 상의 두 접촉지점(P3, P4)에 접촉한 후에(줌인 제스처의 초기) 두 손가락이 서로 멀어지는 방향, 예를 들면 도 3의 (a)에서 화살표 방향으로 손가락을 벌리는 동작을 하면 제어부(180)는 줌인 제스처가 이루어지는 동안 줌인 제스처에 따라 화면을 확대하여 표시한다. 즉, 줌인 제스처의 초기부터 손가락이 벌어져서 멈출 때까지 손가락이 벌어지는 정도에 따라 화면의 확대율을 키우면서 화면을 표시한다. 종래에는 화면의 확대 표시를 빠르게 하기 위하여 줌인 동작 동안에 동일한 해상도의 지도를 크기만 키워서 보여주다가 줌인 제스처가 끝나면 그때서야 현재의 화면 크기에 맞도록 지도의 해상도를 높여서 보여주고 있다. 이와 같이, 종래에는 현재의 해상도의 지도가 크기만 확대된 후에 사용자가 화면에서 손가락을 뗀 후에야 현재의 지도 크기에 맞는 해상도의 지도가 표시되므로, 줌인 제스처를 하는 동안에는 사용자가 원하는 정보가 표시될 정도의 해상도가 나타나는지 확인할 수 없었다. The zoom-in gesture for enlarging the screen generally uses two fingers to touch two touch points P3 and P4 on the screen (initialization of the zoom-in gesture), and then the two fingers move away from each other, for example, in FIG. In operation a), when the user moves the finger apart in the direction of the arrow, the controller 180 enlarges and displays the screen according to the zoom-in gesture while the zoom-in gesture is performed. That is, the screen is displayed while increasing the magnification of the screen according to the degree of the finger spreading from the beginning of the zoom-in gesture until the finger opens and stops. Conventionally, in order to speed up an enlarged display of a screen, a map having the same resolution is increased during the zoom-in operation, and only after the zoom-in gesture is over, the map is increased to fit the current screen size. As such, in the related art, a map having a resolution that matches the current map size is displayed only after the user lifts a finger off the screen after the map of the current resolution is enlarged. Therefore, the information desired by the user is displayed during the zoom-in gesture. It was not possible to see if the resolution appeared.
이러한 불편함을 해소하기 위하여 본 실시예에서는 사용자가 줌인 제스처를 하는 도중에 적어도 어느 한쪽의 접촉지점을 임계압력보다 세게 누르면 지도의 해상도를 세게 눌려진 시점의 지도 크기에 맞게 갱신시키도록 구성하고 있다.In order to alleviate this inconvenience, the present embodiment is configured to update the resolution of the map to match the size of the map when the user presses harder than the threshold pressure at least one contact point during the zoom-in gesture.
즉, 제어부(180)는 도 3의 (a)와 (b)에서와 같이 제1 접촉지점과 제2 접촉지점 사이의 거리가 멀어지는 줌인 제스처가 감지되면 이에 따라 화면을 확대하여 표시하고, 줌인 제스처의 도중에 적어도 어느 하나의 접촉지점, 도 3의 (c)의 예에서는 접촉지점 P4'의 압력이 임계압력보다 커지면 압력이 커진 시점의 확대 화면에 맞도록 화면의 해상도를 갱신하여 표시하도록 터치 스크린을 제어한다. 이때의 화면이 도 3의 (d)에 도시되어 있다. 실시예에 따라서는 두 접촉지점(P3', P4')의 압력이 모두 임계압력보다 커질 때 해상도를 갱신하도록 구성할 수도 있다.That is, when a zoom-in gesture is detected in which the distance between the first contact point and the second contact point is far away as shown in FIGS. 3A and 3B, the controller 180 enlarges and displays the screen accordingly. In the example of FIG. 3 (c), when the pressure at the contact point P4 'is greater than the threshold pressure, the touch screen is updated to display and update the resolution of the screen so as to fit the enlarged screen when the pressure increases. To control. The screen at this time is shown in FIG. According to an exemplary embodiment, the resolution may be updated when the pressures of the two contact points P3 'and P4' are both greater than the threshold pressure.
임계압력은 적용되는 장치, 응용분야 등에 따라 적절하게 설정할 수 있다. 예를 들면, 임계압력을 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 비율 높은 압력, 예를 들면 20% 높은 압력으로 설정할 수 있다. 또는, 임계압력을 줌인 제스처 초기의 접촉지점의 압력보다 소정 크기만큼 높은 압력으로 설정하거나, 고정된 크기의 압력으로 설정할 수도 있다.The critical pressure can be appropriately set according to the apparatus, application field, etc. to which it is applied. For example, the threshold pressure may be set to a predetermined ratio higher pressure, for example, 20% higher than the pressure at the first contact point at the beginning of the zoom-in gesture. Alternatively, the threshold pressure may be set to a pressure higher than the pressure of the contact point at the beginning of the zoom-in gesture by a predetermined magnitude or to a fixed magnitude of pressure.
< 제3 실시예 >Third Embodiment
도 4는 본 발명의 제3 실시예에 따른 줌인 동작을 설명하기 위한 도면으로서, 지도 화면을 확대하여 보는 경우를 보여주고 있다. 본 실시예는 지도 화면을 확대하여 보는 경우 이외에도 지도 화면을 축소하여 보는 줌아웃 (zoom out) 동작에도 적용이 가능하다. 또한, 웹브라우저 화면, 사진 화면, 캐드(CAD) 화면 등 다양한 화면의 줌인, 줌아웃 동작에 적용할 수 있다.4 is a view for explaining a zoom-in operation according to a third exemplary embodiment of the present invention, which shows a case where the map screen is enlarged. The present embodiment may be applied to a zoom out operation in which the map screen is reduced in addition to the enlarged view of the map screen. In addition, the present invention can be applied to zoom-in and zoom-out operations of various screens, such as a web browser screen, a photo screen, and a CAD screen.
화면을 확대하기 위한 줌인 제스처는 일반적으로 두 개의 손가락을 사용하여 화면 상의 두 접촉지점(P1, P2)에 접촉한 후에(줌인 제스처의 초기) 두 손가락이 서로 멀어지는 방향, 예를 들면 도 4의 (a)에서 화살표 방향으로 손가락을 벌린 다음에(도 4의 (b) 상태) 손가락을 화면에서 떼는 동작으로 이루어진다. 제어부(180)는 줌인 제스처가 이루어지는 동안 줌인 제스처에 따라 화면을 확대하여 표시한다. 즉, 줌인 제스처의 초기부터 손가락이 벌어져서 멈출 때까지 손가락이 벌어지는 정도에 따라 화면의 배율을 키우면서 화면을 표시한다. 한편, 줌아웃 제스처의 경우에는 도 4의 (b)의 위치에서 도 4의 (a)에 도시된 화살표의 반대 방향으로 손가락을 오므리는 것에 대응하여 화면의 배율을 감소시키면서 표시한다.The zoom-in gesture for enlarging the screen generally uses two fingers to touch two contact points P1 and P2 on the screen (initialization of the zoom-in gesture) and then the two fingers move away from each other, for example, in FIG. In step a), the fingers are opened in the direction of the arrow (the state (b) of FIG. 4), and the finger is removed from the screen. The controller 180 enlarges and displays the screen according to the zoom-in gesture while the zoom-in gesture is performed. That is, the screen is displayed while increasing the magnification of the screen according to the degree of the finger spreading from the beginning of the zoom-in gesture until the finger opens and stops. On the other hand, the zoom-out gesture is displayed while reducing the magnification of the screen in response to pinching fingers in the direction opposite to the arrow shown in (a) of FIG. 4 in the position of (b) of FIG.
한번 손가락을 벌리는 동작(줌아웃의 경우에는 한번 손가락을 오므리는 동작)에 대응하여 최소 배율의 화면에서 바로 최대 배율의 화면으로 배율을 키우도록(줌아웃의 경우에는 최대 배율의 화면에서 바로 최소 배율의 화면으로 배율을 줄이도록) 구성하면, 한번의 동작으로 너무 급격히 배율이 변하게 되어 원하는 만큼의 배율 조정이 어려워진다. 따라서 종래에는 두 번 이상의 줌인 제스처를 거쳐야 최소 배율의 화면에서 최대 배율의 화면으로 확대시킬 수 있도록 구성하고 있다. 그러나, 이로 인하여 원하는 배율의 화면을 얻기 위해서 줌 제스처를 여러 번 취해야 하는 불편함이 있다.In response to a one-finger spread operation (or one-finger pinch in the case of zoom-out), the magnification is increased directly from the screen of the minimum magnification to the screen of the maximum magnification. In this case, the magnification changes too rapidly in one operation, making it difficult to adjust the magnification as much as desired. Therefore, in the related art, it is configured to enlarge from the screen of the minimum magnification to the screen of the maximum magnification only through two or more zoom-in gestures. However, this is inconvenient to take a zoom gesture several times in order to obtain a screen of the desired magnification.
이러한 불편함을 해소하기 위하여 본 실시예에서는 줌 제스처의 말기에 임계압력 이상으로 화면을 누르면 화면을 현 시점의 배율보다 더 확대 또는 축소하여 표시한다.In order to alleviate this inconvenience, in the present embodiment, when the screen is pressed beyond the threshold pressure at the end of the zoom gesture, the screen is enlarged or reduced more than the current magnification.
이를 줌인 제스처의 경우를 예로 들어 설명한다. 사용자가 두 손가락을 화면 상의 두 접촉지점(P5, P6)에 접촉한 후에(줌인 제스처의 초기) 두 손가락이 서로 멀어지는 방향, 예를 들면 도 4의 (a)에서 화살표 방향으로 손가락을 벌린 다음에 손가락을 떼기 전(줌인 제스처의 말기)에 적어도 어느 한쪽의 접촉지점(P5', P6')을 임계압력보다 세게 누른다. 도 4의 (c)는 P6'을 임계압력보다 세게 누른 경우를 보여주고 있다. 그러면, 제어부(180)는 화면을 현 시점의 배율(도 4의 (c)에서의 배율)보다 더 확대하여 표시한다. 이 경우의 화면예가 도 4의 (d)에 도시되어 있다. 반대로 줌아웃 제스처의 경우에는 줌아웃 제스처의 말기에 적어도 어느 한쪽의 접촉지점(P5', P6')을 임계압력보다 세게 누르면 화면을 추가적으로 더 축소하여 표시한다. 실시예에 따라서는 두 접촉지점(P5', P6')을 모두 임계압력보다 세게 눌러야 이 기능이 작동하도록 구성할 수도 있다.This will be described taking the case of a zoom-in gesture as an example. After the user touches the two fingers with the two touch points P5 and P6 on the screen (initialization of the zoom-in gesture), the two fingers move apart from each other, for example, in the direction of the arrow in FIG. At least one of the contact points P5 'and P6' is pressed harder than the threshold pressure before releasing the finger (end of the zoom-in gesture). 4 (c) shows a case in which P6 'is pressed harder than the critical pressure. Then, the controller 180 displays the screen larger than the magnification of the present time (magnification in FIG. 4C). An example of the screen in this case is shown in Fig. 4D. On the contrary, in the case of the zoom-out gesture, pressing the at least one contact point P5 'or P6' harder than the threshold pressure at the end of the zoom-out gesture further reduces and displays the screen. In some embodiments, both of the contact points P5 'and P6' must be pressed harder than the critical pressure to configure this function.
도 4의 (d)에서의 최종 화면 배율은 다양한 방법으로 결정할 수 있다. 예를 들면, 제어부(180)는 줌 제스처의 말기에 감지된 접촉지점의 압력(예를 들면, 제1 접촉지점의 압력, 또는 제1 접촉지점의 압력과 제2 접촉지점의 압력의 평균치)의 크기에 대응하여 최종 화면 배율을 조절할 수 있다. 예를 들어, 줌인 동작의 경우에 이 압력이 제1 임계압력보다는 높고 제2 임계압력보다는 낮은 경우에는 최종 화면 배율을 도 4의 (c)에서의 배율보다 한단계 높은 배율로 하고, 이 압력이 제2 입계압력보다 높은 경우에는 최대 배율로 조절할 수 있다.The final screen magnification in FIG. 4D may be determined in various ways. For example, the controller 180 may determine the pressure at the contact point (for example, the pressure at the first contact point or the average value of the pressure at the first contact point and the second contact point) detected at the end of the zoom gesture. The final screen magnification can be adjusted according to the size. For example, in the case of the zoom-in operation, when the pressure is higher than the first threshold pressure and lower than the second threshold pressure, the final screen magnification is one step higher than the magnification in FIG. 4C, and the pressure is zero. 2 It can be adjusted at the maximum magnification if it is higher than the grain boundary pressure
또는, 제어부(180)는 줌 제스처의 말기에 감지된 접촉지점의 압력이 상기 임계압력보다 큰 상태를 유지하고 있는 동안 계속해서 화면을 확대하거나 축소하여 표시하도록 제어할 수도 있다. 예를 들어, 줌인 동작의 경우에 사용자가 도 4의 (c)의 상태를 유지하고 있는 동안에 배율을 계속해서 2배씩 증가시키도록 구성할 수 있다.Alternatively, the controller 180 may control to enlarge or reduce the screen continuously while the pressure of the contact point detected at the end of the zoom gesture is larger than the threshold pressure. For example, in the case of the zoom-in operation, the user may be configured to continuously increase the magnification by 2 times while maintaining the state of FIG. 4C.
또는, 제어부(180)는 줌 제스처의 말기에 임계압력 이상의 압력이 감지되면 그 시점의 배율에서 최종 화면 배율이 한계 배율이 될 때까지 계속해서 화면을 확대 또는 축소하여 표시하도록 제어할 수 있다. 예를 들어, 줌아웃 동작의 경우에 사용자가 줌아웃 제스처의 말기에 적어도 어느 한쪽의 접촉지점을 좀더 세게 눌러서 이 압력이 임계압력을 넘어서면, 제어부(180)는 줌아웃 제스처의 말기(접촉지점을 좀더 세게 누른 시점)에서의 배율에서 줌아웃 한계 배율인 최저 배율이 될 때까지 화면의 배율을 순차적으로 감소시키도록 제어할 수 있다.Alternatively, when the pressure greater than the threshold pressure is sensed at the end of the zoom gesture, the controller 180 may control to enlarge or reduce the screen continuously until the final screen magnification reaches the limit magnification at the magnification at that time. For example, in the case of the zoom-out operation, if the user presses at least one of the contact points harder at the end of the zoom-out gesture and the pressure exceeds the threshold pressure, the controller 180 may end the zoom-out gesture at the end of the zoom-out gesture. The magnification of the screen may be sequentially reduced until the magnification at the time of pressing) becomes the lowest magnification which is the zoom-out limit magnification.
임계압력은 적용되는 장치, 응용분야 등에 따라 적절하게 설정할 수 있다. 예를 들면, 임계압력을 줌 제스처 초기의 제1 접촉지점의 압력보다 소정 비율 높은 압력, 예를 들면 20% 높은 압력으로 설정할 수 있다. 또는, 임계압력을 줌 제스처 초기의 접촉지점의 압력보다 소정 크기만큼 높은 압력으로 설정하거나, 고정된 크기의 압력으로 설정할 수도 있다.The critical pressure can be appropriately set according to the apparatus, application field, etc. to which it is applied. For example, the threshold pressure may be set to a predetermined ratio higher pressure, for example, 20% higher than the pressure at the first point of contact at the beginning of the zoom gesture. Alternatively, the threshold pressure may be set to a pressure higher than the pressure of the contact point at the beginning of the zoom gesture by a predetermined size or to a fixed size pressure.
< 제4 실시예 >Fourth Embodiment
도 5는 본 발명의 제4 실시예에 따른 시점 변경 동작을 설명하기 위한 도면으로서, 3차원 지도 화면의 시점을 변경하여 보는 경우를 보여주고 있다. 본 발명은 3차원 지도 화면의 시점을 변경하여 보는 경우 이외에도 3차원 캐드(CAD) 화면, 3차원 영상 게임 화면 등 3차원 벡터 화상으로 이루어지는 다양한 화면의 시점 변경 동작에 적용할 수 있다.FIG. 5 is a view for explaining a viewpoint change operation according to a fourth embodiment of the present invention, and illustrates a case of changing and viewing a viewpoint of a 3D map screen. The present invention can be applied to a viewpoint change operation of various screens including three-dimensional vector images, such as a three-dimensional CAD screen and a three-dimensional video game screen, in addition to changing and viewing a three-dimensional map screen.
일반적으로 2차원 지도 화면에서는 손가락 하나를 화면에 대고 한 방향으로 이동시키면(스크롤 제스처) 최초에 손가락이 닿았던 부분의 좌표에 해당하는 지도 이미지가 손가락의 이동을 따라 이동하게 된다. 따라서, 사용자는 스크롤 제스처를 사용하여 지도 상의 보고 싶은 부분을 화면의 중앙으로 이동시킬 수 있다. 그런데 3차원 지도의 경우에는 도 5에 도시된 것처럼 화면의 중앙에 위치한 지도상의 좌표는 변경하지 않으면서도 해당 좌표를 바라보는 시점을 변경시킬 수 있다. 그런데, 종래에는 시점을 변경시키기 위해서는 별도로 마련된 시점 변경 아이콘을 클릭하여야 하므로 사용이 불편하고, 시점 변경 아이콘이 화면상의 일정 부분을 차지하고 있어야 하므로 지도가 표시되는 부분이 좁아지는 단점이 있었다.In general, in a two-dimensional map screen, if one finger is moved in one direction (scroll gesture) on the screen, the map image corresponding to the coordinates of the portion where the finger first touched moves with the movement of the finger. Accordingly, the user may move a portion of the map to the center of the screen using a scroll gesture. However, in the case of a 3D map, as shown in FIG. 5, the view point of the coordinate can be changed without changing the coordinate on the map located at the center of the screen. However, in the related art, it is inconvenient to use the viewpoint change icon separately provided to change the viewpoint, and the portion where the map is displayed is narrowed because the viewpoint change icon should occupy a certain portion on the screen.
본 발명의 제4 실시예는 이러한 점을 해결하기 위하여 사용자가 화면 상의 한 지점(이하, '접촉지점'이라 함)을 임계압력 이상으로 누르면 접촉지점의 위치에 대응하여 3차원 벡터 화상의 시점을 조절하여 표시하도록 제어하고 있다.In the fourth embodiment of the present invention, when a user presses a point on the screen (hereinafter referred to as a “contact point”) above a threshold pressure to solve this point, the viewpoint of the three-dimensional vector image is corresponding to the position of the contact point. It is controlled to display.
접촉지점의 위치에 대응하여 시점을 조절하는 방법으로는 다양한 방법이 사용될 수 있다. 이를 설명하기 위하여 먼저 3차원 벡터 화상을 렌더링할 때 사용되는 구면좌표계(spherical coordinate system)에 대해서 설명한다. 도 6은 구면좌표계(spherical coordinate system)를 보여주는 도면이다.Various methods may be used as a method of adjusting the view corresponding to the position of the contact point. To explain this, first, a spherical coordinate system used when rendering a 3D vector image will be described. 6 shows a spherical coordinate system.
도 6에서 피관찰대상은 좌표계의 원점(O)에 위치하고 관찰자는 지름 r의 구(sphere)의 표면 상의 한 지점(P)에 위치한다. 이때, 관찰자의 좌표는 지름 r, 수평각 φ, 수직각 θ로 나타낼 수 있다. 관찰자의 관찰 거리 r이 일정하다고 가정하면 관찰자가 피관찰대상을 바라보는 시점은 수평각 φ와 수직각 θ로 나타낼 수 있다.In FIG. 6 the object to be observed is located at the origin O of the coordinate system and the observer is located at a point P on the surface of a sphere of diameter r. In this case, the coordinates of the observer may be represented by a diameter r, a horizontal angle φ, and a vertical angle θ. Assuming that the observer's observation distance r is constant, the viewing point of the observer can be represented by the horizontal angle φ and the vertical angle θ.
도 7은 본 발명의 제4 실시예에서 화면상의 접촉지점과 시점 변경과의 상관관계를 설명하기 위한 도면이다. 도 7에서 사용자가 임계압력 이상으로 누른 접촉지점을 P7이라 하고, 화면의 중앙을 원점(C)으로 하는 평면좌표 상에서 접촉지점의 x축 값을 x1, y축의 값을 y1이라 하면 접촉지점 P7의 좌표는 (x1,y1)이 된다.FIG. 7 is a diagram for describing a correlation between a touch point on a screen and a viewpoint change in a fourth exemplary embodiment of the present invention. In FIG. 7, if the contact point pressed by the user above the critical pressure is P7, and the x-axis value of the contact point is x1 and the y-axis value is y1 on the plane coordinate where the center of the screen is the origin C, the contact point P7 is The coordinate is (x1, y1).
본 실시예에서는 접촉지점 P7의 좌표 (x1,y1)의 값에 따라 시점을 변경시킨다. 이하의 설명에서 시점 수직각은 도 6에서의 수직각 θ에 해당하며, 시점 수평각은 도 6에서의 수평각 φ에 해당한다. In this embodiment, the viewpoint is changed according to the value of the coordinate (x1, y1) of the contact point P7. In the following description, the viewpoint vertical angle corresponds to the vertical angle θ in FIG. 6, and the viewpoint horizontal angle corresponds to the horizontal angle φ in FIG. 6.
실시예에 따라서는 y축의 좌표값에 따라서만 시점을 변경하여 표시할 수 있다. 예를 들어, 접촉지점(P7)의 위치가 화면의 중앙보다 위인 경우, 즉 y1이 양의 값을 갖는 경우에는 시점 수직각을 증가시키고 화면의 중앙보다 아래인 경우, 즉 y1이 음의 값을 갖는 경우에는 시점 수직각을 감소시킨다. 도 5의 예는 이러한 경우의 예로서, 접촉지점(P7)의 위치가 화면의 중앙보다 위이므로 시점 수직각의 증가되어 시점이 지면에 가까워진다. 이는 도 5의 (a) 화면에서 화면의 중앙보다 위를 누르면 마치 도 6에서 관찰자는 하늘에 떠 있는 상태에서 구의 윗부분을 눌러서 원점(O)을 중심으로 구가 뒤로 회전하여 z축이 뒤로 회전함으로써 수직각 θ가 증가하여 시점의 고도가 낮아지는 직관적인 효과를 나타내기 위함이다.According to the exemplary embodiment, the viewpoint may be changed and displayed only according to the coordinate values of the y-axis. For example, if the position of the contact point P7 is above the center of the screen, that is, if y1 has a positive value, the viewpoint vertical angle is increased and if it is below the center of the screen, that is, y1 is a negative value. If so, the viewpoint vertical angle is reduced. The example of FIG. 5 is an example of such a case. Since the position of the contact point P7 is above the center of the screen, the viewpoint vertical angle is increased so that the viewpoint becomes closer to the ground. In the screen of FIG. 5 (a), when the user presses the center of the screen, the observer presses the upper part of the sphere in the state of floating in the sky in FIG. 6 so that the sphere rotates backward about the origin (O) and the z axis rotates backward. This is to show an intuitive effect of decreasing the altitude of the viewpoint by increasing the vertical angle θ.
또한, 실시예에 따라서는 x축의 좌표값에 따라서만 시점을 변경하여 표시할 수 있다. 예를 들어, 접촉지점(P7)의 위치가 화면의 중앙보다 좌측인 경우에는 시점을 우측으로 이동시키고(즉, 시점 수평각을 증가시키고) 화면의 중앙보다 우측인 경우에는 시점을 좌측으로 이동시킨다(즉, 시점 수평각을 감소시킨다). 이는 직관적으로 볼 때 도 5의 (a) 화면에서 화면의 중앙보다 좌측을 누르면 원점을 중심으로 좌측 부분이 뒤로 가고 우측 부분이 앞으로 나오는 효과를 나타내기 위함이다.In some embodiments, the viewpoint may be changed and displayed only in accordance with the coordinate value of the x-axis. For example, when the position of the contact point P7 is to the left of the center of the screen, the viewpoint is moved to the right (that is, the horizontal angle of view is increased), and when the position of the contact point P7 is to the right than the center of the screen, the viewpoint is moved to the left ( That is, the viewpoint horizontal angle is reduced). Intuitively, when the left side is pressed from the center of the screen in the screen of FIG. 5 (a), the left part is moved backward from the origin and the right part is brought forward.
또한, 실시예에 따라서는 x축의 좌표값과 y축의 좌표값을 모두 고려하여 시점을 변경할 수 있다. 예를 들어, 접촉지점(P7)의 위치가 화면의 좌상인 경우, 즉 y1의 값은 양이고 x1의 값은 음인 경우에는 시점 수직각과 시점 수평각을 모두 증가시키며, 접촉지점(P7)의 위치가 화면의 우상인 경우, 즉 y1과 x1의 값이 모두 양인 경우에는 시점 수직각은 증가시키고 시점 수평각은 감소시키며, 접촉지점(P7)의 위치가 화면의 좌하인 경우, 즉 y1과 x1의 값이 모두 음인 경우에는 시점 수직각은 감소시키고 시점 수평각은 증가시키며, 접촉지점(P7)의 위치가 화면의 우하인 경우, 즉 y1의 값은 음이고 x1의 값은 양인 경우에는 시점 수직각과 시점 수평각을 모두 감소시킨다. According to an embodiment, the viewpoint may be changed in consideration of both the coordinate value of the x-axis and the coordinate value of the y-axis. For example, when the position of the contact point P7 is the upper left of the screen, that is, when the value of y1 is positive and the value of x1 is negative, both the viewpoint vertical angle and the viewpoint horizontal angle are increased, and the position of the contact point P7 is increased. Is the upper right of the screen, i.e., if both y1 and x1 are positive, the vertical angle of view is increased and the horizontal angle of view is decreased, and if the position of contact point P7 is lower left of the screen, i.e., the value of y1 and x1 If all of these are negative, the view vertical angle decreases and the view horizontal angle increases, and if the position of the contact point P7 is at the bottom right of the screen, that is, if the value of y1 is negative and the value of x1 is positive, Reduce all horizontal angles.
한편, 시점의 변화 정도, 즉 시점 수직각 및/또는 시점 수평각의 증감 정도는 접촉의 압력, 접촉의 시간, 화면 중앙으로부터 접촉지점까지의 거리 중의 어느 하나 또는 그 이상에 따라 결정할 수 있다. 즉, 접촉의 압력이 높으면 시점 변경 정도를 크게 하고, 접촉의 시간이 길면 시점 변경 정도를 크게 하고, 화면의 중앙에서 먼 곳을 누를수록 시점 변경 정도를 크게 할 수 있다. 또는, 접촉지점(P7)의 압력이 임계압력보다 큰 상태를 유지하고 있는 동안 계속해서 해당 화면의 시점을 조절하여 표시하도록 제어할 수도 있다.The degree of change of the viewpoint, that is, the degree of increase and decrease of the viewpoint vertical angle and / or the viewpoint horizontal angle may be determined according to any one or more of the pressure of the contact, the time of the contact, and the distance from the center of the screen to the contact point. In other words, when the contact pressure is high, the degree of viewpoint change may be increased, and when the contact time is long, the degree of viewpoint change may be increased, and as the distance from the center of the screen is pressed, the degree of viewpoint change may be increased. Alternatively, while the pressure at the contact point P7 is maintained above the critical pressure, it may be controlled to continuously adjust and display the viewpoint of the screen.
임계압력은 적용되는 장치, 응용분야 등에 따라 적절하게 설정할 수 있다. 예를 들면, 임계압력을 고정된 크기의 압력으로 설정할 수 있으며, 이 크기는 하드웨어 특성, 소프트웨어 특성 등에 따라 적절하게 결정할 수 있다.The critical pressure can be appropriately set according to the apparatus, application field, etc. to which it is applied. For example, the critical pressure can be set to a fixed magnitude of pressure, which can be appropriately determined according to hardware characteristics, software characteristics, and the like.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the above embodiments are included in one embodiment of the present invention, and are not necessarily limited to one embodiment. Furthermore, the features, structures, effects, and the like illustrated in the embodiments may be combined or modified with respect to other embodiments by those skilled in the art to which the embodiments belong. Therefore, contents related to such combinations and modifications should be construed as being included in the scope of the present invention.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, the above description has been made with reference to the embodiment, which is merely an example, and is not intended to limit the present invention. Those skilled in the art to which the present invention pertains will be illustrated as above without departing from the essential characteristics of the present embodiment. It will be appreciated that various modifications and applications are possible. For example, each component specifically shown in the embodiment can be modified. And differences relating to such modifications and applications will have to be construed as being included in the scope of the invention defined in the appended claims.
본 발명에 따르면 터치 압력에 반응하여 벡터 방식의 이미지의 화면 표시를 제어하므로 화면 조작이 보다 간편해진다.According to the present invention, the screen display of the vector type image is controlled in response to the touch pressure, thereby simplifying the screen operation.
또한 본 발명에 따르면, 두 손가락을 이용한 줌인(zoom-in) 또는 줌아웃(zoom-out) 동작을 보다 편리하게 활용할 수 있다.In addition, according to the present invention, the zoom-in or zoom-out operation using two fingers can be more conveniently utilized.
또한 본 발명에 따르면, 3차원 벡터 이미지에서 시점의 변경 동작을 용이하게 조작할 수 있다.In addition, according to the present invention, the operation of changing the viewpoint in the 3D vector image can be easily manipulated.

Claims (60)

  1. 압력 감지가 가능한 터치 스크린을 가진 장치에서의 화면 제어 방법에 있어서,In the screen control method in a device having a touch screen capable of pressure sensing,
    제1 접촉지점과 제2 접촉지점 사이의 거리가 멀어지는 줌인 제스처에 따라 화면을 확대하여 표시하는 줌인 단계와,A zoom-in step of enlarging and displaying the screen according to a zoom-in gesture in which the distance between the first contact point and the second contact point is far;
    줌인 단계 이후 제1 접촉지점의 압력이 임계압력보다 커지면 화면이 확대된 상태에서 제1 접촉지점의 위치를 고려하여 화면을 이동시키는 화면이동단계After the zoom-in step, if the pressure of the first contact point is greater than the threshold pressure, the screen shift step moves the screen in consideration of the position of the first contact point while the screen is enlarged.
    를 포함하는 화면 제어 방법.Screen control method comprising a.
  2. 제1항에 있어서, 화면이동단계에서 제1 접촉지점이 화면의 중앙에 오도록 화면을 이동시키는 것을 특징으로 하는 화면 제어 방법.The screen control method according to claim 1, wherein the screen is moved so that the first contact point is in the center of the screen in the screen moving step.
  3. 제1항에 있어서, 화면이동단계에서 제1 접촉지점이 화면의 중앙 방향으로 이동하도록 화면을 이동시키는 것을 특징으로 하는 화면 제어 방법.The method of claim 1, wherein the screen is moved so that the first contact point is moved toward the center of the screen in the screen moving step.
  4. 제1항에 있어서, 화면이동단계에서 화면의 중앙이 제1 접촉지점 방향으로 이동하도록 화면을 이동시키는 것을 특징으로 하는 화면 제어 방법.The method of claim 1, wherein the screen is moved in such a manner that the screen moves so that the center of the screen moves in the direction of the first contact point.
  5. 제3항 또는 제4항에 있어서, 줌인 제스처 말기의 제1 접촉지점의 압력이 상기 임계압력보다 큰 상태를 유지하고 있는 동안 화면을 이동시키는 것을 특징으로 하는 화면 제어 방법.The screen control method according to claim 3 or 4, wherein the screen is moved while the pressure at the first point of contact at the end of the zoom-in gesture is maintained above the threshold pressure.
  6. 제3항 또는 제4항에 있어서, 줌인 제스처 말기의 제1 접촉지점의 압력의 크기에 따라 화면 이동 거리를 조절하는 것을 특징으로 하는 화면 제어 방법.The screen control method according to claim 3 or 4, wherein the screen movement distance is adjusted according to the magnitude of the pressure of the first point of contact at the end of the zoom-in gesture.
  7. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 비율 높은 압력인 것을 특징으로 하는 화면 제어 방법.The screen control method according to any one of claims 1 to 4, wherein the threshold pressure is a predetermined ratio higher than the pressure at the first contact point at the beginning of the zoom-in gesture.
  8. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 크기만큼 높은 압력인 것을 특징으로 하는 화면 제어 방법.The screen control method according to any one of claims 1 to 4, wherein the threshold pressure is a pressure higher than a pressure of the first contact point at the beginning of the zoom-in gesture.
  9. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 임계압력은 고정된 크기의 압력인 것을 특징으로 하는 화면 제어 방법.5. The screen control method according to any one of claims 1 to 4, wherein the threshold pressure is a fixed magnitude of pressure.
  10. 압력 감지가 가능한 터치 스크린을 가진 장치에서의 화면 제어 방법에 있어서,In the screen control method in a device having a touch screen capable of pressure sensing,
    제1 접촉지점과 제2 접촉지점 사이의 거리가 멀어지는 줌인 제스처에 따라 화면을 확대하여 표시하는 줌인 단계와,A zoom-in step of enlarging and displaying the screen according to a zoom-in gesture in which the distance between the first contact point and the second contact point is far;
    줌인 제스처의 도중에 적어도 어느 하나의 접촉지점의 압력이 임계압력보다 커지면 압력이 커진 시점의 확대 화면에 맞도록 화면의 해상도를 갱신하여 화면을 표시하는 해상도 갱신 단계The resolution updating step of displaying the screen by updating the resolution of the screen so that the pressure of the at least one contact point becomes larger than the threshold pressure during the zoom-in gesture to fit the enlarged screen when the pressure is increased.
    를 포함하는 화면 제어 방법.Screen control method comprising a.
  11. 제10항에 있어서, 해상도 갱신 단계는 제1 접촉지점과 제2 접촉지점이 모두 상기 임계압력보다 커지는 경우에 수행되는 것인, 화면 제어 방법.The method of claim 10, wherein the resolution updating step is performed when both the first contact point and the second contact point are larger than the threshold pressure.
  12. 제10항 또는 제11항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 비율 높은 압력인 것을 특징으로 하는 화면 제어 방법.12. The screen control method according to claim 10 or 11, wherein the threshold pressure is a predetermined ratio higher than the pressure of the first contact point at the beginning of the zoom-in gesture.
  13. 제10항 또는 제11항에 있어서, 상기 임계압력은 제스처 초기의 제1 접촉지점의 압력보다 소정 크기만큼 높은 압력인 것을 특징으로 하는 화면 제어 방법.12. The screen control method according to claim 10 or 11, wherein the threshold pressure is a pressure higher than a pressure of the first contact point at the beginning of the gesture by a predetermined amount.
  14. 제10항 또는 제11항에 있어서, 상기 임계압력은 고정된 크기의 압력인 것을 특징으로 하는 화면 제어 방법.The method of claim 10, wherein the threshold pressure is a fixed size pressure.
  15. 압력 감지가 가능한 터치 스크린을 가진 장치에서의 화면 제어 방법에 있어서,In the screen control method in a device having a touch screen capable of pressure sensing,
    제1 접촉지점과 제2 접촉지점 사이의 거리가 멀어지거나 가까워지는 줌 제스처에 따라 화면을 확대하거나 축소하여 표시하는 줌 단계와,A zooming step of zooming in or out of the screen according to a zooming gesture in which the distance between the first contact point and the second contact point becomes farther or nearer;
    줌 단계 이후 적어도 어느 하나의 접촉지점의 압력이 임계압력보다 커지면 추가적으로 화면을 더 확대하거나 축소하여 표시하는 줌 지속 단계After the zooming step, if the pressure of at least one of the contact points becomes greater than the critical pressure, the zoom continuing step further displays the screen further enlarged or reduced.
    를 포함하는 화면 제어 방법.Screen control method comprising a.
  16. 제15항에 있어서, 줌 지속 단계는 제1 접촉지점과 제2 접촉지점이 모두 상기 임계압력보다 큰 경우에 수행되는 것인, 화면 제어 방법.The method of claim 15, wherein the zoom sustaining step is performed when both the first contact point and the second contact point are greater than the threshold pressure.
  17. 제15항에 있어서, 줌 지속 단계에서 감지된 제1 접촉지점의 압력의 크기에 따라 최종 화면 배율을 조절하는 것을 특징으로 하는 화면 제어 방법.The method of claim 15, wherein the final screen magnification is adjusted according to the magnitude of the pressure of the first contact point detected in the zoom sustaining step.
  18. 제15항에 있어서, 줌 지속 단계는 제1 접촉지점의 압력이 상기 임계압력보다 큰 상태를 유지하고 있는 동안 계속해서 수행되는 것을 특징으로 하는 화면 제어 방법.16. The screen control method according to claim 15, wherein the zoom sustaining step is continuously performed while the pressure at the first point of contact maintains a state larger than the threshold pressure.
  19. 제15항에 있어서, 줌 지속 단계는 최종 화면 배율이 한계 배율이 될 때까지 수행되는 것을 특징으로 하는 화면 제어 방법.The method of claim 15, wherein the zoom sustaining step is performed until the final screen magnification reaches a limit magnification.
  20. 제15항 내지 제19항 중 어느 한 항에 있어서, 상기 임계압력은 줌인 단계에서의 제1 접촉지점의 압력보다 소정 비율 높은 압력인 것을 특징으로 하는 화면 제어 방법.20. The screen control method according to any one of claims 15 to 19, wherein the threshold pressure is a predetermined ratio higher than the pressure at the first contact point in the zooming step.
  21. 제15항 내지 제19항 중 어느 한 항에 있어서, 상기 임계압력은 줌인 단계에서의 제1 접촉지점의 압력보다 소정 크기만큼 높은 압력인 것을 특징으로 하는 화면 제어 방법.20. The screen control method according to any one of claims 15 to 19, wherein the threshold pressure is a pressure higher by a predetermined magnitude than the pressure of the first contact point in the zooming step.
  22. 제15항 내지 제19항 중 어느 한 항에 있어서, 상기 임계압력은 고정된 크기의 압력인 것을 특징으로 하는 화면 제어 방법.20. The screen control method according to any one of claims 15 to 19, wherein the threshold pressure is a fixed magnitude of pressure.
  23. 압력 감지가 가능한 터치 스크린을 가진 장치에서의 3차원 벡터 화상의 화면 제어 방법에 있어서,In the screen control method of a three-dimensional vector image in a device having a touch screen capable of pressure sensing,
    화면 상의 한 지점(이하, '접촉지점'이라 함)에서 사용자의 접촉이 감지되면 해당 접촉의 압력이 입계압력 이상인지를 확인하는 압력 감지 단계와,When a user's touch is detected at a point on the screen (hereinafter referred to as 'contact point'), a pressure sensing step of checking whether the pressure of the contact is greater than the threshold pressure,
    압력 감지 단계에서 확인 결과가 임계압력 이상인 경우에 상기 접촉지점의 위치에 대응하여 3차원 벡터 화상의 시점을 조절하여 표시하는 시점 조절 단계In the pressure sensing step, when the check result is more than the critical pressure, the viewpoint adjustment step of adjusting and displaying the viewpoint of the 3D vector image corresponding to the position of the contact point
    를 포함하는 화면 제어 방법.Screen control method comprising a.
  24. 제23항에 있어서, 상기 접촉지점의 위치가 화면의 중앙보다 위인 경우에는 시점 수직각을 증가시키고 화면의 중앙보다 아래인 경우에는 시점 수직각을 감소시키는 것인, 화면 제어 방법.24. The method of claim 23, wherein the viewpoint vertical angle is increased when the position of the contact point is above the center of the screen, and the viewpoint vertical angle is decreased when it is below the center of the screen.
  25. 제23항에 있어서, 상기 접촉지점의 위치가 화면의 중앙보다 좌측인 경우에는 시점 수평각을 증가시키고 화면의 중앙보다 우측인 경우에는 시점 수평각을 감소시키는 것인, 화면 제어 방법.24. The method of claim 23, wherein the horizontal point of view is increased when the position of the contact point is greater than the center of the screen, and the horizontal point of view is decreased when the position of the contact point is left of the screen.
  26. 제23항에 있어서, 상기 접촉지점의 위치가 화면의 좌상인 경우에는 시점 수직각과 시점 수평각을 모두 증가시키며, 상기 접촉지점의 위치가 화면의 우상인 경우에는 시점 수직각은 증가시키고 시점 수평각은 감소시키며, 상기 접촉지점의 위치가 화면의 좌하인 경우에는 시점 수직각은 감소시키고 시점 수평각은 증가시키며, 상기 접촉지점의 위치가 화면의 우하인 경우에는 시점 수직각과 시점 수평각을 모두 감소시키는 것인, 화면 제어 방법.24. The method of claim 23, wherein when the position of the contact point is the upper left of the screen, both the view vertical angle and the view horizontal angle are increased. When the contact point is the upper right of the screen, the view vertical angle is increased and the view horizontal angle is increased. Reducing the view point vertical angle when the position of the contact point is lower left of the screen and increasing the view point horizontal angle, and decreasing both the view point vertical angle and the view point horizontal angle when the contact point position is the lower right of the screen. , Screen control method.
  27. 제23항 내지 제26항 중 어느 한 항에 있어서, 시점의 변화 정도는 상기 접촉의 압력에 따라 결정되는 것인, 화면 제어 방법.27. The screen control method according to any one of claims 23 to 26, wherein the degree of change of the viewpoint is determined according to the pressure of the contact.
  28. 제23항 내지 제26항 중 어느 한 항에 있어서, 시점의 변화 정도는 상기 접촉의 시간에 따라 결정되는 것인, 화면 제어 방법.27. The screen control method according to any one of claims 23 to 26, wherein the degree of change in the viewpoint is determined according to the time of the contact.
  29. 제23항 내지 제26항 중 어느 한 항에 있어서, 시점의 변화 정도는 화면 중앙으로부터 상기 접촉지점까지의 거리에 따라 결정되는 것인, 화면 제어 방법.27. The screen control method according to any one of claims 23 to 26, wherein the degree of change in the viewpoint is determined according to the distance from the center of the screen to the contact point.
  30. 제23항 내지 제26항 중 어느 한 항에 있어서, 시점 조절 단계는 상기 접촉지점의 압력이 상기 임계압력보다 큰 상태를 유지하고 있는 동안 계속해서 수행되는 것을 특징으로 하는 화면 제어 방법.27. The screen control method according to any one of claims 23 to 26, wherein the viewpoint adjustment step is continuously performed while the pressure at the contact point is maintained above the threshold pressure.
  31. 디스플레이 소자와, 화면 상의 접촉을 감지하는 터치 감지 소자를 포함하는 터치 스크린;A touch screen including a display element and a touch sensing element for sensing a touch on a screen;
    터치 스크린 화면 상에 터치된 곳의 압력의 크기를 감지할 수 있는 압력 감지 수단;Pressure sensing means capable of sensing the magnitude of the pressure where it is touched on the touch screen screen;
    터치 스크린 및 압력 감지 수단을 통한 사용자의 입력에 따라 터치 스크린의 화면을 제어하되, 제1 접촉지점과 제2 접촉지점 사이의 거리가 멀어지는 줌인 제스처가 감지되면 이에 따라 화면을 확대하여 표시하고, 줌인 제스처의 말기의 제1 접촉지점의 압력(이하, '종료 압력'이라 함)이 임계압력보다 커지면 화면이 확대된 상태에서 화면이 확대된 상태에서 제1 접촉지점의 위치를 고려하여 화면을 이동하도록 터치 스크린을 제어하는 제어부Controls the screen of the touch screen according to a user's input through the touch screen and the pressure sensing means. When a zoom-in gesture is detected in which the distance between the first contact point and the second contact point is farther away, the screen is enlarged and displayed accordingly. When the pressure of the first contact point (hereinafter referred to as 'end pressure') at the end of the gesture is greater than the threshold pressure, the screen is moved in consideration of the position of the first contact point in the enlarged state while the screen is enlarged. Control unit to control the touch screen
    를 구비하는 터치 감지 디스플레이 장치.Touch-sensitive display device having a.
  32. 제31항에 있어서, 상기 제어부는 제1 접촉지점이 화면의 중앙에 오도록 제어하는 것을 특징으로 하는 터치 감지 디스플레이 장치.32. The touch sensitive display device of claim 31, wherein the controller controls the first contact point to be at the center of the screen.
  33. 제31항에 있어서, 상기 제어부는 제1 접촉지점이 화면의 중앙 방향으로 이동하도록 제어하는 것을 특징으로 하는 터치 감지 디스플레이 장치.32. The touch sensitive display device of claim 31, wherein the controller controls the first contact point to move toward the center of the screen.
  34. 제31항에 있어서, 상기 제어부는 화면의 중앙이 제1 접촉지점 방향으로 이동하도록 제어하는 것을 특징으로 하는 터치 감지 디스플레이 장치.The touch-sensitive display device of claim 31, wherein the controller controls the center of the screen to move toward the first contact point.
  35. 제33항 또는 제34항에 있어서, 상기 제어부는 줌인 제스처 말기의 제1 접촉지점의 압력이 상기 임계압력보다 큰 상태를 유지하고 있는 동안 화면을 이동시키도록 제어하는 것을 특징으로 하는 터치 감지 디스플레이 장치.35. The touch-sensitive display device of claim 33 or 34, wherein the controller controls the screen to move while the pressure at the first point of contact at the end of the zoom-in gesture is greater than the threshold pressure. .
  36. 제33항 또는 제34항에 있어서, 상기 제어부는 줌인 제스처 말기의 제1 접촉지점의 압력의 크기에 따라 화면 이동 거리를 조절하는 것을 특징으로 하는 터치 감지 디스플레이 장치.35. The touch sensitive display device of claim 33 or 34, wherein the controller adjusts the screen movement distance according to the magnitude of the pressure at the first point of contact at the end of the zoom-in gesture.
  37. 제31항 내지 제34항 중 어느 한 항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 비율 높은 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.35. The touch sensitive display device according to any one of claims 31 to 34, wherein the threshold pressure is a pressure higher than the pressure at the first contact point at the beginning of the zoom-in gesture.
  38. 제31항 내지 제34항 중 어느 한 항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 크기만큼 높은 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.35. The touch sensitive display device according to any one of claims 31 to 34, wherein the threshold pressure is a pressure higher than the pressure at the first contact point at the beginning of the zoom-in gesture.
  39. 제31항 내지 제34항 중 어느 한 항에 있어서, 상기 임계압력은 고정된 크기의 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.35. The touch sensitive display device of claim 31, wherein the threshold pressure is a fixed magnitude of pressure.
  40. 디스플레이 소자와, 화면 상의 접촉을 감지하는 터치 감지 소자를 포함하는 터치 스크린;A touch screen including a display element and a touch sensing element for sensing a touch on a screen;
    터치 스크린 화면 상에 터치된 곳의 압력의 크기를 감지할 수 있는 압력 감지 수단;Pressure sensing means capable of sensing the magnitude of the pressure where it is touched on the touch screen screen;
    터치 스크린 및 압력 감지 수단을 통한 사용자의 입력에 따라 터치 스크린의 화면을 제어하되, 제1 접촉지점과 제2 접촉지점 사이의 거리가 멀어지는 줌인 제스처가 감지되면 이에 따라 화면을 확대하여 표시하되, 줌인 제스처의 도중에 적어도 어느 하나의 접촉지점의 압력이 임계압력보다 커지면 현재의 확대 화면에 맞도록 화면의 해상도를 갱신하여 화면을 표시하도록 제어하는 제어부Control the screen of the touch screen according to a user's input through the touch screen and the pressure sensing means, and when a zoom-in gesture is detected in which the distance between the first contact point and the second contact point is farther away, the screen is enlarged and displayed accordingly. The control unit controls to display the screen by updating the resolution of the screen to fit the current enlarged screen when the pressure of at least one contact point is greater than the threshold pressure during the gesture.
    를 구비하는 터치 감지 디스플레이 장치.Touch-sensitive display device having a.
  41. 제40항에 있어서, 상기 제어부는 줌인 제스처의 도중에 제1 접촉지점과 제2 접촉지점이 모두 상기 임계압력보다 커지는 경우에만 화면의 해상도를 갱신하도록 제어하는 것인, 터치 감지 디스플레이 장치.The touch-sensitive display device of claim 40, wherein the controller is configured to update the screen resolution only when both the first contact point and the second contact point are greater than the threshold pressure during the zoom-in gesture.
  42. 제40항 또는 제41항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 비율 높은 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.42. The touch sensitive display device according to claim 40 or 41, wherein the threshold pressure is a predetermined ratio higher than the pressure at the first contact point at the beginning of the zoom-in gesture.
  43. 제40항 또는 제41항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 크기만큼 높은 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.42. The touch sensitive display device according to claim 40 or 41, wherein the threshold pressure is a pressure higher than a pressure of the first contact point at the beginning of the zoom-in gesture.
  44. 제40항 또는 제41항에 있어서, 상기 임계압력은 고정된 크기의 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.42. The touch sensitive display device of claim 40 or 41, wherein the threshold pressure is a fixed magnitude of pressure.
  45. 디스플레이 소자와, 화면 상의 접촉을 감지하는 터치 감지 소자를 포함하는 터치 스크린;A touch screen including a display element and a touch sensing element for sensing a touch on a screen;
    터치 스크린 화면 상에 터치된 곳의 압력의 크기를 감지할 수 있는 압력 감지 수단;Pressure sensing means capable of sensing the magnitude of the pressure where it is touched on the touch screen screen;
    터치 스크린 및 압력 감지 수단을 통한 사용자의 입력에 따라 터치 스크린의 화면을 제어하되, 제1 접촉지점과 제2 접촉지점 사이의 거리가 멀어지거나 가까워지는 줌 제스처가 감지되면 이에 따라 화면을 확대하거나 축소하여 표시하고, 줌 제스처의 말기에 적어도 어느 하나의 접촉지점의 압력이 임계압력보다 커지면 추가적으로 화면을 더 확대하거나 축소하여 표시하도록 제어하는 제어부Control the screen of the touch screen according to the user's input through the touch screen and the pressure sensing means, and when the zoom gesture is detected that the distance between the first contact point and the second contact point becomes farther or closer, the screen is enlarged or reduced accordingly. Control unit to control the display to be enlarged or reduced further when the pressure of at least one contact point is greater than the threshold pressure at the end of the zoom gesture.
    를 구비하는 터치 감지 디스플레이 장치.Touch-sensitive display device having a.
  46. 제45항에 있어서, 상기 제어부는 줌인 제스처의 말기에 제1 접촉지점과 제2 접촉지점이 모두 상기 임계압력보다 큰 경우에만 추가적으로 화면을 더 확대하거나 축소하여 표시하도록 제어하는 것인, 터치 감지 디스플레이 장치.The touch-sensitive display of claim 45, wherein the controller controls to further enlarge or reduce the screen to be displayed only when both the first contact point and the second contact point are larger than the threshold pressure at the end of the zoom-in gesture. Device.
  47. 제45항에 있어서, 상기 제어부는 줌인 제스처의 말기에 감지된 제1 접촉지점의 압력의 크기에 따라 최종 화면 배율을 조절하는 것을 특징으로 하는 터치 감지 디스플레이 장치.46. The touch sensitive display device of claim 45, wherein the controller adjusts the final screen magnification according to the magnitude of the pressure of the first contact point detected at the end of the zoom-in gesture.
  48. 제45항에 있어서, 상기 제어부는 줌인 제스처의 말기에 감지된 제1 접촉지점의 압력이 상기 임계압력보다 큰 상태를 유지하고 있는 동안 계속해서 화면을 확대하거나 축소하여 표시하도록 제어하는 것을 특징으로 하는 터치 감지 디스플레이 장치.46. The method of claim 45, wherein the control unit continuously controls to enlarge or reduce the display while the pressure of the first contact point detected at the end of the zoom-in gesture is greater than the threshold pressure. Touch sensitive display device.
  49. 제45항에 있어서, 상기 제어부는 최종 화면 배율이 한계 배율이 될 때까지 계속해서 화면을 확대하거나 축소하여 표시하도록 제어하는 것을 특징으로 하는 터치 감지 디스플레이 장치.The touch-sensitive display device of claim 45, wherein the controller is configured to continuously enlarge or reduce the screen until the final screen magnification reaches a limit magnification.
  50. 제45항 내지 제49항 중 어느 한 항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 비율 높은 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.50. The touch sensitive display device according to any one of claims 45 to 49, wherein the threshold pressure is a pressure higher than the pressure at the first contact point at the beginning of the zoom-in gesture.
  51. 제45항 내지 제49항 중 어느 한 항에 있어서, 상기 임계압력은 줌인 제스처 초기의 제1 접촉지점의 압력보다 소정 크기만큼 높은 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.50. The touch sensitive display device according to any one of claims 45 to 49, wherein the threshold pressure is a pressure higher than a pressure of the first contact point at the beginning of the zoom-in gesture.
  52. 제45항 내지 제49항 중 어느 한 항에 있어서, 상기 임계압력은 고정된 크기의 압력인 것을 특징으로 하는 터치 감지 디스플레이 장치.50. The touch sensitive display device according to any one of claims 45 to 49, wherein the threshold pressure is a fixed magnitude of pressure.
  53. 디스플레이 소자와, 화면 상의 접촉을 감지하는 터치 감지 소자를 포함하는 터치 스크린;A touch screen including a display element and a touch sensing element for sensing a touch on a screen;
    터치 스크린 화면 상에 터치된 곳의 압력의 크기를 감지할 수 있는 압력 감지 수단;Pressure sensing means capable of sensing the magnitude of the pressure where it is touched on the touch screen screen;
    터치 스크린 및 압력 감지 수단을 통한 사용자의 입력에 따라 터치 스크린의 화면을 제어하되, 화면 상의 한 지점(이하, '접촉지점'이라 함)에서 사용자의 접촉이 감지되면 해당 접촉의 압력이 임계압력 이상인지를 확인하고, 확인 결과가 임계압력 이상인 경우에 상기 접촉지점의 위치에 대응하여 3차원 벡터 화상의 시점을 조절하여 표시하도록 제어하는 제어부Control the screen of the touch screen according to the user's input through the touch screen and the pressure sensing means, if the user's touch is detected at a point on the screen (hereinafter referred to as 'contact point'), the pressure of the contact is greater than the threshold pressure A control unit for controlling the display of the 3D vector image according to the position of the contact point when the check result is greater than or equal to the threshold pressure.
    를 구비하는 터치 감지 디스플레이 장치.Touch-sensitive display device having a.
  54. 제53항에 있어서, 상기 제어부는 상기 접촉지점의 위치가 화면의 중앙보다 위인 경우에는 시점 수직각을 증가시키고 화면의 중앙보다 아래인 경우에는 시점 수직각을 감소시키는 것인, 터치 감지 디스플레이 장치.The touch-sensitive display device of claim 53, wherein the controller increases the view vertical angle when the position of the contact point is above the center of the screen and decreases the view vertical angle when the contact point is below the center of the screen.
  55. 제53항에 있어서, 상기 제어부는 상기 접촉지점의 위치가 화면의 중앙보다 좌측인 경우에는 시점 수평각을 증가시키고 화면의 중앙보다 우측인 경우에는 시점 수평각을 감소시키는 것인, 터치 감지 디스플레이 장치.The touch-sensitive display device of claim 53, wherein the controller increases the viewpoint horizontal angle when the position of the contact point is greater than the center of the screen and decreases the viewpoint horizontal angle when the position of the contact point is greater than the center of the screen.
  56. 제53항에 있어서, 상기 제어부는, 상기 접촉지점의 위치가 화면의 좌상인 경우에는 시점 수직각과 시점 수평각을 모두 증가시키며, 상기 접촉지점의 위치가 화면의 우상인 경우에는 시점 수직각은 증가시키고 시점 수평각은 감소시키며, 상기 접촉지점의 위치가 화면의 좌하인 경우에는 시점 수직각은 감소시키고 시점 수평각은 증가시키며, 상기 접촉지점의 위치가 화면의 우하인 경우에는 시점 수직각과 시점 수평각을 모두 감소시키는 것인, 터치 감지 디스플레이 장치.54. The apparatus of claim 53, wherein the controller increases both the viewpoint vertical angle and the viewpoint horizontal angle when the position of the contact point is the upper left of the screen, and increases the viewpoint vertical angle when the position of the contact point is the upper right of the screen. When the position of the contact point is the lower left of the screen, the view vertical angle is decreased and the view horizontal angle is increased. When the position of the contact point is the lower right of the screen, the view vertical angle and the view horizontal angle are Touch-sensitive display device.
  57. 제43항 내지 제56항 중 어느 한 항에 있어서, 시점의 변화 정도는 상기 접촉의 압력에 따라 결정되는 것인, 터치 감지 디스플레이 장치.57. The touch sensitive display device as claimed in any one of claims 43 to 56, wherein a degree of change of viewpoint is determined according to the pressure of the contact.
  58. 제43항 내지 제56항 중 어느 한 항에 있어서, 시점의 변화 정도는 상기 접촉의 시간에 따라 결정되는 것인, 터치 감지 디스플레이 장치.57. The touch sensitive display device as claimed in any one of claims 43 to 56, wherein the degree of change of viewpoint is determined according to the time of the contact.
  59. 제43항 내지 제56항 중 어느 한 항에 있어서, 시점의 변화 정도는 화면 중앙으로부터 상기 접촉지점까지의 거리에 따라 결정되는 것인, 터치 감지 디스플레이 장치.57. The touch sensitive display device as claimed in any one of claims 43 to 56, wherein the degree of change of the viewpoint is determined according to the distance from the center of the screen to the contact point.
  60. 제43항 내지 제56항 중 어느 한 항에 있어서, 상기 제어부는 상기 접촉지점의 압력이 상기 임계압력보다 큰 상태를 유지하고 있는 동안 계속해서 해당 화면의 시점을 조절하여 표시하도록 제어하는 것을 특징으로 하는 터치 감지 디스플레이 장치.57. The method of any one of claims 43 to 56, wherein the control unit controls to continuously adjust and display the viewpoint of the screen while the pressure at the contact point is maintained above the threshold pressure. Touch-sensitive display device.
PCT/KR2018/001506 2017-02-03 2018-02-05 Touch sensing display device and method for controlling screen thereof WO2018143744A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170015403A KR101911680B1 (en) 2017-02-03 2017-02-03 Touch sensing display apparatus and display control method thereof
KR10-2017-0015403 2017-02-03

Publications (1)

Publication Number Publication Date
WO2018143744A1 true WO2018143744A1 (en) 2018-08-09

Family

ID=63040896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/001506 WO2018143744A1 (en) 2017-02-03 2018-02-05 Touch sensing display device and method for controlling screen thereof

Country Status (2)

Country Link
KR (1) KR101911680B1 (en)
WO (1) WO2018143744A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911362A (en) * 2021-01-29 2021-06-04 广州虎牙科技有限公司 Video image moving and zooming method and device, electronic equipment and readable storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102484768B1 (en) 2022-08-25 2023-01-09 주식회사 엔에스로보텍 Touching Robot
KR102557082B1 (en) 2022-12-12 2023-07-20 주식회사 엔에스로보텍 Remote control method and system of atmospheric measurement and analysis equipment at unmanned environmental monitoring stations using touch robots

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110008715A (en) * 2009-07-21 2011-01-27 주식회사 만도 Method and apparatus for controlling vehicle engine
KR20120006672A (en) * 2010-07-13 2012-01-19 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR20120135723A (en) * 2011-06-07 2012-12-17 김연수 Touch panel type signal input device
JP2014052852A (en) * 2012-09-07 2014-03-20 Sharp Corp Information processor
KR20140111188A (en) * 2013-03-08 2014-09-18 삼성디스플레이 주식회사 Terminal and method for controlling thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110008715A (en) * 2009-07-21 2011-01-27 주식회사 만도 Method and apparatus for controlling vehicle engine
KR20120006672A (en) * 2010-07-13 2012-01-19 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR20120135723A (en) * 2011-06-07 2012-12-17 김연수 Touch panel type signal input device
JP2014052852A (en) * 2012-09-07 2014-03-20 Sharp Corp Information processor
KR20140111188A (en) * 2013-03-08 2014-09-18 삼성디스플레이 주식회사 Terminal and method for controlling thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911362A (en) * 2021-01-29 2021-06-04 广州虎牙科技有限公司 Video image moving and zooming method and device, electronic equipment and readable storage medium
CN112911362B (en) * 2021-01-29 2024-03-08 广州虎牙科技有限公司 Video picture moving and scaling method and device, electronic equipment and readable storage medium

Also Published As

Publication number Publication date
KR101911680B1 (en) 2018-10-25
KR20180090488A (en) 2018-08-13

Similar Documents

Publication Publication Date Title
WO2021218902A1 (en) Display control method and apparatus, and electronic device
WO2016195291A1 (en) User terminal apparatus and method of controlling the same
WO2020258929A1 (en) Folder interface switching method and terminal device
WO2015016527A1 (en) Method and apparatus for controlling lock or unlock in
CN110908558B (en) Image display method and electronic equipment
WO2015046809A1 (en) Method for displaying previews in a widget
WO2018194275A1 (en) Apparatus capable of sensing touch and sensing touch pressure, and control method therefor
WO2015030488A1 (en) Multi display method, storage medium, and electronic device
WO2020134744A1 (en) Icon moving method and mobile terminal
EP3695591A1 (en) Electronic device for controlling a plurality of applications
WO2019156437A1 (en) Fingerprint sensing method using pressure in sleep mode of touch input device, and touch input device
WO2021121121A1 (en) Display control method and electronic device
JP2023500149A (en) SCREEN DISPLAY CONTROL METHOD AND ELECTRONIC DEVICE
WO2010151053A2 (en) Mobile terminal using a touch sensor attached to the casing, and a control method therefor
WO2020173235A1 (en) Task switching method and terminal device
KR20120009851A (en) Method for setting private mode in mobile terminal and mobile terminal using the same
WO2015178661A1 (en) Method and apparatus for processing input using display
WO2018143744A1 (en) Touch sensing display device and method for controlling screen thereof
WO2020215982A1 (en) Desktop icon management method and terminal device
WO2018236047A1 (en) Device and control method capable of touch sensing and touch pressure sensing
US11526320B2 (en) Multi-screen interface control method and terminal device
JP7413546B2 (en) Photography method and electronic equipment
WO2017126709A1 (en) Mobile terminal and control method therefor
WO2021133123A1 (en) Electronic device including flexible display, and operating method thereof
WO2021129721A1 (en) Icon arrangement method, electronic apparatus, and computer readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18748427

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18748427

Country of ref document: EP

Kind code of ref document: A1