WO2017183743A1 - Mobile terminal, stylus pen, and control method therefor - Google Patents

Mobile terminal, stylus pen, and control method therefor Download PDF

Info

Publication number
WO2017183743A1
WO2017183743A1 PCT/KR2016/004063 KR2016004063W WO2017183743A1 WO 2017183743 A1 WO2017183743 A1 WO 2017183743A1 KR 2016004063 W KR2016004063 W KR 2016004063W WO 2017183743 A1 WO2017183743 A1 WO 2017183743A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
stylus pen
information
input
content
Prior art date
Application number
PCT/KR2016/004063
Other languages
French (fr)
Korean (ko)
Inventor
조태훈
김은영
김수민
최진해
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2016/004063 priority Critical patent/WO2017183743A1/en
Publication of WO2017183743A1 publication Critical patent/WO2017183743A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones

Definitions

  • the present invention relates to a method for providing a user interface for controlling various contents on a mobile terminal using a stylus pen paired with the mobile terminal.
  • Terminals may be divided into mobile / portable terminals and stationary terminals according to their mobility.
  • the mobile terminal may be further classified into a handheld terminal and a vehicle mounted terminal according to whether a user can directly carry it.
  • the functions of mobile terminals are diversifying. For example, data and voice communication, taking a picture and video with a camera, recording a voice, playing a music file through a speaker system, and outputting an image or video to a display unit.
  • Some terminals have an electronic game play function or a multimedia player function.
  • recent mobile terminals may receive multicast signals that provide visual content such as broadcasting, video, and television programs.
  • such a terminal is a multimedia player having a complex function such as taking a picture or a video, playing a music or video file, playing a game, or receiving a broadcast. Is being implemented.
  • the conventional stylus pen was merely used for touching the touch screen and was not utilized for various interactions with the mobile terminal. Therefore, in addition to applying a touch input to the mobile terminal using a stylus pen, it is necessary to increase user convenience through interaction between the stylus pen and the mobile terminal.
  • the conventional stylus pen can be recognized by the mobile terminal only when located in close proximity to the mobile terminal, it is necessary to increase the usability for the user convenience.
  • Another object is to provide a mobile terminal and a stylus pen with improved user convenience.
  • an object of the present invention is to provide data copying between a plurality of mobile terminals using a stylus pen.
  • an object of the present invention is to provide a method for easily performing payment or bank transfer using a stylus pen and a mobile terminal.
  • Another object of the present invention is to provide a method for using drawing content and document content on a mobile terminal using a stylus pen.
  • a wireless communication unit for transmitting / receiving data with at least one mobile terminal;
  • a sensing unit sensing an input signal;
  • a control unit for controlling to transmit a control signal to the at least one mobile terminal in response to the input signal.
  • control unit senses the input signal in a state where the first content is output to the at least one mobile terminal, and corresponding to the input signal, a second different from the first content
  • a control device for outputting content to the at least one mobile terminal further comprises a control, to provide a stylus pen.
  • the at least one mobile terminal comprises a first mobile terminal and a second mobile terminal, the input signal comprising a first input signal and a second input signal. to provide.
  • control unit in response to the first input signal, receives the information on the first content from the first mobile terminal and stores the information on the first content, And, in response to the second input signal, controlling to transmit the information about the first content to the second mobile terminal.
  • the sensing unit further provides a stylus pen, which further includes sensing fingerprint information of the user and movement information of the stylus pen.
  • the controller performs a first user authentication when the sensed fingerprint information matches registered fingerprint information, and when the sensed motion information matches registered motion information. And, when the first user authentication and the second user authentication are completed, further comprising performing a second user authentication, further comprising transmitting payment information to an external device.
  • the movement information of the stylus pen is caused by the pressure sensed by the stylus pen, the angle of the stylus pen, the movement pattern of the stylus pen, the rotation pattern of the stylus pen and the stylus pen
  • a stylus pen is provided that includes at least one of handwritten contents.
  • a touch screen A wireless communication unit for transmitting / receiving data with a stylus pen; And a controller configured to sense a first touch input by the stylus pen while the first content is output on the touch screen, and to output second content on the touch screen in response to the sensed first touch input. It provides, including a mobile terminal.
  • the first content is a video content
  • the second content provides a mobile terminal, the writing content for the video.
  • control unit senses the first touch input while the video content is playing, and stores video playback information and outputs the handwritten content in response to the first touch input.
  • Video playback information includes information of a specific time point at which the first touch input is sensed, and senses a second touch input for information of the specific time point of the handwritten content, and corresponds to the second touch input, It further comprises controlling to output a pop-up message indicating the reproduction information.
  • the video content is output in the first display area of the touch screen
  • the handwritten content for the video is provided in the second display area of the touch screen provides a mobile terminal.
  • the first content corresponds to payment target information
  • the second content provides a mobile terminal corresponding to the signature information
  • the controller when the first touch input by the stylus pen is sensed while the payment target information is output, the controller outputs the signature information and registers the signature information. If the matched signature information, the mobile terminal further comprises controlling to transmit the payment completion information to the external device.
  • control unit further provides a mobile terminal, if the second touch input is sensed before the first touch input is sensed, to enter a payment mode.
  • a control method of a system comprising a mobile terminal and a stylus pen, the method comprising: outputting first content on a touch screen of the mobile terminal; Sensing an input signal at the stylus pen; Transmitting a control signal of the first content to the mobile terminal in response to the input signal; And outputting second content to a touch screen of the mobile terminal in response to a control signal of the first content.
  • the mobile terminal can be easily controlled using a stylus pen.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention.
  • 1B and 1C are conceptual views of one example of a mobile terminal, viewed from different directions.
  • FIG. 2 is a view showing another example of a mobile terminal according to the present invention.
  • FIG. 3 is a block diagram of a stylus pen according to an embodiment of the present invention.
  • FIG. 4 is a perspective view of a stylus pen according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of controlling a mobile terminal according to an input signal to a stylus pen.
  • FIG. 7 is a diagram illustrating another example of controlling a mobile terminal according to an input signal to a stylus pen.
  • FIG. 8 is a diagram illustrating another example of controlling a mobile terminal according to an input signal to a stylus pen.
  • FIG. 9 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of controlling a plurality of mobile terminals by a stylus pen according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of receiving an input by a stylus pen simultaneously with playing a video on a mobile terminal.
  • FIG. 13 is a flowchart illustrating a payment method using a stylus pen according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating an example of making a payment using a stylus pen according to an embodiment of the present invention.
  • 15 is a diagram illustrating in detail a first user authentication and a second user authentication process using a stylus pen according to an embodiment of the present invention.
  • 16 is a flowchart illustrating a payment method of a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • 17 is a diagram illustrating an example of a payment method using a mobile terminal and a stylus pen according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating another example of a payment method using a mobile terminal and a stylus pen according to an embodiment of the present invention.
  • FIG. 19 is a diagram illustrating an example of performing an account transfer in a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • FIG. 20 is a diagram illustrating an example of remittance from a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • FIG. 21 is a diagram illustrating an example of remittance while an address book is output on a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • FIG. 22 is a diagram illustrating an example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • FIG. 24 illustrates another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • 25 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • FIG. 26 illustrates an example of controlling book contents using a stylus pen according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating an example of providing content using a stylus pen according to an embodiment of the present invention.
  • FIG. 28 is a diagram illustrating an example of controlling photo content using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal described herein includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant, a portable multimedia player, a navigation, a slate PC , Tablet PCs, ultrabooks, wearable devices, such as smartwatches, glass glasses, head mounted displays, and the like. have.
  • FIG. 1A is a block diagram illustrating a mobile terminal according to the present invention
  • FIGS. 1B and 1C are conceptual views of one example of the mobile terminal, viewed from different directions.
  • the mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a controller 180, and a power supply unit 190. ) May be included.
  • the components shown in FIG. 1A are not essential to implementing a mobile terminal, so that the mobile terminal described herein may have more or fewer components than those listed above.
  • the wireless communication unit 110 of the components, between the mobile terminal 100 and the wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or the mobile terminal 100 and the external server It may include one or more modules that enable wireless communication therebetween.
  • the wireless communication unit 110 may include one or more modules for connecting the mobile terminal 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of the broadcast receiving module 111, the mobile communication module 112, the wireless internet module 113, the short range communication module 114, and the location information module 115. .
  • the input unit 120 may include a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, an audio input unit, or a user input unit 123 for receiving information from a user. , Touch keys, mechanical keys, and the like.
  • the voice data or the image data collected by the input unit 120 may be analyzed and processed as a control command of the user.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information.
  • the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • Optical sensors e.g. cameras 121), microphones (see 122), battery gauges, environmental sensors (e.g.
  • the mobile terminal disclosed herein may use a combination of information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating an output related to sight, hearing, or tactile sense, and includes at least one of the display unit 151, the audio output unit 152, the hap tip module 153, and the light output unit 154. can do.
  • the display unit 151 forms a layer structure with or is integrally formed with the touch sensor, thereby implementing a touch screen.
  • the touch screen may function as a user input unit 123 that provides an input interface between the mobile terminal 100 and the user, and may also provide an output interface between the mobile terminal 100 and the user.
  • the interface unit 160 serves as a path to various types of external devices connected to the mobile terminal 100.
  • the interface unit 160 connects a device equipped with a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port.
  • I / O audio input / output
  • I / O video input / output
  • earphone port an earphone port
  • the memory 170 stores data supporting various functions of the mobile terminal 100.
  • the memory 170 may store a plurality of application programs or applications driven in the mobile terminal 100, data for operating the mobile terminal 100, and instructions. At least some of these applications may be downloaded from an external server via wireless communication.
  • at least some of these application programs may exist on the mobile terminal 100 from the time of shipment for basic functions of the mobile terminal 100 (for example, a call forwarding, a calling function, a message receiving, and a calling function).
  • the application program may be stored in the memory 170 and installed on the mobile terminal 100 to be driven by the controller 180 to perform an operation (or function) of the mobile terminal.
  • the controller 180 In addition to the operation related to the application program, the controller 180 typically controls the overall operation of the mobile terminal 100.
  • the controller 180 may provide or process information or a function appropriate to a user by processing signals, data, information, and the like, which are input or output through the above-described components, or by driving an application program stored in the memory 170.
  • controller 180 may control at least some of the components described with reference to FIG. 1A in order to drive an application program stored in the memory 170. Furthermore, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 to drive the application program.
  • the power supply unit 190 receives power from an external power source and an internal power source under the control of the controller 180 to supply power to each component included in the mobile terminal 100.
  • the power supply unit 190 includes a battery, which may be a built-in battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other to implement an operation, control, or control method of the mobile terminal according to various embodiments described below.
  • the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 170.
  • the broadcast receiving module 111 of the wireless communication unit 110 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • Two or more broadcast receiving modules may be provided to the mobile terminal 100 for simultaneous broadcast reception or switching of broadcast channels for at least two broadcast channels.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast signal may be encoded according to at least one of technical standards (or broadcast methods, for example, ISO, IEC, DVB, ATSC, etc.) for transmitting and receiving digital broadcast signals, and the broadcast receiving module 111 may
  • the digital broadcast signal may be received by using a method suitable for the technical standard set by the technical standards.
  • the broadcast associated information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 112.
  • the broadcast related information may exist in various forms such as an electronic program guide (EPG) of digital multimedia broadcasting (DMB) or an electronic service guide (ESG) of digital video broadcast-handheld (DVB-H).
  • EPG electronic program guide
  • ESG electronic service guide
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 170.
  • the mobile communication module 112 may include technical standards or communication schemes (eg, Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), and EV).
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • EV Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (DO), Wideband CDMA (WCDMA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), LTE-A (Long Term Evolution-Advanced) and the like to transmit and receive a radio signal with at least one of a base station, an external terminal, a server on a mobile communication network.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • EV Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (DO)
  • WCDMA Wideband CDMA
  • HSDPA High
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module 113 refers to a module for wireless internet access and may be embedded or external to the mobile terminal 100.
  • the wireless internet module 113 is configured to transmit and receive wireless signals in a communication network according to wireless internet technologies.
  • wireless Internet technologies include Wireless LAN (WLAN), Wireless-Fidelity (Wi-Fi), Wireless Fidelity (Wi-Fi) Direct, Digital Living Network Alliance (DLNA), Wireless Broadband (WiBro), and WiMAX (World).
  • the wireless Internet module 113 for performing a wireless Internet access through the mobile communication network 113 May be understood as a kind of mobile communication module 112.
  • the short range communication module 114 is for short range communication, and includes Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC. (Near Field Communication), at least one of Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, Wireless USB (Wireless Universal Serial Bus) technology can be used to support short-range communication.
  • the short-range communication module 114 may be configured between a mobile terminal 100 and a wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or through the wireless area networks. ) And a network in which the other mobile terminal 100 (or an external server) is located.
  • the short range wireless communication network may be short range wireless personal area networks.
  • the other mobile terminal 100 is a wearable device capable of exchanging (or interworking) data with the mobile terminal 100 according to the present invention (for example, smartwatch, smart glasses). (smart glass), head mounted display (HMD).
  • the short range communication module 114 may sense (or recognize) a wearable device that can communicate with the mobile terminal 100, around the mobile terminal 100.
  • the controller 180 may include at least a portion of data processed by the mobile terminal 100 in the short range communication module ( The transmission may be transmitted to the wearable device through 114. Therefore, the user of the wearable device may use data processed by the mobile terminal 100 through the wearable device. For example, according to this, when a call is received by the mobile terminal 100, the user performs a phone call through the wearable device or when a message is received by the mobile terminal 100, the received through the wearable device. It is possible to check the message.
  • the location information module 115 is a module for obtaining a location (or current location) of a mobile terminal, and a representative example thereof is a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module.
  • GPS Global Positioning System
  • Wi-Fi Wireless Fidelity
  • the mobile terminal may acquire the location of the mobile terminal using a signal transmitted from a GPS satellite.
  • the mobile terminal may acquire the location of the mobile terminal based on information of the wireless access point (AP) transmitting or receiving the Wi-Fi module and the wireless signal.
  • the location information module 115 may perform any function of other modules of the wireless communication unit 110 to substitute or additionally obtain data regarding the location of the mobile terminal.
  • the location information module 115 is a module used to obtain the location (or current location) of the mobile terminal, and is not limited to a module that directly calculates or obtains the location of the mobile terminal.
  • the input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from a user.
  • the mobile terminal 100 is one.
  • the plurality of cameras 121 may be provided.
  • the camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170.
  • the plurality of cameras 121 provided in the mobile terminal 100 may be arranged to form a matrix structure, and through the camera 121 forming a matrix structure in this way, the mobile terminal 100 may have various angles or focuses.
  • the plurality of pieces of image information may be input.
  • the plurality of cameras 121 may be arranged in a stereo structure to acquire a left image and a right image for implementing a stereoscopic image.
  • the microphone 122 processes external sound signals into electrical voice data.
  • the processed voice data may be variously used according to a function (or an application program being executed) performed by the mobile terminal 100. Meanwhile, various noise reduction algorithms may be implemented in the microphone 122 to remove noise generated in the process of receiving an external sound signal.
  • the user input unit 123 is for receiving information from a user. When information is input through the user input unit 123, the controller 180 may control an operation of the mobile terminal 100 to correspond to the input information. .
  • the user input unit 123 may be a mechanical input unit (or a mechanical key, for example, a button, a dome switch, a jog wheel, or the like located on the front, rear, or side surfaces of the mobile terminal 100). Jog switch, etc.) and touch input means.
  • the touch input means may include a virtual key, a soft key, or a visual key displayed on the touch screen through a software process, or a portion other than the touch screen. It may be made of a touch key disposed in the.
  • the virtual key or the visual key may be displayed on the touch screen while having various forms, for example, graphic, text, icon, video, or the like. It can be made of a combination of.
  • the sensing unit 140 senses at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information, and generates a sensing signal corresponding thereto.
  • the controller 180 may control driving or operation of the mobile terminal 100 or perform data processing, function or operation related to an application program installed in the mobile terminal 100 based on the sensing signal. Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.
  • the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • the proximity sensor 141 may be disposed in an inner region of the mobile terminal covered by the touch screen described above or near the touch screen.
  • the proximity sensor 141 examples include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the proximity sensor 141 may be configured to detect the proximity of the object by the change of the electric field according to the proximity of the conductive object.
  • the touch screen (or touch sensor) itself may be classified as a proximity sensor.
  • the proximity sensor 141 may detect a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). have.
  • the controller 180 processes data (or information) corresponding to the proximity touch operation and the proximity touch pattern detected through the proximity sensor 141 as described above, and further, provides visual information corresponding to the processed data. It can be output on the touch screen. Further, the controller 180 may control the mobile terminal 100 to process different operations or data (or information) according to whether the touch on the same point on the touch screen is a proximity touch or a touch touch. .
  • the touch sensor applies a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. Detect.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the touch screen or capacitance generated at the specific portion into an electrical input signal.
  • the touch sensor may be configured to detect a position, an area, a pressure at the touch, a capacitance at the touch, and the like, when the touch object applying the touch on the touch screen is touched on the touch sensor.
  • the touch object is an object applying a touch to the touch sensor and may be, for example, a finger, a touch pen or a stylus pen, a pointer, or the like.
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller 180.
  • the controller 180 can know which area of the display unit 151 is touched.
  • the touch controller may be a separate component from the controller 180 or may be the controller 180 itself.
  • the controller 180 may perform different control or perform the same control according to the type of touch object that touches the touch screen (or a touch key provided in addition to the touch screen). Whether to perform different control or the same control according to the type of touch object may be determined according to the operation state of the mobile terminal 100 or an application program being executed.
  • the touch sensor and the proximity sensor described above may be independently or combined, and may be a short (or tap) touch, a long touch, a multi touch, a drag touch on a touch screen. ), Flick touch, pinch-in touch, pinch-out touch, swipe touch, hovering touch, etc. A touch can be sensed.
  • the ultrasonic sensor may recognize location information of a sensing object using ultrasonic waves.
  • the controller 180 can calculate the position of the wave generation source through the information detected from the optical sensor and the plurality of ultrasonic sensors.
  • the position of the wave source can be calculated using the property that the light is much faster than the ultrasonic wave, that is, the time that the light reaches the optical sensor is much faster than the time when the ultrasonic wave reaches the ultrasonic sensor. More specifically, the position of the wave generation source may be calculated using a time difference from the time when the ultrasonic wave reaches the light as the reference signal.
  • the camera 121 which has been described as the configuration of the input unit 120, includes at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.
  • a camera sensor eg, CCD, CMOS, etc.
  • a photo sensor or image sensor
  • a laser sensor e.g., a laser sensor
  • the camera 121 and the laser sensor may be combined with each other to detect a touch of a sensing object with respect to a 3D stereoscopic image.
  • the photo sensor may be stacked on the display element, which is configured to scan the movement of the sensing object in proximity to the touch screen. More specifically, the photo sensor mounts a photo diode and a transistor (TR) in a row / column and scans contents mounted on the photo sensor by using an electrical signal that varies according to the amount of light applied to the photo diode. That is, the photo sensor calculates coordinates of the sensing object according to the amount of light change, and thus, the position information of the sensing object can be obtained.
  • TR transistor
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100.
  • the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100 or user interface (UI) and graphical user interface (GUI) information according to the execution screen information. .
  • UI user interface
  • GUI graphical user interface
  • the display unit 151 may be configured as a stereoscopic display unit for displaying a stereoscopic image.
  • the stereoscopic display unit may be a three-dimensional display method such as a stereoscopic method (glasses method), an auto stereoscopic method (glasses-free method), a projection method (holographic method).
  • a 3D stereoscopic image is composed of a left image (left eye image) and a right image (right eye image).
  • a top-down method in which the left and right images are arranged up and down in one frame according to the way in which the left and right images are merged into three-dimensional stereoscopic images.
  • L-to-R (left-to-right, side by side) method to be arranged as a checker board method to arrange the pieces of the left and right images in the form of tiles, a column unit of the left and right images Or an interlaced method of alternately arranging rows, and a time sequential (frame by frame) method of alternately displaying left and right images by time.
  • the 3D thumbnail image may generate a left image thumbnail and a right image thumbnail from the left image and the right image of the original image frame, respectively, and may be generated as one image as they are combined.
  • a thumbnail refers to a reduced image or a reduced still image.
  • the left image thumbnail and the right image thumbnail generated as described above are displayed with a left and right distance difference on the screen by a depth corresponding to the parallax of the left image and the right image, thereby representing a three-dimensional space.
  • the left image and the right image necessary for implementing the 3D stereoscopic image may be displayed on the stereoscopic display by the stereoscopic processing unit.
  • the stereoscopic processing unit receives 3D images (images of the base view and images of the extended view) and sets left and right images therefrom, or receives 2D images and converts them into left and right images.
  • the sound output unit 152 may output audio data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 may also output a sound signal related to a function (for example, a call signal reception sound or a message reception sound) performed in the mobile terminal 100.
  • the sound output unit 152 may include a receiver, a speaker, a buzzer, and the like.
  • the haptic module 153 generates various haptic effects that a user can feel.
  • a representative example of the tactile effect generated by the haptic module 153 may be vibration.
  • the intensity and pattern of vibration generated by the haptic module 153 may be controlled by the user's selection or the setting of the controller. For example, the haptic module 153 may synthesize different vibrations and output or sequentially output them.
  • the haptic module 153 may be used to stimulate pins that vertically move with respect to the contact skin surface, jetting force or suction force of air through the jetting or suction port, grazing to the skin surface, contact of electrodes, and electrostatic force
  • Various tactile effects can be generated, such as effects by the endothermic and the reproduction of a sense of cold using the elements capable of endothermic heat generation.
  • the haptic module 153 may not only deliver a tactile effect through direct contact, but also may allow a user to feel the tactile effect through a muscle sense such as a finger or an arm. Two or more haptic modules 153 may be provided according to a configuration aspect of the mobile terminal 100.
  • the light output unit 154 outputs a signal for notifying occurrence of an event by using light of a light source of the mobile terminal 100.
  • Examples of events occurring in the mobile terminal 100 may be message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the signal output from the light output unit 154 is implemented as the mobile terminal emits light of a single color or a plurality of colors to the front or the rear.
  • the signal output may be terminated by the mobile terminal detecting the user's event confirmation.
  • the interface unit 160 serves as a path to all external devices connected to the mobile terminal 100.
  • the interface unit 160 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits data inside the mobile terminal 100 to an external device.
  • the port, audio input / output (I / O) port, video input / output (I / O) port, earphone port, etc. may be included in the interface unit 160.
  • the identification module is a chip that stores a variety of information for authenticating the usage rights of the mobile terminal 100, a user identification module (UIM), subscriber identity module (SIM), universal user authentication And a universal subscriber identity module (USIM).
  • a device equipped with an identification module (hereinafter referred to as an 'identification device') may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the terminal 100 through the interface unit 160.
  • the interface unit 160 may be a passage for supplying power from the cradle to the mobile terminal 100 or may be input from the cradle by a user.
  • Various command signals may be a passage through which the mobile terminal 100 is transmitted.
  • Various command signals or power input from the cradle may operate as signals for recognizing that the mobile terminal 100 is correctly mounted on the cradle.
  • the memory 170 may store a program for the operation of the controller 180 and may temporarily store input / output data (for example, a phone book, a message, a still image, a video, etc.).
  • the memory 170 may store data regarding vibration and sound of various patterns output when a touch input on the touch screen is performed.
  • the memory 170 may include a flash memory type, a hard disk type, a solid state disk type, an SSD type, a silicon disk drive type, and a multimedia card micro type. ), Card-type memory (e.g., SD or XD memory), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read It may include at least one type of storage medium of -only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk and optical disk.
  • the mobile terminal 100 may be operated in connection with a web storage that performs a storage function of the memory 170 on the Internet.
  • the controller 180 controls the operation related to the application program, and generally the overall operation of the mobile terminal 100. For example, if the state of the mobile terminal satisfies a set condition, the controller 180 may execute or release a lock state that restricts input of a user's control command to applications.
  • controller 180 may perform control and processing related to voice call, data communication, video call, or the like, or may perform pattern recognition processing for recognizing handwriting input or drawing input performed on a touch screen as text and images, respectively. Can be. Furthermore, the controller 180 may control any one or a plurality of components described above in order to implement various embodiments described below on the mobile terminal 100 according to the present invention.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery configured to be rechargeable, and may be detachably coupled to the terminal body for charging.
  • the power supply unit 190 may be provided with a connection port, the connection port may be configured as an example of the interface 160 is electrically connected to the external charger for supplying power for charging the battery.
  • the power supply unit 190 may be configured to charge the battery in a wireless manner without using the connection port.
  • the power supply unit 190 uses one or more of an inductive coupling based on a magnetic induction phenomenon or a magnetic resonance coupling based on an electromagnetic resonance phenomenon from an external wireless power transmitter. Power can be delivered.
  • various embodiments of the present disclosure may be implemented in a recording medium readable by a computer or a similar device using, for example, software, hardware, or a combination thereof.
  • the disclosed mobile terminal 100 includes a terminal body in the form of a bar.
  • the present invention is not limited thereto, and the present invention can be applied to various structures such as a watch type, a clip type, a glass type, or a folder type, a flip type, a slide type, a swing type, a swivel type, and two or more bodies which are coupled to be movable relative.
  • a description of a particular type of mobile terminal may generally apply to other types of mobile terminals.
  • the terminal body may be understood as a concept that refers to the mobile terminal 100 as at least one aggregate.
  • the mobile terminal 100 includes a case (eg, a frame, a housing, a cover, etc.) forming an external appearance. As shown, the mobile terminal 100 may include a front case 101 and a rear case 102. Various electronic components are disposed in the internal space formed by the combination of the front case 101 and the rear case 102. At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • a case eg, a frame, a housing, a cover, etc.
  • the mobile terminal 100 may include a front case 101 and a rear case 102.
  • Various electronic components are disposed in the internal space formed by the combination of the front case 101 and the rear case 102.
  • At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • the display unit 151 may be disposed in front of the terminal body to output information. As shown, the window 151a of the display unit 151 may be mounted to the front case 101 to form a front surface of the terminal body together with the front case 101.
  • an electronic component may be mounted on the rear case 102.
  • Electronic components attachable to the rear case 102 include a removable battery, an identification module, a memory card, and the like.
  • the rear cover 102 may be detachably coupled to the rear case 102 to cover the mounted electronic component. Therefore, when the rear cover 103 is separated from the rear case 102, the electronic components mounted on the rear case 102 are exposed to the outside.
  • the rear cover 103 when the rear cover 103 is coupled to the rear case 102, a portion of the side surface of the rear case 102 may be exposed. In some cases, the rear case 102 may be completely covered by the rear cover 103 during the coupling. On the other hand, the rear cover 103 may be provided with an opening for exposing the camera 121b or the sound output unit 152b to the outside.
  • the cases 101, 102, and 103 may be formed by injecting a synthetic resin, or may be formed of a metal, for example, stainless steel (STS), aluminum (Al), titanium (Ti), or the like.
  • STS stainless steel
  • Al aluminum
  • Ti titanium
  • the mobile terminal 100 may be configured such that one case may provide the internal space, unlike the above example in which a plurality of cases provide an internal space for accommodating various electronic components.
  • the mobile terminal 100 of the unibody that the synthetic resin or metal from the side to the rear may be implemented.
  • the mobile terminal 100 may be provided with a waterproof portion (not shown) to prevent water from seeping into the terminal body.
  • the waterproof portion is provided between the window 151a and the front case 101, between the front case 101 and the rear case 102 or between the rear case 102 and the rear cover 103, and a combination thereof. It may include a waterproof member for sealing the inner space.
  • the mobile terminal 100 includes a display unit 151, first and second sound output units 152a and 152b, a proximity sensor 141, an illuminance sensor 142, an optical output unit 154, and first and second units.
  • the cameras 121a and 121b, the first and second manipulation units 123a and 123b, the microphone 122, the interface unit 160, and the like may be provided.
  • the display unit 151, the first sound output unit 152a, the proximity sensor 141, the illuminance sensor 142, and the light output unit may be disposed on the front surface of the terminal body.
  • the first camera 121a and the first operation unit 123a are disposed, and the second operation unit 123b, the microphone 122, and the interface unit 160 are disposed on the side of the terminal body.
  • the mobile terminal 100 in which the second sound output unit 152b and the second camera 121b are disposed on the rear surface of the mobile terminal 100 will be described as an example.
  • first manipulation unit 123a may not be provided on the front surface of the terminal body, and the second sound output unit 152b may be provided on the side of the terminal body instead of the rear surface of the terminal body.
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100.
  • the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100 or user interface (UI) and graphical user interface (GUI) information according to the execution screen information. .
  • UI user interface
  • GUI graphical user interface
  • the display unit 151 may include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible display). display, a 3D display, or an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • display a 3D display, or an e-ink display.
  • two or more display units 151 may exist according to an implementation form of the mobile terminal 100.
  • the plurality of display units may be spaced apart or integrally disposed on one surface of the mobile terminal 100, or may be disposed on different surfaces.
  • the display unit 151 may include a touch sensor that senses a touch on the display unit 151 so as to receive a control command by a touch method.
  • the touch sensor may sense the touch, and the controller 180 may generate a control command corresponding to the touch based on the touch sensor.
  • the content input by the touch method may be letters or numbers or menu items that can be indicated or designated in various modes.
  • the touch sensor is formed of a film having a touch pattern and disposed between the window 151a and the display (not shown) on the rear surface of the window 151a or directly patterned on the rear surface of the window 151a. May be Alternatively, the touch sensor may be integrally formed with the display. For example, the touch sensor may be disposed on a substrate of the display or provided in the display.
  • the display unit 151 may form a touch screen together with the touch sensor.
  • the touch screen may function as the user input unit 123 (see FIG. 1A).
  • the touch screen may replace at least some functions of the first manipulation unit 123a.
  • the first sound output unit 152a may be implemented as a receiver for transmitting a call sound to the user's ear, and the second sound output unit 152b may be a loud speaker for outputting various alarm sounds or multimedia reproduction sounds. It can be implemented in the form of).
  • a sound hole for emitting sound generated from the first sound output unit 152a may be formed in the window 151a of the display unit 151.
  • the present invention is not limited thereto, and the sound may be configured to be emitted along an assembly gap between the structures (for example, a gap between the window 151a and the front case 101).
  • an externally formed hole may be invisible or hidden for sound output, thereby simplifying the appearance of the mobile terminal 100.
  • the light output unit 154 is configured to output light for notifying when an event occurs. Examples of the event may include message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the controller 180 may control the light output unit 154 to end the light output.
  • the first camera 121a processes an image frame of a still image or a moving image obtained by the image sensor in a shooting mode or a video call mode.
  • the processed image frame may be displayed on the display unit 151 and stored in the memory 170.
  • the first and second manipulation units 123a and 123b may be collectively referred to as a manipulating portion as an example of the user input unit 123 operated to receive a command for controlling the operation of the mobile terminal 100. have.
  • the first and second manipulation units 123a and 123b may be adopted in any manner as long as the user is tactile manner such as touch, push, scroll, and the like while the user is tactile.
  • the first and second manipulation units 123a and 123b may be employed in such a manner that the first and second manipulation units 123a and 123b are operated without a tactile feeling by the user through proximity touch, hovering touch, or the like.
  • the first operation unit 123a is illustrated as being a touch key, but the present invention is not limited thereto.
  • the first manipulation unit 123a may be a mechanical key or a combination of a touch key and a push key.
  • the contents input by the first and second manipulation units 123a and 123b may be variously set.
  • the first operation unit 123a receives a command such as a menu, a home key, a cancellation, a search, etc.
  • the second operation unit 123b is output from the first or second sound output units 152a and 152b.
  • the user may receive a command such as adjusting the volume of the sound and switching to the touch recognition mode of the display unit 151.
  • a rear input unit (not shown) may be provided on the rear surface of the terminal body.
  • the rear input unit is manipulated to receive a command for controlling the operation of the mobile terminal 100, and the input contents may be variously set. For example, commands such as power on / off, start, end, scroll, etc., control of the volume of sound output from the first and second sound output units 152a and 152b, and the touch recognition mode of the display unit 151. Commands such as switching can be received.
  • the rear input unit may be implemented in a form capable of input by touch input, push input, or a combination thereof.
  • the rear input unit may be disposed to overlap the front display unit 151 in the thickness direction of the terminal body.
  • the rear input unit may be disposed at the rear upper end of the terminal body so that the user can easily manipulate the index body when the user grips the terminal body with one hand.
  • the present invention is not necessarily limited thereto, and the position of the rear input unit may be changed.
  • the rear input unit when the rear input unit is provided at the rear of the terminal body, a new type user interface using the same may be implemented.
  • the touch screen or the rear input unit described above replaces at least some functions of the first operation unit 123a provided in the front of the terminal body, the first operation unit 123a is not disposed on the front of the terminal body.
  • the display unit 151 may be configured with a larger screen.
  • the mobile terminal 100 may be provided with a fingerprint recognition sensor for recognizing a user's fingerprint, and the controller 180 may use fingerprint information detected through the fingerprint recognition sensor as an authentication means.
  • the fingerprint recognition sensor may be embedded in the display unit 151 or the user input unit 123.
  • the microphone 122 is configured to receive a user's voice, other sounds, and the like.
  • the microphone 122 may be provided at a plurality of locations and configured to receive stereo sound.
  • the interface unit 160 serves as a path for connecting the mobile terminal 100 to an external device.
  • the interface unit 160 may be connected to another device (eg, an earphone or an external speaker), a port for short-range communication (for example, an infrared port (IrDA Port), or a Bluetooth port (Bluetooth). Port), a wireless LAN port, or the like, or a power supply terminal for supplying power to the mobile terminal 100.
  • the interface unit 160 may be implemented in the form of a socket for receiving an external card such as a subscriber identification module (SIM) or a user identity module (UIM), a memory card for storing information.
  • SIM subscriber identification module
  • UIM user identity module
  • the second camera 121b may be disposed on the rear surface of the terminal body. In this case, the second camera 121b has a photographing direction substantially opposite to that of the first camera 121a.
  • the second camera 121b may include a plurality of lenses arranged along at least one line.
  • the plurality of lenses may be arranged in a matrix format.
  • Such a camera may be referred to as an 'array camera'.
  • the second camera 121b is configured as an array camera, images may be photographed in various ways using a plurality of lenses, and images of better quality may be obtained.
  • the flash 124 may be disposed adjacent to the second camera 121b.
  • the flash 124 shines light toward the subject when the subject is photographed by the second camera 121b.
  • the second sound output unit 152b may be additionally disposed on the terminal body.
  • the second sound output unit 152b may implement a stereo function together with the first sound output unit 152a and may be used to implement a speakerphone mode during a call.
  • the terminal body may be provided with at least one antenna for wireless communication.
  • the antenna may be built in the terminal body or formed in the case.
  • an antenna that forms part of the broadcast receiving module 111 (refer to FIG. 1A) may be configured to be pulled out from the terminal body.
  • the antenna may be formed in a film type and attached to the inner side of the rear cover 103, or may be configured such that a case including a conductive material functions as an antenna.
  • the terminal body is provided with a power supply unit 190 (see FIG. 1A) for supplying power to the mobile terminal 100.
  • the power supply unit 190 may include a battery 191 embedded in the terminal body or detachably configured from the outside of the terminal body.
  • the battery 191 may be configured to receive power through a power cable connected to the interface unit 160.
  • the battery 191 may be configured to enable wireless charging through a wireless charger.
  • the wireless charging may be implemented by a magnetic induction method or a resonance method (magnetic resonance method).
  • the rear cover 103 is coupled to the rear case 102 to cover the battery 191 to limit the detachment of the battery 191 and to protect the battery 191 from external shock and foreign matter.
  • the rear cover 103 may be detachably coupled to the rear case 102.
  • An accessory may be added to the mobile terminal 100 to protect the appearance or to assist or expand the function of the mobile terminal 100.
  • An example of such an accessory may be a cover or pouch that covers or accommodates at least one surface of the mobile terminal 100.
  • the cover or pouch may be configured to be linked with the display unit 151 to expand the function of the mobile terminal 100.
  • Another example of the accessory may be a touch pen for assisting or extending a touch input to a touch screen.
  • FIG. 2 is a view showing another example of a mobile terminal according to the present invention.
  • the mobile terminal may correspond to the two-folder display device 200 as shown in FIG. 2, but may include various foldable devices such as a three-folder display device.
  • the two-folder display device 200 may include a first body and a second body.
  • a folding unit 215 is provided between the first body and the second body, and the two-folder display device 200 can fold the first body and the second body in both directions based on the folding unit 215. .
  • the two-folder display device 200 may include a first display area 210 in the first body and a second display area 220 in the second body.
  • the first display area 210 and the second display 220 may correspond to different displays or may correspond to the same single display.
  • the two-folder display device 200 described in the present invention includes at least one of the components shown in FIG. 1.
  • the mobile terminal 100 collectively refers to the mobile terminals of FIGS. 1 and 2.
  • FIG. 3 is a block diagram of a stylus pen according to an embodiment of the present invention.
  • the stylus pen includes a wireless communication unit 310 for performing wireless communication with the mobile terminal, a user input unit 320 for sensing an input by a user, whether or not the mobile terminal is in contact with the mobile terminal, and the surrounding environment of the stylus pen.
  • the sensing unit 330 may include a sensing unit 330, a memory 340 for storing data received from the mobile terminal, and a controller 350 for controlling overall operations of the stylus pen.
  • the stylus pen may further include a power supply unit for supplying power required for the operation of each component of the stylus pen, and a display unit for displaying an operation state of the stylus pen.
  • the wireless communication unit 310 is for performing wireless communication with the mobile terminal.
  • the mobile terminal may include not only the mobile terminal shown in FIG. 1 but also the foldable device shown in FIG.
  • Wireless communication between the stylus and the mobile terminal may be performed through short-range communication, and the short-range communication technique may include Bluetooth, Radio Frequency Identification (RFID), and infrared communication (IrDA) as in the example described above with reference to FIG. 1.
  • RFID Radio Frequency Identification
  • IrDA infrared communication
  • UWB Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the user input unit 320 serves to generate input data for controlling the operation of the stylus pen.
  • the user input unit 320 may include a button or a touch sensor exposed to the outside of the stylus pen.
  • the sensing unit 330 detects the contact between the stylus pen and the mobile terminal, specifically, the touch screen of the mobile terminal, and generates a sensing signal for controlling the operation of the stylus pen.
  • the sensing unit 330 may sense a surrounding environment of the stylus pen and generate a sensing signal for controlling the operation of the stylus pen.
  • the sensing unit 310 for detecting a contact with the touch screen may include at least one of a pressure sensor and a magnetic sensor.
  • the sensing unit 310 may include a gyro sensor and an acceleration sensor.
  • the pressure sensor is for measuring the strength of the pressure when the stylus pen 50 is in contact with the touch screen and at the touch screen contact.
  • the magnetic sensor is for detecting a contact touch and a proximity touch between the stylus pen 50 and the touch screen.
  • the magnetic sensor may distinguish whether the stylus pen 50 is in contact or proximity touch with the touch screen based on the change in the magnetic field.
  • the sensing unit 330 may include at least one of a pressure sensor and a magnetic sensor. Or it can be used for proximity touch or the like, of course.
  • the sensing unit 330 may include an RGB sensor for detecting a color of an object, a fingerprint sensor for recognizing fingerprint information, and the like.
  • the memory 340 stores various data necessary for the operation of the stylus pen 50, and the memory 340 may include a control area and a data area.
  • the control area may be an area for storing a program for operating the stylus pen 50
  • the data area may be an area for storing data received from the outside.
  • the controller 350 controls the overall operation of the stylus pen 50.
  • the controller 350 may perform control and processing for wireless communication with the mobile terminal 100.
  • the controller 350 may generate a control signal of the paired mobile terminal and control the signal to be transmitted to the mobile terminal.
  • the controller 350 may control to store information of content being output to the mobile terminal.
  • the controller 350 may control to perform first user authentication when fingerprint information regarding the stylus pen is sensed and perform second user authentication when motion information of the stylus pen is sensed. Can be. In this regard, it will be described later in detail for each embodiment.
  • FIG. 4 is a perspective view of a stylus pen according to an embodiment of the present invention.
  • the stylus pen 50 may include a head portion 410 and a body portion 420.
  • the head portion 410 is a portion for contacting the touch screen of the mobile terminal 100
  • the body portion 420 is a portion for the user to hold the stylus pen 50.
  • Electronic components constituting the stylus pen 50 may be mounted on the body portion 420 of the stylus pen 50.
  • a first input unit 51 may be positioned at the end of the head unit 410, and the first input unit 51 may include a sensing unit 310. In this case, the first input unit 51 may include an RGB sensor.
  • the body 420 may include a second input unit 52 and a third input unit 53 for applying a user input to the stylus pen 50.
  • the second input unit 52 may be implemented in the form of a touch sensor on the surface
  • the third input unit 53 may be implemented in the form of a push button.
  • the second input unit 52 may include a fingerprint sensor.
  • the second input unit 52 and the third input unit 53 may be implemented differently from the example shown in FIG. 4.
  • the mobile terminal and the stylus pen described in the present invention include at least one of the components shown in FIG. 1A.
  • the mobile terminal according to the present invention may be more easily implemented when the display unit 151 is a touch screen, it is assumed below that the display unit 151 is a touch screen.
  • the stylus pen 50 'touches' or 'contacts' the mobile terminal 100 may include not only a case where the stylus pen 50 and the mobile terminal 100 are in contact but also a close touch. Can be.
  • operations performed by the mobile terminal 100 or the stylus pen 50 may be controlled by respective controllers.
  • the drawings and the following description will collectively describe these operations to be described as being performed / controlled by the mobile terminal or the stylus pen.
  • the stylus pen 50 and the mobile terminal 100 are in a paired state, and the mobile terminal 100 is in a state capable of receiving a control signal from the stylus pen 50.
  • FIG. 5 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal 100 may output the first content on the touch screen (S510).
  • the first content may include various applications, videos, documents, images, etc. executable in the mobile terminal 100. That is, the user may correspond to a state of using the first content through the mobile terminal 100.
  • step S510 may correspond to a state in which the first content is output on the touch screen as well as a state in which the touch screen is inactivated.
  • the stylus pen 50 may sense the first input signal (S520).
  • the first input signal corresponds to an input signal sensed from a user in a state where the first input unit 51 of the stylus pen is not touched by the touch screen.
  • the first input signal may correspond to a touch input through the second input unit 52.
  • the first input signal may correspond to a push input through the third input unit 53.
  • the stylus pen 50 may generate a control signal of the first content in response to the first input signal and transmit the generated control signal to the mobile terminal 100 (S530). That is, unlike the conventional stylus pen, even if the mobile terminal 100 and the stylus pen 50 are not in close proximity, data transmission / reception is possible.
  • the mobile terminal 100 may receive a control signal of the first content and control to output the second content to the touch screen (S540). That is, the user may easily control the mobile terminal 100 by applying an input to the stylus pen 50 itself rather than a touch input to the touch screen of the mobile terminal 100 using the stylus pen 50. .
  • 6 to 8 illustrate various embodiments of the method for controlling the mobile terminal 100 by the stylus pen 50 described above.
  • FIG. 6 is a diagram illustrating an example of controlling a mobile terminal according to an input signal to a stylus pen.
  • the stylus pen 50 may sense an input signal through the third input unit 53.
  • the third input unit 53 may sense a push input by the user.
  • the stylus pen 50 may generate a control signal of the mobile terminal 100 and transmit a control signal to the mobile terminal 100 based on the sensed input signal.
  • the mobile terminal 100 may control to output the preset content 620 on the touch screen in response to a control signal from the stylus pen 50.
  • the preset content 620 corresponds to a memo application.
  • the preset content 620 may correspond to various contents such as contents set by the user or contents preset by the mobile terminal. That is, through this, when the user is using other contents of the mobile terminal 100 or wants memo or writing while not in use, the user applies an input to the stylus pen 50 and immediately writes on the mobile terminal 100. can do.
  • the touch screen of the mobile terminal 100 is inactivated.
  • the present invention is not limited thereto, and other contents are output on the touch screen.
  • the input signal through the third input unit 53 of the stylus pen 50 is taken as an example, but may be an input signal through another input unit to the stylus pen 50.
  • FIG. 7 is a diagram illustrating another example of controlling a mobile terminal according to an input signal to a stylus pen.
  • the stylus pen 50 may sense the first input signal 740a.
  • the first input signal 740a corresponds to a push input to the third input unit 53, but is not limited thereto.
  • the first input signal 740a corresponds to a signal sensed when the stylus pen 50 is not in contact with the mobile terminal 100.
  • the push input to the third input unit 53 may correspond to the long press input, unlike the embodiment of FIG. 6.
  • the stylus pen 50 may generate a control signal of the mobile terminal 100 in response to the first input signal 740a and transmit the generated control signal to the mobile terminal 100.
  • the mobile terminal may perform a screenshot of the content 710 being output on the touch screen according to the received control signal.
  • the mobile terminal 100 may sense the second input signal 740b while the screenshot image 720a is output.
  • the second input signal 740b may correspond to a drag touch input on the touch screen through the first input unit 51 of the stylus pen 50.
  • the second input signal 740b corresponds to a signal for cropping the partial region 720b of the screenshot image 720a.
  • the mobile terminal may control to enlarge and output the cropped region 720b in response to the second input signal 740b.
  • writing with the stylus pen 50 may be possible while the screenshot image 720a is output to the mobile terminal in response to the first input signal 740a.
  • FIG. 8 is a diagram illustrating another example of controlling a mobile terminal according to an input signal to a stylus pen.
  • the mobile terminal is the two-foldable display device described above in FIG. 2.
  • the mobile terminal is not limited thereto and may include various display devices that can distinguish and use a plurality of display areas.
  • the stylus pen 50 may sense the first input signal 810a.
  • the mobile terminal 200 may control to output a palette capable of color selection and brush selection on the first display area and output a sketchbook on the second area.
  • the mobile terminal 200 controls to output a picture according to the touch input by changing the color, the thickness, etc. according to the touch input to the first region 210 or the second region 220 of the stylus pen 50. can do.
  • the user may want to change the color, thickness, etc. currently being output according to the drag touch.
  • the stylus pen 50 may sense the first input signal 810a.
  • the first input signal 810a may correspond to an input for rotating the stylus pen 50.
  • the first input signal 810a may correspond to an input for changing the color of the pen or brush being used on the drawing content.
  • the stylus pen 50 may generate a control signal in response to the first input signal 810a and transmit the generated control signal to the mobile terminal 100.
  • the first input signal 810a corresponds to a rotational input sensed by the stylus pen 50 regardless of whether the mobile terminal 100 is in contact with the mobile terminal 100.
  • the mobile terminal may control to output the indicator 830 on the touch screen in response to the received control signal.
  • the user may easily recognize the color of the brush changed through the first input signal 810a.
  • the color output to the indicator 830 is not a color desired by the user, the color may be changed several times by applying an input of rotating the stylus pen 50 again.
  • the mobile terminal 200 may change the thickness of the brush rather than the color according to the first input signal 810. In this case, it is possible to set to increase or decrease the thickness in accordance with the rotation direction of the stylus pen 50.
  • the mobile terminal when the mobile terminal senses the second input signal 810b for the touch screen, the mobile terminal uses a brush or pen of a color changed in correspondence to the first input signal 810a. You can control the output by drawing
  • FIG. 9 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • the first mobile terminal is assumed to be the mobile terminal 100 of FIG. 1, and the second mobile terminal is assumed to be the mobile terminal 200 of FIG. 2.
  • the first mobile terminal or the second mobile terminal may be implemented in reverse.
  • the first mobile terminal 100 may control to output the first content on the touch screen (S910).
  • the first content may correspond to content that is visually provided, such as an image, a web page address, and text.
  • the first content may correspond to voice content, tactile content, etc. in addition to the visually provided content.
  • the stylus pen 50 may sense the first input signal (S920). More specifically, the stylus pen 50 may sense the first input signal while the stylus pen 50 is in contact with the first content output on the touch screen of the first mobile terminal 100.
  • the first input signal may correspond to a user input to the second input unit or the third input unit described above with reference to FIG. 3.
  • the state in which the stylus pen 50 is in contact with the first content output on the touch screen of the first mobile terminal 100 may correspond to specifying the first content.
  • the stylus pen 50 may receive information on the first content from the first mobile terminal 100 and store information on the first content in response to the first input signal (S930).
  • the stylus pen 50 may sense the second input signal (S940).
  • the second input signal may correspond to a user's input to the second input unit or the third input unit described above with reference to FIG. 3.
  • the position where the stylus pen 50 contacts on the touch screen of the second mobile terminal 200 may correspond to the case where the output position of the preset content is specified.
  • the stylus pen 50 may transmit information about the first content to the second mobile terminal 200 in response to the second input signal.
  • the second mobile terminal 200 may output the first content on the touch screen (S950).
  • the user can easily move the content being used in one terminal to another terminal using a stylus pen while using a plurality of terminals at the same time.
  • FIG. 10 is a diagram illustrating an example of controlling a plurality of mobile terminals by a stylus pen according to an embodiment of the present invention.
  • the embodiment of FIG. 10 illustrates a method of outputting image content being output from the first mobile terminal to the second mobile terminal under the control of the stylus pen.
  • the stylus pen 50 and the first mobile terminal 100 and the stylus pen 50 and the second mobile terminal 200 are paired and capable of data transmission / reception.
  • the first mobile terminal 100 is the mobile terminal of FIG. 1A
  • the second mobile terminal 200 is the mobile terminal of FIG. 2.
  • the type of the first and second mobile terminals is not limited thereto, and may include various devices provided with a display unit.
  • the first mobile terminal 100 may control to output image content to the touch screen.
  • the user may want to transfer an image, which is viewed as a small screen of the smartphone, to a display device having a large screen.
  • the first mobile terminal 100 may sense the contact of the stylus pen 50 on the touch screen. More specifically, as illustrated in FIG. 10A, a contact of the stylus pen 50 with respect to the image content 1010a output on the touch screen may be sensed. In this case, the first mobile terminal 100 may perform an operation associated with the image content touched by the stylus pen 50.
  • the stylus pen 50 may sense the first input signal 1020a while the first input unit 51 is in contact with the touch screen.
  • the first input signal 1020a may correspond to a user input to the second input unit 52.
  • the stylus pen 50 may transmit a control signal to the first mobile terminal 100, and the first mobile terminal 100 may transmit information of the image content 1010a to the stylus pen 50.
  • the stylus pen 50 may control to store information of the image content 1010a in a memory.
  • the second mobile terminal 200 may sense a contact of the stylus pen 50 on the touch screen.
  • the stylus pen 50 may sense the second input signal 1020b while the first input unit 41 is in contact with the touch screen of the second mobile terminal 200.
  • the second input signal 1020b may correspond to a user input to the second input unit 52 and may correspond to the same input as the first input signal 1010b.
  • the stylus pen 50 may transmit information of the image content 1010a to the second mobile terminal 200 in response to the second input signal 1020b.
  • the second mobile terminal 200 may control to output the image content 1010b to the touch screen.
  • the second mobile terminal 200 may control to output the image content 1010b to the position where the first input unit 41 of the stylus pen 50 is in contact with.
  • the image content 1010a output to the first mobile terminal 100 and the image content 1010b output to the second mobile terminal 200 may correspond to the same image.
  • the second mobile terminal 200 may control the image content 1010b to be enlarged and output to fit the size of the touch screen.
  • FIG. 10 has described a method of copying and pasting an image as it is, a method of cutting and pasting image content 1010a output to the first mobile terminal 100 and pasting it to the second mobile terminal 200. May also be used.
  • the second mobile terminal 200 enlarges or reduces the image content 1010b according to the signal strength from the first input unit 51 of the stylus pen 50. Can be controlled.
  • 11 and 12 a method of controlling content of a mobile terminal when a video playback and writing using a stylus pen are simultaneously performed in the mobile terminal will be described.
  • 11 and 12 it is assumed that the stylus pen and the mobile terminal are in a paired state, and the mobile terminal can transmit / receive a control signal from the stylus pen.
  • 11 and 12 it is assumed that the mobile terminal includes a first area and a second area on the touch screen.
  • FIG. 11 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal may sense the first input by the stylus pen in the second area while playing the video in the first area (S1110).
  • the first input may correspond to a handwriting input of information related to a video being played in the first area.
  • the mobile terminal may control to store the moving picture reproduction information at the time when the writing input is sensed in the memory (S1120).
  • the video playback information may correspond to time information, content information, etc. at the time when the first input is sensed in the video being played.
  • the mobile terminal may sense a second input by the stylus pen in a state in which handwritten content is output to the second area (S1130).
  • the second input may correspond to a long press touch input as a touch input by the stylus pen.
  • the mobile terminal may control to output video information corresponding to the writing at the point where the touch input is sensed as a pop-up message (S1140).
  • the mobile terminal may provide a pop-up message with information corresponding to the point where the second input is sensed among the written information.
  • the user may easily check or use the video information related to the handwriting later with respect to the handwritten content when the video content is used. In addition, it will be described in detail with reference to FIG. 12.
  • FIG. 12 is a diagram illustrating an example of receiving an input by a stylus pen simultaneously with playing a video on a mobile terminal.
  • the mobile terminal is the two-folder display device described above in FIG. 2.
  • the embodiment of FIG. 12 assumes that writing is related to learning while playing a learning video.
  • the mobile terminal 200 receives a writing input 1210a by the stylus pen 50 in the second area 220 while playing the training video in the first area 210. You can sense it.
  • the mobile terminal 200 may control to store the playback information of the training video in the memory.
  • the video play information may include time information, content information, etc. at the time when a handwriting input is sensed in the video being played. That is, the mobile terminal 200 may control to store the writing input sensed during video playback in association with the video and store it in the memory.
  • the mobile terminal 200 may sense the touch input 1210b by the stylus pen 50 while the writing information is output.
  • the touch input by the stylus pen 50 may correspond to the long press touch, but is not limited thereto.
  • the mobile terminal 200 may output information of a video corresponding to the area where the touch input 1210b is sensed among the handwriting information in the form of a pop-up message 1220 in response to the touch input 1210b.
  • the popup message 1220 may correspond to time information or content information of a video corresponding to an area where the touch input 1210b is sensed. In this way, the user can easily recognize the video playback time associated with the handwriting.
  • the mobile terminal 200 when the additional input for the pop-up 1220 is sensed while the pop-up 1220 is output, the mobile terminal 200 includes the first area 210 and the second area 220. ) To play the video. At this time, the playback start time of the video may correspond to a time corresponding to the handwriting information.
  • FIGS. 13 to 21 will be described in the case of using the stylus pen in the payment act.
  • the stylus pen and the mobile terminal are in a paired state, so that a signal transmission / reception between the mobile terminal and the stylus pen is possible.
  • FIGS. 13 to 15 a method of performing payment using only a stylus pen without using a mobile terminal will be described.
  • a payment is performed using a mobile terminal as well as a stylus pen.
  • FIG. 13 is a flowchart illustrating a payment method using a stylus pen according to an embodiment of the present invention.
  • the stylus pen may be provided with a wireless communication unit to transmit / receive information related to payment from the stylus pen itself.
  • a wireless communication unit to transmit / receive information related to payment from the stylus pen itself.
  • additional authentication may be required in addition to the signature to enhance security.
  • the stylus pen may enter the payment mode (S1310). For example, when the stylus pen receives payment related information from the mobile terminal, the stylus pen may enter the payment mode. Also, for example, when the stylus pen receives an input signal from the user, the stylus pen may enter the payment mode.
  • the stylus pen may sense the fingerprint information of the user (S1320). More specifically, the fingerprint information of the user may be sensed through the fingerprint sensing unit provided in the second input unit of the stylus pen. In this case, the stylus pen may determine whether the user's fingerprint information and the registered fingerprint information match, and perform a first user authentication (S1330).
  • the stylus pen may transmit the fingerprint information sensed to the mobile terminal, determine whether it is the same as the fingerprint information of the user registered in the mobile terminal, and perform the first user authentication. As another example, the stylus pen may determine whether it is identical to fingerprint information of a user registered by itself, and perform first user authentication.
  • the stylus pen may sense a signature input of the user (S1340).
  • the signature input of the user may correspond to a signature input in a state in which the first input unit of the stylus pen contacts the display unit of the POS for payment.
  • the stylus pen may perform second user authentication (S1350).
  • the movement information of the stylus pen includes the contents of the signature input sensed through various sensors for sensing the movement of the stylus pen, the pressure of the signature input, the angle of the stylus pen when the signature is input, the movement pattern of the stylus pen, and the like. can do.
  • the first user authentication through the fingerprint information and the second user authentication through the signature input may be performed at the same time, or may be performed after the change.
  • the stylus pen may transmit payment information to the external device (S1360).
  • the external device may correspond to a force.
  • the user can easily perform security-enhanced user authentication only with the stylus pen.
  • the embodiment of FIG. 13 may be performed in the same manner for user authentication of secure content in addition to user authentication for payment.
  • FIG. 14 is a diagram illustrating an example of making a payment using a stylus pen according to an embodiment of the present invention.
  • a step of tagging a product for payment or inputting a cost may be performed in the force 1400.
  • the payment amount may be output to the display unit 1410 of the force 1400 as shown in FIG. 14A.
  • the user may wish to proceed with the payment using the stylus pen 50.
  • the stylus pen 50 may sense the signature input 1420 while being in contact with the force 1400.
  • the stylus pen 50 may sense the fingerprint information of the user.
  • the fingerprint information of the user matches the registered fingerprint information, the first user authentication may be performed.
  • the stylus pen 50 may perform second user authentication based on the motion information sensed by the signature input 1420 when it matches the registered motion information.
  • the motion information may include a signature pattern sensed through various sensors included in the stylus pen 50, an angle of the stylus pen 50, a pressure sensed by the stylus pen 50, a speed of a signature input, and the like. Can be.
  • the stylus pen 50 may transmit payment information to the force 1400.
  • the stylus pen 50 may include a wireless communication unit using a communication method such as magnetic secure transmission (MST), near field communication (NFC), radio frequency identification (RFID), Bluetooth low energy (BLE), or Bluetooth (BT).
  • MST magnetic secure transmission
  • NFC near field communication
  • RFID radio frequency identification
  • BLE Bluetooth low energy
  • BT Bluetooth
  • the payment information may be controlled to be transmitted to the force 1400.
  • the stylus pen 50 when entering the payment mode of the stylus pen 50, the stylus pen 50 may perform the payment with the default (default) card. In this case, when a signal for rotating the stylus pen 50 is sensed, the stylus pen 50 may be changed to another card held by the user instead of the defold card to perform payment.
  • FIG. 15 is a diagram illustrating in detail a first user authentication and a second user authentication process using a stylus pen according to an embodiment of the present invention.
  • the stylus pen 50 has entered a payment mode.
  • Figure 15 (a) shows the first authentication through the fingerprint.
  • the second input unit 52 of the stylus pen 50 senses the fingerprint of the user's thumb or index finger. can do.
  • the stylus pen 50 may determine whether the sensed fingerprint information matches the registered fingerprint information and perform primary authentication.
  • the first authentication through the fingerprint may be performed by the stylus pen 50 itself, or by transmitting the sensed fingerprint information to the mobile terminal, the first authentication may be performed on the mobile terminal.
  • Fig. 15B shows the second authentication through signature.
  • the stylus pen 50 may sense the signature input 1520.
  • the mobile terminal 100 determines whether the sensed signature input 1520 is the same as the registered signature input of the user. Secondary authentication can be performed.
  • the stylus pen 50 checks whether the motion information of the signature input 1520 and the registered user's movement information are the same. It can determine whether or not to perform the second authentication.
  • the motion information of the stylus pen 50 includes the contents of the signature input sensed by various sensors for sensing the movement of the stylus pen 50, the pressure of the signature input, the angle of the stylus pen 50 when the signature is input, and the signature input.
  • the rotation pattern of the stylus pen 50 may be included.
  • the angle of the stylus pen 50 may correspond to a pattern in which the angle of the stylus pen 50 changes when the user generally signs.
  • various types of authentication may be performed in addition to authentication through a fingerprint and authentication through a signature. For example, when the user's voice is sensed while the user's finger is held by the stylus pen 50, it is determined whether the user corresponds to a registered user through the voice transmitted through the bone and conduction method through the skin and bone. can do.
  • FIG. 16 is a flowchart illustrating a payment method of a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • this corresponds to a case where both a stylus pen and a mobile terminal are used for payment.
  • the mobile terminal can enter a payment mode (S1610).
  • the mobile terminal may enter the payment mode.
  • the stylus pen paired with the mobile terminal may also enter the payment mode.
  • the mobile terminal may sense a signature input while the stylus pen is in contact with the touch screen (S1620). More specifically, the mobile terminal can sense a signature input in a state where payment target information is output on the touch screen. In addition, when the signature input by the stylus pen and the signature information registered in the mobile terminal are the same, the mobile terminal may complete user authentication (S1630). Meanwhile, the mobile terminal may additionally sense the fingerprint information of the user in the stylus pen to perform additional user authentication.
  • the mobile terminal can transmit payment completion information to the external device through the wireless communication unit (S1640).
  • the external device may correspond to a POS as a payment terminal.
  • the mobile terminal and the stylus pen may end the payment mode.
  • the user can sign the force through the stylus pen connected to the mobile terminal on the mobile terminal possessed by the user without signing the POS through another signing tool, thereby making it easier to complete the user's authentication and payment.
  • 17 is a diagram illustrating an example of a payment method using a mobile terminal and a stylus pen according to an embodiment of the present invention.
  • the force 1700 when a product is tagged for payment or a payment amount is input to the force 1700, the force 1700 outputs payment amount information to the display 1710a or voice ( 1710b).
  • the user may execute a payment application on the mobile terminal 100 for payment.
  • the mobile terminal 100 may receive information related to a payment amount from the force 1700 and control to output the payment target information 1720 on the touch screen.
  • the user may sign the mobile terminal using the stylus pen 50. That is, the mobile terminal 100 may sense the signature input 1730 by the stylus pen 50. In more detail, the mobile terminal 100 may sense the signature input 1730 through the first input unit 51 of the stylus pen 50.
  • the mobile terminal may determine whether the signature input 1730 is the same as the registered signature information. When the signature input 1730 and the registered signature information are the same, the mobile terminal may complete authentication of the user. However, when the signature input 1730 and registered signature information are not the same, the mobile terminal may additionally perform a user authentication procedure other than the signature input.
  • the additional authentication procedure may correspond to fingerprint authentication through the Stanley pen 50, but is not limited thereto.
  • the mobile terminal 100 may transmit payment completion information to the force 1700.
  • the payment mode of the mobile terminal 100 and the stylus pen 50 may be terminated.
  • FIG. 18 is a diagram illustrating another example of a payment method using a mobile terminal and a stylus pen according to an embodiment of the present invention.
  • the touch input 1810 may be sensed by the stylus pen 50.
  • the touch input 1810 may correspond to a double tap input by the first input unit 51 of the stylus pen 50.
  • the touch input 1810 may correspond to a plurality of continuous touch inputs not by the stylus pen 50.
  • the mobile terminal may enter the payment mode.
  • the touch screen of the mobile terminal may still correspond to an inactive state in the payment mode.
  • the mobile terminal 100 may not output any payment target information on the touch screen.
  • the mobile terminal 100 may indicate that the mobile terminal 100 enters a payment mode in various ways.
  • the LED on the front of the mobile terminal blinks to indicate that the payment mode is entered.
  • the LED of the stylus pen 50 may blink to indicate that the payment mode is entered.
  • the mobile terminal 100 or the stylus pen 50 may provide a sound indicator, a vibration indicator, or the like to indicate that the mobile terminal 100 enters a payment mode.
  • the mobile terminal 100 may sense the signature input 1820 by the stylus pen 50.
  • the signature input 1820 may correspond to an input configured as a drag touch on the touch screen of the mobile terminal 100.
  • the signature input 1820 may correspond to a table located near the mobile terminal 100 or an input performed by the stylus pen 50 in the palm of the user. In this case, the stylus pen 50 may transmit information on the signature input to the mobile terminal.
  • the mobile terminal 100 may determine whether the sensed signature input 1820 is identical to the registered user's signature. In this case, although not shown in FIG. 18, when the sensed signature input 1820 is the same as the signature of the user, the mobile terminal 100 may indicate that user authentication is completed through the vibration indicator. In addition, it may indicate that user authentication has been completed in various ways.
  • the mobile terminal 100 may complete payment by transmitting payment completion information to the force 1800. In this case, the mobile terminal 100 may end the payment mode.
  • FIGS. 19 to 21 will be described with reference to the method of account transfer using a stylus pen and a mobile terminal.
  • the transfer was performed through an application supporting an account transfer function such as a bank application through a mobile terminal, a method for simplifying this was required.
  • FIG. 19 is a diagram illustrating an example of performing an account transfer in a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal 100 may enter a bank transfer (transfer) mode. For example, when a handwriting input of a predetermined word such as 'finance' is sensed on the touch screen through the stylus pen 50, the mobile terminal 100 may enter a transfer mode. Also, for example, when a touch input of a preset pattern is sensed, the mobile terminal 100 may enter a transfer mode.
  • a bank transfer transfer
  • the mobile terminal 100 when entering the remittance mode, may provide a touch screen in the form of a notepad to sense remittance information.
  • the user may write remittance information on the touch screen using the stylus pen 50. That is, referring to FIG. 19A, the mobile terminal 100 may sense an input of remittance information 1910 on the touch screen.
  • the remittance information may include information such as a remittance account, a remittance amount.
  • the mobile terminal may extract a character from the remittance information 1910 input through an optical character reader (OCR).
  • OCR optical character reader
  • the mobile terminal 100 may sense the signature input 1920 after the remittance information 1910 is input. In this case, the mobile terminal can determine whether the sensed signature input 1920 is the same as the registered signature.
  • the mobile terminal 100 may output a remittance popup message 1930 for checking whether the money is transmitted to the touch screen. Meanwhile, the mobile terminal 100 may perform additional user authentication for enhanced security in addition to user authentication through the signature input 1920.
  • the additional user authentication may correspond to authentication through fingerprint information of the user sensed through the stylus pen 50, but is not limited thereto.
  • the mobile terminal 100 may transmit the transfer information to an external device.
  • the external device may correspond to a bank server.
  • the mobile terminal 100 may output the transfer result on the touch screen.
  • the remittance result may include an account balance after the remittance, a remittance account, a remittance time, and the like.
  • FIG. 20 is a diagram illustrating an example of a method for transmitting money in a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • FIG. 20 illustrates a method of changing a part of remittance information in the embodiment of FIG. 19.
  • description of content overlapping with the above description will be omitted.
  • the mobile terminal 100 may sense the writing signal 2030a by the stylus pen 50.
  • the writing signal 2030a may correspond to writing by the stylus pen 50 for inputting the remittance information 2010.
  • the mobile terminal 100 may recognize the remittance information by extracting a character from the remittance information input 2010 through the OCR.
  • the mobile terminal 100 may sense the first input signal 2030b by the stylus pen 50.
  • the first input signal 2030b is a drag touch input for modifying some of the remittance information.
  • the first input signal 2030b changes the remittance bank.
  • the mobile terminal 100 may output the remittance bank 2020 that is changed in response to the first input signal 2030b.
  • the mobile terminal 100 may determine the bank to which the remittance target is.
  • the second input signal 2030c may correspond to a touch input by the stylus pen 50.
  • the mobile terminal 100 may sense the third input signal 2030e for the final remittance.
  • the third input signal 2030e may correspond to a voice input sensed while the stylus pen 50 is in contact with the touch screen 2030d.
  • the voice input 2030e may include remittance information.
  • the mobile terminal 100 may perform speech-to-text (STT) to recognize the user's voice input 2030e.
  • STT speech-to-text
  • the mobile terminal 100 may transmit the remittance information to the external device.
  • the external device may correspond to a bank server.
  • the mobile terminal 100 may transmit remittance information to an external device.
  • FIG. 21 is a diagram illustrating an example of remittance while an address book is output on a mobile terminal using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal may sense a first input signal 2110a for a specific person included in the address book 2100.
  • the first input signal 2110a may correspond to a long press touch input by the stylus pen 50.
  • the mobile terminal 100 may control to output a menu option 2120 for a specific person.
  • the menu option 2120 may include various menus such as making a phone call, sending a message, and making a bank transfer.
  • the mobile terminal 100 may sense a second input signal 2110b for an account transfer option among the menu options 2120.
  • the mobile terminal 100 may perform bank transfer in various ways. As an example, as illustrated in FIG. 21C, the mobile terminal 100 may output a memo interface 2130 for sensing a handwriting input for the account transfer history. In addition, the mobile terminal can sense the handwriting input 2110c for account transfer. In this case, as described above with reference to FIGS. 19 and 20, the mobile terminal 100 may recognize the contents of the handwriting input through the OCR, and perform the account transfer.
  • the mobile terminal 100 may execute an account transfer application.
  • the mobile terminal 100 may receive the account transfer information on the application, and perform the account transfer.
  • the mobile terminal 100 may output a pop-up message to indicate that the transfer is completed.
  • the mobile terminal 100 may output the address book 2100 again.
  • FIGS. 22 to 28 describe a user interface for providing various experiences in a mobile terminal using a stylus pen in addition to the above-described embodiments.
  • the stylus pen 10 and the mobile terminals 100 and 200 are paired and capable of data transmission / reception.
  • FIG. 22 is a diagram illustrating an example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • the color change of the pen or brush is made through a color picker.
  • a color picker since it is limited to the color included in the color picker, it may be difficult for the user to draw the same as the realistic color of the real object.
  • the stylus pen 50 is provided with the RGB color sensor, it will be able to draw the same as the actual color of the real object.
  • the user corresponds to a case in which the user wants to draw on the mobile terminal 100 in the same color as the actual apple.
  • the stylus pen 50 may recognize the color of the object located in front of the RGB sensor provided in the first input unit 51.
  • the stylus pen 50 may sense the input signal 2210.
  • the input signal 2210 may correspond to an input to the second input unit 52 in a state where the stylus pen 50 is in contact with the touch screen of the mobile terminal 100.
  • the stylus pen 50 may transmit color information recognized through the RGB sensor to the mobile terminal 100 in response to the sensed input signal 2210.
  • the mobile terminal 100 may perform drawing of the same color as the color recognized by the RGB sensor of the stylus pen 50 on the drawing content.
  • FIG. 23 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal 100 may output various shape guides on one side of the touch screen while the drawing application is executed. For example, in a state in which a straight line is selected among the shape guides, the mobile terminal may sense the first input signal 2310 and the second input signal 2320.
  • the first input signal 2310 may correspond to a state in which a finger touches the touch screen.
  • the second input signal 2320 may correspond to a drag touch input by the stylus pen 50.
  • the mobile terminal 100 may output a straight line according to the second input signal 2320 based on the position where the first input signal 2310 is sensed. That is, the mobile terminal 2320 may provide a drawing result in a form desired by the user through the first input signal 2310 and the second input signal 2320.
  • FIG. 24 illustrates another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal 100 may sense the first input signal 2410 by the stylus pen 50 while the drawing application is executed.
  • the first input signal 2410 may correspond to a drag touch input by the stylus pen 50.
  • the mobile terminal may output a star image as illustrated in FIG. 24 (a).
  • the mobile terminal may sense the second input signal 2420 for the star-shaped image.
  • the second input signal 2420 may correspond to a drag touch input by a user's thumb.
  • the mobile terminal 100 may erase the image output at the position where the second input signal 2420 is sensed.
  • the mobile terminal 100 distinguishes a drag touch input by the stylus pen 50 and a drag touch input by a finger, thereby providing a user interface that allows a user to easily draw and erase an image. can do.
  • the mobile terminal can distinguish the drag touch input by the stylus pen 50 and the finger through a pressure difference, a contact signal difference, and the like.
  • 25 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal 100 may capture an object 2510 in the field of view area through a camera.
  • the mobile terminal 100 may execute a drawing application to place the captured object 2510 on a lowermost layer and provide it as a drawing guide.
  • the mobile terminal 100 may crop only the area of the object 2510 focused in the captured image and provide it as a drawing guide.
  • the user may perform the drawing operation 2520 by referring to the captured object 2510 as a drawing guide using the stylus pen 50.
  • the user can draw a drawing result with a high similarity to the real object.
  • FIG. 26 illustrates an example of controlling book contents using a stylus pen according to an embodiment of the present invention. It is assumed that the embodiment of FIG. 26 is book content output on the mobile terminal 200 including the first area and the second area.
  • the mobile terminal 200 may sense the first input signal 2610a while outputting book content.
  • the first input signal 2610a may correspond to a drag touch input by the stylus pen 50.
  • the mobile terminal 200 may specify the area 2620 where the input signal 2610 is sensed as the storage area.
  • the mobile terminal 200 may sense the second input signal 2610b.
  • the second input signal 2610b may correspond to a drag touch input in a right direction by the stylus pen 50.
  • the mobile terminal 200 outputs the clipboard 2630 in response to the second input signal 2610b and adds a storage area to the clipboard 2630. Can be controlled.
  • FIG. 27 is a diagram illustrating an example of providing content using a stylus pen according to an embodiment of the present invention.
  • the embodiment of FIG. 27 is assumed to be established on a mobile terminal 200 including a first area and a second area.
  • the mobile terminal 200 may output content 2710 to at least one of the first area 210 and the second area 220.
  • the content 2710 may include various contents such as document content, image content, book content, and presentation content.
  • the user may want to organize or write data related thereto in the second area 210 based on the content output to the first area 210.
  • the mobile terminal 200 may sense a folding signal.
  • the folding signal corresponds to a signal for folding the mobile terminal 200 so that the first area 210 and the second area 220 face each other.
  • the mobile terminal 200 outputs the content 2710a output in the first area 210 in the second area 220 in response to the folding signal 2710b. can do.
  • the user writes information necessary for the content 2710b output to the second area 220 based on the content 2710a output to the first area 210.
  • the modified information including the original information and the handwriting can be conveniently used.
  • FIG. 28 is a diagram illustrating an example of controlling photo content using a stylus pen according to an embodiment of the present invention.
  • the mobile terminal 100 may execute a gallery application including at least one thumbnail image 2810.
  • the mobile terminal may sense an input signal 2820 that selects at least one thumbnail by the stylus pen 50.
  • the input signal 2820 may correspond to a drag touch input.
  • the mobile terminal 100 controls to output the thumbnail image into a first group 2830 a and a second group 2830 b in response to the input signal 2820.
  • the input signal 2820 may include various touch inputs that can distinguish regions in addition to one drag touch input.
  • the user can easily group only the desired picture among the plurality of pictures output in the gallery by using the stylus pen.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may include the controller 180 of the terminal. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.
  • the present invention has industrial applicability in mobile terminals and stylus pens, and can be repeatedly applied.

Abstract

The present invention relates to a method for providing a user interface which controls various contents in a mobile terminal, by using a stylus pen paired with the mobile terminal. To achieve the above or other objectives, according to an aspect of the present invention, there is provided a stylus pen comprising: a wireless communication unit for transmitting/receiving data to/from at least one mobile terminal; a sensing unit for sensing an input signal; and a control unit for performing control such that a control signal is transmitted to the at least one mobile terminal in response to the input signal.

Description

이동 단말기, 스타일러스 펜 및 그 제어방법Mobile terminal, stylus pen and control method
본 발명은 이동 단말기와 페어링된 스타일러스 펜을 이용하여 이동 단말기 상에서 다양한 컨텐츠를 제어하는 유저 인터페이스를 제공하는 방법에 관한 것이다.The present invention relates to a method for providing a user interface for controlling various contents on a mobile terminal using a stylus pen paired with the mobile terminal.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다. Terminals may be divided into mobile / portable terminals and stationary terminals according to their mobility. The mobile terminal may be further classified into a handheld terminal and a vehicle mounted terminal according to whether a user can directly carry it.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다. The functions of mobile terminals are diversifying. For example, data and voice communication, taking a picture and video with a camera, recording a voice, playing a music file through a speaker system, and outputting an image or video to a display unit. Some terminals have an electronic game play function or a multimedia player function. In particular, recent mobile terminals may receive multicast signals that provide visual content such as broadcasting, video, and television programs.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. As the terminal functions are diversified, for example, such a terminal is a multimedia player having a complex function such as taking a picture or a video, playing a music or video file, playing a game, or receiving a broadcast. Is being implemented.
이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.In order to support and increase the function of such a terminal, it may be considered to improve the structural part and / or the software part of the terminal.
이동 단말기에 구비된 터치 스크린에 대한 포인터로서 손가락을 이용할 경우, 세밀한 제어가 어려운 문제점이 있다. 이에 따라, 최근에는 스타일러스 펜을 이용하여 이동 단말기를 제어하는 사용자가 증가하고 있다.When a finger is used as a pointer to a touch screen provided in a mobile terminal, detailed control is difficult. Accordingly, recently, more and more users control a mobile terminal using a stylus pen.
다만, 종래의 스타일러스 펜은 단순히 터치 스크린을 터치하기 위한 용도로 활용되었을 뿐, 이동 단말기와의 다양한 인터랙션을 위하여 활용되지 않았었다. 따라서, 스타일러스 펜을 활용하여 이동 단말기에 터치 입력을 가하는 것 외에, 스타일러스 펜과 이동 단말기와의 상호 작용을 통한 사용자 편의를 증대시킬 필요가 있다. However, the conventional stylus pen was merely used for touching the touch screen and was not utilized for various interactions with the mobile terminal. Therefore, in addition to applying a touch input to the mobile terminal using a stylus pen, it is necessary to increase user convenience through interaction between the stylus pen and the mobile terminal.
또한, 종래의 스타일러스 펜의 경우, 이동 단말기와의 근접거리에 위치한 경우에만 이동 단말기에서 인식할 수 있는바, 사용자 편의를 위해 보다 사용성을 증대시킬 필요가 있다. In addition, the conventional stylus pen can be recognized by the mobile terminal only when located in close proximity to the mobile terminal, it is necessary to increase the usability for the user convenience.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 사용자 편의를 향상시킨 이동단말기 및 스타일러스 펜을 제공하는 것을 그 목적으로 한다.It is an object of the present invention to solve the above and other problems. Another object is to provide a mobile terminal and a stylus pen with improved user convenience.
구체적으로, 본 발명은 스타일러스 펜을 이용하여 복수의 이동 단말기 간의 데이터 복사를 제공하는 것을 그 목적으로 한다.Specifically, an object of the present invention is to provide data copying between a plurality of mobile terminals using a stylus pen.
또한, 본 발명은 스타일러스 펜 및 이동 단말기를 이용하여, 결제 또는 계좌이체를 간편하게 수행하는 방법을 제공하는 것을 그 목적으로 한다.In addition, an object of the present invention is to provide a method for easily performing payment or bank transfer using a stylus pen and a mobile terminal.
또한, 본 발명은 스타일러스 펜을 이용하여 이동 단말기 상에서 드로잉 컨텐츠, 문서 컨텐츠를 이용하는 방법을 제공하는 것을 그 목적으로 한다.Another object of the present invention is to provide a method for using drawing content and document content on a mobile terminal using a stylus pen.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 적어도 하나의 이동 단말기와 데이터를 송/수신하는 무선 통신부; 입력 신호를 센싱하는 센싱부; 및 상기 입력 신호에 대응하여, 상기 적어도 하나의 이동 단말기에 제어 신호를 전송하도록 제어하는 제어부를 포함하는, 스타일러스 펜을 제공한다.According to an aspect of the present invention to achieve the above or another object, a wireless communication unit for transmitting / receiving data with at least one mobile terminal; A sensing unit sensing an input signal; And a control unit for controlling to transmit a control signal to the at least one mobile terminal in response to the input signal.
또한, 본 발명의 다른 측면에 따르면, 상기 제어부는 상기 적어도 하나의 이동 단말기에 제 1 컨텐츠가 출력된 상태에서 상기 입력 신호를 센싱하고, 상기 입력 신호에 대응하여, 상기 제 1 컨텐츠와 상이한 제 2 컨텐츠를 출력하는 제어 신호를 상기 적어도 하나의 이동 단말기에 전송하도록 제어하는 것을 더 포함하는, 스타일러스 펜을 제공한다.According to another aspect of the present invention, the control unit senses the input signal in a state where the first content is output to the at least one mobile terminal, and corresponding to the input signal, a second different from the first content A control device for outputting content to the at least one mobile terminal further comprises a control, to provide a stylus pen.
또한, 본 발명의 다른 측면에 따르면, 상기 적어도 하나의 이동 단말기는 제 1 이동 단말기 및 제 2 이동 단말기를 포함하고, 상기 입력 신호는 제 1 입력 신호 및 제 2 입력 신호를 포함하는, 스타일러스 펜을 제공 한다.According to another aspect of the present invention, the at least one mobile terminal comprises a first mobile terminal and a second mobile terminal, the input signal comprising a first input signal and a second input signal. to provide.
또한, 본 발명의 다른 측면에 따르면, 상기 제어부는 상기 제 1 입력 신호에 대응하여, 상기 제 1 이동 단말기로부터 제 1 컨텐츠에 대한 정보를 수신하고 상기 제 1 컨텐츠에 대한 정보를 저장하고, 상기 제 2 입력 신호에 대응하여, 상기 제 2 이동 단말기에 상기 제 1 컨텐츠에 대한 정보를 전송하도록 제어하는 것을 더 포함하는, 스타일러스 펜을 제공한다.According to another aspect of the present invention, the control unit, in response to the first input signal, receives the information on the first content from the first mobile terminal and stores the information on the first content, And, in response to the second input signal, controlling to transmit the information about the first content to the second mobile terminal.
또한, 본 발명의 다른 측면에 따르면, 상기 센싱부는 사용자의 지문 정보 및 상기 스타일러스 펜의 움직임 정보를 센싱하는 것을 더 포함하는, 스타일러스 펜을 제공한다. In addition, according to another aspect of the present invention, the sensing unit further provides a stylus pen, which further includes sensing fingerprint information of the user and movement information of the stylus pen.
또한, 본 발명의 다른 측면에 따르면, 상기 제어부는 상기 센싱된 지문 정보가 등록된 지문 정보와 일치하는 경우, 제 1 사용자 인증을 수행하고, 상기 센싱된 움직임 정보가 등록된 움직임 정보와 일치하는 경우, 제 2 사용자 인증을 수행하는 것을 더 포함하는, 상기 제 1 사용자 인증 및 상기 제 2 사용자 인증이 완료된 경우, 외부 디바이스에 결제 정보를 전송하는 것을 더 포함하는, 스타일러스 펜을 제공한다.According to another aspect of the present invention, the controller performs a first user authentication when the sensed fingerprint information matches registered fingerprint information, and when the sensed motion information matches registered motion information. And, when the first user authentication and the second user authentication are completed, further comprising performing a second user authentication, further comprising transmitting payment information to an external device.
또한, 본 발명의 다른 측면에 따르면, 상기 스타일러스 펜의 움직임 정보는 상기 스타일러스 펜에서 센싱된 압력, 상기 스타일러스 펜의 각도, 상기 스타일러스 펜의 이동 패턴, 상기 스타일러스 펜의 회전 패턴 및 상기 스타일러스 펜에 의한 필기 내용 중 적어도 하나를 포함하는, 스타일러스 펜을 제공한다.In addition, according to another aspect of the present invention, the movement information of the stylus pen is caused by the pressure sensed by the stylus pen, the angle of the stylus pen, the movement pattern of the stylus pen, the rotation pattern of the stylus pen and the stylus pen A stylus pen is provided that includes at least one of handwritten contents.
상기 또는 다른 목적을 달성하기 위해 본 발명의 다른 일 측면에 따르면, 터치 스크린; 스타일러스 펜과 데이터를 송/수신하는 무선 통신부; 및 상기 터치 스크린에 제 1 컨텐츠가 출력된 상태에서 상기 스타일러스 펜에 의한 제 1터치 입력을 센싱하고, 상기 센싱된 제 1터치 입력에 대응하여 상기 터치 스크린에 제 2 컨텐츠를 출력하도록 제어하는 제어부를 포함하는, 이동 단말기를 제공한다.According to another aspect of the present invention to achieve the above or another object, a touch screen; A wireless communication unit for transmitting / receiving data with a stylus pen; And a controller configured to sense a first touch input by the stylus pen while the first content is output on the touch screen, and to output second content on the touch screen in response to the sensed first touch input. It provides, including a mobile terminal.
또한, 본 발명의 다른 측면에 따르면, 상기 제 1 컨텐츠는 동영상 컨텐츠이고, 상기 제 2 컨텐츠는 동영상에 대한 필기 컨텐츠인, 이동 단말기를 제공한다.In addition, according to another aspect of the present invention, the first content is a video content, the second content provides a mobile terminal, the writing content for the video.
또한, 본 발명의 다른 측면에 따르면, 상기 제어부는 상기 동영상 컨텐츠가 재생 중에 상기 제 1 터치 입력을 센싱하고, 상기 제 1 터치 입력에 대응하여 동영상 재생 정보를 저장하고 상기 필기 컨텐츠를 출력하되, 상기 동영상 재생 정보는 상기 제 1 터치 입력이 센싱된 특정 시점의 정보를 포함하는, 상기 필기 컨텐츠 중 상기 특정 시점의 정보에 대한 제 2 터치 입력을 센싱하고, 상기 제 2 터치 입력에 대응하여, 상기 동영상 재생 정보를 나타내는 팝업 메시지를 출력하도록 제어하는 것을 더 포함하는, 이동 단말기를 제공한다.According to another aspect of the present invention, the control unit senses the first touch input while the video content is playing, and stores video playback information and outputs the handwritten content in response to the first touch input. Video playback information includes information of a specific time point at which the first touch input is sensed, and senses a second touch input for information of the specific time point of the handwritten content, and corresponds to the second touch input, It further comprises controlling to output a pop-up message indicating the reproduction information.
또한, 본 발명의 다른 측면에 따르면, 상기 동영상 컨텐츠는 상기 터치 스크린의 제1 디스플레이 영역에서 출력되고, 상기 동영상에 대한 필기 컨텐츠는 상기 터치 스크린의 제 2 디스플레이 영역에서 출력되는, 이동 단말기를 제공한다.Further, according to another aspect of the present invention, the video content is output in the first display area of the touch screen, the handwritten content for the video is provided in the second display area of the touch screen provides a mobile terminal. .
또한, 본 발명의 다른 측면에 따르면, 상기 제 1 컨텐츠는 결제 대상 정보에 대응하고, 상기 제 2 컨텐츠는 서명 정보에 대응하는, 이동 단말기를 제공한다.Further, according to another aspect of the present invention, the first content corresponds to payment target information, the second content provides a mobile terminal corresponding to the signature information.
또한, 본 발명의 다른 측면에 따르면, 상기 제어부는 상기 결제 대상 정보가 출력된 상태에서, 상기 스타일러스 펜에 의한 상기 제 1 터치 입력이 센싱되는 경우, 상기 서명 정보를 출력하고, 상기 서명 정보가 등록된 서명 정보와 일치하는 경우, 외부 디바이스에 결제 완료 정보를 전송하도록 제어하는 것을 더 포함하는, 이동 단말기를 제공한다.According to another aspect of the present invention, when the first touch input by the stylus pen is sensed while the payment target information is output, the controller outputs the signature information and registers the signature information. If the matched signature information, the mobile terminal further comprises controlling to transmit the payment completion information to the external device.
또한, 본 발명의 다른 측면에 따르면, 상기 제어부는 상기 제 1 터치 입력이 센싱되기 전에 제 2 터치 입력이 센싱되는 경우, 결제 모드로 진입하도록 제어하는 것을 더 포함하는, 이동 단말기를 제공한다.In addition, according to another aspect of the present invention, the control unit further provides a mobile terminal, if the second touch input is sensed before the first touch input is sensed, to enter a payment mode.
상기 또는 다른 목적을 달성하기 위해 본 발명의 다른 일 측면에 따르면, 이동 단말기 및 스타일러스 펜을 포함하는 시스템의 제어 방법에 있어서, 상기 이동 단말기의 터치 스크린에 제 1 컨텐츠를 출력하는 단계; 상기 스타일러스 펜에서 입력 신호를 센싱하는 단계; 상기 입력 신호에 대응하여, 상기 이동 단말기에 상기 제 1 컨텐츠의 제어 신호를 전송하는 단계; 및 상기 제 1 컨텐츠의 제어 신호에 대응하여, 상기 이동 단말기의 터치 스크린에 제 2 컨텐츠를 출력하는 단계를 포함하는, 제어 방법을 제공한다.According to another aspect of the present invention to achieve the or another object, a control method of a system comprising a mobile terminal and a stylus pen, the method comprising: outputting first content on a touch screen of the mobile terminal; Sensing an input signal at the stylus pen; Transmitting a control signal of the first content to the mobile terminal in response to the input signal; And outputting second content to a touch screen of the mobile terminal in response to a control signal of the first content.
본 발명에 따른 이동 단말기, 스타일러스 펜 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.The effects of the mobile terminal, the stylus pen and the control method according to the present invention will be described.
본 발명의 실시 예들 중 적어도 하나에 의하면, 스타일러스 펜을 이용하여 이동 단말기를 용이하게 제어할 수 있다는 장점이 있다.According to at least one of the embodiments of the present invention, there is an advantage in that the mobile terminal can be easily controlled using a stylus pen.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 스타일러스 펜을 이용하여 복수의 디바이스 간의 데이터 복사를 용이하게 수행할 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage that it is easy to copy data between a plurality of devices using a stylus pen.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 스타일러스 펜 및 이동 단말기를 이용하여 보안 결제를 보다 용이하게 수행할 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage that the secure payment can be more easily performed using the stylus pen and the mobile terminal.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다. Further scope of the applicability of the present invention will become apparent from the following detailed description. However, various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, and therefore, specific embodiments, such as the detailed description and the preferred embodiments of the present invention, should be understood as given by way of example only.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.1A is a block diagram illustrating a mobile terminal related to the present invention.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.1B and 1C are conceptual views of one example of a mobile terminal, viewed from different directions.
도 2는 본 발명과 관련된 이동 단말기의 다른 일 예를 나타내는 도면이다.2 is a view showing another example of a mobile terminal according to the present invention.
도 3은 본 발명의 일 실시예에 따른 스타일러스 펜의 블록도이다. 3 is a block diagram of a stylus pen according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 스타일러스 펜의 사시도이다. 4 is a perspective view of a stylus pen according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 이동 단말기의 제어 방법을 나타내는 순서도이다.5 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
도 6은 스타일러스 펜에 대한 입력 신호에 따라 이동 단말기를 제어하는 일 예를 나타내는 도면이다.6 is a diagram illustrating an example of controlling a mobile terminal according to an input signal to a stylus pen.
도 7은 스타일러스 펜에 대한 입력 신호에 따라 이동 단말기를 제어하는 다른 일 예를 나타내는 도면이다.7 is a diagram illustrating another example of controlling a mobile terminal according to an input signal to a stylus pen.
도 8은 스타일러스 펜에 대한 입력 신호에 따라 이동 단말기를 제어하는 다른 일 예를나타내는 도면이다. 8 is a diagram illustrating another example of controlling a mobile terminal according to an input signal to a stylus pen.
도 9 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 이동 단말기의 제어 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따른 스타일러스 펜에 의해 복수의 이동 단말기를 제어하는 일 예를 나타내는 도면이다. 10 is a diagram illustrating an example of controlling a plurality of mobile terminals by a stylus pen according to an embodiment of the present invention.
도 11은 본 발명의 일 실시에에 따른 스타일러스 펜을 이용한 이동 단말기의 제어 방법을 나타내는 순서도이다. 11 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
도 12는 이동 단말기 상에서 동영상 재생과 동시에 스타일러스 펜에 의해 입력을 수신하는 일 예를 나타내는 도면이다.12 is a diagram illustrating an example of receiving an input by a stylus pen simultaneously with playing a video on a mobile terminal.
도 13은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 결제 방법을 나타내는 순서도이다.13 is a flowchart illustrating a payment method using a stylus pen according to an embodiment of the present invention.
도 14는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 결제를 수행하는 일 예를 나타내는 도면이다.14 is a diagram illustrating an example of making a payment using a stylus pen according to an embodiment of the present invention.
도 15는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 제 1 사용자 인증 및 제 2 사용자 인증 과정을 보다 상세하게 나타내는 도면이다. 15 is a diagram illustrating in detail a first user authentication and a second user authentication process using a stylus pen according to an embodiment of the present invention.
도 16은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 이동 단말기의 결제 방법을 나타내는 순서도이다. 16 is a flowchart illustrating a payment method of a mobile terminal using a stylus pen according to an embodiment of the present invention.
도 17은 본 발명의 일 실시예에 따른 이동 단말기 및 스타일러스 펜을 통한 결제 방법의 일 예를 나타내는 도면이다.17 is a diagram illustrating an example of a payment method using a mobile terminal and a stylus pen according to an embodiment of the present invention.
도 18은 본 발명의 일 실시예에 따른 이동 단말기 및 스타일러스 펜을 통한 결제 방법의 다른 일 예를 나타내는 도면이다.18 is a diagram illustrating another example of a payment method using a mobile terminal and a stylus pen according to an embodiment of the present invention.
도 19는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 이동 단말기에서 계좌 이체를 수행하는 일 예를 나타내는 도면이다.19 is a diagram illustrating an example of performing an account transfer in a mobile terminal using a stylus pen according to an embodiment of the present invention.
도 20은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 이동 단말기에서 송금하는 일 예를 나타내는 도면이다. 20 is a diagram illustrating an example of remittance from a mobile terminal using a stylus pen according to an embodiment of the present invention.
도 21은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 이동 단말기 상에 주소록이 출력된 상태에서 송금하는 일 예를 나타내는 도면이다.FIG. 21 is a diagram illustrating an example of remittance while an address book is output on a mobile terminal using a stylus pen according to an embodiment of the present invention.
도 22는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 드로잉 컨텐츠를 제공하는 일 예를 나타내는 도면이다.22 is a diagram illustrating an example of providing drawing content using a stylus pen according to an embodiment of the present invention.
도 23은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 드로잉 컨텐츠를 제공하는 다른 일 예를 나타내는 도면이다.FIG. 23 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention. FIG.
도 24는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 드로잉 컨텐츠를 제공하는 다른 일 예를 나타내는 도면이다.24 illustrates another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
도 25는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 드로잉 컨텐츠를 제공하는 다른 일 예를 나타내는 도면이다.25 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
도 26은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 서적 컨텐츠를 제어하는 일 예를 나타내는 도면이다. FIG. 26 illustrates an example of controlling book contents using a stylus pen according to an embodiment of the present invention.
도 27은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 컨텐츠를 제공하는 일 예를 나타내는 도면이다. 27 is a diagram illustrating an example of providing content using a stylus pen according to an embodiment of the present invention.
도 28은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 사진 컨텐츠를 제어하는 일 예를 나타내는 도면이다.28 is a diagram illustrating an example of controlling photo content using a stylus pen according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, and the same or similar components are denoted by the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used in consideration of ease of specification, and do not have distinct meanings or roles from each other. In addition, in describing the embodiments disclosed herein, when it is determined that the detailed description of the related known technology may obscure the gist of the embodiments disclosed herein, the detailed description thereof will be omitted. In addition, the accompanying drawings are intended to facilitate understanding of the embodiments disclosed herein, but are not limited to the technical spirit disclosed herein by the accompanying drawings, all changes included in the spirit and scope of the present invention. It should be understood to include equivalents and substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly indicates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, the terms "comprises" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다. The mobile terminal described herein includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant, a portable multimedia player, a navigation, a slate PC , Tablet PCs, ultrabooks, wearable devices, such as smartwatches, glass glasses, head mounted displays, and the like. have.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, it will be readily apparent to those skilled in the art that the configuration according to the embodiments described herein may also be applied to fixed terminals such as digital TVs, desktop computers, digital signages, etc., except when applicable only to mobile terminals. will be.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.1A to 1C, FIG. 1A is a block diagram illustrating a mobile terminal according to the present invention, and FIGS. 1B and 1C are conceptual views of one example of the mobile terminal, viewed from different directions.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. The mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a controller 180, and a power supply unit 190. ) May be included. The components shown in FIG. 1A are not essential to implementing a mobile terminal, so that the mobile terminal described herein may have more or fewer components than those listed above.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.More specifically, the wireless communication unit 110 of the components, between the mobile terminal 100 and the wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or the mobile terminal 100 and the external server It may include one or more modules that enable wireless communication therebetween. In addition, the wireless communication unit 110 may include one or more modules for connecting the mobile terminal 100 to one or more networks.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.The wireless communication unit 110 may include at least one of the broadcast receiving module 111, the mobile communication module 112, the wireless internet module 113, the short range communication module 114, and the location information module 115. .
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit 120 may include a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, an audio input unit, or a user input unit 123 for receiving information from a user. , Touch keys, mechanical keys, and the like. The voice data or the image data collected by the input unit 120 may be analyzed and processed as a control command of the user.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.The sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information. For example, the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity. G-sensor, Gyroscope Sensor, Motion Sensor, RGB Sensor, Infrared Sensor, Infrared Sensor, Finger Scan Sensor, Ultrasonic Sensor Optical sensors (e.g. cameras 121), microphones (see 122), battery gauges, environmental sensors (e.g. barometers, hygrometers, thermometers, radiation detection sensors, Thermal sensors, gas sensors, etc.), chemical sensors (eg, electronic noses, healthcare sensors, biometric sensors, etc.). Meanwhile, the mobile terminal disclosed herein may use a combination of information sensed by at least two or more of these sensors.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The output unit 150 is for generating an output related to sight, hearing, or tactile sense, and includes at least one of the display unit 151, the audio output unit 152, the hap tip module 153, and the light output unit 154. can do. The display unit 151 forms a layer structure with or is integrally formed with the touch sensor, thereby implementing a touch screen. The touch screen may function as a user input unit 123 that provides an input interface between the mobile terminal 100 and the user, and may also provide an output interface between the mobile terminal 100 and the user.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.The interface unit 160 serves as a path to various types of external devices connected to the mobile terminal 100. The interface unit 160 connects a device equipped with a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port. In the mobile terminal 100, in response to an external device being connected to the interface unit 160, appropriate control associated with the connected external device may be performed.
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.In addition, the memory 170 stores data supporting various functions of the mobile terminal 100. The memory 170 may store a plurality of application programs or applications driven in the mobile terminal 100, data for operating the mobile terminal 100, and instructions. At least some of these applications may be downloaded from an external server via wireless communication. In addition, at least some of these application programs may exist on the mobile terminal 100 from the time of shipment for basic functions of the mobile terminal 100 (for example, a call forwarding, a calling function, a message receiving, and a calling function). The application program may be stored in the memory 170 and installed on the mobile terminal 100 to be driven by the controller 180 to perform an operation (or function) of the mobile terminal.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operation related to the application program, the controller 180 typically controls the overall operation of the mobile terminal 100. The controller 180 may provide or process information or a function appropriate to a user by processing signals, data, information, and the like, which are input or output through the above-described components, or by driving an application program stored in the memory 170.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.In addition, the controller 180 may control at least some of the components described with reference to FIG. 1A in order to drive an application program stored in the memory 170. Furthermore, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 to drive the application program.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.The power supply unit 190 receives power from an external power source and an internal power source under the control of the controller 180 to supply power to each component included in the mobile terminal 100. The power supply unit 190 includes a battery, which may be a built-in battery or a replaceable battery.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다. At least some of the components may operate in cooperation with each other to implement an operation, control, or control method of the mobile terminal according to various embodiments described below. In addition, the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 170.
이하에서는, 위에서 살펴본 이동 단말기(100)를 통하여 구현되는 다양한 실시 예들을 살펴보기에 앞서, 위에서 열거된 구성요소들에 대하여 도 1a를 참조하여 보다 구체적으로 살펴본다.Hereinafter, the components listed above will be described in detail with reference to FIG. 1A before looking at various embodiments implemented through the mobile terminal 100 described above.
먼저, 무선 통신부(110)에 대하여 살펴보면, 무선 통신부(110)의 방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 이동단말기(100)에 제공될 수 있다.First, referring to the wireless communication unit 110, the broadcast receiving module 111 of the wireless communication unit 110 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. Two or more broadcast receiving modules may be provided to the mobile terminal 100 for simultaneous broadcast reception or switching of broadcast channels for at least two broadcast channels.
상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. The broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal. The broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
상기 방송 신호는 디지털 방송 신호의 송수신을 위한 기술표준들(또는 방송방식, 예를 들어, ISO, IEC, DVB, ATSC 등) 중 적어도 하나에 따라 부호화될 수 있으며, 방송 수신 모듈(111)은 상기 기술표준들에서 정한 기술규격에 적합한 방식을 이용하여 상기 디지털 방송 신호를 수신할 수 있다.The broadcast signal may be encoded according to at least one of technical standards (or broadcast methods, for example, ISO, IEC, DVB, ATSC, etc.) for transmitting and receiving digital broadcast signals, and the broadcast receiving module 111 may The digital broadcast signal may be received by using a method suitable for the technical standard set by the technical standards.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련된 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다. The broadcast associated information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider. The broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 112.
상기 방송 관련 정보는 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 다양한 형태로 존재할 수 있다. 방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(170)에 저장될 수 있다.The broadcast related information may exist in various forms such as an electronic program guide (EPG) of digital multimedia broadcasting (DMB) or an electronic service guide (ESG) of digital video broadcast-handheld (DVB-H). The broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 170.
이동통신 모듈(112)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. The mobile communication module 112 may include technical standards or communication schemes (eg, Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), and EV). Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (DO), Wideband CDMA (WCDMA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), LTE-A (Long Term Evolution-Advanced) and the like to transmit and receive a radio signal with at least one of a base station, an external terminal, a server on a mobile communication network.
상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.The wireless internet module 113 refers to a module for wireless internet access and may be embedded or external to the mobile terminal 100. The wireless internet module 113 is configured to transmit and receive wireless signals in a communication network according to wireless internet technologies.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(113)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.Examples of wireless Internet technologies include Wireless LAN (WLAN), Wireless-Fidelity (Wi-Fi), Wireless Fidelity (Wi-Fi) Direct, Digital Living Network Alliance (DLNA), Wireless Broadband (WiBro), and WiMAX (World). Interoperability for Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), and the like. 113) transmits and receives data according to at least one wireless Internet technology in a range including the Internet technologies not listed above.
WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(113)은 상기 이동통신 모듈(112)의 일종으로 이해될 수도 있다.In view of the fact that the wireless Internet access by WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A, etc. is made through a mobile communication network, the wireless Internet module 113 for performing a wireless Internet access through the mobile communication network 113 ) May be understood as a kind of mobile communication module 112.
근거리 통신 모듈(114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신 모듈(114)은, 근거리 무선 통신망(Wireless Area Networks)을 통해 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 다른 이동 단말기(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 상기 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.The short range communication module 114 is for short range communication, and includes Bluetooth ™, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC. (Near Field Communication), at least one of Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, Wireless USB (Wireless Universal Serial Bus) technology can be used to support short-range communication. The short-range communication module 114 may be configured between a mobile terminal 100 and a wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or through the wireless area networks. ) And a network in which the other mobile terminal 100 (or an external server) is located. The short range wireless communication network may be short range wireless personal area networks.
여기에서, 다른 이동 단말기(100)는 본 발명에 따른 이동 단말기(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display))가 될 수 있다. 근거리 통신 모듈(114)은, 이동 단말기(100) 주변에, 상기 이동 단말기(100)와 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(180)는 상기 감지된 웨어러블 디바이스가 본 발명에 따른 이동 단말기(100)와 통신하도록 인증된 디바이스인 경우, 이동 단말기(100)에서 처리되는 데이터의 적어도 일부를, 상기 근거리 통신 모듈(114)을 통해 웨어러블 디바이스로 전송할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 이동 단말기(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다. 예를 들어, 이에 따르면 사용자는, 이동 단말기(100)에 전화가 수신된 경우, 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 이동 단말기(100)에 메시지가 수신된 경우, 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.Here, the other mobile terminal 100 is a wearable device capable of exchanging (or interworking) data with the mobile terminal 100 according to the present invention (for example, smartwatch, smart glasses). (smart glass), head mounted display (HMD). The short range communication module 114 may sense (or recognize) a wearable device that can communicate with the mobile terminal 100, around the mobile terminal 100. Further, when the detected wearable device is a device that is authenticated to communicate with the mobile terminal 100 according to the present invention, the controller 180 may include at least a portion of data processed by the mobile terminal 100 in the short range communication module ( The transmission may be transmitted to the wearable device through 114. Therefore, the user of the wearable device may use data processed by the mobile terminal 100 through the wearable device. For example, according to this, when a call is received by the mobile terminal 100, the user performs a phone call through the wearable device or when a message is received by the mobile terminal 100, the received through the wearable device. It is possible to check the message.
위치정보 모듈(115)은 이동 단말기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 이동 단말기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 단말기의 위치를 획득할 수 있다. 다른 예로서, 이동 단말기는 Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 이동 단말기의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈(115)은 치환 또는 부가적으로 이동 단말기의 위치에 관한 데이터를 얻기 위해 무선 통신부(110)의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈(115)은 이동 단말기의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 이동 단말기의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.The location information module 115 is a module for obtaining a location (or current location) of a mobile terminal, and a representative example thereof is a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module. For example, when the mobile terminal utilizes the GPS module, the mobile terminal may acquire the location of the mobile terminal using a signal transmitted from a GPS satellite. As another example, when the mobile terminal utilizes the Wi-Fi module, the mobile terminal may acquire the location of the mobile terminal based on information of the wireless access point (AP) transmitting or receiving the Wi-Fi module and the wireless signal. If necessary, the location information module 115 may perform any function of other modules of the wireless communication unit 110 to substitute or additionally obtain data regarding the location of the mobile terminal. The location information module 115 is a module used to obtain the location (or current location) of the mobile terminal, and is not limited to a module that directly calculates or obtains the location of the mobile terminal.
다음으로, 입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 이동 단말기(100) 는 하나 또는 복수의 카메라(121)를 구비할 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다. 한편, 이동 단말기(100)에 구비되는 복수의 카메라(121)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(121)를 통하여, 이동 단말기(100)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 복수의 카메라(121)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다.Next, the input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from a user. For input of image information, the mobile terminal 100 is one. Alternatively, the plurality of cameras 121 may be provided. The camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode. The processed image frame may be displayed on the display unit 151 or stored in the memory 170. On the other hand, the plurality of cameras 121 provided in the mobile terminal 100 may be arranged to form a matrix structure, and through the camera 121 forming a matrix structure in this way, the mobile terminal 100 may have various angles or focuses. The plurality of pieces of image information may be input. In addition, the plurality of cameras 121 may be arranged in a stereo structure to acquire a left image and a right image for implementing a stereoscopic image.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동 단말기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.The microphone 122 processes external sound signals into electrical voice data. The processed voice data may be variously used according to a function (or an application program being executed) performed by the mobile terminal 100. Meanwhile, various noise reduction algorithms may be implemented in the microphone 122 to remove noise generated in the process of receiving an external sound signal.
사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 이동 단말기(100)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 이동 단말기(100)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다. The user input unit 123 is for receiving information from a user. When information is input through the user input unit 123, the controller 180 may control an operation of the mobile terminal 100 to correspond to the input information. . The user input unit 123 may be a mechanical input unit (or a mechanical key, for example, a button, a dome switch, a jog wheel, or the like located on the front, rear, or side surfaces of the mobile terminal 100). Jog switch, etc.) and touch input means. As an example, the touch input means may include a virtual key, a soft key, or a visual key displayed on the touch screen through a software process, or a portion other than the touch screen. It may be made of a touch key disposed in the. The virtual key or the visual key may be displayed on the touch screen while having various forms, for example, graphic, text, icon, video, or the like. It can be made of a combination of.
한편, 센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(180)는 이러한 센싱 신호에 기초하여, 이동 단말기(100)의 구동 또는 동작을 제어하거나, 이동 단말기(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다. 센싱부(140)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.Meanwhile, the sensing unit 140 senses at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information, and generates a sensing signal corresponding thereto. The controller 180 may control driving or operation of the mobile terminal 100 or perform data processing, function or operation related to an application program installed in the mobile terminal 100 based on the sensing signal. Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.
먼저, 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(141)는 위에서 살펴본 터치 스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. First, the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays. The proximity sensor 141 may be disposed in an inner region of the mobile terminal covered by the touch screen described above or near the touch screen.
근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(141)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다. Examples of the proximity sensor 141 include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. In the case where the touch screen is capacitive, the proximity sensor 141 may be configured to detect the proximity of the object by the change of the electric field according to the proximity of the conductive object. In this case, the touch screen (or touch sensor) itself may be classified as a proximity sensor.
한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(180)는 위와 같이, 근접 센서(141)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린상에 출력시킬 수 있다. 나아가, 제어부(180)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 이동 단말기(100)를 제어할 수 있다.On the other hand, for convenience of explanation, an action of allowing the object to be recognized without being in contact with the touch screen so that the object is located on the touch screen is referred to as a "proximity touch", and the touch The act of actually touching an object on a screen is called a "contact touch." The position at which the object is in close proximity touch on the touch screen means a position where the object is perpendicular to the touch screen when the object is in close proximity touch. The proximity sensor 141 may detect a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). have. Meanwhile, the controller 180 processes data (or information) corresponding to the proximity touch operation and the proximity touch pattern detected through the proximity sensor 141 as described above, and further, provides visual information corresponding to the processed data. It can be output on the touch screen. Further, the controller 180 may control the mobile terminal 100 to process different operations or data (or information) according to whether the touch on the same point on the touch screen is a proximity touch or a touch touch. .
터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(151))에 가해지는 터치(또는 터치입력)을 감지한다.The touch sensor applies a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. Detect.
일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다. As an example, the touch sensor may be configured to convert a change in pressure applied to a specific portion of the touch screen or capacitance generated at the specific portion into an electrical input signal. The touch sensor may be configured to detect a position, an area, a pressure at the touch, a capacitance at the touch, and the like, when the touch object applying the touch on the touch screen is touched on the touch sensor. Here, the touch object is an object applying a touch to the touch sensor and may be, for example, a finger, a touch pen or a stylus pen, a pointer, or the like.
이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(180)와 별도의 구성요소일 수 있고, 제어부(180) 자체일 수 있다. As such, when there is a touch input to the touch sensor, the corresponding signal (s) is sent to the touch controller. The touch controller processes the signal (s) and then transmits the corresponding data to the controller 180. As a result, the controller 180 can know which area of the display unit 151 is touched. Here, the touch controller may be a separate component from the controller 180 or may be the controller 180 itself.
한편, 제어부(180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 이동 단말기(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다. Meanwhile, the controller 180 may perform different control or perform the same control according to the type of touch object that touches the touch screen (or a touch key provided in addition to the touch screen). Whether to perform different control or the same control according to the type of touch object may be determined according to the operation state of the mobile terminal 100 or an application program being executed.
한편, 위에서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.Meanwhile, the touch sensor and the proximity sensor described above may be independently or combined, and may be a short (or tap) touch, a long touch, a multi touch, a drag touch on a touch screen. ), Flick touch, pinch-in touch, pinch-out touch, swipe touch, hovering touch, etc. A touch can be sensed.
초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.The ultrasonic sensor may recognize location information of a sensing object using ultrasonic waves. On the other hand, the controller 180 can calculate the position of the wave generation source through the information detected from the optical sensor and the plurality of ultrasonic sensors. The position of the wave source can be calculated using the property that the light is much faster than the ultrasonic wave, that is, the time that the light reaches the optical sensor is much faster than the time when the ultrasonic wave reaches the ultrasonic sensor. More specifically, the position of the wave generation source may be calculated using a time difference from the time when the ultrasonic wave reaches the light as the reference signal.
한편, 입력부(120)의 구성으로 살펴본, 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.On the other hand, the camera 121, which has been described as the configuration of the input unit 120, includes at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.
카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.The camera 121 and the laser sensor may be combined with each other to detect a touch of a sensing object with respect to a 3D stereoscopic image. The photo sensor may be stacked on the display element, which is configured to scan the movement of the sensing object in proximity to the touch screen. More specifically, the photo sensor mounts a photo diode and a transistor (TR) in a row / column and scans contents mounted on the photo sensor by using an electrical signal that varies according to the amount of light applied to the photo diode. That is, the photo sensor calculates coordinates of the sensing object according to the amount of light change, and thus, the position information of the sensing object can be obtained.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. The display unit 151 displays (outputs) information processed by the mobile terminal 100. For example, the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100 or user interface (UI) and graphical user interface (GUI) information according to the execution screen information. .
또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다.In addition, the display unit 151 may be configured as a stereoscopic display unit for displaying a stereoscopic image.
상기 입체 디스플레이부에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다. The stereoscopic display unit may be a three-dimensional display method such as a stereoscopic method (glasses method), an auto stereoscopic method (glasses-free method), a projection method (holographic method).
일반적으로 3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.Generally, a 3D stereoscopic image is composed of a left image (left eye image) and a right image (right eye image). A top-down method in which the left and right images are arranged up and down in one frame according to the way in which the left and right images are merged into three-dimensional stereoscopic images. L-to-R (left-to-right, side by side) method to be arranged as a checker board method to arrange the pieces of the left and right images in the form of tiles, a column unit of the left and right images Or an interlaced method of alternately arranging rows, and a time sequential (frame by frame) method of alternately displaying left and right images by time.
또한, 3차원 썸네일 영상은 원본 영상 프레임의 좌 영상 및 우 영상으로부터 각각 좌 영상 썸네일 및 우 영상 썸네일을 생성하고, 이들이 합쳐짐에 따라 하나의 영상으로 생성될 수 있다. 일반적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 이렇게 생성된 좌 영상 썸네일과 우 영상 썸네일은 좌 영상과 우 영상의 시차에 대응하는 깊이감(depth)만큼 화면 상에서 좌우 거리차를 두고 표시됨으로써 입체적인 공간감을 나타낼 수 있다.In addition, the 3D thumbnail image may generate a left image thumbnail and a right image thumbnail from the left image and the right image of the original image frame, respectively, and may be generated as one image as they are combined. In general, a thumbnail refers to a reduced image or a reduced still image. The left image thumbnail and the right image thumbnail generated as described above are displayed with a left and right distance difference on the screen by a depth corresponding to the parallax of the left image and the right image, thereby representing a three-dimensional space.
3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부에 의하여 입체 디스플레이부에 표시될 수 있다. 입체 처리부는 3D 영상(기준시점의 영상과 확장시점의 영상)을 입력 받아 이로부터 좌 영상과 우 영상을 설정하거나, 2D 영상을 입력 받아 이를 좌 영상과 우 영상으로 전환하도록 이루어진다.The left image and the right image necessary for implementing the 3D stereoscopic image may be displayed on the stereoscopic display by the stereoscopic processing unit. The stereoscopic processing unit receives 3D images (images of the base view and images of the extended view) and sets left and right images therefrom, or receives 2D images and converts them into left and right images.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(152)는 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.The sound output unit 152 may output audio data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like. The sound output unit 152 may also output a sound signal related to a function (for example, a call signal reception sound or a message reception sound) performed in the mobile terminal 100. The sound output unit 152 may include a receiver, a speaker, a buzzer, and the like.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(153)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(153)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.The haptic module 153 generates various haptic effects that a user can feel. A representative example of the tactile effect generated by the haptic module 153 may be vibration. The intensity and pattern of vibration generated by the haptic module 153 may be controlled by the user's selection or the setting of the controller. For example, the haptic module 153 may synthesize different vibrations and output or sequentially output them.
햅틱 모듈(153)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.In addition to vibration, the haptic module 153 may be used to stimulate pins that vertically move with respect to the contact skin surface, jetting force or suction force of air through the jetting or suction port, grazing to the skin surface, contact of electrodes, and electrostatic force Various tactile effects can be generated, such as effects by the endothermic and the reproduction of a sense of cold using the elements capable of endothermic heat generation.
햅틱 모듈(153)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(153)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.The haptic module 153 may not only deliver a tactile effect through direct contact, but also may allow a user to feel the tactile effect through a muscle sense such as a finger or an arm. Two or more haptic modules 153 may be provided according to a configuration aspect of the mobile terminal 100.
광출력부(154)는 이동 단말기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.The light output unit 154 outputs a signal for notifying occurrence of an event by using light of a light source of the mobile terminal 100. Examples of events occurring in the mobile terminal 100 may be message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
광출력부(154)가 출력하는 신호는 이동 단말기가 전면이나 후면으로 단색이나 복수색의 빛을 발광함에 따라 구현된다. 상기 신호 출력은 이동 단말기가 사용자의 이벤트 확인을 감지함에 의하여 종료될 수 있다.The signal output from the light output unit 154 is implemented as the mobile terminal emits light of a single color or a plurality of colors to the front or the rear. The signal output may be terminated by the mobile terminal detecting the user's event confirmation.
인터페이스부(160)는 이동 단말기(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(160)에 포함될 수 있다.The interface unit 160 serves as a path to all external devices connected to the mobile terminal 100. The interface unit 160 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits data inside the mobile terminal 100 to an external device. For example, a port connecting a device equipped with a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, and an identification module. The port, audio input / output (I / O) port, video input / output (I / O) port, earphone port, etc. may be included in the interface unit 160.
한편, 식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 단말기(100)와 연결될 수 있다.On the other hand, the identification module is a chip that stores a variety of information for authenticating the usage rights of the mobile terminal 100, a user identification module (UIM), subscriber identity module (SIM), universal user authentication And a universal subscriber identity module (USIM). A device equipped with an identification module (hereinafter referred to as an 'identification device') may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the terminal 100 through the interface unit 160.
또한, 상기 인터페이스부(160)는 이동 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.In addition, when the mobile terminal 100 is connected to an external cradle, the interface unit 160 may be a passage for supplying power from the cradle to the mobile terminal 100 or may be input from the cradle by a user. Various command signals may be a passage through which the mobile terminal 100 is transmitted. Various command signals or power input from the cradle may operate as signals for recognizing that the mobile terminal 100 is correctly mounted on the cradle.
메모리(170)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(170)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The memory 170 may store a program for the operation of the controller 180 and may temporarily store input / output data (for example, a phone book, a message, a still image, a video, etc.). The memory 170 may store data regarding vibration and sound of various patterns output when a touch input on the touch screen is performed.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.The memory 170 may include a flash memory type, a hard disk type, a solid state disk type, an SSD type, a silicon disk drive type, and a multimedia card micro type. ), Card-type memory (e.g., SD or XD memory), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read It may include at least one type of storage medium of -only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk and optical disk. The mobile terminal 100 may be operated in connection with a web storage that performs a storage function of the memory 170 on the Internet.
한편, 앞서 살펴본 것과 같이, 제어부(180)는 응용 프로그램과 관련된 동작과, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(180)는 상기 이동 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다. On the other hand, as described above, the controller 180 controls the operation related to the application program, and generally the overall operation of the mobile terminal 100. For example, if the state of the mobile terminal satisfies a set condition, the controller 180 may execute or release a lock state that restricts input of a user's control command to applications.
또한, 제어부(180)는 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행하거나, 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. 나아가 제어부(180)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 이동 단말기(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.In addition, the controller 180 may perform control and processing related to voice call, data communication, video call, or the like, or may perform pattern recognition processing for recognizing handwriting input or drawing input performed on a touch screen as text and images, respectively. Can be. Furthermore, the controller 180 may control any one or a plurality of components described above in order to implement various embodiments described below on the mobile terminal 100 according to the present invention.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(190)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다.The power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component. The power supply unit 190 includes a battery, and the battery may be a built-in battery configured to be rechargeable, and may be detachably coupled to the terminal body for charging.
또한, 전원공급부(190)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(160)의 일 예로서 구성될 수 있다.In addition, the power supply unit 190 may be provided with a connection port, the connection port may be configured as an example of the interface 160 is electrically connected to the external charger for supplying power for charging the battery.
다른 예로서, 전원공급부(190)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원공급부(190)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.As another example, the power supply unit 190 may be configured to charge the battery in a wireless manner without using the connection port. In this case, the power supply unit 190 uses one or more of an inductive coupling based on a magnetic induction phenomenon or a magnetic resonance coupling based on an electromagnetic resonance phenomenon from an external wireless power transmitter. Power can be delivered.
한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다. Meanwhile, various embodiments of the present disclosure may be implemented in a recording medium readable by a computer or a similar device using, for example, software, hardware, or a combination thereof.
도 1 b 및 1c를 참조하면, 개시된 이동 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고 와치 타입, 클립 타입, 글래스 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다. 이동 단말기의 특정 유형에 관련될 것이나, 이동 단말기의 특정유형에 관한 설명은 다른 타입의 이동 단말기에 일반적으로 적용될 수 있다. 1B and 1C, the disclosed mobile terminal 100 includes a terminal body in the form of a bar. However, the present invention is not limited thereto, and the present invention can be applied to various structures such as a watch type, a clip type, a glass type, or a folder type, a flip type, a slide type, a swing type, a swivel type, and two or more bodies which are coupled to be movable relative. . Although related to a particular type of mobile terminal, a description of a particular type of mobile terminal may generally apply to other types of mobile terminals.
여기에서, 단말기 바디는 이동 단말기(100)를 적어도 하나의 집합체로 보아 이를 지칭하는 개념으로 이해될 수 있다.Herein, the terminal body may be understood as a concept that refers to the mobile terminal 100 as at least one aggregate.
이동 단말기(100)는 외관을 이루는 케이스(예를 들면, 프레임, 하우징, 커버 등)를 포함한다. 도시된 바와 같이, 이동 단말기(100)는 프론트 케이스(101)와 리어 케이스(102)를 포함할 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 결합에 의해 형성되는 내부공간에는 각종 전자부품들이 배치된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 미들 케이스가 추가로 배치될 수 있다.The mobile terminal 100 includes a case (eg, a frame, a housing, a cover, etc.) forming an external appearance. As shown, the mobile terminal 100 may include a front case 101 and a rear case 102. Various electronic components are disposed in the internal space formed by the combination of the front case 101 and the rear case 102. At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
단말기 바디의 전면에는 디스플레이부(151)가 배치되어 정보를 출력할 수 있다. 도시된 바와 같이, 디스플레이부(151)의 윈도우(151a)는 프론트 케이스(101)에 장착되어 프론트 케이스(101)와 함께 단말기 바디의 전면을 형성할 수 있다.The display unit 151 may be disposed in front of the terminal body to output information. As shown, the window 151a of the display unit 151 may be mounted to the front case 101 to form a front surface of the terminal body together with the front case 101.
경우에 따라서, 리어 케이스(102)에도 전자부품이 장착될 수 있다. 리어 케이스(102)에 장착 가능한 전자부품은 착탈 가능한 배터리, 식별 모듈, 메모리 카드 등이 있다. 이 경우, 리어 케이스(102)에는 장착된 전자부품을 덮기 위한 후면커버(103)가 착탈 가능하게 결합될 수 있다. 따라서, 후면 커버(103)가 리어 케이스(102)로부터 분리되면, 리어 케이스(102)에 장착된 전자부품은 외부로 노출된다.In some cases, an electronic component may be mounted on the rear case 102. Electronic components attachable to the rear case 102 include a removable battery, an identification module, a memory card, and the like. In this case, the rear cover 102 may be detachably coupled to the rear case 102 to cover the mounted electronic component. Therefore, when the rear cover 103 is separated from the rear case 102, the electronic components mounted on the rear case 102 are exposed to the outside.
도시된 바와 같이, 후면커버(103)가 리어 케이스(102)에 결합되면, 리어 케이스(102)의 측면 일부가 노출될 수 있다. 경우에 따라서, 상기 결합시 리어 케이스(102)는 후면커버(103)에 의해 완전히 가려질 수도 있다. 한편, 후면커버(103)에는 카메라(121b)나 음향 출력부(152b)를 외부로 노출시키기 위한 개구부가 구비될 수 있다.As shown, when the rear cover 103 is coupled to the rear case 102, a portion of the side surface of the rear case 102 may be exposed. In some cases, the rear case 102 may be completely covered by the rear cover 103 during the coupling. On the other hand, the rear cover 103 may be provided with an opening for exposing the camera 121b or the sound output unit 152b to the outside.
이러한 케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.The cases 101, 102, and 103 may be formed by injecting a synthetic resin, or may be formed of a metal, for example, stainless steel (STS), aluminum (Al), titanium (Ti), or the like.
이동 단말기(100)는, 복수의 케이스가 각종 전자부품들을 수용하는 내부 공간을 마련하는 위의 예와 달리, 하나의 케이스가 상기 내부 공간을 마련하도록 구성될 수도 있다. 이 경우, 합성수지 또는 금속이 측면에서 후면으로 이어지는 유니 바디의 이동 단말기(100)가 구현될 수 있다.The mobile terminal 100 may be configured such that one case may provide the internal space, unlike the above example in which a plurality of cases provide an internal space for accommodating various electronic components. In this case, the mobile terminal 100 of the unibody that the synthetic resin or metal from the side to the rear may be implemented.
한편, 이동 단말기(100)는 단말기 바디 내부로 물이 스며들지 않도록 하는 방수부(미도시)를 구비할 수 있다. 예를 들어, 방수부는 윈도우(151a)와 프론트 케이스(101) 사이, 프론트 케이스(101)와 리어 케이스(102) 사이 또는 리어 케이스(102)와 후면 커버(103) 사이에 구비되어, 이들의 결합 시 내부 공간을 밀폐하는 방수부재를 포함할 수 있다.On the other hand, the mobile terminal 100 may be provided with a waterproof portion (not shown) to prevent water from seeping into the terminal body. For example, the waterproof portion is provided between the window 151a and the front case 101, between the front case 101 and the rear case 102 or between the rear case 102 and the rear cover 103, and a combination thereof. It may include a waterproof member for sealing the inner space.
이동 단말기(100)에는 디스플레이부(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 제2 조작유닛(123a, 123b), 마이크로폰(122), 인터페이스부(160) 등이 구비될 수 있다.The mobile terminal 100 includes a display unit 151, first and second sound output units 152a and 152b, a proximity sensor 141, an illuminance sensor 142, an optical output unit 154, and first and second units. The cameras 121a and 121b, the first and second manipulation units 123a and 123b, the microphone 122, the interface unit 160, and the like may be provided.
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이부(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 카메라(121a) 및 제1 조작유닛(123a)이 배치되고, 단말기 바디의 측면에 제2 조작유닛(123b), 마이크로폰(122) 및 인터페이스부(160)이 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 이동 단말기(100)를 일 예로 들어 설명한다.Hereinafter, as illustrated in FIGS. 1B and 1C, the display unit 151, the first sound output unit 152a, the proximity sensor 141, the illuminance sensor 142, and the light output unit may be disposed on the front surface of the terminal body. 154, the first camera 121a and the first operation unit 123a are disposed, and the second operation unit 123b, the microphone 122, and the interface unit 160 are disposed on the side of the terminal body. The mobile terminal 100 in which the second sound output unit 152b and the second camera 121b are disposed on the rear surface of the mobile terminal 100 will be described as an example.
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 제1 조작유닛(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.However, these configurations are not limited to this arrangement. These configurations may be excluded or replaced as needed or disposed on other sides. For example, the first manipulation unit 123a may not be provided on the front surface of the terminal body, and the second sound output unit 152b may be provided on the side of the terminal body instead of the rear surface of the terminal body.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.The display unit 151 displays (outputs) information processed by the mobile terminal 100. For example, the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100 or user interface (UI) and graphical user interface (GUI) information according to the execution screen information. .
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display unit 151 may include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible display). display, a 3D display, or an e-ink display.
또한, 디스플레이부(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.In addition, two or more display units 151 may exist according to an implementation form of the mobile terminal 100. In this case, the plurality of display units may be spaced apart or integrally disposed on one surface of the mobile terminal 100, or may be disposed on different surfaces.
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.The display unit 151 may include a touch sensor that senses a touch on the display unit 151 so as to receive a control command by a touch method. By using this, when a touch is made to the display unit 151, the touch sensor may sense the touch, and the controller 180 may generate a control command corresponding to the touch based on the touch sensor. The content input by the touch method may be letters or numbers or menu items that can be indicated or designated in various modes.
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우(151a)와 윈도우(151a)의 배면 상의 디스플레이(미도시) 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.Meanwhile, the touch sensor is formed of a film having a touch pattern and disposed between the window 151a and the display (not shown) on the rear surface of the window 151a or directly patterned on the rear surface of the window 151a. May be Alternatively, the touch sensor may be integrally formed with the display. For example, the touch sensor may be disposed on a substrate of the display or provided in the display.
이처럼, 디스플레이부(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.As such, the display unit 151 may form a touch screen together with the touch sensor. In this case, the touch screen may function as the user input unit 123 (see FIG. 1A). In some cases, the touch screen may replace at least some functions of the first manipulation unit 123a.
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.The first sound output unit 152a may be implemented as a receiver for transmitting a call sound to the user's ear, and the second sound output unit 152b may be a loud speaker for outputting various alarm sounds or multimedia reproduction sounds. It can be implemented in the form of).
디스플레이부(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 이동 단말기(100)의 외관이 보다 심플해질 수 있다.A sound hole for emitting sound generated from the first sound output unit 152a may be formed in the window 151a of the display unit 151. However, the present invention is not limited thereto, and the sound may be configured to be emitted along an assembly gap between the structures (for example, a gap between the window 151a and the front case 101). In this case, an externally formed hole may be invisible or hidden for sound output, thereby simplifying the appearance of the mobile terminal 100.
광 출력부(154)는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부(154)를 제어할 수 있다.The light output unit 154 is configured to output light for notifying when an event occurs. Examples of the event may include message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like. When the user's event confirmation is detected, the controller 180 may control the light output unit 154 to end the light output.
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.The first camera 121a processes an image frame of a still image or a moving image obtained by the image sensor in a shooting mode or a video call mode. The processed image frame may be displayed on the display unit 151 and stored in the memory 170.
제1 및 제2 조작유닛(123a, 123b)은 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 제2 조작유닛(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 제2 조작유닛(123a, 123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.The first and second manipulation units 123a and 123b may be collectively referred to as a manipulating portion as an example of the user input unit 123 operated to receive a command for controlling the operation of the mobile terminal 100. have. The first and second manipulation units 123a and 123b may be adopted in any manner as long as the user is tactile manner such as touch, push, scroll, and the like while the user is tactile. In addition, the first and second manipulation units 123a and 123b may be employed in such a manner that the first and second manipulation units 123a and 123b are operated without a tactile feeling by the user through proximity touch, hovering touch, or the like.
본 도면에서는 제1 조작유닛(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제1 조작유닛(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.In the drawing, the first operation unit 123a is illustrated as being a touch key, but the present invention is not limited thereto. For example, the first manipulation unit 123a may be a mechanical key or a combination of a touch key and a push key.
제1 및 제2 조작유닛(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작유닛(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 제2 조작유닛(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.The contents input by the first and second manipulation units 123a and 123b may be variously set. For example, the first operation unit 123a receives a command such as a menu, a home key, a cancellation, a search, etc., and the second operation unit 123b is output from the first or second sound output units 152a and 152b. The user may receive a command such as adjusting the volume of the sound and switching to the touch recognition mode of the display unit 151.
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.Meanwhile, as another example of the user input unit 123, a rear input unit (not shown) may be provided on the rear surface of the terminal body. The rear input unit is manipulated to receive a command for controlling the operation of the mobile terminal 100, and the input contents may be variously set. For example, commands such as power on / off, start, end, scroll, etc., control of the volume of sound output from the first and second sound output units 152a and 152b, and the touch recognition mode of the display unit 151. Commands such as switching can be received. The rear input unit may be implemented in a form capable of input by touch input, push input, or a combination thereof.
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이부(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.The rear input unit may be disposed to overlap the front display unit 151 in the thickness direction of the terminal body. For example, the rear input unit may be disposed at the rear upper end of the terminal body so that the user can easily manipulate the index body when the user grips the terminal body with one hand. However, the present invention is not necessarily limited thereto, and the position of the rear input unit may be changed.
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 제1 조작유닛(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 제1 조작유닛(123a)이 미배치되는 경우, 디스플레이부(151)가 보다 대화면으로 구성될 수 있다.As such, when the rear input unit is provided at the rear of the terminal body, a new type user interface using the same may be implemented. In addition, when the touch screen or the rear input unit described above replaces at least some functions of the first operation unit 123a provided in the front of the terminal body, the first operation unit 123a is not disposed on the front of the terminal body. The display unit 151 may be configured with a larger screen.
한편, 이동 단말기(100)에는 사용자의 지문을 인식하는 지문인식센서가 구비될 수 있으며, 제어부(180)는 지문인식센서를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이부(151) 또는 사용자 입력부(123)에 내장될 수 있다.Meanwhile, the mobile terminal 100 may be provided with a fingerprint recognition sensor for recognizing a user's fingerprint, and the controller 180 may use fingerprint information detected through the fingerprint recognition sensor as an authentication means. The fingerprint recognition sensor may be embedded in the display unit 151 or the user input unit 123.
마이크로폰(122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.The microphone 122 is configured to receive a user's voice, other sounds, and the like. The microphone 122 may be provided at a plurality of locations and configured to receive stereo sound.
인터페이스부(160)는 이동 단말기(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 이동 단말기(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.The interface unit 160 serves as a path for connecting the mobile terminal 100 to an external device. For example, the interface unit 160 may be connected to another device (eg, an earphone or an external speaker), a port for short-range communication (for example, an infrared port (IrDA Port), or a Bluetooth port (Bluetooth). Port), a wireless LAN port, or the like, or a power supply terminal for supplying power to the mobile terminal 100. The interface unit 160 may be implemented in the form of a socket for receiving an external card such as a subscriber identification module (SIM) or a user identity module (UIM), a memory card for storing information.
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.The second camera 121b may be disposed on the rear surface of the terminal body. In this case, the second camera 121b has a photographing direction substantially opposite to that of the first camera 121a.
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, '어레이(array) 카메라'로 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.The second camera 121b may include a plurality of lenses arranged along at least one line. The plurality of lenses may be arranged in a matrix format. Such a camera may be referred to as an 'array camera'. When the second camera 121b is configured as an array camera, images may be photographed in various ways using a plurality of lenses, and images of better quality may be obtained.
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.The flash 124 may be disposed adjacent to the second camera 121b. The flash 124 shines light toward the subject when the subject is photographed by the second camera 121b.
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.The second sound output unit 152b may be additionally disposed on the terminal body. The second sound output unit 152b may implement a stereo function together with the first sound output unit 152a and may be used to implement a speakerphone mode during a call.
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.The terminal body may be provided with at least one antenna for wireless communication. The antenna may be built in the terminal body or formed in the case. For example, an antenna that forms part of the broadcast receiving module 111 (refer to FIG. 1A) may be configured to be pulled out from the terminal body. Alternatively, the antenna may be formed in a film type and attached to the inner side of the rear cover 103, or may be configured such that a case including a conductive material functions as an antenna.
단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.The terminal body is provided with a power supply unit 190 (see FIG. 1A) for supplying power to the mobile terminal 100. The power supply unit 190 may include a battery 191 embedded in the terminal body or detachably configured from the outside of the terminal body.
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.The battery 191 may be configured to receive power through a power cable connected to the interface unit 160. In addition, the battery 191 may be configured to enable wireless charging through a wireless charger. The wireless charging may be implemented by a magnetic induction method or a resonance method (magnetic resonance method).
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.Meanwhile, in the drawing, the rear cover 103 is coupled to the rear case 102 to cover the battery 191 to limit the detachment of the battery 191 and to protect the battery 191 from external shock and foreign matter. To illustrate. When the battery 191 is detachably configured to the terminal body, the rear cover 103 may be detachably coupled to the rear case 102.
이동 단말기(100)에는 외관을 보호하거나, 이동 단말기(100)의 기능을 보조 또는 확장시키는 액세서리가 추가될 수 있다. 이러한 액세서리의 일 예로, 이동 단말기(100)의 적어도 일면을 덮거나 수용하는 커버 또는 파우치를 들 수 있다. 커버 또는 파우치는 디스플레이부(151)와 연동되어 이동 단말기(100)의 기능을 확장시키도록 구성될 수 있다. 액세서리의 다른 일 예로, 터치 스크린에 대한 터치입력을 보조 또는 확장하기 위한 터치펜을 들 수 있다.An accessory may be added to the mobile terminal 100 to protect the appearance or to assist or expand the function of the mobile terminal 100. An example of such an accessory may be a cover or pouch that covers or accommodates at least one surface of the mobile terminal 100. The cover or pouch may be configured to be linked with the display unit 151 to expand the function of the mobile terminal 100. Another example of the accessory may be a touch pen for assisting or extending a touch input to a touch screen.
이하에서는 이와 같이 구성된 이동 단말기에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. Hereinafter, embodiments related to a control method that can be implemented in the mobile terminal configured as described above will be described with reference to the accompanying drawings. It is apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit and essential features of the present invention.
도 2는 본 발명과 관련된 이동 단말기의 다른 일 예를 나타내는 도면이다.2 is a view showing another example of a mobile terminal according to the present invention.
본 발명의 다른 일 예로서, 이동 단말기는 도 2에 도시된 바와 같이 2-폴더 디스플레이 디바이스(200)에 해당할 수 있으나, 이외에 3-폴더 디스플레이 디바이스 등 다양한 폴더블 디바이스를 포함할 수 있다. 또한, 도 2에 도시된 바와 같이, 2-폴더 디스플레이 디바이스(200)는 제 1 바디 및 제 2 바디를 포함할 수 있다. 또한, 제1바디 및 제 2 바디 사이에는 폴딩부(215)가 구비되어, 2-폴더 디스플레이 디바이스(200)는 폴딩부(215)를 기준으로 양방향으로 제 1 바디 및 제 2 바디를 폴딩 가능하다. As another example of the present invention, the mobile terminal may correspond to the two-folder display device 200 as shown in FIG. 2, but may include various foldable devices such as a three-folder display device. Also, as shown in FIG. 2, the two-folder display device 200 may include a first body and a second body. In addition, a folding unit 215 is provided between the first body and the second body, and the two-folder display device 200 can fold the first body and the second body in both directions based on the folding unit 215. .
또한, 2-폴더 디스플레이 디바이스(200)는 제 1 바디에 제 1 디스플레이 영역(210) 구비하고, 제 2 바디에 제 2 디스플레이 영역(220) 구비할 수 있다. 예를 들어, 제 1 디스플레이 영역(210)및 제 2 디스플레이(220)는 상이한 디스플레이에 해당하거나, 동일한 단일 디스플레이에 해당할 수 있다.In addition, the two-folder display device 200 may include a first display area 210 in the first body and a second display area 220 in the second body. For example, the first display area 210 and the second display 220 may correspond to different displays or may correspond to the same single display.
또한, 설명의 편의를 위해, 본 발명에서 설명하는 2-폴더 디스플레이 디바이스(200)는 도 1에 도시된 구성요소 중 적어도 하나를 포함하는 것으로 가정한다. 또한, 이하에서, 이동 단말기(100)는 도 1 및 도 2의 이동 단말기를 통칭하는 것으로 가정하도록 한다.In addition, for convenience of description, it is assumed that the two-folder display device 200 described in the present invention includes at least one of the components shown in FIG. 1. In the following description, it is assumed that the mobile terminal 100 collectively refers to the mobile terminals of FIGS. 1 and 2.
도 3은 본 발명의 일 실시예에 따른 스타일러스 펜의 블록도이다. 3 is a block diagram of a stylus pen according to an embodiment of the present invention.
도 3을 참조하면, 스타일러스 펜은 이동 단말기와 무선 통신을 수행하기 위한 무선 통신부(310), 사용자에 의한 입력을 센싱하는 사용자 입력부(320), 이동 단말기와의 접촉 여부 및 스타일러스 펜의 주변 환경을 감지하는 센싱부(330), 이동 단말기로부터 수신한 데이터를 저장하기 위한 메모리(340) 및 스타일러스 펜의 전반적인 동작을 제어하기 위한 제어부(350)를 포함할 수 있다. 이외에도, 도 3에는 도시되지 않았으나, 스타일러스 펜은 스타일러스 펜의 각 구성요소들의 동작에 필요한 전원을 공급하는 전원 공급부, 스타일러스 펜의 동작 상태를 표시하기 위한 표시부를 더 포함할 수도 있다.Referring to FIG. 3, the stylus pen includes a wireless communication unit 310 for performing wireless communication with the mobile terminal, a user input unit 320 for sensing an input by a user, whether or not the mobile terminal is in contact with the mobile terminal, and the surrounding environment of the stylus pen. The sensing unit 330 may include a sensing unit 330, a memory 340 for storing data received from the mobile terminal, and a controller 350 for controlling overall operations of the stylus pen. In addition, although not shown in FIG. 3, the stylus pen may further include a power supply unit for supplying power required for the operation of each component of the stylus pen, and a display unit for displaying an operation state of the stylus pen.
무선 통신부(310)는 이동 단말기와 무선 통신을 수행하기 위한 것이다. 여기에서, 이동 단말기는 도 1에 도시된 이동 단말기뿐만 아니라 도2에 도시된 폴더블 디바이스도 포함할 수 있다. 스타일러스 펜과 이동 다말기와의 무선 통신은 근거리 통신을 통해 수행될 수 있으며, 근거리 통신 기술은 도 1에서 상술한 예에서와 같이, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, 및 NFC(Near Field Communication) 등이 이용될 수 있다. The wireless communication unit 310 is for performing wireless communication with the mobile terminal. Here, the mobile terminal may include not only the mobile terminal shown in FIG. 1 but also the foldable device shown in FIG. Wireless communication between the stylus and the mobile terminal may be performed through short-range communication, and the short-range communication technique may include Bluetooth, Radio Frequency Identification (RFID), and infrared communication (IrDA) as in the example described above with reference to FIG. 1. , Infrared Data Association (UWB), Ultra Wideband (UWB), ZigBee, and Near Field Communication (NFC) may be used.
사용자 입력부(320)는 스타일러스 펜의 동작 제어를 위한 입력 데이터를 발생시키는 역할을 수행한다. 사용자 입력부(320)느 스타일러스 펜의 외부에 노출되는 버튼 또는 터치 센서 등으로 구성될 수 있다.The user input unit 320 serves to generate input data for controlling the operation of the stylus pen. The user input unit 320 may include a button or a touch sensor exposed to the outside of the stylus pen.
센싱부(330)는 스타일러스 펜과 이동 단말기, 구체적으로는 이동 단말기의 터치 스크린과의 접촉 유무를 감지하고, 스타일러스 펜의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 센싱부(330)는 스타일러스 펜의 주변 환경을 센싱하고, 스타일러스 펜의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다. 터치스크린과의 접촉을 감지하기 위한 센싱부(310)는 압력 센서 및 자기 센서 중 적어도 하나를 포함할 수 있다. 또한, 스타일러스 펜의 움직임을 감지하기 위하여 센싱부(310)는 자이로 센서, 가속도 센서 등을 포함할 수 있다. The sensing unit 330 detects the contact between the stylus pen and the mobile terminal, specifically, the touch screen of the mobile terminal, and generates a sensing signal for controlling the operation of the stylus pen. In addition, the sensing unit 330 may sense a surrounding environment of the stylus pen and generate a sensing signal for controlling the operation of the stylus pen. The sensing unit 310 for detecting a contact with the touch screen may include at least one of a pressure sensor and a magnetic sensor. In addition, in order to detect the movement of the stylus pen, the sensing unit 310 may include a gyro sensor and an acceleration sensor.
압력 센서는 스타일러스 펜(50)이 터치스크린에 접촉되었을 경우와 터치스크린 접촉시의 압력의 세기를 측정하기 위한 것이다. 또한, 자기 센서는 스타일러스 펜(50)과 터치스크린 사이의 접촉 터치 및 근접 터치를 감지하기 위한 것이다. 구체적으로, 자기 센서는 자기장의 변화를 기초로 스타일러스 펜(50)이 터치스크린에 접촉 터치 되었는지 또는 근접 터치 되었는지를 구분할 수 있다. 본 발명에서는, 터치스크린과의 접촉 여부 및 근접 터치 여부를 센싱부(330)가 압력 센서 및 자기 센서 중 적어도 하나를 포함할 수 있는 것으로 예시하였지만, 설명한 센서 이외에도 다양한 센서가 터치스크린과의 접촉 여부 혹은 근접 터치 여부 등을 위해 사용될 수 있음은 물론이다. 센싱부(330)는 오브젝트의 색상을 감지하기 위한 RGB 센서, 지문 정보를 인식하기 위한 지문 센서 등을 포함할 수 있다.The pressure sensor is for measuring the strength of the pressure when the stylus pen 50 is in contact with the touch screen and at the touch screen contact. In addition, the magnetic sensor is for detecting a contact touch and a proximity touch between the stylus pen 50 and the touch screen. In detail, the magnetic sensor may distinguish whether the stylus pen 50 is in contact or proximity touch with the touch screen based on the change in the magnetic field. In the present invention, it is illustrated that the sensing unit 330 may include at least one of a pressure sensor and a magnetic sensor. Or it can be used for proximity touch or the like, of course. The sensing unit 330 may include an RGB sensor for detecting a color of an object, a fingerprint sensor for recognizing fingerprint information, and the like.
메모리(340)는 스타일러스 펜(50)의 동작에 필요한 각종 데이터를 저장하기 위한 것으로, 메모리(340)는 제어 영역 및 데이터 영역을 포함할 수 있다. 제어 영역은 스타일러스 펜(50)의 동작을 위한 프로그램을 저장하기 위한 영역이고, 데이터 영역은 외부로부터 수신한 데이터를 저장하기 위한 영역일 수 있다.The memory 340 stores various data necessary for the operation of the stylus pen 50, and the memory 340 may include a control area and a data area. The control area may be an area for storing a program for operating the stylus pen 50, and the data area may be an area for storing data received from the outside.
제어부(350)는 스타일러스 펜(50)의 전반적인 동작을 제어한다. 제어부(350)는 이동 단말기(100)와의 무선 통신을 위한 제어 및 처리를 수행할 수 있다.The controller 350 controls the overall operation of the stylus pen 50. The controller 350 may perform control and processing for wireless communication with the mobile terminal 100.
일 예로서, 제어부(350)는 사용자의 입력 신호가 센싱되는 경우, 페어링된 이동 단말기의 제어 신호를 생성하여, 이동 단말기에 전송하도록 제어할 수 있다. 다른 일 예로서, 제어부(350)는 스타일러스 펜이 이동 단말기의 터치 스크린에 접촉된 상태에서 입력 신호가 센싱되는 경우, 이동 단말기에 출력 중인 컨텐츠의 정보를 저장하도록 제어할 수 있다. 또한, 다른 일 예로서, 제어부(350)는 스타일러스 펜에 대한 지문 정보가 센싱되는 경우, 제 1 사용자 인증을 수행하고, 스타일러스 펜의 움직임 정보가 센싱되는 경우, 제 2 사용자 인증을 수행하도록 제어할 수 있다. 이와 관련하여, 실시예 별로 상세하게 후술하도록 한다. As an example, when the user's input signal is sensed, the controller 350 may generate a control signal of the paired mobile terminal and control the signal to be transmitted to the mobile terminal. As another example, when the input signal is sensed while the stylus pen is in contact with the touch screen of the mobile terminal, the controller 350 may control to store information of content being output to the mobile terminal. Also, as another example, the controller 350 may control to perform first user authentication when fingerprint information regarding the stylus pen is sensed and perform second user authentication when motion information of the stylus pen is sensed. Can be. In this regard, it will be described later in detail for each embodiment.
도 4는 본 발명의 일 실시예에 따른 스타일러스 펜의 사시도이다. 4 is a perspective view of a stylus pen according to an embodiment of the present invention.
도 4를 참조하면, 스타일러스 펜(50)은 헤드(head)부(410)와 바디(body)부(420)를 포함할 수 있다. 헤드부(410)는 이동 단말기(100)의 터치 스크린과 접촉하기 위한 부분이고, 바디부(420)는 사용자가 스타일러스 펜(50)을 파지하기 위한 부분이다. 스타일러스 펜(50)의 바디부(420)에는 스타일러스 펜(50)을 구성하는 전자 부품들이 실장되어 있을 수 있다.Referring to FIG. 4, the stylus pen 50 may include a head portion 410 and a body portion 420. The head portion 410 is a portion for contacting the touch screen of the mobile terminal 100, and the body portion 420 is a portion for the user to hold the stylus pen 50. Electronic components constituting the stylus pen 50 may be mounted on the body portion 420 of the stylus pen 50.
스타일러스 펜(50)의 터치 정확도 향상을 위해, 헤드부(410)의 단면적은 끝(tip)으로 갈수록 점차 감소될 수 있다. 즉, 스타일러스 펜(50)의 일단이 뾰족한 형상을 갖도록 함으로써, 사용자에게 펜을 사용하는 것과 같은 경험을 제공할 수 있다. 또한, 헤드부(410)의 끝에는 제 1 입력부(51)가 위치할 수 있고, 제 1 입력부(51)는 센싱부(310)를 구비할 수 있다. 이때, 제 1 입력부(51)는 RGB 센서를 구비할 수도 있다.In order to improve the touch accuracy of the stylus pen 50, the cross-sectional area of the head portion 410 may be gradually reduced toward the tip. That is, by having one end of the stylus pen 50 have a pointed shape, it is possible to provide a user with an experience such as using a pen. In addition, a first input unit 51 may be positioned at the end of the head unit 410, and the first input unit 51 may include a sensing unit 310. In this case, the first input unit 51 may include an RGB sensor.
바디부(420)는 스타일러스 펜(50)에 사용자 입력을 가하기 위한 제 2 입력부(52) 및 제 3 입력부(53)가 위치할 수 있다. 일 예로서, 도 4에 도시된 바와 같이, 제 2 입력부(52)는 표면에 터치 센서 형태로 구현될 수 있고, 제 3 입력부(53)는 푸쉬 버튼 형태로 구현될 수 있다. 또한, 제 2 입력부(52)는 지문 센서를 포함할 수 있다. 다만, 제 2 입력부(52) 및 제 3 입력부(53)는 도 4에 도시된 예와 상이하게 구현될 수 잇다. The body 420 may include a second input unit 52 and a third input unit 53 for applying a user input to the stylus pen 50. As an example, as shown in FIG. 4, the second input unit 52 may be implemented in the form of a touch sensor on the surface, and the third input unit 53 may be implemented in the form of a push button. In addition, the second input unit 52 may include a fingerprint sensor. However, the second input unit 52 and the third input unit 53 may be implemented differently from the example shown in FIG. 4.
설명의 편의를 위해, 본 발명에서 설명하는 이동 단말기 및 스타일러스 펜은 도 1a에 도시된 구성요소 중 적어도 하나를 포함하는 것으로 가정한다. 또한, 본 발명에 따른 이동 단말기는 디스플레이부(151)가 터치스크린인 경우, 더욱 용이하게 실시될 수 있으므로, 이하에서는 디스플레이부(151)가 터치 스크린인 것으로 가정한다.For convenience of description, it is assumed that the mobile terminal and the stylus pen described in the present invention include at least one of the components shown in FIG. 1A. In addition, since the mobile terminal according to the present invention may be more easily implemented when the display unit 151 is a touch screen, it is assumed below that the display unit 151 is a touch screen.
본 발명에서, 스타일러스 펜(50)이 이동 단말기(100)를 '터치' 또는 '접촉'한다는 것은 스타일러스 펜(50)과 이동 단말기(100)가 접촉 터치된 경우뿐만 아니라 근접 터치된 경우도 포함할 수 있다.In the present invention, that the stylus pen 50 'touches' or 'contacts' the mobile terminal 100 may include not only a case where the stylus pen 50 and the mobile terminal 100 are in contact but also a close touch. Can be.
또한, 본 발명의 일 실시예로서, 이동 단말기(100) 또는 스타일러스 펜(50)이 수행하는 동작들은 각각의 제어부에 의해 제어될 수 있다. 다만, 편의를 위해, 도면 및 이하의 설명에서는 이러한 동작들을 통칭하여 이동 단말기 또는 스타일러스 펜이 수행/제어하는 것으로 설명하도록 한다.In addition, as an embodiment of the present invention, operations performed by the mobile terminal 100 or the stylus pen 50 may be controlled by respective controllers. However, for convenience, the drawings and the following description will collectively describe these operations to be described as being performed / controlled by the mobile terminal or the stylus pen.
스타일러스Stylus 펜을 이용한 이동 단말기 제어 Mobile terminal control with pen
이하 도 5 내지 도 8에서는 스타일러스 펜(50)에서 센싱되는 사용자 입력에 따라 이동 단말기(100)를 제어하는 방법을 설명하도록 한다. 또한, 도 5 내지 도 8의 실시예에서, 스타일러스 펜(50)과 이동 단말기(100)는 페어링된 상태로서, 이동 단말기(100)는 스타일러스 펜(50)으로부터 제어 신호를 수신할 수 있는 상태인 것으로 가정한다.5 to 8, a method of controlling the mobile terminal 100 according to a user input sensed by the stylus pen 50 will be described. 5 to 8, the stylus pen 50 and the mobile terminal 100 are in a paired state, and the mobile terminal 100 is in a state capable of receiving a control signal from the stylus pen 50. Assume that
도 5는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 이동 단말기의 제어 방법을 나타내는 순서도이다.5 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
먼저, 이동 단말기(100)는 터치 스크린에 제 1 컨텐츠를 출력할 수 있다(S510). 예를 들어, 제 1 컨텐츠는 이동 단말기(100)에서 실행 가능한 다양한 애플리케이션, 동영상, 문서, 이미지 등을 포함할 수 있다. 즉, 사용자는 이동 단말기(100)를 통해 제 1 컨텐츠를 이용하고 있는 상태에 해당할 수 있다. 다만, S510 단계는 터치 스크린에 제 1 컨텐츠가 출력된 상태뿐만 아니라 터치 스크린이 비활성화된 상태에 해당할 수 있다.First, the mobile terminal 100 may output the first content on the touch screen (S510). For example, the first content may include various applications, videos, documents, images, etc. executable in the mobile terminal 100. That is, the user may correspond to a state of using the first content through the mobile terminal 100. However, step S510 may correspond to a state in which the first content is output on the touch screen as well as a state in which the touch screen is inactivated.
이때, 스타일러스 펜(50)은 제1 입력 신호를 센싱할 수 있다(S520). 여기에서, 제 1 입력 신호는 스타일러스 펜의 제 1 입력부(51)가 터치 스크린에 터치되지 않은 상태에서, 사용자로부터 센싱한 입력 신호에 해당한다. 예를 들어, 제 1 입력 신호는 제 2 입력부(52)를 통한 터치 입력에 해당할 수 있다. 또한, 예를 들어, 제 1 입력 신호는 제 3 입력부(53)를 통한 푸쉬 입력에 해당할 수 있다. In this case, the stylus pen 50 may sense the first input signal (S520). Here, the first input signal corresponds to an input signal sensed from a user in a state where the first input unit 51 of the stylus pen is not touched by the touch screen. For example, the first input signal may correspond to a touch input through the second input unit 52. Also, for example, the first input signal may correspond to a push input through the third input unit 53.
이 경우, 스타일러스 펜(50)은 제 1 입력 신호에 대응하여, 제 1 컨텐츠의 제어 신호를 생성하고, 이동 단말기(100)에 전송할 수 있다(S530). 즉, 종래의 스타일러스 펜과 달리, 이동 단말기(100)와 스타일러스 펜(50)이 아주 근접한 거리에 있지 않더라도, 데이터 송/수신이 가능하다. In this case, the stylus pen 50 may generate a control signal of the first content in response to the first input signal and transmit the generated control signal to the mobile terminal 100 (S530). That is, unlike the conventional stylus pen, even if the mobile terminal 100 and the stylus pen 50 are not in close proximity, data transmission / reception is possible.
또한, 이동 단말기(100)는 제 1 컨텐츠의 제어 신호를 수신하고, 터치 스크린에 제 2 컨텐츠를 출력하도록 제어할 수 있다(S540). 즉, 사용자는 스타일러스 펜(50)을 이용하여 이동 단말기(100)의 터치 스크린에 대한 터치 입력이 아닌 스타일러스 펜(50) 자체에 대한 입력을 가하여, 이동 단말기(100)를 용이하게 제어할 수 있다.In addition, the mobile terminal 100 may receive a control signal of the first content and control to output the second content to the touch screen (S540). That is, the user may easily control the mobile terminal 100 by applying an input to the stylus pen 50 itself rather than a touch input to the touch screen of the mobile terminal 100 using the stylus pen 50. .
이하 도 6 내지 도 8은 상술한 스타일러스 펜(50)에 의한 이동 단말기(100)의 제어 방법의 다양한 실시예를 나타낸다.6 to 8 illustrate various embodiments of the method for controlling the mobile terminal 100 by the stylus pen 50 described above.
먼저, 도 6은 스타일러스 펜에 대한 입력 신호에 따라 이동 단말기를 제어하는 일 예를 나타내는 도면이다.First, FIG. 6 is a diagram illustrating an example of controlling a mobile terminal according to an input signal to a stylus pen.
도 6(a)에 도시된 바와 같이, 이동 단말기(100)의 터치 스크린이 비활성화된 상태(610)인 동안, 스타일러스 펜(50)은 제 3 입력부(53)를 통한 입력 신호를 센싱할 수 있다. 여기에서, 제 3 입력부(53)는 사용자에 의한 푸쉬 입력을 센싱할 수 있다. 또한, 스타일러스 펜(50)은 센싱된 입력 신호에 기초하여, 이동 단말기(100)의 제어 신호를 생성하고, 이동 단말기(100)에 제어 신호를 전송할 수 있다. As shown in FIG. 6 (a), while the touch screen of the mobile terminal 100 is inactivated state 610, the stylus pen 50 may sense an input signal through the third input unit 53. . Here, the third input unit 53 may sense a push input by the user. In addition, the stylus pen 50 may generate a control signal of the mobile terminal 100 and transmit a control signal to the mobile terminal 100 based on the sensed input signal.
또한, 도 6(b)를 참조하면, 이동 단말기(100)는 스타일러스 펜(50)으로부터의 제어 신호에 대응하여, 터치 스크린에 기 설정된 컨텐츠(620)를 출력하도록 제어할 수 있다. 예를 들어, 도 6의 실시예에서, 기 설정된 컨텐츠(620)는 메모(memo) 애플리케이션에 해당한다. 다만, 기 설정된 컨텐츠(620)는 이외에도 사용자에 의해 설정된 컨텐츠 또는 이동 단말기에서 기 설정된 컨텐츠 등 다양한 컨텐츠에 해당할 수 있다. 즉, 이를 통해, 사용자는 이동 단말기(100)의 다른 컨텐츠를 이용 중이거나, 미사용 중인 상태에서 메모나 필기를 원하는 경우, 스타일러스 펜(50)에 대하여 입력을 가하여, 바로 이동 단말기(100) 상에서 필기할 수 있다.In addition, referring to FIG. 6B, the mobile terminal 100 may control to output the preset content 620 on the touch screen in response to a control signal from the stylus pen 50. For example, in the embodiment of FIG. 6, the preset content 620 corresponds to a memo application. However, the preset content 620 may correspond to various contents such as contents set by the user or contents preset by the mobile terminal. That is, through this, when the user is using other contents of the mobile terminal 100 or wants memo or writing while not in use, the user applies an input to the stylus pen 50 and immediately writes on the mobile terminal 100. can do.
한편, 본 실시예의 경우, 이동 단말기(100)의 터치 스크린이 비활성화된 상태를 가정하였으나, 이에 한정되지 않고, 터치 스크린 상에서 다른 컨텐츠가 출력 중인 상태에서도 가능하다. 또한, 본 실시예의 경우, 스타일러스 펜(50)의 제 3 입력부(53)를 통한 입력 신호를 예로 들었으나, 스타일러스 펜(50)에 대한 다른 입력부를 통한 입력 신호로도 가능하다.Meanwhile, in the present exemplary embodiment, it is assumed that the touch screen of the mobile terminal 100 is inactivated. However, the present invention is not limited thereto, and other contents are output on the touch screen. In addition, in the present embodiment, the input signal through the third input unit 53 of the stylus pen 50 is taken as an example, but may be an input signal through another input unit to the stylus pen 50.
도 7은 스타일러스 펜에 대한 입력 신호에 따라 이동 단말기를 제어하는 다른 일 예를 나타내는 도면이다.7 is a diagram illustrating another example of controlling a mobile terminal according to an input signal to a stylus pen.
먼저, 도 7(a)에 도시된 바와 같이, 이동 단말기(100)에 컨텐츠(710)가 출력된 상태에서, 스타일러스 펜(50)은 제 1 입력 신호(740a)를 센싱할 수 있다. 예를 들어, 제 1 입력 신호(740a)는 제 3 입력부(53)에 대한 푸쉬 입력에 해당하며, 이에 한정되지 아니한다. 또한, 제 1 입력 신호(740a)는 스타일러스 펜(50)이 이동 단말기(100)에 접촉되지 않은 상태에서 센싱된 신호에 해당한다. 또한, 도 7의 실시예에서 제 3 입력부(53)에 대한 푸쉬 입력은 도 6의 실시예와 달리, 롱 프레스 입력에 해당할 수 있다. 또한, 스타일러스 펜(50)은 제 1 입력 신호(740a)에 대응하여, 이동 단말기(100)의 제어 신호를 생성하고, 이동 단말기(100)에 전송할 수 있다.First, as shown in FIG. 7A, in a state where the content 710 is output to the mobile terminal 100, the stylus pen 50 may sense the first input signal 740a. For example, the first input signal 740a corresponds to a push input to the third input unit 53, but is not limited thereto. In addition, the first input signal 740a corresponds to a signal sensed when the stylus pen 50 is not in contact with the mobile terminal 100. In addition, in the embodiment of FIG. 7, the push input to the third input unit 53 may correspond to the long press input, unlike the embodiment of FIG. 6. In addition, the stylus pen 50 may generate a control signal of the mobile terminal 100 in response to the first input signal 740a and transmit the generated control signal to the mobile terminal 100.
이 경우, 이동 단말기는 수신된 제어 신호에 따라, 터치 스크린 상에 출력 중인 컨텐츠(710)의 스크린샷(screenshot)을 수행할 수 있다. 또한, 도 7(b)에 도시된 바와 같이, 이동 단말기(100)는 스크린샷 이미지(720a)가 출력된 상태에서, 제 2 입력 신호(740b)를 센싱할 수 있다. 여기에서, 제 2 입력 신호(740b)는 스타일러스 펜(50)의 제 1 입력부(51)를 통한 터치 스크린 상에서의 드래그 터치 입력에 해당할 수 있다. 또한, 제 2 입력 신호(740b)는 스크린샷 이미지(720a) 중 일부 영역(720b)을 크롭하기 위한 신호에 해당한다. 도 7(c)에 도시된 바와 같이, 이동 단말기는 제 2 입력 신호(740b)에 대응하여, 크롭된 영역(720b)을 확대하여 출력하도록 제어할 수 있다. In this case, the mobile terminal may perform a screenshot of the content 710 being output on the touch screen according to the received control signal. In addition, as illustrated in FIG. 7B, the mobile terminal 100 may sense the second input signal 740b while the screenshot image 720a is output. Here, the second input signal 740b may correspond to a drag touch input on the touch screen through the first input unit 51 of the stylus pen 50. In addition, the second input signal 740b corresponds to a signal for cropping the partial region 720b of the screenshot image 720a. As illustrated in FIG. 7C, the mobile terminal may control to enlarge and output the cropped region 720b in response to the second input signal 740b.
한편, 도 7에는 도시되지 않았으나, 제 1 입력 신호(740a)에 대응하여 이동 단말기에 스크린샷 이미지(720a)가 출력된 상태에서, 스타일러스 펜(50)을 이용한 필기도 가능할 수 있다. Although not shown in FIG. 7, writing with the stylus pen 50 may be possible while the screenshot image 720a is output to the mobile terminal in response to the first input signal 740a.
도 8은 스타일러스 펜에 대한 입력 신호에 따라 이동 단말기를 제어하는 다른 일 예를나타내는 도면이다. 도 8의 실시예에서, 이동 단말기는 도 2에서 상술한 2-폴더블 디스플레이 디바이스인 것으로 가정한다. 다만, 이동 단말기는 이에 한정되지 아니하고, 디스플레이 영역을 복수로 구별하여 이용할 수 있는 다양한 디스플레이 디바이스를 포함할 수 있다. 8 is a diagram illustrating another example of controlling a mobile terminal according to an input signal to a stylus pen. In the embodiment of FIG. 8, it is assumed that the mobile terminal is the two-foldable display device described above in FIG. 2. However, the mobile terminal is not limited thereto and may include various display devices that can distinguish and use a plurality of display areas.
먼저, 도 8(a)를 참조하면, 이동 단말기(200) 상에 드로잉 컨텐츠(820)가 출력된 상태에서, 스타일러스 펜(50)은 제1 입력 신호(810a)를 센싱할 수 있다. 보다 상세하게는, 이동 단말기(200)는 제 1 디스플레이 영역에는 색상 선택 및 브러쉬 선택이 가능한 팔레트를 출력하고, 제 2 영역에는 스케치북을 출력하도록 제어할 수 있다. 또한, 이동 단말기(200)는 스타일러스 펜(50)의 제 1 영역(210) 또는 제 2 영역(220)에 대한 터치 입력에 따라, 색상, 두께 등을 변경하여 터치 입력에 따른 그림을 출력하도록 제어할 수 있다.First, referring to FIG. 8A, in a state in which the drawing content 820 is output on the mobile terminal 200, the stylus pen 50 may sense the first input signal 810a. In more detail, the mobile terminal 200 may control to output a palette capable of color selection and brush selection on the first display area and output a sketchbook on the second area. In addition, the mobile terminal 200 controls to output a picture according to the touch input by changing the color, the thickness, etc. according to the touch input to the first region 210 or the second region 220 of the stylus pen 50. can do.
한편, 사용자가 이동 단말기(200)의 터치 스크린 상에 그림을 그리는 중에 드래그 터치에 따라 현재 출력 중인 색상, 두께 등을 변경하고자 할 수 있다. 이때, 제 1 영역(210) 상에 출력된 팔레트에 대한 터치 입력을 통해 색상, 두께 등을 변경하는 것이 가능하지만, 반복적으로 색상, 두께 등을 변경하는 경우, 팔의 움직이는 동선이 커지므로 피로도가 누적되고 그림 그리는 속도가 저하될 수 있다. Meanwhile, while the user draws a picture on the touch screen of the mobile terminal 200, the user may want to change the color, thickness, etc. currently being output according to the drag touch. At this time, it is possible to change the color, thickness, and the like through the touch input to the palette output on the first area 210, but if you repeatedly change the color, thickness, etc., the movement of the arm is increased, so fatigue Accumulation may slow down the drawing.
따라서, 본 실시예에서는 사용자의 팔의 동선을 줄이고, 직관적으로 색상, 두께 등을 변경할 수 있는 방법을 제안한다. 도 8(a)를 참조하면, 스타일러스 펜(50)은 제 1 입력 신호(810a)를 센싱할 수 있다. 여기에서, 제1 입력 신호(810a)는 스타일러스 펜(50)을 회전시키는 입력에 해당할 수 있다. 또한, 예를 들어, 제 1 입력 신호(810a)는 드로잉 컨텐츠 상에서 사용중인 펜 또는 브러쉬의 색상을 변경하기 위한 입력에 해당할 수 있다. 이 경우, 스타일러스 펜(50)은 제 1 입력 신호(810a)에 대응하여 제어 신호를 생성하여, 이동 단말기(100)에 전송할 수 있다. 한편, 제 1 입력 신호(810a)는 이동 단말기(100)에 접촉 여부와 무관하게 스타일러스 펜(50)에서 센싱되는 회전 입력에 해당한다.Therefore, the present embodiment proposes a method of reducing the movement of the user's arm and intuitively changing the color, thickness, and the like. Referring to FIG. 8A, the stylus pen 50 may sense the first input signal 810a. Here, the first input signal 810a may correspond to an input for rotating the stylus pen 50. Also, for example, the first input signal 810a may correspond to an input for changing the color of the pen or brush being used on the drawing content. In this case, the stylus pen 50 may generate a control signal in response to the first input signal 810a and transmit the generated control signal to the mobile terminal 100. Meanwhile, the first input signal 810a corresponds to a rotational input sensed by the stylus pen 50 regardless of whether the mobile terminal 100 is in contact with the mobile terminal 100.
또한, 이동 단말기는 수신된 제어 신호에 대응하여, 터치 스크린 상에 인디케이터(830)를 출력하도록 제어할 수 있다. 이를 통해, 사용자는 제 1 입력 신호(810a)를 통해 변경된 브러쉬의 색상을 용이하게 인식할 수 있다. 이때, 인디케이터(830)에 출력된 색상이 사용자가 원하는 색상이 아닌경우, 다시 스타일러스 펜(50)을 회전시키는 입력을 가하여, 색상을 여러번 변경할 수도 있다. 다만, 도 8의 실시예에서 이동 단말기(200)는 제 1 입력 신호(810)에 따라, 색상이 아닌 브러쉬의 굵기를 변경하는 것도 가능하다. 이 경우, 스타일러스 펜(50)의 회전 방향에 따라 굵기를 증가시키거나 감소시키는 것으로 설정하는 것이 가능하다.In addition, the mobile terminal may control to output the indicator 830 on the touch screen in response to the received control signal. In this way, the user may easily recognize the color of the brush changed through the first input signal 810a. In this case, when the color output to the indicator 830 is not a color desired by the user, the color may be changed several times by applying an input of rotating the stylus pen 50 again. However, in the embodiment of FIG. 8, the mobile terminal 200 may change the thickness of the brush rather than the color according to the first input signal 810. In this case, it is possible to set to increase or decrease the thickness in accordance with the rotation direction of the stylus pen 50.
또한, 도 8(b)에 도시된 바와 같이, 이동 단말기는 터치 스크린에 대한 제 2 입력 신호(810b)를 센싱하는 경우, 제 1 입력 신호(810a)에 대응하여 변경된 색상의 브러쉬 또는 펜으로 그림을 그리는 것으로 출력하도록 제어할 수 있다. In addition, as illustrated in FIG. 8B, when the mobile terminal senses the second input signal 810b for the touch screen, the mobile terminal uses a brush or pen of a color changed in correspondence to the first input signal 810a. You can control the output by drawing
스타일러스Stylus 펜을 이용한 복수의  Plural using pen 디바이스device 간의  Interstitial 컨텐츠contents 복사 copy
이하 도 9 및 도 10에서는 스타일러스 펜(50)을 이용하여 제 1 이동 단말기 및 제 2 이동 단말기 상의 컨텐츠 출력을 제어하는 방법을 설명하도록 한다. 또한, 도 9 및 도 10의 실시예에서, 스타일러스 펜(50)과 제 1 이동 단말기 및 제 2 이동 단말기는 페어링된 상태로서, 제 1 및 제 2 이동 단말기는 스타일러스 펜(50)으로부터 제어 신호를 수신할 수 있는 상태인 것으로 가정한다. 9 and 10, a method of controlling content output on a first mobile terminal and a second mobile terminal using the stylus pen 50 will be described. 9 and 10, the stylus pen 50, the first mobile terminal, and the second mobile terminal are in a paired state, and the first and second mobile terminals receive control signals from the stylus pen 50. Assume that it can be received.
도 9는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 이동 단말기의 제어 방법을 나타내는 순서도이다. 9 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
도 9의 실시예에서, 제 1 이동 단말기는 도 1의 이동 단말기(100)로 가정하고, 제 2 이동 단말기는 도 2의 이동 단말기(200)로 가정하도록 한다. 다만, 제 1 이동 단말기 또는 제 2 이동 단말기는 이와 반대로 구현되는 것도 가능하다.In the embodiment of FIG. 9, the first mobile terminal is assumed to be the mobile terminal 100 of FIG. 1, and the second mobile terminal is assumed to be the mobile terminal 200 of FIG. 2. However, the first mobile terminal or the second mobile terminal may be implemented in reverse.
먼저, 제 1 이동 단말기(100)는 터치 스크린에 제 1 컨텐츠를 출력하도록 제어할 수 있다(S910). 여기에서, 제 1 컨텐츠는 이미지, 웹페이지 주소, 텍스트 등 시각적으로 제공되는 컨텐츠에 해당할 수 있다. 다만, 제 1 컨텐츠는 시각적으로 제공되는 컨텐츠 외에 음성 컨텐츠, 촉각 컨텐츠 등에 해당할 수도 있다.First, the first mobile terminal 100 may control to output the first content on the touch screen (S910). Here, the first content may correspond to content that is visually provided, such as an image, a web page address, and text. However, the first content may correspond to voice content, tactile content, etc. in addition to the visually provided content.
다음으로, 제 1 이동 단말기(100)의 터치스크린에 스타일러스 펜(50)이 접촉한 상태에서, 스타일러스 펜(50)은 제 1 입력 신호를 센싱할 수 있다(S920). 보다 상세하게는, 제 1 이동 단말기(100)의 터치스크린에 출력된 제 1 컨텐츠에 스타일러스 펜(50)이 접촉한 상태에서, 스타일러스 펜(50)은 제 1 입력 신호를 센싱할 수 있다. 여기에서, 제 1 입력 신호는 도 3에서 상술한 제 2 입력부 또는 제 3 입력부에 대한 사용자의 입력에 해당할 수 있다. 또한, 제 1 이동 단말기(100)의 터치스크린에 출력된 제 1 컨텐츠에 스타일러스 펜(50)이 접촉된 상태는 제 1 컨텐츠를 특정하는 것에 해당할 수 있다. 이 경우, 스타일러스 펜(50)은 제 1 입력 신호에 대응하여 제 1 이동 단말기(100)로부터 제 1 컨텐츠에 대한 정보를 수신하고 제 1 컨텐츠에 대한 정보를 저장할 수 있다(S930). Next, while the stylus pen 50 is in contact with the touch screen of the first mobile terminal 100, the stylus pen 50 may sense the first input signal (S920). More specifically, the stylus pen 50 may sense the first input signal while the stylus pen 50 is in contact with the first content output on the touch screen of the first mobile terminal 100. Here, the first input signal may correspond to a user input to the second input unit or the third input unit described above with reference to FIG. 3. In addition, the state in which the stylus pen 50 is in contact with the first content output on the touch screen of the first mobile terminal 100 may correspond to specifying the first content. In this case, the stylus pen 50 may receive information on the first content from the first mobile terminal 100 and store information on the first content in response to the first input signal (S930).
다음으로, 제 2 이동 단말기(200)의 터치 스크린에 스타일러스 펜(50)이 접촉한 상태에서, 스타일러스 펜(50)은 제 2 입력 신호를 센싱할 수 있다(S940). 여기에서, 제 2 입력 신호는 도 3 에서 상술한 제 2 입력부 또는 제 3 입력부에 대한 사용자의 입력에 해당할 수 있다. 또한, 제 2 이동 단말기(200)의 터치스크린 상에서 스타일러스 펜(50)이 접촉한 위치는 기 설정된 컨텐츠의 출력 위치를 특정하는 경우에 해당할 수 있다. 이 경우, 스타일러스 펜(50)은 제 2 입력 신호에 대응하여 제 2 이동 단말기(200)에 제 1 컨텐츠에 대한 정보를 전송할 수 있다. 또한, 제 2 이동 단말기(200)는 터치스크린에 제 1 컨텐츠를 출력할 수 있다(S950).Next, while the stylus pen 50 is in contact with the touch screen of the second mobile terminal 200, the stylus pen 50 may sense the second input signal (S940). Here, the second input signal may correspond to a user's input to the second input unit or the third input unit described above with reference to FIG. 3. In addition, the position where the stylus pen 50 contacts on the touch screen of the second mobile terminal 200 may correspond to the case where the output position of the preset content is specified. In this case, the stylus pen 50 may transmit information about the first content to the second mobile terminal 200 in response to the second input signal. In addition, the second mobile terminal 200 may output the first content on the touch screen (S950).
즉, 사용자는 동시에 복수의 단말을 사용하는 도중에, 스타일러스 펜을 이용하여 하나의 단말에서 이용 중인 컨텐츠를 용이하게 다른 단말로 이동시켜 이용할 수 있다.That is, the user can easily move the content being used in one terminal to another terminal using a stylus pen while using a plurality of terminals at the same time.
도 10은 본 발명의 일 실시예에 따른 스타일러스 펜에 의해 복수의 이동 단말기를 제어하는 일 예를 나타내는 도면이다.10 is a diagram illustrating an example of controlling a plurality of mobile terminals by a stylus pen according to an embodiment of the present invention.
보다 상세하게는, 도 10의 실시예는 제 1 이동 단말기에서 출력 중인 이미지 컨텐츠를 스타일러스 펜의 제어에 의해 제 2 이동 단말기에서 출력하는 방법을 나타낸다. 도 10의 실시예에서, 스타일러스 펜(50)과 제 1 이동 단말기(100) 및 스타일러스 펜(50)과 제 2 이동 단말기(200) 간에는 페어링된 상태로서, 데이터 송/수신이 가능한 것으로 가정한다. 또한, 본 실시예에서 제 1 이동 단말기(100)는 도 1a의 이동 단말기로, 제 2 이동 단말기(200)는 도 2의 이동 단말기로 가정한다. 다만, 제 1 및 제 2 이동 단말기의 종류는 이에 한정되지 아니하고, 디스플레이부가 구비된 다양한 디바이스를 포함할 수 있다.More specifically, the embodiment of FIG. 10 illustrates a method of outputting image content being output from the first mobile terminal to the second mobile terminal under the control of the stylus pen. In the embodiment of FIG. 10, it is assumed that the stylus pen 50 and the first mobile terminal 100 and the stylus pen 50 and the second mobile terminal 200 are paired and capable of data transmission / reception. In addition, in the present exemplary embodiment, it is assumed that the first mobile terminal 100 is the mobile terminal of FIG. 1A and the second mobile terminal 200 is the mobile terminal of FIG. 2. However, the type of the first and second mobile terminals is not limited thereto, and may include various devices provided with a display unit.
먼저, 도 10(a)를 참조하면, 제 1 이동 단말기(100)는 터치스크린에 이미지 컨텐츠를 출력하도록 제어할 수 있다. 이때, 사용자는 스마트폰의 작은 화면으로 보이는 이미지를 대화면이 구비된 디스플레이 디바이스로 옮겨서 이용하고자할 수 있다. 이를 위해서 기존에 제 1 이동 단말기(100)와 제 2 이동 단말기(200) 간의 데이터 송/수신을 통한 이미지 전송이 아닌 이미지를 빠르고 손쉽게 다른 디바이스로 옮기기 위한 방법이 요구되었다.First, referring to FIG. 10A, the first mobile terminal 100 may control to output image content to the touch screen. In this case, the user may want to transfer an image, which is viewed as a small screen of the smartphone, to a display device having a large screen. To this end, there has been a need for a method for quickly and easily transferring an image to another device rather than image transmission through data transmission / reception between the first mobile terminal 100 and the second mobile terminal 200.
이때, 제 1 이동 단말기(100)는 터치 스크린 상에 스타일러스 펜(50)의 접촉을 센싱할 수 있다. 보다 상세하게는, 도 10(a)에 도시된 바와 같이, 터치 스크린 상에 출력된 이미지 컨텐츠(1010a)에 대한 스타일러스 펜(50)의 접촉을 센싱할 수 있다. 이 경우, 제 1 이동 단말기(100는 스타일러스 펜(50)에 의해 터치된 이미지 컨텐츠와 연계된 동작을 수행할 수 있다.In this case, the first mobile terminal 100 may sense the contact of the stylus pen 50 on the touch screen. More specifically, as illustrated in FIG. 10A, a contact of the stylus pen 50 with respect to the image content 1010a output on the touch screen may be sensed. In this case, the first mobile terminal 100 may perform an operation associated with the image content touched by the stylus pen 50.
한편, 도 10(a)에 도시된 바와 같이, 스타일러스 펜(50)은 제 1 입력부(51)가 터치 스크린 상에 접촉된 상태에서 제 1 입력 신호(1020a)를 센싱할 수 있다. 예를 들어, 본 실시예에서 제 1 입력 신호(1020a)는 제 2 입력부(52)에 대한 사용자의 입력에 해당할 수 있다. 이 경우, 스타일러스 펜(50)은 제 1 이동 단말기(100)에 제어 신호를 전송할 수 있고, 제 1 이동 단말기(100)는 이미지 컨텐츠(1010a)의 정보를 스타일러스 펜(50)에 전송할 수 있다. 또한, 스타일러스 펜(50)은 이미지 컨텐츠(1010a)의 정보를 메모리에 저장하도록 제어할 수 있다. As illustrated in FIG. 10A, the stylus pen 50 may sense the first input signal 1020a while the first input unit 51 is in contact with the touch screen. For example, in the present embodiment, the first input signal 1020a may correspond to a user input to the second input unit 52. In this case, the stylus pen 50 may transmit a control signal to the first mobile terminal 100, and the first mobile terminal 100 may transmit information of the image content 1010a to the stylus pen 50. In addition, the stylus pen 50 may control to store information of the image content 1010a in a memory.
다음으로, 도 10(b)를 참조하면, 제 2 이동 단말기(200)는 터치 스크린 상에 스타일러스 펜(50)의 접촉을 센싱할 수 있다. 또한, 스타일러스 펜(50)은 제 1 입력부(41)가 제 2 이동 단말기(200)의 터치스크린 상에 접촉된 상태에서 제 2 입력 신호(1020b)를 센싱할 수 있다. 예를 들어, 본 실시예에서 제 2 입력 신호(1020b)는 제 2 입력부(52)에 대한 사용자의 입력에 해당하며, 제 1 입력 신호(1010b)와 동일한 입력에 해당할 수 있다. Next, referring to FIG. 10B, the second mobile terminal 200 may sense a contact of the stylus pen 50 on the touch screen. In addition, the stylus pen 50 may sense the second input signal 1020b while the first input unit 41 is in contact with the touch screen of the second mobile terminal 200. For example, in the present embodiment, the second input signal 1020b may correspond to a user input to the second input unit 52 and may correspond to the same input as the first input signal 1010b.
이 경우, 스타일러스 펜(50)은 제 2 입력 신호(1020b)에 대응하여, 제 2 이동 단말기(200)에 이미지 컨텐츠(1010a)의 정보를 전송할 수 있다. 또한, 도 10(c)에 도시된 바와 같이, 제 2 이동 단말기(200)는 터치스크린에 이미지 컨텐츠(1010b)를 출력하도록 제어할 수 있다. 보다 상세하게는, 제 2 이동 단말기(200)는 스타일러스 펜(50)의 제1 입력부(41)가 접촉된 위치에 이미지 컨텐츠(1010b)를 출력하도록 제어할 수 있다. 여기에서, 제 1 이동 단말기(100)에 출력된 이미지 컨텐츠(1010a)와 제 2 이동 단말기(200)에 출력된 이미지 컨텐츠(1010b)는 동일한 이미지에 해당할 수 있다.In this case, the stylus pen 50 may transmit information of the image content 1010a to the second mobile terminal 200 in response to the second input signal 1020b. In addition, as illustrated in FIG. 10C, the second mobile terminal 200 may control to output the image content 1010b to the touch screen. In more detail, the second mobile terminal 200 may control to output the image content 1010b to the position where the first input unit 41 of the stylus pen 50 is in contact with. Here, the image content 1010a output to the first mobile terminal 100 and the image content 1010b output to the second mobile terminal 200 may correspond to the same image.
다만, 도 10(c)에는 도시되지 않았으나, 제 2 이동 단말기(200)는 이미지 컨텐츠(1010b)를 터치 스크린의 크기에 맞게 확대하여 출력하도로 제어할 수도 잇다. 또한, 도 10의 실시예는 이미지를 복사하여 그대로 붙여넣는 방법에 대하여 설명하였으나, 제 1 이동 단말기(100)에 출력된 이미지 컨텐츠(1010a)를 잘라내어 제 2 이동 단말기(200)에 붙여넣는 방법으로도 이용될 수 있다. Although not illustrated in FIG. 10C, the second mobile terminal 200 may control the image content 1010b to be enlarged and output to fit the size of the touch screen. In addition, although the embodiment of FIG. 10 has described a method of copying and pasting an image as it is, a method of cutting and pasting image content 1010a output to the first mobile terminal 100 and pasting it to the second mobile terminal 200. May also be used.
또한, 도 10(c)에는 도시되지 않았으나, 제 2 이동 단말기(200)는 스타일러스 펜(50)의 제 1 입력부(51)로부터의 신호 세기에 따라, 이미지 컨텐츠(1010b)를 확대 또는 축소하여 출력하도록 제어할 수 있다. In addition, although not shown in FIG. 10C, the second mobile terminal 200 enlarges or reduces the image content 1010b according to the signal strength from the first input unit 51 of the stylus pen 50. Can be controlled.
이동 단말기 상에서 동영상 재생 중 Playing video on mobile device 스타일러스Stylus 펜을 이용한 제어 Pen control
이하 도 11 및 도 12에서는 이동 단말기에서 동영상 재생 및 스타일러스 펜을 이용한 필기가 동시에 수행되는 경우, 이동 단말기의 컨텐츠를 제어하는 방법을 설명하도록 한다. 또한, 도 11 및 도 12의 실시예에서, 스타일러스 펜과 이동 단말기는 페어링된 상태로서, 이동 단말기는 스타일러스 펜으로부터 제어 신호를 송/수신할 수 있는 상태인 것으로 가정한다. 또한, 도 11 및 도 12의 실시예에서, 이동 단말기는 터치스크린에 제 1 영역 및 제 2 영역을 포함하는 것으로 가정한다. 11 and 12, a method of controlling content of a mobile terminal when a video playback and writing using a stylus pen are simultaneously performed in the mobile terminal will be described. 11 and 12, it is assumed that the stylus pen and the mobile terminal are in a paired state, and the mobile terminal can transmit / receive a control signal from the stylus pen. 11 and 12, it is assumed that the mobile terminal includes a first area and a second area on the touch screen.
도 11은 본 발명의 일 실시에에 따른 스타일러스 펜을 이용한 이동 단말기의 제어 방법을 나타내는 순서도이다. 11 is a flowchart illustrating a method of controlling a mobile terminal using a stylus pen according to an embodiment of the present invention.
먼저, 이동 단말기는 제 1 영역에서 동영상 재생 중에 제 2 영역에서 스타일러스 펜에 의한 제 1 입력을 센싱할 수 있다(S1110). 예를 들어, 제 1 입력은 제 1 영역에서 재생 중인 동영상과 관련된 정보의 필기 입력에 해당할 수 있다.First, the mobile terminal may sense the first input by the stylus pen in the second area while playing the video in the first area (S1110). For example, the first input may correspond to a handwriting input of information related to a video being played in the first area.
이 경우, 이동 단말기는 필기 입력이 센싱된 시점의 동영상 재생 정보를 메모리에 함께 저장하도록 제어할 수 있다(S1120). 예를 들어, 동영상 재생 정보는 재생 중인 동영상에서 제 1 입력이 센싱된 시점의 시간 정보, 내용 정보 등에 해당할 수 있다.In this case, the mobile terminal may control to store the moving picture reproduction information at the time when the writing input is sensed in the memory (S1120). For example, the video playback information may correspond to time information, content information, etc. at the time when the first input is sensed in the video being played.
한편, 이동 단말기는 제 2 영역에 필기 컨텐츠가 출력된 상태에서, 스타일러스 펜에 의한 제 2 입력을 센싱할 수 있다.(S1130). 예를 들어, 제 2 입력은 스타일러스 펜에 의한 터치 입력으로서 롱 프레스 터치 입력에 해당할 수 있다. Meanwhile, the mobile terminal may sense a second input by the stylus pen in a state in which handwritten content is output to the second area (S1130). For example, the second input may correspond to a long press touch input as a touch input by the stylus pen.
이 경우, 이동 단말기는 터치 입력이 센싱된 지점의 필기에 대응하는 동영상 정보를 팝업 메시지로 출력하도록 제어할 수 있다(S1140). 예를 들어, 이동 단말기는 필기된 정보들 중에서 제 2 입력이 센싱된 지점에 대응하는 정보를 팝업 메시지로 제공할 수 있다.In this case, the mobile terminal may control to output video information corresponding to the writing at the point where the touch input is sensed as a pop-up message (S1140). For example, the mobile terminal may provide a pop-up message with information corresponding to the point where the second input is sensed among the written information.
즉, 사용자는 동영상 컨텐츠 이용 시에 필기한 내용과 관련하여, 추후에 필기와 관련된 동영상 정보를 용이하게 확인 또는 이용할 수 있다. 또한, 이와 관련하여 도 12에서 구체적인 예로서 설명하도록 한다.That is, the user may easily check or use the video information related to the handwriting later with respect to the handwritten content when the video content is used. In addition, it will be described in detail with reference to FIG. 12.
도 12는 이동 단말기 상에서 동영상 재생과 동시에 스타일러스 펜에 의해 입력을 수신하는 일 예를 나타내는 도면이다.12 is a diagram illustrating an example of receiving an input by a stylus pen simultaneously with playing a video on a mobile terminal.
도 12의 실시예에서, 이동 단말기는 도 2에서 상술한 2-폴더 디스플레이 디바이스인 것으로 가정한다. 또한, 도 12의 실시예는 학습 동영상 재생 중에 학습과 관련된 필기를 수행하는 경우로 가정한다.In the embodiment of FIG. 12, it is assumed that the mobile terminal is the two-folder display device described above in FIG. 2. In addition, the embodiment of FIG. 12 assumes that writing is related to learning while playing a learning video.
먼저, 도 12(a)를 참조하면, 이동 단말기(200)는 제 1 영역(210)에서 학습 동영상을 재생하는 중에 제 2 영역(220)에서 스타일러스 펜(50)에 의한 필기 입력(1210a)를 센싱할 수 있다. 이 경우, 이동 단말기(200)는 학습 동영상의 재생 정보를 메모리에 저장하도록 제어할 수 있다. 예를 들어, 동영상 재생 정보는 재생 중인 동영상에서 필기 입력이 센싱된 시점의 시간 정보, 내용 정보 등을 포함할 수 있다. 즉, 이동 단말기(200)는 동영상 재생 중에 센싱된 필기 입력을 동영상과 연관시켜 메모리에 저장하도록 제어할 수 있다.First, referring to FIG. 12A, the mobile terminal 200 receives a writing input 1210a by the stylus pen 50 in the second area 220 while playing the training video in the first area 210. You can sense it. In this case, the mobile terminal 200 may control to store the playback information of the training video in the memory. For example, the video play information may include time information, content information, etc. at the time when a handwriting input is sensed in the video being played. That is, the mobile terminal 200 may control to store the writing input sensed during video playback in association with the video and store it in the memory.
이후, 사용자는 필기가 완료된 필기 정보를 통해 학습 중에, 필기 입력과 관련된 학습 동영상의 정보를 알고자할 수 있다. 이 경우, 도 12(b)에 도시된 바와 같이, 이동 단말기(200)는 필기 정보가 출력된 상태에서, 스타일러스 펜(50)에 의한 터치 입력(1210b)을 센싱할 수 있다. 이때, 스타일러스 펜(50)에 의한 터치 입력은 롱 프레스 터치에 해당할 수 있고, 이에 한정되지 아니한다.Thereafter, the user may want to know the information of the learning video related to the handwriting input while learning through the handwriting information in which the handwriting is completed. In this case, as shown in FIG. 12B, the mobile terminal 200 may sense the touch input 1210b by the stylus pen 50 while the writing information is output. In this case, the touch input by the stylus pen 50 may correspond to the long press touch, but is not limited thereto.
이 경우, 이동 단말기(200)는 터치 입력(1210b)에 대응하여, 필기 정보 중 터치 입력(1210b)이 센싱된 영역에 대응하는 동영상의 정보를 팝업 메시지(1220) 형태로 출력할 수 있다. 예를 들어, 도 12(b)를 참조하면, 팝업 메시지(1220)는 터치 입력(1210b)이 센싱된 영역에 대응하는 동영상의 시간 정보, 내용 정보 등에 해당할 수 있다. 이를 통해, 사용자는 필기와 관련된 동영상 재생 시점을 용이하게 인식할 수 있다.In this case, the mobile terminal 200 may output information of a video corresponding to the area where the touch input 1210b is sensed among the handwriting information in the form of a pop-up message 1220 in response to the touch input 1210b. For example, referring to FIG. 12B, the popup message 1220 may correspond to time information or content information of a video corresponding to an area where the touch input 1210b is sensed. In this way, the user can easily recognize the video playback time associated with the handwriting.
한편, 도 12에는 도시되지 않았으나, 팝업(1220)이 출력된 상태에서, 팝업(1220)에 대한 추가 입력이 센싱되는 경우, 이동 단말기(200)는 제 1 영역(210) 및 제 2 영역(220) 중 적어도 하나에 동영상을 재생하도록 제어할 수 있다. 이때, 동영상의 재생 시작 시점은 필기 정보에 대응하는 시점에 해당할 수 있다. Although not shown in FIG. 12, when the additional input for the pop-up 1220 is sensed while the pop-up 1220 is output, the mobile terminal 200 includes the first area 210 and the second area 220. ) To play the video. At this time, the playback start time of the video may correspond to a time corresponding to the handwriting information.
스타일러스Stylus 펜을 이용한 결제 Payment by pen
이하 도 13 내지 도 21은 결제 행위에서 스타일러스 펜을 이용하는 경우를 설명하도록 한다. 또한, 도 13 내지 도 21에서, 스타일러스 펜과 이동 단말기는 페어링된 상태로서, 이동 단말기와 스타일러스 펜 간의 신호 송/수신이 가능한 상태인 것으로 가정한다. 13 to 21 will be described in the case of using the stylus pen in the payment act. In addition, in FIGS. 13 to 21, it is assumed that the stylus pen and the mobile terminal are in a paired state, so that a signal transmission / reception between the mobile terminal and the stylus pen is possible.
먼저, 도 13 내지 도 15의 경우, 이동 단말기를 이용하지 않고 스타일러스 펜 만으로 결제를 수행하는 방법을 설명하고, 도 16 내지 도 21의 경우, 스타일러스 펜뿐만 아니라 이동 단말기를 함께 이용하여 결제를 수행하는 방법을 설명하도록 한다.First, in the case of FIGS. 13 to 15, a method of performing payment using only a stylus pen without using a mobile terminal will be described. In the case of FIGS. 16 to 21, a payment is performed using a mobile terminal as well as a stylus pen. Explain how.
도 13은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 결제 방법을 나타내는 순서도이다. 13 is a flowchart illustrating a payment method using a stylus pen according to an embodiment of the present invention.
본 발명에서의 경우 스타일러스 펜에 무선 통신부가 구비되어 결제와 관련된 정보를 스타일러스 펜 자체에서 송/수신하는 것이 가능할 수 잇다. 다만, 스타일러스 펜만을 이용하여 결제를 진행하는 경우, 보안 강화를 위하여 서명 외에 추가 인증이 필요할 수 있다. In the present invention, the stylus pen may be provided with a wireless communication unit to transmit / receive information related to payment from the stylus pen itself. However, when the payment is made using only the stylus pen, additional authentication may be required in addition to the signature to enhance security.
먼저, 스타일러스 펜은 결제 모드에 진입할 수 있다(S1310). 예를 들어, 스타일러스 펜은 이동 단말기로부터 결제 관련 정보를 수신하는 경우, 결제 모드로 진입할 수 있다. 또한, 예를 들어, 스타일러스 펜은 사용자로부터 입력 신호를 수신하는 경우, 결제 모드로 진입할 수 있다.First, the stylus pen may enter the payment mode (S1310). For example, when the stylus pen receives payment related information from the mobile terminal, the stylus pen may enter the payment mode. Also, for example, when the stylus pen receives an input signal from the user, the stylus pen may enter the payment mode.
또한, 스타일러스 펜은 사용자의 지문 정보를 센싱할 수 있다(S1320). 보다 상세하게는, 스타일러스 펜의 제 2 입력부에 구비된 지문 센싱부를 통하여, 사용자의 지문 정보를 센싱할 수 있다. 이 경우, 스타일러스 펜은 사용자의 지문 정보와 등록된 지문 정보가 일치하는지 여부를 판단하여, 제 1 사용자 인증을 수행할 수 있다(S1330).In addition, the stylus pen may sense the fingerprint information of the user (S1320). More specifically, the fingerprint information of the user may be sensed through the fingerprint sensing unit provided in the second input unit of the stylus pen. In this case, the stylus pen may determine whether the user's fingerprint information and the registered fingerprint information match, and perform a first user authentication (S1330).
일 예로서, 스타일러스 펜은 이동 단말기에 센싱된 지문 정보를 전송하여, 이동 단말기에서 등록된 사용자의 지문 정보와 동일 여부를 판단하여, 제1 사용자 인증을 수행할 수 있다. 다른 일 예로서, 스타일러스 펜은 자체로 등록된 사용자의 지문 정보와 동일 여부를 판단하여, 제 1 사용자 인증을 수행할 수도 있다. As an example, the stylus pen may transmit the fingerprint information sensed to the mobile terminal, determine whether it is the same as the fingerprint information of the user registered in the mobile terminal, and perform the first user authentication. As another example, the stylus pen may determine whether it is identical to fingerprint information of a user registered by itself, and perform first user authentication.
또한, 스타일러스 펜은 사용자의 서명 입력을 센싱할 수 있다(S1340). 이때, 사용자의 서명 입력은 스타일러스 펜의 제 1 입력부가 결제를 위한 포스(POS)의 디스플레이부에 접촉된 상태에서의 서명 입력에 해당할 수 있다. 이 경우, 스타일러스 펜은 스타일러스 펜의 움직임 정보에 기초하여 등록된 정보와 일치하는 경우, 제 2 사용자 인증을 수행할 수 있다(S1350). 여기에서, 스타일러스 펜의 움직임 정보는 스타일러스 펜에 구비된 움직임을 센싱하는 다양한 센서를 통해 센싱된 서명 입력의 내용, 서명 입력의 압력, 서명 입력시 스타일러스 펜의 각도, 스타일러스 펜의 이동 패턴 등을 포함할 수 있다. 한편, 지문 정보를 통한 제 1 사용자 인증과 서명 입력을 통한 제 2 사용자 인증은 동시에 수행되거나, 선후가 바뀌어 수행되는 것도 가능하다. In addition, the stylus pen may sense a signature input of the user (S1340). In this case, the signature input of the user may correspond to a signature input in a state in which the first input unit of the stylus pen contacts the display unit of the POS for payment. In this case, when the stylus pen matches the registered information based on the motion information of the stylus pen, the stylus pen may perform second user authentication (S1350). Here, the movement information of the stylus pen includes the contents of the signature input sensed through various sensors for sensing the movement of the stylus pen, the pressure of the signature input, the angle of the stylus pen when the signature is input, the movement pattern of the stylus pen, and the like. can do. On the other hand, the first user authentication through the fingerprint information and the second user authentication through the signature input may be performed at the same time, or may be performed after the change.
다음으로, 제 1 사용자 인증 및 제 2 사용자 인증이 완료된 경우, 스타일러스 펜은 결제 정보를 외부 디바이스에 전송할 수 있다(S1360). 본 실시예에서, 외부 디바이스는 포스에 해당할 수 있다.Next, when the first user authentication and the second user authentication are completed, the stylus pen may transmit payment information to the external device (S1360). In this embodiment, the external device may correspond to a force.
즉, 사용자는 스타일러스 펜만으로 보안 강화된 사용자 인증을 간편하게 수행할 수 있다. 한편, 도 13의 실시예는 결제를 위한 사용자 인증 외에도 보안 컨텐츠의 사용자 인증을 위해서 동일하게 수행될 수 있다. That is, the user can easily perform security-enhanced user authentication only with the stylus pen. Meanwhile, the embodiment of FIG. 13 may be performed in the same manner for user authentication of secure content in addition to user authentication for payment.
도 14는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 결제를 수행하는 일 예를 나타내는 도면이다.14 is a diagram illustrating an example of making a payment using a stylus pen according to an embodiment of the present invention.
먼저, 도 14(a)에는 도시되지 않았으나, 포스(1400)에 결제를 위한 상품을 태깅하는 단계 또는 비용을 입력하는 단계가 수행될 수 있다. 이 경우, 도 14(a)에 도시된 바와 포스(1400)의 디스플레이부(1410)에 결제 금액이 출력될 수 있다. 사용자는 디스플레이부(1410)에 출력된 금액을 확인한 후, 스타일러스 펜(50)을 이용하여 결제를 진행하고자 할 수 있다.First, although not shown in FIG. 14A, a step of tagging a product for payment or inputting a cost may be performed in the force 1400. In this case, the payment amount may be output to the display unit 1410 of the force 1400 as shown in FIG. 14A. After confirming the amount of money output to the display unit 1410, the user may wish to proceed with the payment using the stylus pen 50.
도 14(b)를 참조하면, 스타일러스 펜(50)은 포스(1400)에 접촉된 상태에서 서명 입력(1420)을 센싱할 수 있다. 이 경우, 스타일러스 펜의 제2 입력부에 사용자의 손가락이 파지하는때에, 스타일러스 펜(50)은 사용자의 지문 정보를 센싱할 수 있다. 또한, 사용자의 지문 정보가 등록된 지문 정보와 일치하는 경우, 제 1 사용자 인증을 수행할 수 있다.Referring to FIG. 14B, the stylus pen 50 may sense the signature input 1420 while being in contact with the force 1400. In this case, when the user's finger is held by the second input unit of the stylus pen, the stylus pen 50 may sense the fingerprint information of the user. In addition, when the fingerprint information of the user matches the registered fingerprint information, the first user authentication may be performed.
한편, 스타일러스 펜(50)은 서명 입력(1420)에서 센싱된 움직임 정보에 기초하여, 등록된 움직임 정보와 일치하는 경우, 제 2 사용자 인증을 수행할 수 있다. 예를 들어, 움직임 정보는 스타일러스 펜(50)에 구비된 다양한 센서를 통해 센싱되는 서명 패턴, 스타일러스 펜(50)의 각도, 스타일러스 펜(50)에서 센싱되는 압력, 서명 입력의 속도 등을 포함할 수 있다. Meanwhile, the stylus pen 50 may perform second user authentication based on the motion information sensed by the signature input 1420 when it matches the registered motion information. For example, the motion information may include a signature pattern sensed through various sensors included in the stylus pen 50, an angle of the stylus pen 50, a pressure sensed by the stylus pen 50, a speed of a signature input, and the like. Can be.
또한, 제 1 사용자 인증 및 제 2 사용자 인증이 완료된 경우, 스타일러스 펜(50)은 포스(1400)에 결제 정보를 전송할 수 있다. 예를 들어, 스타일러스 펜(50)은 MST(Magnetic Secure Transmission), NFC(Near Field Communication), RFID(Radion Frequency Identification), BLE(Bluetooth Low Energy), BT(Bluetooth) 등의 통신 방식으로 무선 통신부를 통해 결제 정보를 포스(1400)에 전송하도록 제어할 수 있다.In addition, when the first user authentication and the second user authentication are completed, the stylus pen 50 may transmit payment information to the force 1400. For example, the stylus pen 50 may include a wireless communication unit using a communication method such as magnetic secure transmission (MST), near field communication (NFC), radio frequency identification (RFID), Bluetooth low energy (BLE), or Bluetooth (BT). The payment information may be controlled to be transmitted to the force 1400.
한편, 도 14에는 도시되지 않았으나, 스타일러스 펜(50)의 결제 모드에 진입하는 경우, 스타일러스 펜(50)은 디폴드(default) 카드로 결제를 수행할 수 있다. 이때, 스타일러스 펜(50)을 회전시키는 신호가 센싱되는 경우, 스타일러스 펜(50)은 디폴드 카드가 아닌 사용자가 보유한 다른 카드로 변경하여 결제를 수행할 수도 있다.On the other hand, although not shown in Figure 14, when entering the payment mode of the stylus pen 50, the stylus pen 50 may perform the payment with the default (default) card. In this case, when a signal for rotating the stylus pen 50 is sensed, the stylus pen 50 may be changed to another card held by the user instead of the defold card to perform payment.
도 15는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 제 1 사용자 인증 및 제 2 사용자 인증 과정을 보다 상세하게 나타내는 도면이다. 또한, 도 15의 실시예에서, 스타일러스 펜(50)은 결제 모드에 진입한 상태인 것으로 가정한다.15 is a diagram illustrating in detail a first user authentication and a second user authentication process using a stylus pen according to an embodiment of the present invention. In addition, in the embodiment of FIG. 15, it is assumed that the stylus pen 50 has entered a payment mode.
먼저, 도 15(a)는 지문을 통한 1차 인증을 나타낸다. 스타일러스 펜(50)이 결제 모드에 진입된 상태에서, 스타일러스 펜(50)의 엄지 또는 검지가 파지되는 때에, 스타일러스 펜(50)의 제 2 입력부(52)는 사용자의 엄지 또는 검지의 지문을 센싱할 수 있다. 이 경우, 스타일러스 펜(50)은 센싱된 지문 정보가 등록된 지문 정보와 일치하는지 여부를 판단하여, 1차 인증을 수행할 수 있다. 또한, 지문을 통한 1차 인증은 스타일러스 펜(50) 자체에서 수행되거나, 센싱된 지문 정보를 이동 단말기에 전송하여, 이동 단말기 상에서 1차 인증이 수행될 수도 있다. First, Figure 15 (a) shows the first authentication through the fingerprint. When the thumb or index finger of the stylus pen 50 is gripped with the stylus pen 50 entering the payment mode, the second input unit 52 of the stylus pen 50 senses the fingerprint of the user's thumb or index finger. can do. In this case, the stylus pen 50 may determine whether the sensed fingerprint information matches the registered fingerprint information and perform primary authentication. In addition, the first authentication through the fingerprint may be performed by the stylus pen 50 itself, or by transmitting the sensed fingerprint information to the mobile terminal, the first authentication may be performed on the mobile terminal.
다음으로, 도 15(b)는 서명을 통한 2차 인증을 나타낸다. 스타일러스 펜(50)이 포스(1500)의 디스플레이부(1510) 또는 이동 단말기(100)에 접촉된 상태에서, 스타일러스 펜(50)은 서명 입력(1520)을 센싱할 수 있다. 일 예로서, 이동 단말기(100)의 터치스크린 상에서 서명 입력(1520)이 센싱된 경우, 이동 단말기(100)는 센싱된 서명 입력(1520)이 사용자의 등록된 서명 입력과 동일한지 여부를 판단하여 2차 인증을 수행할 수 있다. 다른 일 예로서, 포스(1500)의 디스플레이부(1510)에서 서명 입력(1520)이 수행된 경우, 스타일러스 펜(50)은 서명 입력(1520)의 움직임 정보와 등록된 사용자의 움직임 정보가 동일한지 여부를 판단하여 2차 인증을 수행할 있다. Next, Fig. 15B shows the second authentication through signature. In a state where the stylus pen 50 is in contact with the display unit 1510 or the mobile terminal 100 of the force 1500, the stylus pen 50 may sense the signature input 1520. As an example, when the signature input 1520 is sensed on the touch screen of the mobile terminal 100, the mobile terminal 100 determines whether the sensed signature input 1520 is the same as the registered signature input of the user. Secondary authentication can be performed. As another example, when the signature input 1520 is performed on the display unit 1510 of the force 1500, the stylus pen 50 checks whether the motion information of the signature input 1520 and the registered user's movement information are the same. It can determine whether or not to perform the second authentication.
스타일러스 펜(50)의 움직임 정보는 스타일러스 펜(50)에 구비된 움직임을 센싱하는 다양한 센서를 통해 센싱된 서명 입력의 내용, 서명 입력의 압력, 서명 입력시 스타일러스 펜(50)의 각도, 서명 입력시 스타일러스 펜(50)의 회전 패턴 등을 포함할 수 있다. 예를 들어, 스타일러스 펜(50)의 각도는 사용자가 일반적으로 서명을 하는때에 스타일러스 펜(50)의 각도가 변경되는 패턴에 해당할 수 있다.The motion information of the stylus pen 50 includes the contents of the signature input sensed by various sensors for sensing the movement of the stylus pen 50, the pressure of the signature input, the angle of the stylus pen 50 when the signature is input, and the signature input. The rotation pattern of the stylus pen 50 may be included. For example, the angle of the stylus pen 50 may correspond to a pattern in which the angle of the stylus pen 50 changes when the user generally signs.
한편, 도 15에는 도시되지 않았으나, 지문을 통한 인증, 서명을 통한 인증 외에 다양한 방식의 인증이 수행될 수 있다. 예를 들어, 스타일러스 펜(50)에 사용자의 손가락이 파지한 상태에서, 사용자의 음성이 센싱되는 경우, 피부, 뼈를 통해 골전도 방식으로 전달된 음성을 통해 등록된 사용자에 해당하는지 여부를 판단할 수 있다. Although not illustrated in FIG. 15, various types of authentication may be performed in addition to authentication through a fingerprint and authentication through a signature. For example, when the user's voice is sensed while the user's finger is held by the stylus pen 50, it is determined whether the user corresponds to a registered user through the voice transmitted through the bone and conduction method through the skin and bone. can do.
도 16은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용한 이동 단말기의 결제 방법을 나타내는 순서도이다. 도 16의 경우, 도 13의 실시예와 달리, 결제시에 스타일러스 펜 및 이동 단말기를 모두 이용하는 경우에 해당한다.16 is a flowchart illustrating a payment method of a mobile terminal using a stylus pen according to an embodiment of the present invention. In the case of FIG. 16, unlike the embodiment of FIG. 13, this corresponds to a case where both a stylus pen and a mobile terminal are used for payment.
먼저, 이동 단말기는 결제 모드에 진입할 수 있다(S1610). 예를 들어, 이동 단말기는 결제 애플리케이션이 실행되는 경우, 결제 모드에 진입할 수 있다. 또한, 이동 단말기가 결제 모드에 진입하는 경우, 이동 단말기와 페어링된 스타일러스 펜도 결제 모드에 진입할 수 있다. First, the mobile terminal can enter a payment mode (S1610). For example, when the payment application is executed, the mobile terminal may enter the payment mode. In addition, when the mobile terminal enters the payment mode, the stylus pen paired with the mobile terminal may also enter the payment mode.
다음으로, 이동 단말기는 스타일러스 펜이 터치 스크린에 접촉된 상태에서 서명 입력을 센싱할 수 있다(S1620). 보다 상세하게는, 이동 단말기는 터치 스크린에 결제 대상 정보가 출력된 상태에서 서명 입력을 센싱할 수 있다. 또한, 이동 단말기는 스타일러스 펜에 의한 서명 입력과 이동 단말기에 등록된 서명 정보가 동일한 경우, 사용자 인증을 완료할 수 있다(S1630). 한편, 이동 단말기를 추가로 스타일러스 펜에서 사용자의 지문 정보를 센싱하여, 추가 사용자 인증을 수행할 수도 있다.Next, the mobile terminal may sense a signature input while the stylus pen is in contact with the touch screen (S1620). More specifically, the mobile terminal can sense a signature input in a state where payment target information is output on the touch screen. In addition, when the signature input by the stylus pen and the signature information registered in the mobile terminal are the same, the mobile terminal may complete user authentication (S1630). Meanwhile, the mobile terminal may additionally sense the fingerprint information of the user in the stylus pen to perform additional user authentication.
이 경우, 이동 단말기는 무선 통신부를 통해 외부 디바이스에 결제 완료 정보를 전송할 수 있다(S1640). 예를 들어, 외부 디바이스는 결제용 단말로서, 포스(POS)에 해당할 수 있다. 결제가 완료된 경우, 이동 단말기 및 스타일러스 펜은 결제 모드를 종료할 수 있다. In this case, the mobile terminal can transmit payment completion information to the external device through the wireless communication unit (S1640). For example, the external device may correspond to a POS as a payment terminal. When the payment is completed, the mobile terminal and the stylus pen may end the payment mode.
즉, 사용자는 포스에 다른 서명 도구를 통해 서명하지 않고, 사용자가 소지한 이동 단말기 상에서 이동 단말기와 연결된 스타일러스 펜을 통해 서명을 수행함으로써, 사용자 인증과 동시에 결제를 보다 용이하게 완료할 수 있다.That is, the user can sign the force through the stylus pen connected to the mobile terminal on the mobile terminal possessed by the user without signing the POS through another signing tool, thereby making it easier to complete the user's authentication and payment.
도 17은 본 발명의 일 실시예에 따른 이동 단말기 및 스타일러스 펜을 통한 결제 방법의 일 예를 나타내는 도면이다.17 is a diagram illustrating an example of a payment method using a mobile terminal and a stylus pen according to an embodiment of the present invention.
먼저, 도 17(a)를 참조하면, 결제를 위하여 상품을 태깅하거나, 결제 금액이 포스(1700)에 입력되는 경우, 포스(1700)는 결제 금액 정보를 디스플레이부에 출력(1710a)하거나 음성(1710b)을 통해 제공할 수 있다. First, referring to FIG. 17 (a), when a product is tagged for payment or a payment amount is input to the force 1700, the force 1700 outputs payment amount information to the display 1710a or voice ( 1710b).
이 경우, 사용자는 결제를 위하여 이동 단말기(100) 상에서 결제용 애플리케이션을 실행할 수 있다. 도 17(b)를 참조하면, 이동 단말기(100)는 포스(1700)로부터 결제 금액과 관련된 정보를 수신하고, 터치스크린 상에 수신된 결제 대상 정보(1720)를 출력하도록 제어할 수 있다. 이때, 사용자는 스타일러스 펜(50)을 이용하여 이동 단말기에 서명을 수행할 수 있다. 즉, 이동 단말기(100)는 스타일러스 펜(50)에 의한 서명 입력(1730)을 센싱할 수 있다. 보다 상세하게는, 이동 단말기(100)는 스타일러스 펜(50)의 제 1 입력부(51)를 통한 서명 입력(1730)를 센싱할 수 있다.In this case, the user may execute a payment application on the mobile terminal 100 for payment. Referring to FIG. 17B, the mobile terminal 100 may receive information related to a payment amount from the force 1700 and control to output the payment target information 1720 on the touch screen. In this case, the user may sign the mobile terminal using the stylus pen 50. That is, the mobile terminal 100 may sense the signature input 1730 by the stylus pen 50. In more detail, the mobile terminal 100 may sense the signature input 1730 through the first input unit 51 of the stylus pen 50.
또한, 이동 단말기는 서명 입력(1730)이 등록된 서명 정보와 동일한지 여부를 판단할 수 있다. 서명 입력(1730)과 등록된 서명 정보가 동일한 경우, 이동 단말기는 사용자의 인증을 완료할 수 있다. 다만, 서명 입력(1730)과 등록된 서명 정보가 동일하지 않는 경우, 이동 단말기는 서명 입력이 아닌 다른 방법의 사용자 인증 절차를 추가적으로 수행할 수 있다. 예를 들어, 추가적인 인증 절차는 스탕일러스 펜(50)을 통한 지문 인증에 해당할 수 있고, 이에 한정되지 아니한다.In addition, the mobile terminal may determine whether the signature input 1730 is the same as the registered signature information. When the signature input 1730 and the registered signature information are the same, the mobile terminal may complete authentication of the user. However, when the signature input 1730 and registered signature information are not the same, the mobile terminal may additionally perform a user authentication procedure other than the signature input. For example, the additional authentication procedure may correspond to fingerprint authentication through the Stanley pen 50, but is not limited thereto.
다음으로, 도 17(c)에 도시된 바와 같이, 사용자 인증이 완료된 경우, 이동 단말기(100)는 포스(1700)에 결제 완료 정보를 전송할 수 있다. 또한, 결제가 완료된 경우, 이동 단말기(100) 및 스타일러스 펜(50)의 결제 모드는 종료할 수 있다.Next, as shown in FIG. 17C, when the user authentication is completed, the mobile terminal 100 may transmit payment completion information to the force 1700. In addition, when the payment is completed, the payment mode of the mobile terminal 100 and the stylus pen 50 may be terminated.
도 18은 본 발명의 일 실시예에 따른 이동 단말기 및 스타일러스 펜을 통한 결제 방법의 다른 일 예를 나타내는 도면이다.18 is a diagram illustrating another example of a payment method using a mobile terminal and a stylus pen according to an embodiment of the present invention.
먼저, 도 18(a)를 참조하면, 이동 단말기(100)의 터치스크린이 비활성화된 상태에서, 스타일러스 펜(50)에 의한 터치 입력(1810)을 센싱할 수 있다. 예를 들어, 터치 입력(1810)은 스타일러스 펜(50)의 제 1 입력부(51)에 의한 더블 탭 입력에 해당할 수 있다. 또한, 예를 들어, 터치 입력(1810)은 스타일러스 펜(50)에 의하지 않은 복수의 연속 터치 입력에 해당할 수도 있다. First, referring to FIG. 18A, in a state in which the touch screen of the mobile terminal 100 is inactivated, the touch input 1810 may be sensed by the stylus pen 50. For example, the touch input 1810 may correspond to a double tap input by the first input unit 51 of the stylus pen 50. Also, for example, the touch input 1810 may correspond to a plurality of continuous touch inputs not by the stylus pen 50.
이 경우, 이동 단말기는 결제 모드에 진입할 수 있다. 또한, 본 실시예의 경우, 결제 모드에서 이동 단말기의 터치 스크린이 여전히 비활성화 상태에 해당할 수 있다. 또한, 본 실시예의 경우, 이동 단말기(100)가 결제 모드에 진입하였으나, 터치 스크린 상에 어떠한 결제 대상 정보를 출력하지 않을 수 있다. In this case, the mobile terminal may enter the payment mode. In addition, in the present embodiment, the touch screen of the mobile terminal may still correspond to an inactive state in the payment mode. In addition, in the present embodiment, although the mobile terminal 100 enters the payment mode, it may not output any payment target information on the touch screen.
또한, 도 18(a)에는 도시되지 않았으나, 이동 단말기(100)는 다양한 방식으로 이동 단말기(100)가 결제 모드에 진입함을 나타낼 수 있다. 예를 들어, 이동 단말기의 전면에 위치한 엘이디(LED)가 깜박거림을 통해, 결제 모드에 진입함을 나타낼 수 있다. 또한, 예를 들어, 스타일러스 펜(50)의 엘이디(LED)가 깜박거림을 통해, 결제 모드에 진입함을 나타낼 수 있다. 이외에도, 이동 단말기(100) 또는 스타일러스 펜(50)은 사운드 인디케이터, 진동 인디케이터 등을 제공하여, 결제 모드에 진입함을 나타낼 수 있다. In addition, although not shown in FIG. 18A, the mobile terminal 100 may indicate that the mobile terminal 100 enters a payment mode in various ways. For example, the LED on the front of the mobile terminal blinks to indicate that the payment mode is entered. Also, for example, the LED of the stylus pen 50 may blink to indicate that the payment mode is entered. In addition, the mobile terminal 100 or the stylus pen 50 may provide a sound indicator, a vibration indicator, or the like to indicate that the mobile terminal 100 enters a payment mode.
결제 모드에 진입한 경우, 이동 단말기(100)는 스타일러스 펜(50)에 의한 서명 입력(1820)을 센싱할 수 있다. 일 예로서, 도 18(b)에 도시된 바와 같이, 서명 입력(1820)은 이동 단말기(100)의 터치 스크린 상에서 드래그 터치로 구성된 입력에 해당할 수 있다. 다른 일 예로서, 서명 입력(1820)은 이동 단말기(100)의 주변에 위치한 테이블, 또는 사용자의 손바닥에서 스타일러스 펜(50)에 의해 수행된 입력에 해당할 수 있다. 이 경우, 스타일러스 펜(50)은 서명 입력에 대한 정보를 이동 단말기에 전송할 수 있다. When entering the payment mode, the mobile terminal 100 may sense the signature input 1820 by the stylus pen 50. As an example, as shown in FIG. 18B, the signature input 1820 may correspond to an input configured as a drag touch on the touch screen of the mobile terminal 100. As another example, the signature input 1820 may correspond to a table located near the mobile terminal 100 or an input performed by the stylus pen 50 in the palm of the user. In this case, the stylus pen 50 may transmit information on the signature input to the mobile terminal.
또한, 이동 단말기(100)는 센싱된 서명 입력(1820)이 등록된 사용자의 서명과 동일한지 여부를 판단할 수 있다. 이때, 도 18에는 도시되지 않았으나, 센싱된 서명 입력(1820)이 사용자의 서명과 동일한 경우, 이동 단말기(100)는 진동 인디케이터를 통해 사용자 인증이 완료되었음을 나타낼 수 있다. 또한, 이외에도 다양한 방식으로 사용자 인증이 완료되었음을 나타낼 수 있다. In addition, the mobile terminal 100 may determine whether the sensed signature input 1820 is identical to the registered user's signature. In this case, although not shown in FIG. 18, when the sensed signature input 1820 is the same as the signature of the user, the mobile terminal 100 may indicate that user authentication is completed through the vibration indicator. In addition, it may indicate that user authentication has been completed in various ways.
또한, 도 18(c)에 도시된 바와 같이, 사용자 인증이 완료된 경우, 이동 단말기(100)는 포스(1800)에 결제 완료 정보를 전송하여 결제를 완료할 수 있다. 이 경우, 이동 단말기(100)는 결제 모드를 종료할 수 있다. In addition, as shown in FIG. 18C, when the user authentication is completed, the mobile terminal 100 may complete payment by transmitting payment completion information to the force 1800. In this case, the mobile terminal 100 may end the payment mode.
이하 도 19 내지 도 21의 실시예는 스타일러스 펜 및 이동 단말기를 이용한 계좌 이체 방법에 대하여 설명하도록 한다. 종래에는 이동 단말기를 통해 은행 애플리케이션과 같은 계좌 이체 기능을 지원하는 애플리케이션을 통해서 계좌 이체가 수행되었으나, 이를 보다 간편하게 하기 위한 방안이 요구되었다.Hereinafter, the embodiment of FIGS. 19 to 21 will be described with reference to the method of account transfer using a stylus pen and a mobile terminal. In the related art, although the transfer was performed through an application supporting an account transfer function such as a bank application through a mobile terminal, a method for simplifying this was required.
먼저, 도 19는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 이동 단말기에서 계좌 이체를 수행하는 일 예를 나타내는 도면이다.First, FIG. 19 is a diagram illustrating an example of performing an account transfer in a mobile terminal using a stylus pen according to an embodiment of the present invention.
먼저, 이동 단말기(100)는 계좌 이체(송금) 모드로 진입할 수 있다. 예를 들어, 이동 단말기(100)는 스타일러스 펜(50)을 통한 터치스크린 상에 'finance'와 같은 기 설정된 단어의 필기 입력이 센싱되는 경우, 송금 모드로 진입할 수 있다. 또한, 예를 들어, 이동 단말기(100)는 기 설정된 패턴의 터치 입력이 센싱되는 경우, 송금 모드로 진입할 수 있다.First, the mobile terminal 100 may enter a bank transfer (transfer) mode. For example, when a handwriting input of a predetermined word such as 'finance' is sensed on the touch screen through the stylus pen 50, the mobile terminal 100 may enter a transfer mode. Also, for example, when a touch input of a preset pattern is sensed, the mobile terminal 100 may enter a transfer mode.
또한, 도 19(a)에 도시된 바와 같이, 송금 모드에 진입한 경우, 이동 단말기(100)는 송금 정보를 센싱하기 위하여 메모장 형태로 터치스크린을 제공할 수 있다. 또한, 사용자는 스타일러스 펜(50)을 이용하여 터치스크린 상에 송금 정보를 필기할 수 있다. 즉, 도 19(a)를 참조하면, 이동 단말기(100)는 터치스크린 상에서 송금 정보(1910) 입력을 센싱할 수 있다. 예를 들어, 송금 정보는 송금 계좌, 송금 금액 등의 정보를 포함할 수 있다. 이 경우, 이동 단말기는 OCR(optical character reader)를 통해 입력된 송금 정보(1910)로부터 문자를 추출할 수 있다.In addition, as shown in FIG. 19A, when entering the remittance mode, the mobile terminal 100 may provide a touch screen in the form of a notepad to sense remittance information. In addition, the user may write remittance information on the touch screen using the stylus pen 50. That is, referring to FIG. 19A, the mobile terminal 100 may sense an input of remittance information 1910 on the touch screen. For example, the remittance information may include information such as a remittance account, a remittance amount. In this case, the mobile terminal may extract a character from the remittance information 1910 input through an optical character reader (OCR).
또한, 도 19(b)에 도시된 바와 같이, 이동 단말기(100)는 송금 정보(1910) 입력 이후에 서명 입력(1920)을 센싱할 수 있다. 이 경우, 이동 단말기는 센싱된 서명 입력(1920)이 등록된 서명과 동일한지 여부를 판단할 수 있다. 또한, 도 19(c)를 참조하면, 사용자 인증이 완료된 경우, 이동 단말기(100)는 터치 스크린에 송금 여부를 확인하는 송금 팝업 메시지(1930)를 출력할 수 있다. 한편, 이동 단말기(100)는 서명 입력(1920)을 통한 사용자 인증 이외에 보안 강화를 위한 추가적인 사용자 인증을 수행할 수도 있다. 예를 들어, 추가적인 사용자 인증은 스타일러스 펜(50)을 통해 센싱된 사용자의 지문 정보를 통한 인증에 해당할 수 있고, 이에 한정되지 아니한다.In addition, as illustrated in FIG. 19B, the mobile terminal 100 may sense the signature input 1920 after the remittance information 1910 is input. In this case, the mobile terminal can determine whether the sensed signature input 1920 is the same as the registered signature. In addition, referring to FIG. 19C, when the user authentication is completed, the mobile terminal 100 may output a remittance popup message 1930 for checking whether the money is transmitted to the touch screen. Meanwhile, the mobile terminal 100 may perform additional user authentication for enhanced security in addition to user authentication through the signature input 1920. For example, the additional user authentication may correspond to authentication through fingerprint information of the user sensed through the stylus pen 50, but is not limited thereto.
또한, 이동 단말기(100)는 송금 팝업 메시지(1930)에 대한 입력 신호(1940)가 센싱되는 경우, 송금 정보를 외부 디바이스에 전송할 수 있다. 예를 들어, 외부 디바이스는 은행 서버에 해당할 수 있다.In addition, when the input signal 1940 for the transfer popup message 1930 is sensed, the mobile terminal 100 may transmit the transfer information to an external device. For example, the external device may correspond to a bank server.
도 19에는 도시되지 않았으나, 송금이 완료된 경우, 이동 단말기(100)는 터치스크린 상에 송금 결과를 출력할 수 있다. 예를 들어, 송금 결과는 송금 후 계좌 잔액, 송금 계좌, 송금 시간 등을 포함할 수 있다. Although not shown in FIG. 19, when the transfer is completed, the mobile terminal 100 may output the transfer result on the touch screen. For example, the remittance result may include an account balance after the remittance, a remittance account, a remittance time, and the like.
도 20은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 이동 단말기에서 송금하는 방법의 일 예를 나타내는 도면이다. 20 is a diagram illustrating an example of a method for transmitting money in a mobile terminal using a stylus pen according to an embodiment of the present invention.
보다 상세하게는, 도 20은 도 19의 실시예에서, 송금 정보의 일부를 변경하는 방법을 나타낸다. 도 20의 실시예에서 도 19에서 상술한 내용과 중복되는 내용의 설명은 생략하도록 한다. More specifically, FIG. 20 illustrates a method of changing a part of remittance information in the embodiment of FIG. 19. In the embodiment of FIG. 20, description of content overlapping with the above description will be omitted.
먼저, 도 20(a)에 도시된 바와 같이, 이동 단말기(100)는 스타일러스 펜(50)에 의한 필기 신호(2030a)를 센싱할 수 있다. 여기에서, 필기 신호(2030a)는 송금 정보(2010)를 입력하기 위한 스타일러스 펜(50)에 의한 필기에 해당할 수 있다. First, as illustrated in FIG. 20A, the mobile terminal 100 may sense the writing signal 2030a by the stylus pen 50. Here, the writing signal 2030a may correspond to writing by the stylus pen 50 for inputting the remittance information 2010.
또한, 이동 단말기(100)는 OCR을 통해, 송금 정보 입력(2010)으로부터 문자를 추출하여 송금 정보를 인식할 수 있다. 이때, 이동 단말기(100)는 스타일러스 펜(50)에 의한 제 1 입력 신호(2030b)를 센싱할 수 있다. 여기에서, 제 1 입력 신호(2030b)는 송금 정보 중 일부를 수정하기 위한 드래그 터치 입력으로서, 도 20의 실시예에서는 송금 은행을 변경하는 경우인 것으로 가정한다.In addition, the mobile terminal 100 may recognize the remittance information by extracting a character from the remittance information input 2010 through the OCR. In this case, the mobile terminal 100 may sense the first input signal 2030b by the stylus pen 50. Here, the first input signal 2030b is a drag touch input for modifying some of the remittance information. In the embodiment of FIG. 20, it is assumed that the first input signal 2030b changes the remittance bank.
다음으로, 도 20(b)에 도시된 바와 같이, 이동 단말기(100)는 제 1 입력 신호(2030b)에 대응하여 변경된 송금 은행(2020)을 출력할 수 있다. 또한, 이동 단말기(100)는 변경된 송금 은행(2020)에 대한 제 2 입력 신호(2030c)를 센싱하는 경우, 송금 대상이 되는 은행을 결정할 수 있다. 예를 들어, 제 2 입력 신호(2030c)는 스타일러스 펜(50)에 의한 터치 입력에 해당할 수 있다.Next, as shown in FIG. 20B, the mobile terminal 100 may output the remittance bank 2020 that is changed in response to the first input signal 2030b. In addition, when sensing the second input signal 2030c for the remittance bank 2020, the mobile terminal 100 may determine the bank to which the remittance target is. For example, the second input signal 2030c may correspond to a touch input by the stylus pen 50.
다음으로, 도 20(c)를 참조하면, 이동 단말기(100)는 최종 송금을 위한 제 3 입력 신호(2030e)를 센싱할 수 있다. 예를 들어, 제 3 입력 신호(2030e)는 스타일러스 펜(50)이 터치 스크린에 접촉(2030d)된 상태에서 센싱된 음성 입력에 해당할 수 있다. 여기에서, 음성 입력(2030e)은 송금 정보를 포함할 수 있다. 또한, 이동 단말기(100)는 STT(Speech-to-Text)를 수행하여, 사용자의 음성 입력(2030e)를 인식할 수 있다. 이때, 사용자의 음성 입력(2030e)의 내용이 송금 정보 입력(2010)과 동일한 것으로 판단되는 경우, 이동 단말기(100)는 송금 정보를 외부 디바이스에 전송할 수 있다. 예를 들어, 외부 디바이스는 은행 서버에 해당할 수 있다.Next, referring to FIG. 20C, the mobile terminal 100 may sense the third input signal 2030e for the final remittance. For example, the third input signal 2030e may correspond to a voice input sensed while the stylus pen 50 is in contact with the touch screen 2030d. Here, the voice input 2030e may include remittance information. In addition, the mobile terminal 100 may perform speech-to-text (STT) to recognize the user's voice input 2030e. In this case, when it is determined that the contents of the voice input 2030e of the user is the same as the remittance information input 2010, the mobile terminal 100 may transmit the remittance information to the external device. For example, the external device may correspond to a bank server.
또한, 도 20에는 도시되지 않았으나, 사용자의 음성 입력(2050b)에서 센싱된 사용자의 음성이 등록된 음성에 해당하는 경우, 이동 단말기(100)는 송금 정보를 외부 디바이스에 전송할 수도 있다.In addition, although not shown in FIG. 20, when the user's voice sensed by the user's voice input 2050b corresponds to the registered voice, the mobile terminal 100 may transmit remittance information to an external device.
도 21은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 이동 단말기 상에 주소록이 출력된 상태에서 송금하는 일 예를 나타내는 도면이다.FIG. 21 is a diagram illustrating an example of remittance while an address book is output on a mobile terminal using a stylus pen according to an embodiment of the present invention.
먼저, 도 21(a)를 참조하면, 이동 단말기는 주소록 애플리케이션이 실행된 상태에서, 주소록(2100)에 포함된 특정 인물에 대한 제 1 입력 신호(2110a)를 센싱할 수 있다. 예를 들어, 제 1 입력 신호(2110a)는 스타일러스 펜(50)에 의한 롱 프레스 터치 입력에 해당할 수 있다. First, referring to FIG. 21A, in a state in which an address book application is executed, the mobile terminal may sense a first input signal 2110a for a specific person included in the address book 2100. For example, the first input signal 2110a may correspond to a long press touch input by the stylus pen 50.
이 경우, 도 21(b)에 도시된 바와 같이, 이동 단말기(100)는 특정 인물에 대한 메뉴 옵션(2120)을 출력하도록 제어할 수 있다. 메뉴 옵션(2120)은 전화 걸기, 메세지 보내기, 계좌 이체 등 다양한 메뉴를 포함할 수 있다. 또한, 이동 단말기(100)는 메뉴 옵션(2120) 중 계좌 이체 옵션에 대한 제 2 입력 신호(2110b)를 센싱할 수 있다. In this case, as illustrated in FIG. 21B, the mobile terminal 100 may control to output a menu option 2120 for a specific person. The menu option 2120 may include various menus such as making a phone call, sending a message, and making a bank transfer. In addition, the mobile terminal 100 may sense a second input signal 2110b for an account transfer option among the menu options 2120.
이동 단말기(100)는 계좌 이체를 위한 명령이 수신되는 경우, 다양한 방식으로 계좌 이체를 수행할 수 있다. 일 예로서, 도 21(c)에 도시된 바와 같이, 이동 단말기(100)는 계좌 이체 내역에 대한 필기 입력을 센싱하기 위한 메모 인터페이스(2130)를 출력할 수 있다. 또한, 이동 단말기는 계좌 이체를 위한 필기 입력(2110c)를 센싱할 수 있다. 이 경우, 도 19 및 도 20에서 상술한 바와 같이, 이동 단말기(100)는 필기 입력(2110c)을 OCR을 통해 필기 입력의 내용을 인식하여, 계좌 이체를 수행할 수 있다.When the mobile terminal 100 receives a command for bank transfer, the mobile terminal 100 may perform bank transfer in various ways. As an example, as illustrated in FIG. 21C, the mobile terminal 100 may output a memo interface 2130 for sensing a handwriting input for the account transfer history. In addition, the mobile terminal can sense the handwriting input 2110c for account transfer. In this case, as described above with reference to FIGS. 19 and 20, the mobile terminal 100 may recognize the contents of the handwriting input through the OCR, and perform the account transfer.
다른 일 예로서, 도 21에는 도시되지 않았으나, 이동 단말기(100)는 계좌 이체용 애플리케이션을 실행할 수 있다. 또한, 이동 단말기(100)는 애플리케이션 상에서 계좌 이체용 정보를 입력받아, 계좌 이체를 수행할 수도 있다. As another example, although not shown in FIG. 21, the mobile terminal 100 may execute an account transfer application. In addition, the mobile terminal 100 may receive the account transfer information on the application, and perform the account transfer.
또한, 이동 단말기(100)는 계좌 이체가 완료된 경우, 팝업 메시지를 출력하여, 계좌 이체가 완료됨을 나타낼 수 있다. 계좌 이체가 완료된 경우, 이동 단말기(100)는 다시 주소록(2100)을 출력할 수 있다.In addition, when the transfer is completed, the mobile terminal 100 may output a pop-up message to indicate that the transfer is completed. When the transfer of funds is completed, the mobile terminal 100 may output the address book 2100 again.
스타일러스Stylus 펜을 이용한  Pen 유저user 인터페이스 interface
이하 도 22 내지 도 28에서는 상술한 실시예들 이외에 스타일러스 펜을 이용하여 이동 단말기에서 다양한 경험을 제공하는 유저 인터페이스를 설명하도록 한다. 또한 도 22 내지 도 28의 실시예에서 스타일러스 펜(10)과 이동 단말기(100,200)는 페어링된 상태로서, 데이터 송/수신이 가능한 것으로 가정한다.22 to 28 describe a user interface for providing various experiences in a mobile terminal using a stylus pen in addition to the above-described embodiments. In addition, in the embodiments of FIGS. 22 to 28, it is assumed that the stylus pen 10 and the mobile terminals 100 and 200 are paired and capable of data transmission / reception.
먼저, 도 22는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 드로잉 컨텐츠를 제공하는 일 예를 나타내는 도면이다.First, FIG. 22 is a diagram illustrating an example of providing drawing content using a stylus pen according to an embodiment of the present invention.
일반적으로 이동 단말기(100) 상에서 스타일러스 펜(50)을 이용하여 드로잉 작업을 하는 경우, 펜이나 브러쉬의 색상 변경은 컬러 픽커(picker)를 통해 이루어지게 된다. 이 경우, 컬러 픽커에 포함된 색상에 한정되게 되므로 사용자는 실제 사물의 현실적인 색감과 동일하게 드로잉하기 어려울 수 있다.In general, in the case of drawing by using the stylus pen 50 on the mobile terminal 100, the color change of the pen or brush is made through a color picker. In this case, since it is limited to the color included in the color picker, it may be difficult for the user to draw the same as the realistic color of the real object.
이 경우, 스타일러스 펜(50)에 RGB 컬러 센서가 구비되어 있다면, 실제 사물의 현실 색상과 동일하게 드로잉을 할 수 있을 것이다. 예를 들어, 도 22(a)를 참조하면, 사용자는 실제 사과의 색상과 동일하게 이동 단말기(100) 상에서 드로잉하고자 하는 경우에 해당한다. 이때, 스타일러스 펜(50)은 제 1 입력부(51)에 구비된 RGB 센서를 통해 전방에 위치한 사물의 색상을 인식할 수 있다. In this case, if the stylus pen 50 is provided with the RGB color sensor, it will be able to draw the same as the actual color of the real object. For example, referring to FIG. 22A, the user corresponds to a case in which the user wants to draw on the mobile terminal 100 in the same color as the actual apple. At this time, the stylus pen 50 may recognize the color of the object located in front of the RGB sensor provided in the first input unit 51.
또한, 도 22(b)에 도시된 바와 같이, 이동 단말기(100)는 드로잉 애플리케이션이 실행된 상태에서, 스타일러스 펜(50)은 입력 신호(2210)를 센싱할 수 있다. 여기에서, 입력 신호(2210)는 스타일러스 펜(50)이 이동 단말기(100)의 터치스크린에 접촉된 상태에서의 제 2 입력부(52)에 대한 입력에 해당할 수 있다. 이 경우, 스타일러스 펜(50)은 센싱된 입력 신호(2210)에 대응하여, 이동 단말기(100)에 RGB 센서를 통해 인식된 색상 정보를 전송할 수 있다. 또한, 이동 단말기(100)는 드로잉 컨텐츠 상에 스타일러스 펜(50)의 RGB 센서를 통해 인식된 색상과 동일한 색상의 드로잉을 수행할 수 있다.In addition, as illustrated in FIG. 22B, in the state where the drawing application is executed in the mobile terminal 100, the stylus pen 50 may sense the input signal 2210. Here, the input signal 2210 may correspond to an input to the second input unit 52 in a state where the stylus pen 50 is in contact with the touch screen of the mobile terminal 100. In this case, the stylus pen 50 may transmit color information recognized through the RGB sensor to the mobile terminal 100 in response to the sensed input signal 2210. In addition, the mobile terminal 100 may perform drawing of the same color as the color recognized by the RGB sensor of the stylus pen 50 on the drawing content.
도 23은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 드로잉 컨텐츠를 제공하는 다른 일 예를 나타내는 도면이다.FIG. 23 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention. FIG.
사용자가 이동 단말기 상에서 드로잉 작업을 수행하는 경우, 사용자에 따라 드로잉 능력의 편차가 크기 때문에, 원하는 형태를 자유롭게 그릴 수 없게 되는 경우가 많다. 이 경우, 초보자도 다양한 형태를 쉽게 그리게 하기 위한 가이드 라인이 필요할 수 있다.When a user performs a drawing operation on a mobile terminal, since the variation in drawing ability varies depending on the user, it is often impossible to draw a desired form freely. In this case, a guideline may be needed to easily draw various forms even for beginners.
이동 단말기(100)는 드로잉 애플리케이션이 실행된 상태에서, 터치스크린의 일측에 다양한 형태 가이드를 출력할 수 있다. 예를 들어, 형태 가이드 중 직선이 선택된 상태에서, 이동 단말기는 제 1 입력 신호(2310) 및 제 2 입력 신호(2320)를 센싱할 수 있다. 예를 들어, 제 1 입력 신호(2310)는 터치스크린 상에서 손가락이 닿은 상태에 해당할 수 있다. 또한, 제 2 입력 신호(2320)는 스타일러스 펜(50)에 의한 드래그 터치 입력에 해당할 수 있다. The mobile terminal 100 may output various shape guides on one side of the touch screen while the drawing application is executed. For example, in a state in which a straight line is selected among the shape guides, the mobile terminal may sense the first input signal 2310 and the second input signal 2320. For example, the first input signal 2310 may correspond to a state in which a finger touches the touch screen. In addition, the second input signal 2320 may correspond to a drag touch input by the stylus pen 50.
이 경우, 도 23에 도시된 바와 같이, 이동 단말기(100)는 제 1 입력 신호(2310)가 센싱된 위치를 기준으로 제 2 입력 신호(2320)에 따라 직선을 출력할 수 있다. 즉, 이동 단말기(2320)는 제 1 입력 신호(2310) 및 제 2 입력 신호(2320)를 통해 사용자가 원하는 형태의 드로잉 결과를 제공할 수 있게 된다.In this case, as illustrated in FIG. 23, the mobile terminal 100 may output a straight line according to the second input signal 2320 based on the position where the first input signal 2310 is sensed. That is, the mobile terminal 2320 may provide a drawing result in a form desired by the user through the first input signal 2310 and the second input signal 2320.
도 24는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 드로잉 컨텐츠를 제공하는 다른 일 예를 나타내는 도면이다.24 illustrates another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
이동 단말기(100)는 드로잉 애플리케이션이 실행된 상태에서, 스타일러스 펜(50)에 의한 제 1 입력 신호(2410)를 센싱할 수 있다. 예를 들어, 제 1 입력 신호(2410)는 스타일러스 펜(50)에 의한 드래그 터치 입력에 해당할 수 있다. 이 경우, 이동 단말기는 도 24(a)에 도시된 바와 같이, 별 형태의 이미지를 출력할 수 있다. The mobile terminal 100 may sense the first input signal 2410 by the stylus pen 50 while the drawing application is executed. For example, the first input signal 2410 may correspond to a drag touch input by the stylus pen 50. In this case, the mobile terminal may output a star image as illustrated in FIG. 24 (a).
이때, 이동 단말기는 별 형태의 이미지에 대한 제 2 입력 신호(2420)를 센싱할 수 있다. 예를 들어, 제 2 입력 신호(2420)는 사용자의 엄지 손가락에 의한 드래그 터치 입력에 해당할 수 있다. 이 경우, 도 24(b)에 도시된 바와 같이, 이동 단말기(100)는 제 2 입력 신호(2420)가 센싱된 위치에 출력된 이미지를 지울 수 있다.In this case, the mobile terminal may sense the second input signal 2420 for the star-shaped image. For example, the second input signal 2420 may correspond to a drag touch input by a user's thumb. In this case, as illustrated in FIG. 24B, the mobile terminal 100 may erase the image output at the position where the second input signal 2420 is sensed.
즉, 도 24의 실시예의 경우, 이동 단말기(100)가 스타일러스 펜(50)에 의한 드래그 터치 입력과 손가락에 의한 드래그 터치 입력을 구분하여, 사용자가 이미지를 손쉽게 드로잉하고 지울 수 있는 유저 인터페이스를 제공할 수 있다. 이때, 이동 단말기는 스타일러스 펜(50)과 손가락에 의한 드래그 터치 입력을 압력 차이, 접점 신호 차이 등을 통해 구별할 수 있다.That is, in the embodiment of FIG. 24, the mobile terminal 100 distinguishes a drag touch input by the stylus pen 50 and a drag touch input by a finger, thereby providing a user interface that allows a user to easily draw and erase an image. can do. In this case, the mobile terminal can distinguish the drag touch input by the stylus pen 50 and the finger through a pressure difference, a contact signal difference, and the like.
도 25는 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 드로잉 컨텐츠를 제공하는 다른 일 예를 나타내는 도면이다.25 is a diagram illustrating another example of providing drawing content using a stylus pen according to an embodiment of the present invention.
도 25(a)를 참조하면, 이동 단말기(100)는 카메라를 통해 화각 영역 내의 오브젝트(2510)를 캡쳐할 수 있다. 또한, 이동 단말기(100)는 드로잉 애플리케이션을 실행하여, 캡쳐된 오브젝트(2510)를 최하위 레이어(layer)에 배치하여, 드로잉 가이드로서 제공할 수 있다. 이때, 이동 단말기(100)는 캡쳐된 이미지 내에서 포커싱된 오브젝트(2510) 영역만을 크롭하여, 드로잉 가이드로서 제공할 수 있다. Referring to FIG. 25A, the mobile terminal 100 may capture an object 2510 in the field of view area through a camera. In addition, the mobile terminal 100 may execute a drawing application to place the captured object 2510 on a lowermost layer and provide it as a drawing guide. In this case, the mobile terminal 100 may crop only the area of the object 2510 focused in the captured image and provide it as a drawing guide.
이를 통해, 도 25(b)에 도시된 바와 같이, 사용자는 스타일러스 펜(50)을 이용하여, 캡쳐된 오브젝트(2510)를 드로잉 가이드로서 참고하여, 드로잉 작업(2520)을 수행할 수 있다. 본 실시예를 통해, 사용자는 실제 오브젝트와 유사도가 높은 드로잉 결과물을 그릴 수 있게 된다.Through this, as illustrated in FIG. 25B, the user may perform the drawing operation 2520 by referring to the captured object 2510 as a drawing guide using the stylus pen 50. In this embodiment, the user can draw a drawing result with a high similarity to the real object.
도 26은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 서적 컨텐츠를 제어하는 일 예를 나타내는 도면이다. 도 26의 실시예는 제 1 영역 및 제 2 영역을 포함하는 이동 단말기(200) 상에서 출력된 서적 컨텐츠인 것으로 가정한다.FIG. 26 illustrates an example of controlling book contents using a stylus pen according to an embodiment of the present invention. It is assumed that the embodiment of FIG. 26 is book content output on the mobile terminal 200 including the first area and the second area.
사용자는 서적 컨텐츠를 이용하는 도중에, 필요한 부분을 바로 스크랩하여 보관하기를 원할 수 있다. 또한, 스크랩된 컨텐츠를 쉽게 확인하는 방법이 필요하다. 이때, 손가락이 아닌 스타일러스 펜(50)을 이용하여 필요한 부분을 스크랩한다면 보다 정밀한 영역 설정이 가능할 수 있다.While using the book content, the user may wish to scrap and archive the necessary portion immediately. There is also a need for a method of easily identifying scraped content. At this time, if the necessary portion is scraped using the stylus pen 50 instead of the finger, more precise area setting may be possible.
도 26(a)를 참조하면, 이동 단말기(200)는 서적 컨텐츠를 출력 중에, 제 1 입력 신호(2610a)를 센싱할 수 있다. 예를 들어, 제 1 입력 신호(2610a)는 스타일러스 펜(50)에 의한 드래그 터치 입력에 해당할 수 있다. 또한, 이동 단말기(200)는 입력 신호(2610)가 센싱된 영역(2620)을 저장 영역으로 특정할 수 있다.Referring to FIG. 26A, the mobile terminal 200 may sense the first input signal 2610a while outputting book content. For example, the first input signal 2610a may correspond to a drag touch input by the stylus pen 50. In addition, the mobile terminal 200 may specify the area 2620 where the input signal 2610 is sensed as the storage area.
또한, 이동 단말기(200)는 제 2 입력 신호(2610b)를 센싱할 수 있다. 예를 들어, 제 2 입력 신호(2610b)는 스타일러스 펜(50)에 의한 우측 방향의 드래그 터치 입력에 해당할 수 있다. 또한, 도 26(b)에 도시된 바와 같이, 이동 단말기(200)는 제 2 입력 신호(2610b)에 대응하여, 클립 보드(2630)를 출력하고, 클립 보드(2630)에 저장 영역을 추가하도록 제어할 수 있다. In addition, the mobile terminal 200 may sense the second input signal 2610b. For example, the second input signal 2610b may correspond to a drag touch input in a right direction by the stylus pen 50. In addition, as illustrated in FIG. 26B, the mobile terminal 200 outputs the clipboard 2630 in response to the second input signal 2610b and adds a storage area to the clipboard 2630. Can be controlled.
도 27은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 컨텐츠를 제공하는 일 예를 나타내는 도면이다. 도 27의 실시예는 제 1 영역 및 제 2 영역을 포함하는 이동 단말기(200) 상에서 성립하는 것으로 가정한다.27 is a diagram illustrating an example of providing content using a stylus pen according to an embodiment of the present invention. The embodiment of FIG. 27 is assumed to be established on a mobile terminal 200 including a first area and a second area.
도 27(a)를 참조하면, 이동 단말기(200)는 제 1 영역(210) 및 제 2 영역(220) 중 적어도 하나에 컨텐츠(2710)를 출력할 수 있다. 예를 들어, 컨텐츠(2710)는 문서 컨텐츠, 이미지 컨텐츠, 서적 컨텐츠, 발표용 컨텐츠 등 다양한 컨텐츠를 포함할 수 있다. 이때, 예를 들어, 사용자는 제 1 영역(210)에 출력된 컨텐츠를 기초로 제 2 영역(210)에서 이와 관련된 자료를 정리 또는 필기하고자 할 수 있다.Referring to FIG. 27A, the mobile terminal 200 may output content 2710 to at least one of the first area 210 and the second area 220. For example, the content 2710 may include various contents such as document content, image content, book content, and presentation content. In this case, for example, the user may want to organize or write data related thereto in the second area 210 based on the content output to the first area 210.
이 경우, 도 27(b)에 도시된 바와 같이, 이동 단말기(200)는 폴딩 신호를 센싱할 수 있다. 예를 들어, 폴딩 신호는 제 1 영역(210) 및 제 2 영역(220)이 마주하도록 이동 단말기(200)를 접는 신호에 해당한다. 또한, 도 27(c)를 참조하면, 이동 단말기(200)는 폴딩 신호에 대응하여, 제 1 영역(210)에 출력된 컨텐츠(2710a)를 제 2 영역(220)에서 동일하게 출력(2710b)할 수 있다. In this case, as shown in FIG. 27B, the mobile terminal 200 may sense a folding signal. For example, the folding signal corresponds to a signal for folding the mobile terminal 200 so that the first area 210 and the second area 220 face each other. In addition, referring to FIG. 27C, the mobile terminal 200 outputs the content 2710a output in the first area 210 in the second area 220 in response to the folding signal 2710b. can do.
또한, 도 27(c)에 도시된 바와 같이, 사용자는 제 1 영역(210)에 출력된 컨텐츠(2710a)를 기준으로 제 2 영역(220)에 출력된 컨텐츠(2710b)에 필요한 정보를 필기(2720)하여, 원본 정보와 필기가 포함된 수정된 정보를 편하게 이용할 수 있다.In addition, as illustrated in FIG. 27C, the user writes information necessary for the content 2710b output to the second area 220 based on the content 2710a output to the first area 210. 2720, the modified information including the original information and the handwriting can be conveniently used.
도 28은 본 발명의 일 실시예에 따른 스타일러스 펜을 이용하여 사진 컨텐츠를 제어하는 일 예를 나타내는 도면이다. 28 is a diagram illustrating an example of controlling photo content using a stylus pen according to an embodiment of the present invention.
먼저, 도 28(a)를 참조하면, 이동 단말기(100)는 적어도 하나의 썸네일 이미지(2810)를 포함하는 갤러리 애플리케이션을 실행할 수 있다. 이때, 이동 단말기는 스타일러스 펜(50)에 의해 적어도 하나의 썸네일을 선택하는 입력 신호(2820)를 센싱할 수 있다. 예를 들어, 입력 신호(2820)는 드래그 터치 입력에 해당할 수 있다.First, referring to FIG. 28A, the mobile terminal 100 may execute a gallery application including at least one thumbnail image 2810. In this case, the mobile terminal may sense an input signal 2820 that selects at least one thumbnail by the stylus pen 50. For example, the input signal 2820 may correspond to a drag touch input.
이 경우, 도 28(b)를 참조하면, 이동 단말기(100)는 입력 신호(2820)에 대응하여, 썸네일 이미지를 제 1 그룹(2830a)과 제 2 그룹(2830b)로 구별하여 출력하도록 제어할 수 있다. 다만, 도 28에는 도시되지 않았으나, 입력 신호(2820)는 한 번의 드래그 터치 입력외에도, 영역을 구분할 수 있는 다양한 터치 입력을 포함할 수 있다. In this case, referring to FIG. 28 (b), the mobile terminal 100 controls to output the thumbnail image into a first group 2830 a and a second group 2830 b in response to the input signal 2820. Can be. Although not illustrated in FIG. 28, the input signal 2820 may include various touch inputs that can distinguish regions in addition to one drag touch input.
즉, 본 실시예를 통해, 사용자는 갤러리에 출력된 복수의 사진들 중 원하는 사진만을 스타일러스 펜을 이용하여 용이하게 그룹화할 수 있다. That is, according to the present embodiment, the user can easily group only the desired picture among the plurality of pictures output in the gallery by using the stylus pen.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be embodied as computer readable codes on a medium in which a program is recorded. The computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet). In addition, the computer may include the controller 180 of the terminal. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.
본 발명은 이동 단말기 및 스타일러스 펜에 있어서 산업상 이용 가능성이 있으며, 반복적으로 적용가능하다.The present invention has industrial applicability in mobile terminals and stylus pens, and can be repeatedly applied.

Claims (15)

  1. 적어도 하나의 이동 단말기와 데이터를 송/수신하는 무선 통신부;A wireless communication unit configured to transmit / receive data with at least one mobile terminal;
    입력 신호를 센싱하는 센싱부; 및A sensing unit sensing an input signal; And
    상기 입력 신호에 대응하여, 상기 적어도 하나의 이동 단말기에 제어 신호를 전송하도록 제어하는 제어부를 포함하는, 스타일러스 펜.And a control unit for controlling to transmit a control signal to the at least one mobile terminal in response to the input signal.
  2. 제 1 항에 있어서The method of claim 1
    상기 제어부는The control unit
    상기 적어도 하나의 이동 단말기에 제 1 컨텐츠가 출력된 상태에서 상기 입력 신호를 센싱하고,Sensing the input signal while the first content is output to the at least one mobile terminal,
    상기 입력 신호에 대응하여, 상기 제 1 컨텐츠와 상이한 제 2 컨텐츠를 출력하는 제어 신호를 상기 적어도 하나의 이동 단말기에 전송하도록 제어하는 것을 더 포함하는, 스타일러스 펜.And controlling to transmit, to the at least one mobile terminal, a control signal outputting second content different from the first content in response to the input signal.
  3. 제 1 항에 있어서The method of claim 1
    상기 적어도 하나의 이동 단말기는 제 1 이동 단말기 및 제 2 이동 단말기를 포함하고,The at least one mobile terminal includes a first mobile terminal and a second mobile terminal,
    상기 입력 신호는 제 1 입력 신호 및 제 2 입력 신호를 포함하는, 스타일러스 펜.The input signal comprises a first input signal and a second input signal.
  4. 제 3 항에 있어서The method of claim 3
    상기 제어부는The control unit
    상기 제 1 입력 신호에 대응하여, 상기 제 1 이동 단말기로부터 제 1 컨텐츠에 대한 정보를 수신하고 상기 제 1 컨텐츠에 대한 정보를 저장하고,In response to the first input signal, receive information about first content from the first mobile terminal and store information about the first content,
    상기 제 2 입력 신호에 대응하여, 상기 제 2 이동 단말기에 상기 제 1 컨텐츠에 대한 정보를 전송하도록 제어하는 것을 더 포함하는, 스타일러스 펜.And in response to the second input signal, controlling to transmit information about the first content to the second mobile terminal.
  5. 제 1 항에 있어서,The method of claim 1,
    상기 센싱부는 사용자의 지문 정보 및 상기 스타일러스 펜의 움직임 정보를 센싱하는 것을 더 포함하는, 스타일러스 펜.The sensing unit further includes sensing fingerprint information of the user and movement information of the stylus pen.
  6. 제 5 항에 있어서The method of claim 5
    상기 제어부는The control unit
    상기 센싱된 지문 정보가 등록된 지문 정보와 일치하는 경우, 제 1 사용자 인증을 수행하고,When the sensed fingerprint information matches the registered fingerprint information, first user authentication is performed.
    상기 센싱된 움직임 정보가 등록된 움직임 정보와 일치하는 경우, 제 2 사용자 인증을 수행하는 것을 더 포함하는,If the sensed motion information matches the registered motion information, further comprising: performing a second user authentication;
    상기 제 1 사용자 인증 및 상기 제 2 사용자 인증이 완료된 경우, 외부 디바이스에 결제 정보를 전송하도록 제어하는 것을 더 포함하는, 스타일러스 펜.And when the first user authentication and the second user authentication are completed, controlling to transmit payment information to an external device.
  7. 제 5 항에 있어서The method of claim 5
    상기 스타일러스 펜의 움직임 정보는 상기 스타일러스 펜에서 센싱된 압력, 상기 스타일러스 펜의 각도, 상기 스타일러스 펜의 이동 패턴, 상기 스타일러스 펜의 회전 패턴 및 상기 스타일러스 펜에 의한 필기 내용 중 적어도 하나를 포함하는, 스타일러스 펜.Movement information of the stylus pen includes at least one of a pressure sensed by the stylus pen, an angle of the stylus pen, a movement pattern of the stylus pen, a rotation pattern of the stylus pen, and writing contents by the stylus pen. pen.
  8. 터치 스크린;touch screen;
    스타일러스 펜과 데이터를 송/수신하는 무선 통신부; 및A wireless communication unit for transmitting / receiving data with a stylus pen; And
    상기 터치 스크린에 제 1 컨텐츠가 출력된 상태에서 상기 스타일러스 펜에 의한 제 1터치 입력을 센싱하고, 상기 센싱된 제 1터치 입력에 대응하여 상기 터치 스크린에 제 2 컨텐츠를 출력하도록 제어하는 제어부를 포함하는, 이동 단말기.And a controller configured to sense a first touch input by the stylus pen while the first content is output on the touch screen, and to output second content on the touch screen in response to the sensed first touch input. Mobile terminal.
  9. 제 8 항에 있어서The method of claim 8
    상기 제 1 컨텐츠는 동영상 컨텐츠이고, 상기 제 2 컨텐츠는 동영상에 대한 필기 컨텐츠인, 이동 단말기.The first content is video content, and the second content is handwritten content for a video.
  10. 제 9 항에 있어서,The method of claim 9,
    상기 제어부는The control unit
    상기 동영상 컨텐츠가 재생 중에 상기 제 1 터치 입력을 센싱하고,Sense the first touch input while the video content is playing;
    상기 제 1 터치 입력에 대응하여 동영상 재생 정보를 저장하고 상기 필기 컨텐츠를 출력하되, 상기 동영상 재생 정보는 상기 제 1 터치 입력이 센싱된 특정 시점의 정보를 포함하는,Store video playback information and output the handwritten content corresponding to the first touch input, wherein the video playback information includes information of a specific time point at which the first touch input is sensed.
    상기 필기 컨텐츠 중 상기 특정 시점의 정보에 대한 제 2 터치 입력을 센싱하고,Sensing a second touch input with respect to the information of the specific time point in the handwritten content,
    상기 제 2 터치 입력에 대응하여, 상기 동영상 재생 정보를 나타내는 팝업 메시지를 출력하도록 제어하는 것을 더 포함하는, 이동 단말기.And controlling to output a pop-up message indicating the video reproduction information in response to the second touch input.
  11. 제 10 항에 있어서The method of claim 10
    상기 동영상 컨텐츠는 상기 터치 스크린의 제1 디스플레이 영역에서 출력되고, 상기 동영상에 대한 필기 컨텐츠는 상기 터치 스크린의 제 2 디스플레이 영역에서 출력되는, 이동 단말기.And the video content is output in the first display area of the touch screen, and the handwritten content for the video is output in the second display area of the touch screen.
  12. 제 8 항에 있어서,The method of claim 8,
    상기 제 1 컨텐츠는 결제 대상 정보에 대응하고, 상기 제 2 컨텐츠는 서명 정보에 대응하는, 이동 단말기.And the first content corresponds to payment target information, and the second content corresponds to signature information.
  13. 제 12 항에 있어서The method of claim 12
    상기 제어부는The control unit
    상기 결제 대상 정보가 출력된 상태에서, 상기 스타일러스 펜에 의한 상기 제 1 터치 입력이 센싱되는 경우, 상기 서명 정보를 출력하고,Outputting the signature information when the first touch input by the stylus pen is sensed while the payment target information is output;
    상기 서명 정보가 등록된 서명 정보와 일치하는 경우, 외부 디바이스에 결제 완료 정보를 전송하도록 제어하는 것을 더 포함하는, 이동 단말기.And if the signature information matches registered signature information, controlling to transmit payment completion information to an external device.
  14. 제 13 항에 있어서The method of claim 13
    상기 제어부는The control unit
    상기 제 1 터치 입력이 센싱되기 전에 제 2 터치 입력이 센싱되는 경우, 결제 모드로 진입하도록 제어하는 것을 더 포함하는, 이동 단말기.And if the second touch input is sensed before the first touch input is sensed, controlling to enter a payment mode.
  15. 이동 단말기 및 스타일러스 펜을 포함하는 시스템의 제어 방법에 있어서,In the control method of a system comprising a mobile terminal and a stylus pen,
    상기 이동 단말기의 터치 스크린에 제 1 컨텐츠를 출력하는 단계;Outputting first content on a touch screen of the mobile terminal;
    상기 스타일러스 펜에서 입력 신호를 센싱하는 단계;Sensing an input signal at the stylus pen;
    상기 입력 신호에 대응하여, 상기 이동 단말기에 상기 제 1 컨텐츠의 제어 신호를 전송하는 단계; 및Transmitting a control signal of the first content to the mobile terminal in response to the input signal; And
    상기 제 1 컨텐츠의 제어 신호에 대응하여, 상기 이동 단말기의 터치 스크린에 제 2 컨텐츠를 출력하는 단계를 포함하는, 제어 방법.And outputting second content on a touch screen of the mobile terminal in response to a control signal of the first content.
PCT/KR2016/004063 2016-04-19 2016-04-19 Mobile terminal, stylus pen, and control method therefor WO2017183743A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/004063 WO2017183743A1 (en) 2016-04-19 2016-04-19 Mobile terminal, stylus pen, and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/004063 WO2017183743A1 (en) 2016-04-19 2016-04-19 Mobile terminal, stylus pen, and control method therefor

Publications (1)

Publication Number Publication Date
WO2017183743A1 true WO2017183743A1 (en) 2017-10-26

Family

ID=60116190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/004063 WO2017183743A1 (en) 2016-04-19 2016-04-19 Mobile terminal, stylus pen, and control method therefor

Country Status (1)

Country Link
WO (1) WO2017183743A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164143A1 (en) * 2018-02-22 2019-08-29 삼성전자주식회사 Display apparatus for transmitting data through electronic pen and control method thereof
EP3605284A1 (en) * 2018-07-30 2020-02-05 Samsung Electronics Co., Ltd. Electronic device including digital pen
CN112667126A (en) * 2021-01-22 2021-04-16 深圳市绘王动漫科技有限公司 Handwriting screen and method for adjusting closed screen menu thereof
CN112740152A (en) * 2018-09-30 2021-04-30 华为技术有限公司 Handwriting pen detection method, system and related device
WO2022065844A1 (en) * 2020-09-24 2022-03-31 삼성전자 주식회사 Method for displaying preview image, and electronic apparatus supporting same
EP4180999A1 (en) * 2021-11-11 2023-05-17 William Wang Method for authenticating a user using biometrics and digitized handwritten signature, and system implementing the same
TWI831082B (en) 2021-11-11 2024-02-01 王士華 Biosignature verification system and biosignature verification method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050122209A1 (en) * 2003-12-03 2005-06-09 Black Gerald R. Security authentication method and system
US20100221999A1 (en) * 2009-03-02 2010-09-02 Motorola, Inc. Method for selecting content for transfer or synchronization between devices
US20130091238A1 (en) * 2011-10-06 2013-04-11 Eric Liu Pen-based content transfer system and method thereof
US20130154956A1 (en) * 2011-12-20 2013-06-20 Htc Corporation Stylus Device
KR20150100470A (en) * 2014-02-24 2015-09-02 삼성전자주식회사 Method and Apparatus of Displaying Content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050122209A1 (en) * 2003-12-03 2005-06-09 Black Gerald R. Security authentication method and system
US20100221999A1 (en) * 2009-03-02 2010-09-02 Motorola, Inc. Method for selecting content for transfer or synchronization between devices
US20130091238A1 (en) * 2011-10-06 2013-04-11 Eric Liu Pen-based content transfer system and method thereof
US20130154956A1 (en) * 2011-12-20 2013-06-20 Htc Corporation Stylus Device
KR20150100470A (en) * 2014-02-24 2015-09-02 삼성전자주식회사 Method and Apparatus of Displaying Content

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101039A (en) * 2018-02-22 2019-08-30 삼성전자주식회사 Electronic device for transferring data using electronic pen and controlling method thereof
WO2019164143A1 (en) * 2018-02-22 2019-08-29 삼성전자주식회사 Display apparatus for transmitting data through electronic pen and control method thereof
US11194409B2 (en) 2018-02-22 2021-12-07 Samsung Electronics Co., Ltd. Display apparatus for transmitting data through electronic pen and control method thereof
KR102397892B1 (en) * 2018-02-22 2022-05-13 삼성전자주식회사 Electronic device for transferring data using electronic pen and controlling method thereof
EP3605284A1 (en) * 2018-07-30 2020-02-05 Samsung Electronics Co., Ltd. Electronic device including digital pen
US10990199B2 (en) 2018-07-30 2021-04-27 Samsung Electronics Co., Ltd. Electronic device including digital pen
CN112740152B (en) * 2018-09-30 2023-09-08 华为技术有限公司 Handwriting pen detection method, handwriting pen detection system and related device
CN112740152A (en) * 2018-09-30 2021-04-30 华为技术有限公司 Handwriting pen detection method, system and related device
US11899879B2 (en) 2018-09-30 2024-02-13 Huawei Technologies Co., Ltd. Stylus detection method, system, and related apparatus for switching frequencies for detecting input signals
WO2022065844A1 (en) * 2020-09-24 2022-03-31 삼성전자 주식회사 Method for displaying preview image, and electronic apparatus supporting same
CN112667126A (en) * 2021-01-22 2021-04-16 深圳市绘王动漫科技有限公司 Handwriting screen and method for adjusting closed screen menu thereof
TWI831082B (en) 2021-11-11 2024-02-01 王士華 Biosignature verification system and biosignature verification method
EP4180999A1 (en) * 2021-11-11 2023-05-17 William Wang Method for authenticating a user using biometrics and digitized handwritten signature, and system implementing the same

Similar Documents

Publication Publication Date Title
WO2017057803A1 (en) Mobile terminal and control method therefor
WO2017030223A1 (en) Mobile terminal having card unit and method for controlling same
WO2017082508A1 (en) Watch-type terminal and method for controlling same
WO2015199270A1 (en) Mobile terminal and control method therefor
WO2017090823A1 (en) Rollable mobile terminal and control method therefor
WO2017090826A1 (en) Mobile terminal and control method thereof
WO2017047854A1 (en) Mobile terminal and control method therefor
WO2018105806A1 (en) Mobile terminal and control method therefor
WO2016035921A1 (en) Mobile terminal and control method therefor
WO2017099276A1 (en) Rollable mobile terminal and control method therefor
WO2017104860A1 (en) Rollable mobile terminal
WO2016032045A1 (en) Mobile terminal and controlling method thereof
WO2017119529A1 (en) Mobile terminal
WO2020171287A1 (en) Mobile terminal and electronic device having mobile terminal
WO2017183743A1 (en) Mobile terminal, stylus pen, and control method therefor
WO2017007064A1 (en) Mobile terminal and control method thereof
WO2017007045A1 (en) Drone, mobile terminal, and control method for drone and mobile terminal
WO2016039498A1 (en) Mobile terminal and method of controlling same
WO2015133658A1 (en) Mobile device and method of controlling the same
WO2018124343A1 (en) Electronic device
WO2017051959A1 (en) Terminal apparatus and control method for terminal apparatus
WO2016129778A1 (en) Mobile terminal and control method therefor
WO2015194694A1 (en) Mobile terminal
WO2016190484A1 (en) Mobile terminal and control method therefor
WO2018030619A1 (en) Mobile terminal

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16899512

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16899512

Country of ref document: EP

Kind code of ref document: A1