WO2016064106A1 - 스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법 - Google Patents

스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법 Download PDF

Info

Publication number
WO2016064106A1
WO2016064106A1 PCT/KR2015/010429 KR2015010429W WO2016064106A1 WO 2016064106 A1 WO2016064106 A1 WO 2016064106A1 KR 2015010429 W KR2015010429 W KR 2015010429W WO 2016064106 A1 WO2016064106 A1 WO 2016064106A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
stylus pen
control mode
application
control signal
Prior art date
Application number
PCT/KR2015/010429
Other languages
English (en)
French (fr)
Inventor
장궈리앙
장루이
비엔쥐에샤오
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201410567542.7A external-priority patent/CN104320579A/zh
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/520,119 priority Critical patent/US10509492B2/en
Priority to EP15853109.5A priority patent/EP3211509B1/en
Publication of WO2016064106A1 publication Critical patent/WO2016064106A1/ko
Priority to US16/674,636 priority patent/US11281313B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04897—Special input arrangements or commands for improving display capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0254—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets comprising one or a plurality of mechanically detachable modules
    • H04M1/0256—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets comprising one or a plurality of mechanically detachable modules wherein the modules are operable in the detached state, e.g. one module for the user interface and one module for the transceiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1632—Pen holder integrated in the computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a mobile device including a stylus pen and a method of operation thereof, and more particularly, to a device and a method capable of controlling the operation of a mobile device using a stylus pen.
  • a mobile device is a portable device that is portable and has one or more functions of performing voice and video calls, inputting or outputting information, and storing data.
  • the functions of the mobile devices are diversified, they have complicated functions such as photographing a picture or a video, playing a music file or a video file, receiving a game, broadcasting, and wireless internet.
  • a form that can control the operation of the mobile device using a stylus pen is also implemented.
  • Various embodiments of the present disclosure may provide a mobile device and a method of operating the mobile device capable of remotely controlling an application running on the mobile device using a stylus pen.
  • FIG. 1 is a diagram of a mobile device including a stylus pen, in accordance with one disclosed embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a mobile device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a configuration of a mobile device according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram illustrating a configuration of a stylus pen according to an exemplary embodiment of the present disclosure.
  • 5A and 5B illustrate an example of remotely controlling a camera application using a stylus pen according to an embodiment of the present disclosure.
  • FIGS. 6A and 6B are diagrams illustrating an example of remotely controlling an alarm clock application using a stylus pen according to one embodiment of the present disclosure.
  • FIGS. 7A and 7B are diagrams illustrating an example of remotely controlling a video playback application using a stylus pen according to one embodiment of the present disclosure.
  • FIG 8 is a diagram illustrating an example in which a communication channel is formed between a mobile device and a stylus pen as the stylus pen is detached from the mobile device according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example in which a mobile device operates in a second control mode according to a user input according to an exemplary embodiment.
  • 10A and 10B are diagrams for describing the second control mode.
  • FIG. 11 is a diagram illustrating an example of changing from a first control mode to a second control mode as the stylus pen approaches a mobile device according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an example in which a controller changes an operation mode of a mobile device from a first control mode to a second control mode when a stylus pen is inserted into a slot according to an exemplary embodiment.
  • FIGS. 13A and 13B are diagrams illustrating an example in which a display unit displays an icon indicating a first control mode, according to an exemplary embodiment.
  • FIG. 14 is a diagram illustrating an example in which a mobile device operates in a first control mode according to an embodiment of the present disclosure.
  • FIG. 15 is a diagram illustrating an example in which a first control mode is terminated by terminating an application running in a mobile device according to one embodiment.
  • 16 is a flowchart illustrating a method of operating a mobile device according to one disclosed embodiment.
  • a mobile device may include a detector configured to determine whether a stylus pen is detached from the mobile device, a communicator to receive a control signal from the stylus pen separated from the mobile device, and the mobile device in response to the control signal.
  • the control unit may include a control unit operating in a first control mode for performing at least one operation of an application running in the.
  • the control signal may include a first control signal and a second control signal, and the controller performs a first operation of the application in response to the first control signal, and controls the second control. And performing a second operation of the application in response to the signal.
  • the first control signal is a signal corresponding to an input of clicking a button included in the stylus pen once
  • the second control signal corresponds to an input of double clicking the button. May be a signal.
  • the first control signal is a signal corresponding to a first user motion detected by a motion sensor included in the stylus pen
  • the second control signal is detected by the motion sensor. It may be a signal corresponding to two user motions.
  • the application is a camera application including a photographing function
  • the first operation is an operation of zoom-in in the camera application
  • the second operation is an operation of taking a picture. Can be.
  • the running application is an alarm clock application including an alarm clock function
  • the first operation is an operation of stopping an alarm ringing state
  • the second operation is a new alarm setting. It may be an operation of switching.
  • the application is an application including a video playback function
  • the first operation is an operation of stopping playback of a video currently being played
  • the second operation is the current playback on a playlist.
  • the operation may be performed to play a video located after the video being played.
  • the controller may operate in a second control mode that performs at least one operation of the application, based on an input of touching the touch screen with the stylus pen.
  • the mobile device may further include a user input unit configured to receive a user input of selecting one of the first control mode and the second control mode.
  • the sensing unit may detect whether the stylus pen is in proximity to the mobile device, and the controller may change from the first control mode to the second control mode when the stylus pen is in proximity to the mobile device. Can be.
  • the communication unit may control to form a communication channel between the mobile device and the stylus pen when the stylus pen is separated from the mobile device, and receive the control signal through the communication channel.
  • the sensing unit detects whether the stylus pen is inserted into the mobile device, and when the stylus pen is inserted into the mobile device, the control unit terminates a communication channel formed between the mobile device and the stylus pen. And change from the first control mode to the second control mode.
  • the controller may change from the first control mode to the second control mode when execution of the application is terminated.
  • the mobile device may further include a display configured to display an icon indicating the first control mode when the controller is operating in the first control mode.
  • a method of operating a mobile device including a stylus includes: determining whether the stylus pen is detached from the mobile device, receiving a control signal from a stylus pen separated from the mobile device, and controlling the In response to the signal, operating in a first control mode that performs at least one operation of an application running on the mobile device.
  • the control signal according to the disclosed embodiment includes a first control signal and a second control signal, and the operation in the first control mode may perform a first operation of the application in response to the first control signal. And performing a second operation of the application in response to the second control signal.
  • the first control signal is a signal corresponding to an input of clicking a button included in the stylus pen once
  • the second control signal corresponds to an input of double clicking the button. May be a signal.
  • the application is a camera application including a photo capturing function
  • the first operation is an operation of zoom-in in the camera application
  • the second operation is an operation of taking a photo. Can be.
  • the application is an alarm clock application including an alarm clock function
  • the first operation is an operation of stopping an alarm ringing state
  • the second operation is to switch to a new alarm setting. May be an operation.
  • the application is an application including a video playing function
  • the first operation is an operation of stopping playback of a video currently being played
  • the second operation is the current playback on a playlist.
  • the operation may be performed to play a video located after the video being played.
  • the operating method according to the disclosed embodiment may further include operating in a second control mode performing at least one operation of the application, based on an input of touching the touch screen with the stylus pen.
  • the operating method according to the disclosed embodiment may further include receiving a user input of selecting one of the first control mode and the second control mode.
  • a method of operating includes: detecting whether the stylus pen is in proximity to the mobile device, and when the stylus pen is in proximity to the mobile device, from the first control mode to the second control mode. It may further comprise the step of changing.
  • controlling to form a communication channel between the mobile device and the stylus pen and receiving the control signal through the communication channel may include.
  • a method of operation may include detecting whether the stylus pen is inserted into the mobile device, and when the stylus pen is inserted into the mobile device, terminating a communication channel formed between the mobile device and the stylus pen.
  • the method may further include changing from the first control mode to the second control mode.
  • the operating method according to the disclosed embodiment may further include changing from the first control mode to the second control mode when execution of the application is terminated.
  • the operating method according to an exemplary embodiment may further include displaying an icon representing the first control mode when the controller is operating in the first control mode.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • the terms “... unit”, “module”, etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .
  • touch input refers to a gesture that a user makes on a touch screen to control a mobile device.
  • the term “stylus pen” refers to a pen-shaped tool used to control a mobile device. The user may control the mobile device by directly tapping or dragging the stylus pen on the touch screen, or by clicking a button on the stylus pen.
  • FIG. 1 is a diagram illustrating an example of a mobile device including a stylus pen according to one embodiment of the present disclosure.
  • the mobile device 100 may include a touch screen 101 and a stylus pen 200.
  • the mobile device 100 may also include a slot 102 for inserting the stylus pen 200.
  • each configuration will be described in detail.
  • the mobile device 100 may be implemented as various electronic devices including a touch screen 101 such as a mobile phone, a smart phone, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), a digital camera, and the like. It may be, but is not limited thereto.
  • a touch screen 101 such as a mobile phone, a smart phone, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), a digital camera, and the like. It may be, but is not limited thereto.
  • the stylus pen 200 may include a clickable button 201.
  • the user may control the mobile device 100 by clicking the button 201 on the stylus pen 200 in various ways.
  • the method of clicking the button 201 may include a method of single clicking the button 201, a double clicking method, a long clicking method, and the like, but is not limited thereto.
  • the stylus pen 200 may receive an input for clicking the button 201.
  • the stylus pen 200 may transmit a control signal corresponding to the received input to the mobile device 100.
  • the stylus pen 200 may transmit a control signal to the mobile device 100 using a communication channel formed between the stylus pen 200 and the mobile device 100.
  • the stylus pen 200 may include a motion sensor capable of detecting a motion of the user.
  • the motion sensor may include at least one of a geomagnetic sensor, a position sensor, an acceleration sensor, a gyroscope sensor, and a proximity sensor, but is not limited thereto.
  • the stylus pen 200 When the stylus pen 200 includes a motion sensor, the user may indicate a predetermined motion by using the stylus pen 200. Then, the motion sensor in the stylus pen 200 detects the motion of the user, and the mobile device 100 may be controlled based on a signal corresponding to the detected motion of the user. For example, when the camera application is running on the mobile device 100, an operation of zooming in the camera application may be performed based on a motion of a user drawing a circle using the stylus pen 200.
  • the stylus pen 200 may transmit a control signal to the mobile device 100 by using short-range communication including Bluetooth, infrared, and the like.
  • the mobile device 100 may generate a control signal corresponding to the received user input.
  • the stylus pen 200 may include a battery. When the stylus pen 200 is inserted into the slot 102 of the mobile device 100, the battery of the stylus pen 200 and the power supply circuit inside the mobile device 100 are connected to charge the battery of the stylus pen 200. Can be.
  • FIG. 2 is a block diagram illustrating a configuration of a mobile device according to an embodiment of the present disclosure.
  • the mobile device 100a of FIG. 2 may be an embodiment of the mobile device 100 of FIG. 1.
  • the mobile device 100a may include a detector 110, a communicator 120, and a controller 130.
  • the detector 110 may detect whether the stylus pen 200 is separated from the mobile device 100a, and transmit a detection signal to the controller 130. For example, the detector 110 may determine whether the battery of the stylus pen 200 is charged to detect whether the stylus pen 200 is separated from the mobile device 100a. The detector 110 may detect whether the power supply circuit inside the mobile device 100a is connected to the battery of the stylus pen 200, and determine whether the battery of the stylus pen 200 is charged.
  • the sensing unit 110 may use a method of polling at a predetermined cycle, or a method of transmitting a notification message to the controller 130 when the insertion state of the stylus pen 200 is changed, or the like. Periodically monitoring whether the pen 200 is removed.
  • the controller 130 may set the polling period to a fixed value, or may be set to change the value by the user. Since a polling method and a method of transmitting a notification message are well known to those skilled in the art, a detailed description thereof will be omitted.
  • the communicator 120 may include one or more components for performing communication between the mobile device 100a and the stylus pen 200 or communication with an external device.
  • the communicator 120 may form a communication channel between the mobile device 100a and the stylus pen 200.
  • the communication unit 120 may receive a control signal from the stylus pen 200 separated from the mobile device 100a through the formed communication channel.
  • the communicator 120 may receive a control signal from the stylus pen 200 using a communication method such as Bluetooth, infrared, or the like. However, it is not limited to the communication method mentioned above.
  • the controller 130 may operate in a first control mode that performs at least one operation of an application running in the mobile device 100a in response to a control signal received from the stylus pen 200. Can be.
  • the first control mode may be a mode for remotely controlling an application running in the mobile device 100a by using the button 201 included in the stylus pen 200.
  • the user may remotely control the application by clicking the button 201 on the stylus pen 200 in various ways.
  • the method of clicking the button 201 may include a method of single-clicking, double-clicking, or long-clicking the button 201, but is not limited thereto.
  • the first control mode may be a mode for remotely controlling an application running in the mobile device 100a using the motion sensor included in the stylus pen 200.
  • the user may display various motions using the stylus pen 200.
  • the user may indicate a motion of drawing a circle or a motion of drawing a straight line using the stylus pen 200.
  • the motion sensor included in the stylus pen 200 may detect the motion of the user, and the mobile device 100 may be controlled based on a signal corresponding to the detected motion of the user.
  • the zoom-in operation may be performed based on a user motion of drawing a circle, and the operation of taking a picture based on a user motion of drawing a straight line may be performed.
  • the operation of the mobile device 100a performed based on the specific motion of the user may be changed by user setting, and is not limited to the above-described example.
  • the controller 130 may enter a second control mode that performs at least one operation of an application based on a user input of touching the touch screen 101 of the mobile device 100a with the user's hand or the stylus pen 200. It can work.
  • the controller 130 may operate in one of the first control mode and the second control mode according to a user input.
  • the controller 130 controls the operation mode of the mobile device 100a in the second control mode. You can change the mode.
  • the controller 130 When the stylus pen 200 is inserted into the mobile device 100a when the controller 130 operates in the first control mode, the controller 130 changes the operation mode of the mobile device 100a from the first control mode to the second control mode. Can be changed to
  • the controller 130 may change the operation mode of the mobile device 100a from the first control mode to the second control mode.
  • the controller 130 may operate in the first control mode.
  • the mobile device 100a may display a message asking whether to operate in the first control mode when the application is executed.
  • FIG. 3 is a block diagram illustrating a configuration of a mobile device according to an embodiment of the present disclosure.
  • the mobile device 100b may include A / A in addition to the sensing unit 110, the communication unit 120, the control unit 130, the user input unit 140, and the display unit 150.
  • the V input unit 160 and the storage unit 170 may be further included.
  • the detector 110 may detect a state of the mobile device 100b or a state around the mobile device 100b and transmit the detected information to the controller 130.
  • the detector 110 may include a geomagnetic sensor 111, an acceleration sensor 112, a temperature / humidity sensor 113, an infrared sensor 114, a gyroscope sensor 115, and a position sensor. (Eg, GPS) 116, barometric pressure sensor 117, proximity sensor 118, and RGB sensor (illuminance sensor) 119, but is not limited thereto. Since functions of the respective sensors can be intuitively deduced by those skilled in the art from the names, detailed descriptions thereof will be omitted.
  • the detector 110 may sense a movement of the mobile device 100b, a biosignal signal of the mobile device user, a touch signal input to the mobile device 100b, and the like.
  • the communicator 120 may include one or more components for performing communication between the mobile device 100b and the stylus pen 200 or an external device.
  • the communication unit 120 may include a short range communication unit 121, a mobile communication unit 122, and a broadcast receiving unit 123.
  • the short-range wireless communication unit 121 may include a Bluetooth communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared data association (IrDA) communication unit, It may include a Wi-Fi Direct communication unit, an ultra wideband communication unit, an Ant + communication unit, and the like, but is not limited thereto.
  • the mobile communication unit 122 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the broadcast receiving unit 123 receives a broadcast signal and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the mobile terminal 100b may not include the broadcast receiver 123.
  • the controller 130 controls the overall operation of the mobile device 100b. For example, the controller 130 executes the programs stored in the storage unit 170 to detect the detector 110, the communication unit 120, the output unit 151, the user input unit 140, and the A / V input unit ( 160, the memory 170, and the like.
  • the output unit 151 is for outputting an audio signal, a video signal, or a vibration signal.
  • the output unit 151 may include a display unit 150, a sound output unit 152, a vibration motor 153, and the like.
  • the display unit 150 displays and outputs information processed by the mobile device 100b. For example, when the mobile device 100b operates in the first control mode, the display unit 150 may display an icon indicating the first control mode. In detail, when the mobile device 100b operates in the first control mode, the display unit 150 may highlight an icon indicating the first control mode on the touch screen 101.
  • the display 150 may display a pop-up menu from which the user can select whether the mobile device 100b operates in the first control mode.
  • the display unit 150 may be used as an input device in addition to the output device.
  • the display unit 150 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, or a three-dimensional display. 3D display, an electrophoretic display.
  • the sound output unit 152 outputs audio data received from the communication unit 120 or stored in the memory 170. In addition, the sound output unit 152 outputs a sound signal related to a function (for example, a call signal reception sound, a message reception sound, and a notification sound) performed in the mobile device 100b.
  • the sound output unit 152 may include a speaker, a buzzer, and the like.
  • the vibration motor 153 may output a vibration signal.
  • the vibration motor 153 may output a vibration signal corresponding to the output of audio data or video data (eg, call signal reception sound, message reception sound, etc.).
  • the vibration motor 153 may output a vibration signal when a touch is input to the touch screen.
  • the user input unit 140 means a means for a user to input data for controlling the mobile device 100b.
  • the user input unit 140 may include a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive layer type, infrared sensing type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the user input unit 140 may receive a user input for selecting one of the first control mode and the second control mode.
  • the mobile device 100b including the touch screen 101 may receive a user input through the touch screen 101.
  • the user may directly or touch the touch screen 101 using the stylus pen 200 to select the first control mode or the second control mode.
  • the stylus pen 200 is detached from the mobile device 100b, the mobile device 100b may be set to automatically operate in the first control mode, but the pop-up menu on the touch screen 101 may be set. ) Allows the user to select an operation mode.
  • the A / V input unit 160 is for inputting an audio signal or a video signal, and may include a camera 161 and a microphone 162.
  • the camera 161 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode.
  • the image captured by the image sensor may be processed by the controller 130 or a separate image processor (not shown).
  • the image frame processed by the camera 161 may be stored in the storage unit 170 or transmitted to the outside through the communication unit 150. Two or more cameras 161 may be provided according to a configuration aspect of the mobile device 100b.
  • the microphone 162 receives an external sound signal and processes the external sound signal into electrical voice data.
  • the microphone 162 may receive an acoustic signal from an external device or speaker.
  • the microphone 162 may use various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the storage unit 170 may store a program for processing and controlling the controller 130, and may store input / output data (eg, application, content, time zone information of an external device, address book, etc.).
  • input / output data eg, application, content, time zone information of an external device, address book, etc.
  • the storage unit 170 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic It may include a storage medium of at least one type of disk, optical disk.
  • the mobile device 100b may operate a web storage or a cloud server that performs a storage function of the storage unit 170 on the Internet.
  • Programs stored in the storage unit 170 may be classified into a plurality of modules according to their functions.
  • the programs stored in the storage unit 170 may be classified into a UI module 171, a touch screen module 172, and a notification module 173. have.
  • the UI module 171 may provide a specialized UI, GUI, or the like that is linked to the mobile device 100b for each application.
  • the touch screen module 172 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the controller 130.
  • the touch screen module 172 according to the disclosed embodiment may recognize and analyze a touch code.
  • the touch screen module 172 may be configured as separate hardware including a controller.
  • Various sensors may be provided inside or near the touch screen to detect a touch or proximity touch of the touch screen.
  • An example of a sensor for sensing a touch of a touch screen is a tactile sensor.
  • the tactile sensor refers to a sensor that senses the contact of a specific object to the extent that a person feels or more.
  • the tactile sensor may sense various information such as the roughness of the contact surface, the rigidity of the contact object, the temperature of the contact point, and the like.
  • an example of a sensor for sensing a touch of a touch screen is a proximity sensor.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the user's touch gesture may include tap, touch and hold, double tap, drag, pan, flick, drag and drop, and swipe.
  • the notification module 173 may generate a signal for notifying occurrence of an event of the mobile device 100b. Examples of events occurring in the mobile device 100b include call signal reception, message reception, key signal input, schedule notification, and the like.
  • the notification module 173 may output the notification signal in the form of a video signal through the display unit 150, may output the notification signal in the form of an audio signal through the sound output unit 152, or the vibration motor 153. Through the notification signal may be output in the form of a vibration signal.
  • FIG. 4 is a block diagram illustrating a configuration of a stylus pen according to an exemplary embodiment of the present disclosure.
  • the stylus pen 200a of FIG. 4 may be an embodiment of the stylus pen 200 of FIG. 1.
  • the stylus pen 200a may include a sensing unit 210, a communication unit 220, a control unit 230, a user input unit 240, and a power supply unit 250.
  • the sensing unit 210 may detect whether the stylus pen 200a is separated from the mobile device 100, and transmit a sensing signal to the control unit 230. Specifically, similar to the sensing unit 110 of the mobile device 100, the sensing unit 210 of the stylus pen 200a checks whether the battery of the stylus pen 200a is charged, thereby Detect whether it is detached.
  • the sensing unit 210 may include a proximity sensor.
  • the proximity sensor may detect whether the stylus pen 200a is close to the mobile device 100. According to the proximity of the stylus pen 200a and the mobile device 100, short-range communication such as Bluetooth between the stylus pen 200a and the mobile device 100 may be turned on / off.
  • the communication unit 220 may transmit / receive a signal with any one of the mobile devices 100 according to the disclosed embodiment described above.
  • the controller 230 controls various items related to the control of the stylus pen 200a.
  • the controller 230 transmits a signal corresponding to a predetermined key manipulation of the user input unit 240 or a signal corresponding to the movement of the stylus pen 200a detected by the sensing unit 210 through the communication unit 220. 100).
  • the user input unit 240 refers to a means for the user to receive data for controlling the stylus pen 200a.
  • the user input unit 240 may include a button 201.
  • the user input unit 240 may receive an input of long clicking on the button 201, an input of clicking once, an input of double clicking, and the like.
  • the user input unit 240 may include a motion sensor that can detect the motion of the user.
  • the motion sensor may include at least one of a geomagnetic sensor, a position sensor, an acceleration sensor, a gyroscope sensor, and a proximity sensor, but is not limited thereto.
  • the power supply 250 supplies power to the stylus pen 200a.
  • the power supply unit 250 may supply power to the stylus pen 200a through a battery. While the stylus pen 200a is inserted into the mobile device 100, the power supply unit 250 of the stylus pen 200a and the power supply circuit of the mobile device 100 are connected to supply power from the mobile device 100. The battery can be charged when supplied.
  • 5A and 5B illustrate an example of remotely controlling a camera application using a stylus pen according to one embodiment of the present disclosure.
  • the operation of the camera application which can be controlled using the stylus pen 200, can be photographed, zoomed in / zoom-out, flash lamp on / off, or photographed. It may include a preview, but is not limited thereto.
  • FIGS. 5A and 5B the photographing and zoom-in operations will be described by way of example.
  • the sensing unit 210 of the stylus pen 200 may receive an input of clicking the button 201 once.
  • the communicator 220 of the stylus pen 200 may transmit a control signal corresponding to the received input to the communicator 120 of the mobile device 100.
  • the controller 130 of the mobile device 100 may receive a control signal from the communication unit 120 of the mobile device 100 to perform a zoom in operation.
  • the zoom-in magnification can be increased.
  • the touch screen 101 of the mobile device 100 may display an icon 510 indicating that a zoom in operation is being performed.
  • the display may be in the form of text and / or bars, but is not limited thereto.
  • the sensing unit 210 of the stylus pen 200 may receive an input of double clicking the button 200, and the communication unit 220 of the stylus pen 200 may transmit a control signal corresponding thereto. May transmit to the mobile device 100.
  • the controller 130 of the mobile device 100 may take a picture according to a control signal received from the stylus pen 200.
  • the touch screen 101 may display an icon 520 indicating that an operation of taking a picture is being performed.
  • an icon representing a shooting function may be displayed as a highlight, but is not limited thereto.
  • the controller 130 may change a setting of what operation of the application is to be performed according to how the button 201 of the stylus pen 200 is clicked. For example, the controller 130 may set the zoom-in operation of the camera application to be performed in response to a user input in which the button 201 is clicked once, or may set the operation of turning on the flash lamp. .
  • the distance between the mobile device 100 and the user may be narrowed. Then, it may be difficult for a user to take a picture at a desired angle and composition.
  • self-capture may be possible at various angles and compositions.
  • FIGS. 6A and 6B are diagrams illustrating an example of remotely controlling an alarm clock application using a stylus pen according to one embodiment of the present disclosure.
  • the operation of the alarm clock application may include an operation of stopping an alarm ringing state, an operation of setting a new alarm, and the like, but is not limited thereto.
  • the controller 130 when the alarm clock application is executed in the mobile device 100 and the alarm is sounding, when the button 201 of the stylus pen 200 is clicked once, the controller 130 is in a state in which the alarm sounds. Can be stopped.
  • the touch screen 101 may display that the alarm ringing state is stopped in the alarm clock application.
  • the touch screen 101 may be displayed in a form in which an icon representing an operation of stopping an alarm ringing is slid, but is not limited thereto.
  • the controller 130 when the alarm clock application is running on the mobile device 100, when the button 201 of the stylus pen 200 is double-clicked, the controller 130 performs an operation of setting a new alarm. can do.
  • the execution screen of the alarm clock application may be configured as a screen including text and an icon, as shown in FIG. 6B, but is not limited thereto.
  • the touch screen 101 may display a screen 630 for setting a new alarm as shown in FIG. 6B. have.
  • the screen 630 for setting an alarm illustrated in FIG. 6B includes a time, a day of the week, a notification sound, an alarm method, and the like, but is not limited thereto.
  • FIGS. 7A and 7B are diagrams illustrating an example of controlling a video playback application using a stylus pen according to an embodiment of the present disclosure.
  • An operation of the video playback application may include an operation of playing a video, an operation of stopping playback, a fast forwarding operation, etc., but is not limited thereto.
  • the video played in the video playback application may be a video stored in the mobile device 100 or a video streamed through a network, but is not limited thereto.
  • the controller 130 may stop playing the video currently being played. Can be.
  • the button 201 is clicked once in the state of stopping the video playback, the controller 130 may play back the stopped video again.
  • the controller 130 stops playing the currently playing video and plays the video.
  • a video located after the video currently playing in the list can be played.
  • the playlist may be sorted according to the file name of the video stored in the mobile device 100, and may be sorted according to the time stored in the mobile device 100, but is not limited thereto.
  • the playlist may include not only a video stored in the mobile device 100 but also a video streamed through the Internet.
  • the play list 720 displayed on the right side of the touch screen 101 may be sorted according to the file name.
  • the controller 130 stops the "abc1.mp4" video currently being played and the "abc2.mp4" video located after "abc1.mp4" on the playlist. Can be played.
  • FIG 8 is a diagram illustrating an example in which a communication channel is formed between a mobile device and a stylus pen as the stylus pen is detached from the mobile device according to an embodiment of the present disclosure.
  • a communication channel may be formed between the mobile device 100 and the stylus pen 200.
  • the communication channel can be established automatically or manually.
  • the detector 110 When the detector 110 detects that the stylus pen 200 is separated from the mobile device 100, the detector 110 transmits a first start signal to the controller 130, and the controller 130 transmits the first signal.
  • the start signal may be transmitted to the communication unit 120.
  • the sensing unit 110 may detect whether the stylus pen 200 is separated by detecting whether the stylus pen 200 is receiving power from the mobile device 100 as described above.
  • the communication unit 120 that receives the first start signal may start a communication such as Bluetooth in the mobile device in order to establish a communication channel between the mobile device 100 and the stylus pen 200.
  • the sensing unit 210 and the communication unit 220 of the stylus pen 200 may operate similarly to the mobile device 100.
  • the sensing unit 210 of the stylus pen 200 may detect whether the stylus pen 200 is separated from the mobile device 100, and transmit the detected signal to the controller 230 of the stylus pen 200.
  • the controller 230 of the stylus pen 200 may transmit a second start signal to the communication unit 220 of the stylus pen 200.
  • the communication unit 220 of the stylus pen 200 having received the second start signal may start communication such as Bluetooth to form a communication channel with the mobile device 100.
  • the mobile device 100 may receive a control signal from the stylus pen 200 through the formed communication channel.
  • the communication channel may be formed using various communication methods such as Bluetooth, infrared rays, and the like, but is not limited to the above-described method.
  • the detector 110 may detect that the stylus pen 200 is separated from the mobile device 100, and transmit the detected signal to the controller 130.
  • the controller 130 may transmit the first start signal to the communication unit 120.
  • the communication unit 120 receiving the first start signal may start Bluetooth of the mobile device 100.
  • the detector 210 and the communicator 220 of the stylus pen 200 may also transmit a signal detected by the detector 210 to the controller 230. Then, the controller 230 may transmit a second start signal to the communication unit 220, and the communication unit 220 may start Bluetooth of the stylus pen 200. Then, a communication channel may be formed between the mobile device 100 and the stylus pen 200 using Bluetooth. In addition, the mobile device 100 may receive a control signal from the stylus pen 200 through the formed communication channel.
  • the display unit 150 may display an icon 820 indicating Bluetooth and an icon 810 indicating the first control mode as highlights. This will be described later with reference to FIG. 13.
  • the mobile device 100 and the stylus pen 200 may not be connected by Bluetooth until a predetermined threshold time has elapsed.
  • a predetermined threshold time For example, when the Bluetooth of the mobile device 100 or the stylus pen 200 does not operate normally, a communication channel may not be formed between the mobile device 100 and the stylus pen 200 even when the Bluetooth is turned on. have. In this case, the Bluetooth of the mobile device 100 and the stylus pen 200 may be automatically terminated.
  • the threshold time may be set to a fixed value or the value may be changed by the user.
  • the mobile device 100 may operate in the second control mode.
  • the controller 130 may be configured to manually establish a communication channel between the mobile device 100 and the stylus pen 200.
  • operations of the mobile device 100 and the stylus pen 200 when set to manually establish a communication channel will be described in detail.
  • the stylus pen 200 may manually turn on / off the Bluetooth of the stylus pen 200 using the button 201.
  • the control unit 230 of the stylus pen may transmit a communication control signal for turning on / off Bluetooth to the communication unit 220.
  • the communication unit 220 receiving the communication control signal may start or end the Bluetooth of the stylus pen 200.
  • the communication control signal is distinguished from a control signal (first control signal, second control signal) for controlling the application of the mobile device 100. For example, setting the application of the mobile device 100 by controlling the application of the mobile device 100 by clicking or double-clicking the button 201, and setting the Bluetooth of the stylus pen 200 to be turned on / off by pressing and holding the button 201. Can be.
  • the mobile device 100 may manually turn on / off Bluetooth by using a hand or the stylus pen 200 on the touch screen 101. This is a matter that can be fully understood by those skilled in the art, and thus a detailed description thereof will be omitted.
  • the controller 130 may set in advance whether to automatically establish a communication channel between the mobile device 100 and the stylus pen 200. For example, based on a user input, the controller 130 may set to manually establish a communication channel when the stylus pen 200 is detached from the mobile device 100.
  • FIG. 9 is a diagram illustrating an example in which a mobile device operates in a second control mode according to a user input according to an exemplary embodiment.
  • the second control mode is distinguished from the first control mode for remotely controlling the application running on the mobile device 100 based on a user selection of clicking on the button 201 on the stylus pen 200.
  • the mobile device 100 may operate directly in the first control mode or in the second control mode according to a user selection.
  • the display 150 displays a pop-up window asking whether to operate in the first control mode.
  • up window 910 can be displayed.
  • the pop-up window 910 may include a check box 911 that selects whether to display the pop-up window 910 again later.
  • the display unit 150 does not display the popup window 910 again even after the camera application is executed with the stylus pen 200 separated from the mobile device 100. .
  • the mobile device 100 may operate in the first control mode, otherwise the mobile device 100 may operate in the second control mode.
  • FIG. 9 illustrates an example in which the user does not select the first control mode. Accordingly, the mobile device 100 operates in the second control mode, and the mobile device 100 operates the camera application based on a user input of touching the touch screen 101 with the user's hand or the stylus pen 200. Can be done. For example, as illustrated in FIG. 9, when an icon 920 indicating a shooting operation displayed on the touch screen 101 is touched by a user's hand, the mobile device 100 may perform a shooting operation.
  • 10A and 10B are diagrams for describing the second control mode.
  • the second control mode may use a pop-up shortcut menu 1010 that appears on the touch screen 101 of the mobile device 100.
  • the popup shortcut menu 1010 may include menus related to the use of the stylus pen 200.
  • the pop-up shortcut menu 1010 may include a memo application 1011, a camera application 1012, an alarm clock application 1013, a video playback application 1014, but is not limited thereto.
  • the user may perform a desired operation by touching a specific menu of the popup shortcut menu 1010 with the stylus pen 200.
  • the pop-up shortcut menu 1010 may be displayed in various forms.
  • the pop-up shortcut menu 1010 is not limited thereto, although each menu is displayed in a fan shape. It may be displayed in the form of a rectangle, a circle, or the like, or may be displayed in the form of a menu list composed of text.
  • the mobile device 100 when the mobile device 100 operates in the second control mode, the mobile device 100 is based on an input of touching the touch screen 101 with the user's hand or the stylus pen 200.
  • An application running in the mobile device 100 may be controlled.
  • the mobile device 100 may temporarily play a video being played based on a user input of touching a “pause” icon 1020 on the touch screen 101 by hand. You can stop it. Since it will be understood by those skilled in the art, detailed description thereof will be omitted.
  • the detector 110 may periodically monitor whether the stylus pen 200 is separated from the mobile device 100.
  • the controller 130 may set the period to a fixed value or set the user to change the value.
  • FIG. 11 is a diagram illustrating an example in which a controller changes an operation mode from a first control mode to a second control mode as the stylus pen approaches a mobile device according to an exemplary embodiment.
  • the controller 130 may change the operation mode from the first control mode. 2 Control mode can be changed.
  • the detector 110 may detect whether the stylus pen 200 is close to the mobile device 100.
  • the mobile device 100 may end the first control mode and operate in the second control mode.
  • the sensing unit 110 may determine whether the stylus pen 200 is close to the mobile device 100 using the proximity sensor.
  • the detector 110 When the detector 110 detects that the stylus pen 200 is close to the mobile device 100, the detector 110 may transmit a detection signal to the controller 130. Then, the controller 130 may transmit a notification signal to the communication unit 120. The communication unit 120 receiving the notification signal may terminate the Bluetooth of the mobile device 100.
  • the sensing unit 210 and the communication unit 220 of the stylus pen 200 may operate similarly to the mobile device 100.
  • the sensing unit 210 of the stylus pen 200 detects that the stylus pen 200 is close to the mobile device 100, the sensing unit 210 of the stylus pen transmits a detection signal to the controller 230 of the stylus pen. Can be.
  • the controller 230 of the stylus pen may transmit a notification signal to the communication unit 220 of the stylus pen 200.
  • the communication unit 220 of the stylus pen receiving the notification signal may terminate the Bluetooth of the stylus pen 200.
  • the display unit 150 may display a pop-up window 1110 indicating the end of the first control mode.
  • FIG. 12 is a diagram illustrating an example in which a controller changes an operation mode of a mobile device from a first control mode to a two control mode when a stylus pen is inserted into a slot according to an embodiment of the present disclosure.
  • the detector 110 detects that the stylus pen 200 is inserted into the slot 102 and transmits a detection signal to the controller 130. Then, the controller 130 may transmit the first end signal to the communication unit 120. The communication unit 120 receiving the first end signal may terminate the Bluetooth of the mobile device 100.
  • the stylus pen 200 may also operate like the mobile device 100.
  • the detector 210 of the stylus pen detects that the stylus pen 200 is inserted into the slot 102 and transmits a detection signal to the controller 230 of the stylus pen.
  • the controller 230 of the stylus pen may transmit a second end signal to the communication unit 220 of the stylus pen 200.
  • the communication unit 220 of the stylus pen 200 receiving the second end signal may terminate the Bluetooth of the stylus pen 200.
  • the communication channel formed between the mobile device 100 and the stylus pen 200 is terminated, and the mobile device 100 may operate in the second control mode. Can be.
  • the display unit 150 may display a pop-up window 1210 indicating the end of the first control mode.
  • the method for indicating the end of the first control mode may include a banner form on the top of the display unit 150, a form of flickering the LED present on the mobile device 100, but is not limited thereto. .
  • FIGS. 13A and 13B are diagrams illustrating an example in which a display unit displays an icon indicating a first control mode, according to an exemplary embodiment.
  • the display unit 150 may display an icon 1310 indicating the first control mode.
  • the stylus pen-shaped icon 1310 may be highlighted to indicate that the mobile device 100 is operating in the first control mode.
  • the display unit 150 may deactivate and display the icon 1310 having a stylus pen shape.
  • the display unit 150 may be inactivated by darkly displaying the icon 1410.
  • the stylus pen-shaped icon 1310 represents the first control mode.
  • an icon formed only of text or an icon of another type may be used, but is not limited to the above-described example. .
  • FIG. 14 is a diagram illustrating an example in which a mobile device operates in a first control mode according to an embodiment of the present disclosure.
  • the first control mode may be selected.
  • the display 150 may display a pop-up window 1410 asking whether to use the first control mode. Can be.
  • the detection unit 110 detects the first detection mode. The signal may be transmitted to the controller 130. Then, the controller 130 may transmit the first start signal to the communication unit 120.
  • the communication unit 120 receiving the first start signal may start Bluetooth of the mobile device 100 as described above.
  • the stylus pen 200 may also operate like the mobile device 100.
  • the sensing unit 210 of the stylus pen 200 may transmit a sensing signal to the controller 230 of the stylus pen.
  • the controller 230 of the stylus pen may transmit the second start signal to the communication unit 220 of the stylus pen.
  • the communication unit 220 of the stylus pen which has received the second start signal may start Bluetooth of the stylus pen 200.
  • a communication channel may be formed between the mobile device 100 and the stylus pen 200.
  • the mobile device 100 may receive a control signal from the stylus pen 200 through the formed communication channel.
  • FIG. 15 is a diagram illustrating an example in which a first control mode is terminated by terminating an application running in a mobile device according to one embodiment.
  • the controller 130 may end the first control mode and operate in the second control mode.
  • the controller 130 may automatically terminate the first control mode.
  • the controller 130 transmits a first end signal to the communication unit 120, and the communication unit 120 receiving the first end signal communicates between the mobile device 100 and the stylus pen 200.
  • the channel can be terminated.
  • the display unit 150 may display a pop-up window indicating the end of the first control mode as described above.
  • the display 150 may deactivate and display an icon indicating the first control mode.
  • 16 is a flowchart illustrating a method of operating a mobile device according to one disclosed embodiment.
  • the mobile device 100 may determine whether the stylus pen 200 is separated from the mobile device 100 (S1600).
  • the mobile device 100 may receive a control signal from the stylus pen 200 separated from the mobile device 100 (S1610).
  • control signal may be a signal for remotely controlling the application running in the mobile device 100.
  • control signal may include a first control signal and a second control signal, and may be divided into a method of variously clicking the button 201 of the stylus pen 200.
  • the first control signal may be a signal corresponding to the user's single click of the button 201 on the stylus pen 200
  • the second control signal may be a button on the user's stylus pen 200.
  • the signal may correspond to an operation of double-clicking 201.
  • the mobile device 100 may perform at least one operation of an application running in the mobile device 100 in response to the control signal received from the stylus pen 200 (S1620).
  • the mobile device 100 may perform a zoom-in operation.
  • the button 201 is double-clicked, the mobile device 100 may take a picture.
  • the mobile device 100 When the alarm clock application is running on the mobile device 100, if the button 201 is clicked once, the mobile device 100 may stop the alarm ringing state. In addition, when the button 201 is double-clicked, the mobile device 100 may set a new alarm.
  • the mobile device 100 may stop the video being played. In addition, when the button 201 is double-clicked, the mobile device 100 may play a video located after the video currently being played on the playlist.
  • Applications controlled based on a user input of clicking the button 201 on the stylus pen 200 may include a camera, an alarm clock, and a video playback application, but are not limited thereto.
  • a communication channel may be formed between the mobile device 100 and the stylus pen 200.
  • the mobile device 100 may operate in a second control mode that performs at least one operation of an application based on an input of touching the touch screen 101 with the user's hand or the stylus pen 200.
  • the communication channel formed between the mobile device 100 and the stylus pen 200 may be automatically terminated. have.
  • the mobile device 100 may operate in the second control mode.
  • the mobile device 100 may operate in the second control mode.
  • the mobile device 100 When the mobile device 100 operates in the first control mode, the mobile device 100 may display an icon indicating the first control mode.
  • the mobile device 100 and the method of operating the mobile device 100 according to the disclosed embodiment are based on a user input of clicking a button 201 on the stylus pen 200. You can remotely control the behavior of running applications. Accordingly, the user may increase user convenience in using the mobile device 100.
  • the operating method of the mobile device 100 may be implemented in the form of program instructions that may be executed by various computer means and may be recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

모바일 디바이스 및 모바일 디바이스의 동작 방법이 개시된다. 개시된 일 실시예에 따른 모바일 디바이스는 스타일러스 펜(200)이 상기 모바일 디바이스로부터 분리되는지 판단하는 감지부, 상기 모바일 디바이스와 분리된 스타일러스 펜(200)으로부터 제어 신호를 수신하는 통신부, 및 상기 제어 신호에 응답하여 모바일 디바이스에서 실행 중인 어플리케이션의 적어도 하나의 동작을 수행하는 제 1 제어 모드로 동작하는 제어부를 포함한다.

Description

스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법
본 발명은 스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법에 관한 것으로서, 보다 상세하게는, 스타일러스 펜을 이용하여 모바일 디바이스의 동작을 제어할 수 있는 디바이스 및 방법에 관한 것이다.
모바일 디바이스(mobile device)는 휴대가 가능하면서 음성 및 영상 통화를 수행할 수 있는 기능, 정보를 입력 또는 출력할 수 있는 기능 및 데이터를 저장할 수 있는 기능 등을 하나 이상 갖춘 휴대용 디바이스이다.
이러한 모바일 디바이스는 그 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷 등과 같은 복잡한 기능들을 갖추게 되었다. 또한, 사용자 편의를 위해, 스타일러스 펜을 이용하여 모바일 디바이스의 동작을 제어할 수 있는 형태도 구현되고 있다.
본 발명의 다양한 실시예들은, 스타일러스 펜을 이용하여 모바일 디바이스에서 실행중인 어플리케이션을 원격으로 제어할 수 있는 모바일 디바이스 및 모바일 디바이스의 동작 방법을 제공할 수 있다.
도 1은 개시된 일 실시예에 따른, 스타일러스 펜을 포함하는 모바일 디바이스를 나타내는 도면이다.
도 2는 개시된 일 실시예에 따른 모바일 디바이스의 구성을 나타내는 블록도이다.
도 3은 개시된 일 실시예에 따른 모바일 디바이스의 구성을 나타내는 블록도이다.
도 4는 개시된 일 실시예에 따른 스타일러스 펜의 구성을 나타내는 블록도이다.
도 5a 및 도 5b는 개시된 일 실시예에 따른 스타일러스 펜을 이용하여 카메라 어플리케이션을 원격으로 제어하는 일 예를 나타내는 도면들이다.
도 6a 및 도 6b는 개시된 일 실시예에 따른 스타일러스 펜을 이용하여 알람 시계 어플리케이션을 원격으로 제어하는 일 예를 나타내는 도면들이다.
도 7a 및 도 7b는 개시된 일 실시예에 따른 스타일러스 펜을 이용하여 동영상 재생 어플리케이션을 원격으로 제어하는 일 예를 나타내는 도면들이다.
도 8은 개시된 일 실시예에 따른 모바일 디바이스로부터 스타일러스 펜이 분리됨에 따라, 모바일 디바이스와 스타일러스 펜 사이에 통신 채널이 형성되는 일 예를 나타내는 도면이다.
도 9는 개시된 일 실시예에 따른 모바일 디바이스가 사용자 입력에 따라 제 2 제어 모드로 동작하는 일 예를 나타내는 도면이다.
도 10a 및 도 10b는 제 2 제어 모드를 설명하기 위한 도면이다.
도 11은 개시된 일 실시예예 따른 스타일러스 펜이 모바일 디바이스에 근접함에 따라, 제 1 제어 모드에서 제 2 제어 모드로 변경하는 일 예를 나타내는 도면이다.
도 12는 개시된 일 실시예에 따른 스타일러스 펜이 슬롯에 삽입될 때 제어부가 모바일 디바이스의 동작 모드를 제 1 제어 모드에서 제 2 제어 모드로 변경하는 일 예를 나타내는 도면이다.
도 13a 및 도 13b는 개시된 일 실시예에 따른 디스플레이부가 제 1 제어 모드를 나타내는 아이콘을 표시하는 일 예를 나타내는 도면이다.
도 14는 개시된 일 실시예에 따른 모바일 디바이스가 제 1 제어 모드로 동작하는 일 예를 나타내는 도면이다.
도 15는 개시된 일 실시예에 따른 모바일 디바이스에서 실행 중인 어플리케이션이 종료되어 제 1 제어 모드가 종료되는 일 예를 나타내는 도면이다.
도 16은 개시된 일 실시예에 따른 모바일 디바이스의 동작 방법을 나타내는 흐름도이다.
개시된 일 실시예에 따른 모바일 디바이스는, 스타일러스 펜이 상기 모바일 디바이스로부터 분리되는지 판단하는 감지부, 상기 모바일 디바이스와 분리된 스타일러스 펜으로부터 제어 신호를 수신하는 통신부, 및 상기 제어 신호에 응답하여, 모바일 디바이스에서 실행 중인 어플리케이션의 적어도 하나의 동작을 수행하는 제 1 제어 모드로 동작하는 제어부를 포함할 수 있다.
개시된 일 실시예에 따른 제어 신호는, 제 1 제어 신호 및 제 2 제어 신호를 포함할 수 있으며, 상기 제어부는 상기 제 1 제어 신호에 응답하여 상기 어플리케이션의 제 1 동작을 수행하고, 상기 제 2 제어 신호에 응답하여 상기 어플리케이션의 제 2 동작을 수행하는 것을 포함할 수 있다.
개시된 일 실시예에 따른 제어 신호에서, 상기 제 1 제어 신호는 상기 스타일러스 펜에 포함되는 버튼을 한번 클릭하는 입력에 대응하는 신호이고, 상기 제 2 제어 신호는 상기 버튼을 더블 클릭하는 입력에 대응하는 신호일 수 있다.
개시된 일 실시예에 따른 제어 신호에서, 상기 제 1 제어 신호는 상기 스타일러스 펜에 포함되는 동작 센서에서 감지되는 제 1 사용자 모션에 대응하는 신호이고, 상기 제 2 제어 신호는 상기 동작 센서에서 감지되는 제2 사용자 모션에 대응하는 신호일 수 있다.
개시된 일 실시예에 따른 모바일 디바이스에서, 상기 어플리케이션은 사진 촬영 기능을 포함하는 카메라 어플리케이션이고, 상기 제 1 동작은 상기 카메라 어플리케이션에서의 줌-인하는 동작이며, 상기 제 2 동작은 사진을 촬영하는 동작일 수 있다.
개시된 일 실시예에 따른 모바일 디바이스에서, 상기 실행 중인 어플리케이션은 알람 시계 기능을 포함하는 알람 시계 어플리케이션이고, 상기 제 1 동작은 알람이 울리는 상태를 정지시키는 동작이며, 상기 제 2 동작은 새로운 알람 설정으로 전환하는 동작일 수 있다.
개시된 일 실시예에 따른 모바일 디바이스에서, 상기 어플리케이션은 동영상 재생 기능을 포함하는 어플리케이션이고, 상기 제 1 동작은 현재 재생 중인 동영상의 재생을 정지시키는 동작이며, 상기 제 2 동작은 재생 리스트 상에서 상기 현재 재생 중인 동영상 다음에 위치하는 동영상을 재생시키는 동작일 수 있다.
개시된 일 실시예에 따른 제어부는, 상기 스타일러스 펜으로 상기 터치 스크린을 터치하는 입력에 기초하여, 상기 어플리케이션의 적어도 하나의 동작을 수행하는 제 2 제어 모드로 동작할 수 있다.
개시된 일 실시예에 따른 모바일 디바이스는, 상기 제 1 제어 모드 및 제 2 제어 모드 중 어느 하나를 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함할 수 있다.
개시된 일 실시예예 따른 감지부는, 상기 스타일러스 펜이 상기 모바일 디바이스에 근접하는지 여부를 감지하고, 상기 제어부는 상기 스타일러스 펜이 상기 모바일 디바이스에 근접하면, 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경할 수 있다.
개시된 일 실시예에 따른 통신부는, 상기 스타일러스 펜이 상기 모바일 디바이스로부터 분리되면, 상기 모바일 디바이스와 상기 스타일러스 펜 사이에 통신 채널을 형성하도록 제어하고, 상기 통신 채널을 통하여 상기 제어 신호를 수신할 수 있다.
개시된 일 실시예에 따른 감지부는, 상기 스타일러스 펜이 상기 모바일 디바이스에 삽입되는지 감지하고, 상기 제어부는 상기 스타일러스 펜이 상기 모바일 디바이스에 삽입되면, 상기 모바일 디바이스와 상기 스타일러스 펜 사이에 형성된 통신 채널을 종료시키고, 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경할 수 있다.
개시된 일 실시예에 따른 제어부는, 상기 어플리케이션의 실행이 종료되면 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경할 수 있다.
개시된 일 실시예에 따른 모바일 디바이스는, 상기 제어부가 제 1 제어 모드로 동작 중인 경우, 상기 제 1 제어 모드를 나타내는 아이콘을 표시하는 디스플레이부를 더 포함할 수 있다.
개시된 일 실시예에 따른 스타일러스를 포함하는 모바일 디바이스의 동작 방법은, 상기 스타일러스 펜이 상기 모바일 디바이스로부터 분리되는지 판단하는 단계, 상기 모바일 디바이스와 분리된 스타일러스 펜으로부터 제어 신호를 수신하는 단계, 및 상기 제어 신호에 응답하여, 상기 모바일 디바이스에서 실행 중인 어플리케이션의 적어도 하나의 동작을 수행하는 제 1 제어 모드로 동작하는 단계를 포함할 수 있다.
개시된 일 실시예에 따른 제어 신호는, 제 1 제어 신호 및 제 2 제어 신호를 포함하고, 상기 제 1 제어 모드로 동작하는 단계는 상기 제 1 제어 신호에 응답하여 상기 어플리케이션의 제 1 동작을 수행하고, 상기 제 2 제어 신호에 응답하여 상기 어플리케이션의 제 2 동작을 수행하는 단계를 포함할 수 있다.
개시된 일 실시예에 따른 동작 방법에서, 상기 제 1 제어 신호는 상기 스타일러스 펜에 포함되는 버튼을 한번 클릭하는 입력에 대응하는 신호이고, 상기 제 2 제어 신호는 상기 버튼을 더블 클릭하는 입력에 대응하는 신호일 수 있다.
개시된 일 실시예에 따른 동작 방법에서, 상기 어플리케이션은 사진 촬영 기능을 포함하는 카메라 어플리케이션이고, 상기 제 1 동작은 상기 카메라 어플리케이션에서의 줌-인하는 동작이며, 상기 제 2 동작은 사진을 촬영하는 동작일 수 있다.
개시된 일 실시예에 따른 동작 방법에서, 상기 어플리케이션은 알람 시계 기능을 포함하는 알람 시계 어플리케이션이고, 상기 제 1 동작은 알람이 울리는 상태를 정지시키는 동작이며, 상기 제 2 동작은 새로운 알람 설정으로 전환하는 동작일 수 있다.
개시된 일 실시예에 따른 동작 방법에서, 상기 어플리케이션은 동영상 재생 기능을 포함하는 어플리케이션이고, 상기 제 1 동작은 현재 재생 중인 동영상의 재생을 정지시키는 동작이며, 상기 제 2 동작은 재생 리스트 상에서 상기 현재 재생 중인 동영상 다음에 위치하는 동영상을 재생시키는 동작일 수 있다.
개시된 일 실시예에 따른 동작 방법은, 상기 스타일러스 펜으로 상기 터치스크린을 터치하는 입력에 기초하여, 상기 어플리케이션의 적어도 하나의 동작을 수행하는 제 2 제어 모드로 동작하는 단계를 더 포함할 수 있다.
개시된 일 실시예에 따른 동작 방법은, 상기 제 1 제어 모드 및 제 2 제어모드 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계를 더 포함할 수 있다.
개시된 일 실시예에 따른 동작 방법은, 상기 스타일러스 펜이 상기 모바일 디바이스에 근접하는지 여부를 감지하는 단계, 및 상기 스타일러스 펜이 상기 모바일 디바이스에 근접하면, 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경하는 단계를 더 포함할 수 있다.
개시된 일 실시예에 따른 동작 방법은, 상기 스타일러스 펜이 상기 모바일 디바이스로부터 분리되면, 상기 모바일 디바이스와 상기 스타일러스 펜 사이에 통신 채널을 형성하도록 제어하고, 상기 통신 채널을 통하여 상기 제어 신호를 수신하는 단계를 포함할 수 있다.
개시된 일 실시예에 따른 동작 방법은, 상기 스타일러스 펜이 상기 모바일 디바이스에 삽입되는지 감지하는 단계, 및 상기 스타일러스 펜이 상기 모바일 디바이스에 삽입되면, 상기 모바일 디바이스와 상기 스타일러스 펜 사이에 형성된 통신 채널을 종료시키고, 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경하는 단계를 더 포함할 수 있다.
개시된 일 실시예에 따른 동작 방법은, 상기 어플리케이션의 실행이 종료되면, 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경하는 단계를 더 포함할 수 있다.
개시된 일 실시예에 따른 동작 방법은, 상기 제어부가 제 1 제어 모드로 동작 중인 경우, 상기 제 1 제어 모드를 나타내는 아이콘을 표시하는 단계를 더 포함할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "터치 입력"이란 사용자가 모바일 디바이스를 제어하기 위해 터치스크린에 행하는 제스처 등을 의미한다.
명세서 전체에서 “스타일러스 펜”이란 모바일 디바이스를 제어하기 위해 사용하는 펜 모양의 도구를 의미한다. 사용자는 터치스크린에 스타일러스 펜을 직접 탭(tap)하거나 드래그(drag)하는 등의 동작, 또는 스타일러스 펜에 있는 버튼을 클릭하는 등의 동작으로 모바일 디바이스를 제어할 수 있다.
아래에서는 첨부한 도면을 참고하여 개시된 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 개시된 일 실시예에 따른, 스타일러스 펜을 포함하는 모바일 디바이스의 일 예를 나타내는 도면이다.
도 1을 참조하면, 모바일 디바이스(100)는 터치스크린(101)과 스타일러스 펜(200)을 포함할 수 있다. 또한, 모바일 디바이스(100)는 스타일러스 펜(200)을 삽입하기 위한 슬롯(102)을 포함할 수 있다. 이하에서 각 구성에 대하여 자세히 살펴보기로 한다.
모바일 디바이스(100)는 휴대폰, 스마트 폰(smart phone), 태블릿 PC, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 디지털 카메라 등과 같은 터치스크린(101)을 포함하는 다양한 전자 장치로 구현될 수 있으나, 이에 한정되는 것은 아니다.
스타일러스 펜(200)은 클릭할 수 있는 버튼(201)을 포함할 수 있다. 사용자는 스타일러스 펜(200)에 있는 버튼(201)을 다양한 방법으로 클릭하여, 모바일 디바이스(100)를 제어할 수 있다. 버튼(201)을 클릭하는 방법은 버튼(201)을 한 번 클릭하는 방법, 더블 클릭하는 방법, 길게 클릭하는 방법 등을 포함할 수 있으나, 이에 한정되지 않는다.
스타일러스 펜(200)은 버튼(201)을 클릭하는 입력을 수신할 수 있다. 스타일러스 펜(200)은 수신한 입력에 대응하는 제어 신호를 모바일 디바이스(100)로 전송할 수 있다. 스타일러스 펜(200)은 스타일러스 펜(200)과 모바일 디바이스(100) 사이에 형성된 통신 채널을 이용하여, 모바일 디바이스(100)로 제어 신호를 전송할 수 있다.
또한, 스타일러스 펜(200)은 사용자의 모션(motion)을 감지할 수 있는 동작 센서를 포함할 수 있다. 여기서, 동작 센서는 지자기 센서, 위치 센서, 가속도 센서, 자이로스코프 센서, 근접 센서 중 적어도 하나를 포함할 수 있으며, 이에 한정되지 않는다.
스타일러스 펜(200)이 동작 센서를 포함하는 경우, 사용자는 스타일러스 펜(200)을 이용하여 소정의 모션(motion)을 나타낼 수 있다. 그러면, 스타일러스 펜(200)에 있는 동작 센서는 사용자의 모션을 감지하고, 모바일 디바이스(100)는 감지된 사용자의 모션에 대응하는 신호에 기초하여 제어될 수 있다. 예를 들어, 모바일 디바이스(100)에서 카메라 어플리케이션이 실행중인 경우, 스타일러스 펜(200)을 이용하여 원을 그리는 사용자의 모션에 기초하여, 카메라 어플리케이션에서 줌-인하는 동작이 수행될 수 있다.
여기서, 스타일러스 펜(200)은 블루투스(Bluetooth), 적외선(infrared) 등을 포함하는 근거리 통신을 이용하여, 모바일 디바이스(100)로 제어 신호를 전송할 수 있다.
또한, 모바일 디바이스(100)는 터치스크린(101)을 탭(tap)하거나 드래그(drag)하는 등의 사용자 입력을 수신하면, 수신한 사용자 입력에 대응하는 제어 신호를 생성할 수 있다.
스타일러스 펜(200)은 배터리를 포함할 수 있다. 스타일러스 펜(200)이 모바일 디바이스(100)의 슬롯(102)에 삽입되면, 스타일러스 펜(200)의 배터리와 모바일 디바이스(100) 내부의 전원 공급 회로가 연결되어 스타일러스 펜(200)의 배터리가 충전될 수 있다.
도 2는 개시된 일 실시예에 따른 모바일 디바이스의 구성을 나타내는 블록도이다. 도 2의 모바일 디바이스(100a)는 도 1의 모바일 디바이스(100)의 일 실시예일 수 있다.
도 2를 참조하면, 모바일 디바이스(100a)는 감지부(110), 통신부(120), 및 제어부(130)를 포함할 수 있다.
개시된 일 실시예에 따른 감지부(110)는, 스타일러스 펜(200)이 모바일 디바이스(100a)로부터 분리되는지 감지하여, 감지 신호를 제어부(130)로 전달할 수 있다. 예를 들어, 감지부(110)는 스타일러스 펜(200)의 배터리가 충전되는 상태인지 확인하여, 스타일러스 펜(200)이 모바일 디바이스(100a)로부터 분리되는지 여부를 감지할 수 있다. 감지부(110)는 모바일 디바이스(100a)의 내부의 전원 공급 회로가 스타일러스 펜(200)의 배터리에 연결되었는지를 감지하여, 스타일러스 펜(200)의 배터리가 충전되는 상태인지 확인할 수 있다.
감지부(110)는, 소정의 주기로 폴링(polling)하는 방식, 또는 스타일러스 펜(200)의 삽입 상태가 변경되면 제어부(130)로 통지 메시지(notification message)를 전송하는 방식 등을 이용하여, 스타일러스 펜(200)의 분리 여부를 주기적으로 모니터링 할 수 있다. 여기서, 제어부(130)는 폴링하는 주기를 고정된 값으로 설정할 수 있고, 또는 사용자에 의해 값이 변경되도록 설정할 수 있다. 폴링 방식이나 통지 메시지를 전송하는 방식 등에 대해서는 당업자에게 널리 알려져 있으므로, 이에 대한 자세한 설명은 생략한다.
개시된 일 실시예에 따른 통신부(120)는, 모바일 디바이스(100a)와 스타일러스 펜(200) 간의 통신 또는 외부 디바이스와의 통신을 수행하기 위한 하나 이상의 구성 요소를 포함할 수 있다.
통신부(120)는 스타일러스 펜(200)이 모바일 디바이스(100a)로부터 분리되면, 모바일 디바이스(100a)와 스타일러스 펜(200) 사이에 통신 채널을 형성할 수 있다.
또한, 통신부(120)는, 형성된 통신 채널을 통하여 모바일 디바이스(100a)에서 분리된 스타일러스 펜(200)으로부터 제어 신호를 수신할 수 있다. 구체적으로, 통신부(120)는 블루투스(Bluetooth), 적외선(infrared) 등의 통신 방법을 이용하여 스타일러스 펜(200)으로부터 제어 신호를 수신할 수 있다. 그러나, 전술한 통신 방법에 한정되지 않는다.
개시된 일 실시예에 따른 제어부(130)는, 스타일러스 펜(200)으로부터 수신한 제어 신호에 응답하여, 모바일 디바이스(100a)에서 실행 중인 어플리케이션의 적어도 하나의 동작을 수행하는 제 1 제어 모드로 동작할 수 있다.
제 1 제어 모드는 스타일러스 펜(200)에 포함되는 버튼(201)을 이용하여 모바일 디바이스(100a)에서 실행 중인 어플리케이션을 원격으로 제어할 수 있는 모드일 수 있다. 구체적으로, 사용자는 스타일러스 펜(200)에 있는 버튼(201)을 다양한 방법으로 클릭하여 어플리케이션을 원격으로 제어할 수 있다. 여기서, 버튼(201)을 클릭하는 방법은 버튼(201)을 한 번 클릭, 더블 클릭, 또는 길게 클릭하는 방법 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
한편, 제 1 제어 모드는 스타일러스 펜(200)에 포함되는 동작 센서를 이용하여 모바일 디바이스(100a)에서 실행 중인 어플리케이션을 원격으로 제어할 수 있는 모드일 수 있다.
구체적으로, 사용자는 스타일러스 펜(200)을 이용하여 다양한 모션을 나타낼 수 있다. 예를 들어, 사용자는 스타일러스 펜(200)을 이용하여 원을 그리는 모션, 또는 직선을 그리는 모션 등을 나타낼 수 있다. 스타일러스 펜(200)에 포함되는 동작 센서는 사용자의 모션을 감지하고, 모바일 디바이스(100)는 감지된 사용자의 모션에 대응하는 신호에 기초하여 제어될 수 있다. 예를 들어, 모바일 디바이스(100a)에서 카메라 어플리케이션이 실행중인 경우, 원을 그리는 사용자 모션에 기초하여 줌-인하는 동작이 수행될 수 있고, 직선을 그리는 사용자 모션에 기초하여 사진을 촬영하는 동작이 수행될 수 있다. 여기서, 사용자의 특정 모션에 기초하여 수행되는 모바일 디바이스(100a)의 동작은 사용자 설정에 의해 변경될 수 있으며, 상술한 예에 한정되지 않는다.
제어부(130)는, 사용자의 손 또는 스타일러스 펜(200)으로 모바일 디바이스(100a)의 터치스크린(101)을 터치하는 사용자 입력에 기초하여, 어플리케이션의 적어도 하나의 동작을 수행하는 제 2 제어 모드로 동작할 수 있다.
제어부(130)는 사용자 입력에 따라, 제 1 제어 모드 또는 제 2 제어 모드 중 하나로 동작할 수 있다.
제어부(130)가 제 1 제어 모드로 동작할 때 스타일러스 펜(200)이 모바일 디바이스(100a)에 근접하면, 제어부(130)는 모바일 디바이스(100a)의 동작 모드를 제 1 제어 모드에서 제 2 제어 모드로 변경할 수 있다.
제어부(130)가 제 1 제어 모드로 동작할 때 스타일러스 펜(200)이 모바일 디바이스(100a)에 삽입되면, 제어부(130)는 모바일 디바이스(100a)의 동작 모드를 1 제어 모드에서 제 2 제어 모드로 변경할 수 있다.
제어부(130)가 제 1 제어 모드로 동작할 때 어플리케이션의 실행이 종료되면, 제어부(130)는 모바일 디바이스(100a)의 동작 모드를 제 1 제어 모드에서 제 2 제어 모드로 변경할 수 있다.
어플리케이션이 실행된 후에 모바일 디바이스(100a)로부터 스타일러스 펜(200)이 분리되면, 제어부(130)는 제 1 제어 모드로 동작할 수 있다. 또한, 모바일 디바이스(100a)는 어플리케이션이 실행될 때, 제 1 제어 모드로 동작할 것인지 여부를 묻는 메시지를 표시할 수 있다.
도 3은 개시된 일 실시예에 따른 모바일 디바이스의 구성을 나타내는 블록도이다.
도 3에 도시된 바와 같이, 개시된 일 실시예에 따른 모바일 디바이스(100b)는 감지부(110), 통신부(120), 제어부(130), 사용자 입력부(140), 디스플레이부(150) 이외에 A/V 입력부(160) 및 저장부(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다. 감지부(110), 통신부(120), 제어부(130)에 대하여, 도 2에서 설명한 내용과 동일한 내용은 도 3에서 생략하기로 한다.
감지부(110)는, 모바일 디바이스(100b)의 상태 또는 모바일 디바이스(100b) 주변의 상태를 감지하고, 감지된 정보를 제어부(130)로 전달할 수 있다.
감지부(110)는, 지자기 센서(Magnetic sensor)(111), 가속도 센서(Acceleration sensor)(112), 온/습도 센서(113), 적외선 센서(114), 자이로스코프 센서(115), 위치 센서(예컨대, GPS)(116), 기압 센서(117), 근접 센서(118), 및 RGB 센서(illuminance sensor)(119) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
감지부(110)는 모바일 디바이스(100b)의 움직임, 모바일 디바이스 사용자의 생체 신호, 모바일 디바이스(100b)에 입력되는 터치 신호 등을 센싱할 수 있다.
통신부(120)는, 모바일 디바이스(100b)와 스타일러스 펜(200) 간의 통신 또는 외부 디바이스와의 통신을 수행하기 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(120)는, 근거리 통신부(121), 이동 통신부(122), 방송 수신부(123)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(121)는, 블루투스 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(122)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(123)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 이동 단말기(100b)가 방송 수신부(123)를 포함하지 않을 수도 있다.
제어부(130)는, 모바일 디바이스(100b)의 전반적인 동작을 제어한다. 예를 들어, 제어부(130)는, 저장부(170)에 저장된 프로그램들을 실행함으로써, 감지부(110), 통신부(120), 출력부(151), 사용자 입력부(140), A/V 입력부(160), 메모리(170) 등을 제어할 수 있다.
출력부(151)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(150)와 음향 출력부(152), 진동 모터(153) 등이 포함될 수 있다.
디스플레이부(150)는 모바일 디바이스(100b)에서 처리되는 정보를 표시 출력한다. 예를 들어, 모바일 디바이스(100b)가 제 1 제어 모드로 동작하는 경우, 디스플레이부(150)는 제 1 제어 모드를 나타내는 아이콘을 표시할 수 있다. 구체적으로, 모바일 디바이스(100b)가 제 1 제어 모드로 동작할 때, 디스플레이부(150)는 터치스크린(101) 상에서 제 1 제어 모드를 나타내는 아이콘을 하이라이트 표시할 수 있다.
또한, 디스플레이부(150)는, 모바일 디바이스(100b)가 제 1 제어 모드로 동작할지 여부를 사용자가 선택할 수 있는 팝업 메뉴(pop-up menu)를 표시할 수 있다.
한편, 디스플레이부(150)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(150)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(150)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
음향 출력부(152)는 통신부(120)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(152)는 모바일 디바이스(100b)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(152)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(153)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(153)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(153)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
사용자 입력부(140)는, 사용자가 모바일 디바이스(100b)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(140)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(140)는 제 1 제어 모드와 제 2 제어 모드 중 하나를 선택하는 사용자 입력을 수신할 수 있다. 터치스크린(101)을 포함하는 모바일 디바이스(100b)는 터치스크린(101)을 통해 사용자 입력을 받을 수 있다. 예를 들어, 모바일 디바이스(100b)에서 어플리케이션이 실행될 때, 사용자는 직접 또는 스타일러스 펜(200)을 이용하여 터치스크린(101)을 터치하여, 제 1 제어 모드 또는 제 2 제어 모드를 선택할 수 있다. 또한, 스타일러스 펜(200)이 모바일 디바이스로(100b)부터 분리되면, 모바일 디바이스(100b)가 자동으로 제 1 제어 모드에서 동작하도록 설정할 수 있지만, 터치스크린(101)상에서 팝업 메뉴(pop-up menu)를 통해 사용자가 동작 모드를 선택하도록 할 수 있다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)는, 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 저장부(170)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(161)는 모바일 디바이스(100b)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
저장부(170)는, 제어부(130)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 어플리케이션, 콘텐트, 외부 디바이스의 시간대 정보, 주소록 등)을 저장할 수도 있다.
저장부(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 모바일 디바이스(100b)는 인터넷(internet)상에서 저장부(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
저장부(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.
UI 모듈(171)은, 어플리케이션 별로 모바일 디바이스(100b)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치스크린 모듈(172)은 사용자의 터치스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(130)로 전달할 수 있다. 개시된 일 실시예에 따른 터치스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일 예로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일 예로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(173)은 모바일 디바이스(100b)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 모바일 디바이스(100b)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(173)은 디스플레이부(150)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(152)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(153)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 4는 개시된 일 실시예에 따른 스타일러스 펜의 구성을 나타내는 블록도이다. 도 4의 스타일러스 펜(200a)은 도 1의 스타일러스 펜(200)의 일 실시예일 수 있다.
도 4를 참조하면, 스타일러스 펜(200a)은 감지부(210), 통신부(220), 제어부(230), 사용자 입력부(240), 전원 공급부(250)를 포함할 수 있다.
감지부(210)는 스타일러스 펜(200a)이 모바일 디바이스(100)로부터 분리되는지 감지하여, 감지 신호를 제어부(230)로 전달할 수 있다. 구체적으로, 모바일 디바이스(100)의 감지부(110)와 마찬가지로, 스타일러스 펜(200a)의 감지부(210)는 스타일러스 펜(200a)의 배터리가 충전되는 상태인지 확인함으로써, 스타일러스 펜(200a)의 분리 여부를 감지할 수 있다.
감지부(210)는 근접센서를 구비할 수 있다. 근접센서는 스타일러스 펜(200a)이 모바일 디바이스(100)에 근접하는지 여부를 감지할 수 있다. 스타일러스 펜(200a)과 모바일 디바이스(100)의 근접 여부에 따라, 스타일러스 펜(200a)과 모바일 디바이스(100) 사이의 블루투스 등의 근거리 통신이 온/오프 될 수 있다.
통신부(220)는, 전술하여 설명한 개시된 일 실시예에 따른 모바일 디바이스(100) 중 임의의 어느 하나와 신호를 송수신할 수 있다.
제어부(230)는 스타일러스 펜(200a)의 제어에 관련된 제반 사항을 제어한다. 제어부(230)는 사용자 입력부(240)의 소정의 키 조작에 대응하는 신호, 또는 감지부(210)에서 감지한 스타일러스 펜(200a)의 움직임에 대응하는 신호를 통신부(220)를 통하여 모바일 디바이스(100)로 전송할 수 있다.
사용자 입력부(240)는 사용자가 스타일러스 펜(200a)을 제어하기 위한 데이터를 입력 받는 수단을 의미한다. 예를 들어, 사용자 입력부(240)는 버튼(201)을 포함할 수 있다. 사용자 입력부(240)는 버튼(201)을 길게 클릭하는 입력, 한 번 클릭하는 입력, 더블 클릭하는 입력 등을 수신할 수 있다.
또한, 사용자 입력부(240)는 사용자의 모션(motion)을 감지할 수 있는 동작 센서를 포함할 수 있다. 여기서, 동작 센서는 지자기 센서, 위치 센서, 가속도 센서, 자이로스코프 센서, 근접 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
전원 공급부(250)는 스타일러스 펜(200a)으로 전원을 공급한다. 구체적으로, 전원 공급부(250)는 배터리를 통하여 스타일러스 펜(200a)에 전원을 공급할 수 있다. 스타일러스 펜(200a)이 모바일 디바이스(100)에 삽입되어 있는 동안에는, 스타일러스 펜(200a)의 전원 공급부(250)와 모바일 디바이스(100)의 전원 공급회로가 연결되어, 모바일 디바이스(100)로부터 전원을 공급받아 배터리가 충전될 수 있다.
도 5a 및 5b는 개시된 일 실시예에 따른 스타일러스 펜을 이용하여 카메라 어플리케이션을 원격으로 제어하는 일 예를 나타내는 도면들이다. 스타일러스 펜(200)을 이용하여 제어할 수 있는 카메라 어플리케이션의 동작은 사진 촬영, 줌-인(zoom in)/줌-아웃(zoom-out), 플래쉬 램프(flash lamp) 온/오프, 촬영된 사진 미리 보기 등을 포함할 수 있으나, 이에 한정되지 않는다.
이하에서는, 도 5a 및 도 5b를 참조하여, 사진 촬영 및 줌-인 동작을 예를 들어 설명하기로 한다.
도 5a를 참조하면, 카메라 어플리케이션에서 스타일러스 펜(200)의 감지부(210)는 버튼(201)이 한 번 클릭되는 입력을 수신할 수 있다. 스타일러스 펜(200)의 통신부(220)는 수신된 입력에 대응되는 제어 신호를 모바일 디바이스(100)의 통신부(120)로 전송할 수 있다. 모바일 디바이스(100)의 제어부(130)는 모바일 디바이스(100)의 통신부(120)로부터 제어 신호를 수신하여, 줌-인(zoom in) 동작을 수행할 수 있다.
버튼(201)이 수회 반복하여 클릭되면, 줌-인(zoom in)되는 배율이 커질 수 있다.
모바일 디바이스(100)의 터치스크린(101)은 줌-인(zoom in) 동작이 수행되고 있음을 나타내는 아이콘(510)을 표시할 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 텍스트 및/또는 막대 형태로 표시할 수 있으나, 이에 한정되는 것은 아니다.
도 5b를 참조하면, 스타일러스 펜(200)의 감지부(210)는 버튼(200)이 더블 클릭되는 입력을 수신할 수 있고, 스타일러스 펜(200)의 통신부(220)는 이에 대응되는 제어 신호를 모바일 디바이스(100)로 전송할 수 있다. 모바일 디바이스(100)의 제어부(130)는 스타일러스 펜(200)으로부터 수신한 제어 신호에 따라 사진을 촬영할 수 있다.
스타일러스 펜(200)에 있는 버튼(201)이 더블 클릭되면, 터치 스크린은(101)은 사진을 촬영하는 동작이 수행되고 있음을 나타내는 아이콘(520)을 표시할 수 있다. 예를 들어, 도 5b에 도시된 바와 같이, 촬영 기능을 나타내는 아이콘이 하이라이트로 표시될 수 있으나, 이에 한정되는 것은 아니다.
또한, 제어부(130)는, 스타일러스 펜(200)에 있는 버튼(201)이 클릭되는 방법에 따라 어플리케이션의 어떤 동작을 수행할 것인지에 대한 설정을 변경할 수 있다. 예를 들어, 제어부(130)는 버튼(201)이 한 번 클릭되는 사용자 입력에 대응하여, 카메라 어플리케이션의 줌-인 동작이 수행되도록 설정할 수 있고, 또는 플래쉬 램프를 켜는 동작이 수행되도록 설정할 수도 있다.
사용자가 모바일 디바이스(100)를 이용하여 셀프 촬영을 하는 경우에, 손으로 터치스크린(101)을 직접 터치하여 사진을 촬영하기 위해서는 모바일 디바이스(100)와 사용자 간의 거리가 좁아질 수 밖에 없다. 그러면, 사용자는 원하는 각도 및 구도에서 사진을 촬영하기 어려울 수 있다. 그러나, 도 5b에서 설명한 바와 같이, 스타일러스 펜(200)에 있는 버튼(201)을 클릭하여 사진을 촬영하면, 보다 다양한 각도 및 구도에서 셀프 촬영이 가능할 수 있다.
도 6a 및 도 6b는 개시된 일 실시예에 따른 스타일러스 펜을 이용하여 알람 시계 어플리케이션을 원격으로 제어하는 일 예를 나타내는 도면들이다. 알람 시계 어플리케이션의 동작은 알람이 울리는 상태를 정지시키는 동작, 새로운 알람을 설정하는 동작 등을 포함할 수 있으나, 이에 한정되지 않는다.
도 6a를 참조하면, 모바일 디바이스(100)에서 알람 시계 어플리케이션이 실행되어 알람이 울리고 있을 때, 스타일러스 펜(200)에 있는 버튼(201)이 한 번 클릭되면, 제어부(130)는 알람이 울리는 상태를 정지시킬 수 있다. 여기서, 터치스크린(101)은 알람 시계 어플리케이션에서 알람이 울리는 상태가 정지하는 것을 표시할 수 있다. 예를 들어, 도 6a에 도시된 바와 같이, 터치스크린(101)은 알람이 울리는 상태가 정지하는 동작을 나타내는 아이콘이 슬라이딩되는 형태로 표시할 수 있으나, 이에 한정되지 않는다.
도 6b를 참조하면, 모바일 디바이스(100)에서 알람 시계 어플리케이션이 실행되고 있을 때, 스타일러스 펜(200)에 있는 버튼(201)이 더블 클릭되면, 제어부(130)는 새로운 알람을 설정하는 동작을 수행할 수 있다.
알람 시계 어플리케이션의 실행 화면은, 도 6b에 도시된 바와 같이 텍스트와 아이콘을 포함하는 화면으로 구성될 수 있으나, 이에 한정되지 않는다.
알람 시계 어플리케이션이 실행 중일 때, 스타일러스 펜(200)에 있는 버튼(201)이 더블 클릭되면, 도 6b에 도시된 바와 같이 터치스크린(101)은 새로운 알람을 설정하는 화면(630)을 표시할 수 있다.
도 6b에 도시된 알람을 설정하는 화면(630)은 시간, 요일, 알림음, 알람 방식 등을 포함하고 있으나, 이에 한정되지 않는다.
도 7a 및 도 7b는 개시된 일 실시예에 따른 스타일러스 펜을 이용하여 동영상 재생 어플리케이션을 제어하는 일 예를 나타내는 도면들이다. 동영상 재생 어플리케이션의 동작은 동영상을 재생하는 동작, 재생을 정지시키는 동작, 앞으로 빠르게 감는 동작 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 동영상 재생 어플리케이션에서 재생되는 동영상은, 모바일 디바이스(100)에 저장된 동영상이거나, 네트워크를 통하여 스트리밍(streaming)되는 동영상이 될 수 있으나, 이에 한정되지 않는다.
도 7a를 참조하면, 모바일 디바이스(100)에서 동영상이 재생 중이고 사용자에 의해 스타일러스 펜(200)에 있는 버튼(201)이 한 번 클릭되면, 제어부(130)는 현재 재생 중인 동영상의 재생을 정지시킬 수 있다. 또한, 동영상 재생을 정지시킨 상태에서 버튼(201)이 한 번 클릭되면, 제어부(130)는 정지된 동영상을 다시 재생시킬 수 있다.
도 7b를 참조하면, 모바일 디바이스(100)에서 동영상이 재생 중이고 사용자에 의해 스타일러스 펜(200)에 있는 버튼(201)이 더블 클릭되면, 제어부(130)는 현재 재생 중인 동영상 재생을 정지시키고, 재생 리스트에서 현재 재생 중인 동영상 다음에 위치하는 동영상을 재생시킬 수 있다.
재생 리스트는 모바일 디바이스(100)에 저장된 동영상의 파일명에 따라 정렬될 수 있으며, 모바일 디바이스(100)에 저장된 시간에 따라 정렬될 수 있으나, 이에 한정되지 않는다. 또한, 재생 리스트는 모바일 디바이스(100)에 저장된 동영상뿐만 아니라 인터넷을 통하여 스트리밍 되는 동영상 등도 포함할 수 있다.
예를 들어, 도 7b에 도시된 바와 같이, 현재 재생 중인 동영상의 파일명이 “abc1.mp4”일 때, 터치스크린(101)의 우측에 표시된 재생 리스트(720)는 파일명에 따라 정렬될 수 있다. 여기서, 사용자에 의해 버튼(201)이 더블 클릭되면, 제어부(130)는 현재 재생 중인 “abc1.mp4” 동영상을 정지시키고, 재생 리스트 상에서 “abc1.mp4” 다음에 위치하는 “abc2.mp4” 동영상을 재생시킬 수 있다.
도 8은 개시된 일 실시예에 따른 모바일 디바이스로부터 스타일러스 펜이 분리됨에 따라, 모바일 디바이스와 스타일러스 펜 사이에 통신 채널이 형성되는 일 예를 나타내는 도면이다.
스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리되면, 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 통신 채널이 형성될 수 있다. 여기서, 통신 채널은 자동 또는 수동으로 형성될 수 있다.
이하에서, 통신 채널이 자동으로 형성되는 경우에 대하여 상세하게 설명한다.
감지부(110)에서 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리된 것을 감지하면, 감지부(110)가 제 1 시작 신호를 제어부(130)로 전송하고, 제어부(130)는 제 1 시작 신호를 통신부(120)에 전송할 수 있다. 여기서, 감지부(110)는 전술한 바와 같이, 스타일러스 펜(200)이 모바일 디바이스(100)으로부터 전원을 공급받고 있는 상태인지 감지함으로써, 스타일러스 펜(200)의 분리 여부를 감지할 수 있다.
제 1 시작 신호를 수신한 통신부(120)는, 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 통신 채널을 형성하기 위하여, 모바일 디바이스에서 블루투스 등의 통신을 시작할 수 있다.
스타일러스 펜(200)의 감지부(210) 및 통신부(220)에서도 모바일 디바이스(100)와 마찬가지로 동작할 수 있다. 구체적으로, 스타일러스 펜(200)의 감지부(210)는 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리되는지 감지하고, 스타일러스 펜(200)의 제어부(230)로 감지된 신호를 전송할 수 있다. 그 다음에, 스타일러스 펜(200)의 제어부(230)는 스타일러스 펜(200)의 통신부(220)로 제 2 시작 신호를 전송할 수 있다. 제 2 시작 신호를 수신한 스타일러스 펜(200)의 통신부(220)는 모바일 디바이스(100)와의 통신 채널 형성을 위하여, 블루투스 등의 통신을 시작할 수 있다.
모바일 디바이스(100)는 형성된 통신 채널을 통하여 스타일러스 펜(200)으로부터 제어 신호를 수신할 수 있다. 여기서, 통신 채널은 블루투스, 적외선 등 다양한 통신 방법을 사용하여 형성될 수 있으며, 전술한 방법에 한정되지 않는다.
이하에서는, 편의를 위하여 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 블루투스를 이용하여 통신 채널을 형성하는 경우를 예를 들어 설명한다.
도 8을 참조하면, 감지부(110)는 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리된 것을 감지하고, 감지된 신호를 제어부(130)에 전송할 수 있다. 그 다음에, 제어부(130)는 제 1 시작 신호를 통신부(120)에 전송할 수 있다. 제 1 시작 신호를 수신한 통신부(120)는 모바일 디바이스(100)의 블루투스를 시작할 수 있다.
스타일러스 펜(200)의 감지부(210) 및 통신부(220)도 전술한 바와 같이, 감지부(210)에서 제어부(230)로 감지된 신호를 전송할 수 있다. 그러면, 제어부(230)는 통신부(220)로 제 2 시작 신호를 전송하고, 통신부(220)는 스타일러스 펜(200)의 블루투스를 시작할 수 있다. 그러면, 블루투스를 이용하여 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 통신 채널이 형성될 수 있다. 그리고, 모바일 디바이스(100)는 형성된 통신 채널을 통해 스타일러스 펜(200)으로부터 제어 신호를 수신할 수 있다.
모바일 디바이스(100)와 스타일러스 펜(200)이 블루투스로 연결되면, 디스플레이부(150)는 블루투스를 나타내는 아이콘(820)과 제 1 제어 모드를 나타내는 아이콘(810)을 하이라이트로 표시할 수 있다. 이에 대해서는, 도 13을 참조하여 후술하기로 한다.
통신 채널이 자동으로 형성되도록 설정하였으나, 소정의 임계 시간(threshold time)이 도과할 때까지 모바일 디바이스(100)와 스타일러스 펜(200)이 블루투스로 연결되지 않을 수 있다. 예를 들어, 모바일 디바이스(100) 또는 스타일러스 펜(200)의 블루투스가 정상적으로 동작하지 않는 경우, 블루투스가 켜져있는 경우라도 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 통신 채널이 형성되지 않을 수 있다. 이 경우, 모바일 디바이스(100)와 스타일러스 펜(200)의 블루투스는 자동으로 종료될 수 있다. 여기서, 임계 시간은 고정된 값으로 설정되거나 또는 사용자에 의해 값이 변경될 수 있다.
그리고, 통신 채널이 형성되지 않는 시간 동안, 모바일 디바이스(100)는 제 2 제어 모드로 동작할 수 있다.
한편, 제어부(130)는 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 통신 채널을 수동으로 형성하도록 설정할 수 있다. 이하에서, 통신 채널을 수동으로 형성하도록 설정되었을 때, 모바일 디바이스(100)와 스타일러스 펜(200)의 동작에 대하여 상세하게 설명한다.
스타일러스 펜(200)은 버튼(201)을 이용하여 스타일러스 펜(200)의 블루투스를 수동으로 온/오프 할 수 있다. 구체적으로, 스타일러스 펜의 제어부(230)는 통신부(220)에 블루투스를 온/오프 할 수 있는 통신 제어 신호를 전송할 수 있다. 그러면, 통신 제어 신호를 수신한 통신부(220)는 스타일러스 펜(200)의 블루투스를 시작하거나 종료할 수 있다. 여기서, 통신 제어 신호는 모바일 디바이스(100)의 어플리케이션을 제어하기 위한 제어 신호(제 1 제어 신호, 제 2 제어 신호)와 구별된다. 예를 들어, 버튼(201)을 한 번 클릭하거나 더블 클릭하여 모바일 디바이스(100)의 어플리케이션을 제어하도록 설정하고, 버튼(201)을 길게 클릭하여 스타일러스 펜(200)의 블루투스를 온/오프 하도록 설정할 수 있다.
또한, 모바일 디바이스(100)는 터치스크린(101)상에서 손으로 직접 또는 스타일러스 펜(200)을 이용하여 블루투스를 수동으로 온/오프 할 수 있다. 이에 대해서는, 당업자가 충분히 이해할 수 있는 사항이므로 자세한 설명은 생략한다.
제어부(130)는 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 통신 채널을 자동으로 형성할 것인지 여부를 미리 설정할 수 있다. 예를 들어, 사용자 입력에 기초하여, 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리될 때 제어부(130)는 통신 채널을 수동으로 형성하도록 설정할 수 있다.
도 9는 개시된 일 실시예에 따른 모바일 디바이스가 사용자 입력에 따라 제 2 제어 모드로 동작하는 일 예를 나타내는 도면이다. 제 2 제어 모드는, 스타일러스 펜(200)에 있는 버튼(201)을 클릭하는 사용자 선택에 기초하여 모바일 디바이스(100)에서 실행 중인 어플리케이션을 원격으로 제어하는 제 1 제어 모드와 구별된다.
구체적으로, 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리된 상태에서 카메라 어플리케이션이 실행되는 경우를 예로 들어 설명한다. 여기서, 모바일 디바이스(100)는 바로 제 1 제어 모드로 동작하거나, 사용자 선택에 따라 제 2 제어 모드로 동작할 수 있다.
도 9를 참조하면, 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리된 상태에서 카메라 어플리케이션이 실행되면, 디스플레이부(150)는 제 1 제어 모드로의 동작 여부를 물어보는 팝업 창(pop-up window)(910)을 표시할 수 있다. 팝업 창(910)은 나중에 다시 팝업 창(910)을 표시할 것인지 여부를 선택하는 체크 박스(check box)(911)를 포함할 수 있다. 체크 박스(911)가 선택되면, 그 이후부터는 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리된 상태에서 카메라 어플리케이션이 실행되더라도, 디스플레이부(150)는 팝업 창(910)을 다시 표시하지 않는다.
사용자에 의해 제 1 제어 모드가 선택되면, 모바일 디바이스(100)는 제 1 제어 모드로 동작하고, 그렇지 않으면 모바일 디바이스(100)가 제 2 제어 모드로 동작할 수 있다.
도 9는 사용자가 제 1 제어 모드를 선택하지 않는 일 예를 나타낸다. 따라서, 모바일 디바이스(100)는 제 2 제어 모드로 동작하고, 모바일 디바이스(100)는 사용자의 손 또는 스타일러스 펜(200)으로 터치스크린(101)을 터치하는 사용자 입력에 기초하여 카메라 어플리케이션의 동작을 수행할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 터치스크린(101)에 표시된 촬영 동작을 나타내는 아이콘(920)이 사용자의 손에 의해 터치되면, 모바일 디바이스(100)는 촬영 동작을 수행할 수 있다.
도 10a 및 도 10b는 제 2 제어 모드를 설명하기 위한 도면이다.
도 10a를 참조하면, 제 2 제어 모드는 모바일 디바이스(100)의 터치스크린(101) 상에 나타나는 팝업 단축 메뉴(pop-up shortcut menu)(1010)를 이용할 수 있다. 팝업 단축 메뉴(1010)는 스타일러스 펜(200)의 사용과 관련된 메뉴들을 포함할 수 있다. 예를 들어, 팝업 단축 메뉴(1010)는 메모 어플리케이션(1011), 카메라 어플리케이션(1012), 알람 시계 어플리케이션(1013), 동영상 재생 어플리케이션(1014) 등을 포함할 수 있으나, 이에 한정되지 않는다. 사용자는 팝업 단축 메뉴(1010) 중 특정 메뉴를 스타일러스 펜(200)으로 터치하여 원하는 동작을 수행할 수 있다.
팝업 단축 메뉴(1010)는 다양한 형태로 표시할 수 있다. 예를 들어, 도 10a에 도시된 바와 같이, 팝업 단축 메뉴(1010)는 각 메뉴가 부채꼴의 형태로 표시되어 있으나 이에 한정되는 것은 아니다. 직사각형, 원형 등의 형태로 표시될 수 있으며, 텍스트로 구성된 메뉴 리스트 형태로 표시될 수도 있다.
도 10b를 참조하면, 모바일 디바이스(100)가 제 2 제어 모드로 동작하는 경우, 모바일 디바이스(100)는 사용자의 손 또는 스타일러스 펜(200)으로 터치스크린(101)을 터치하는 입력에 기초하여, 모바일 디바이스(100)에서 실행 중인 어플리케이션을 제어할 수 있다. 예를 들어, 도 10b에 도시된 바와 같이, 모바일 디바이스(100)는, 터치스크린(101) 상의 “일시정지” 아이콘(1020)을 손으로 터치하는 사용자 입력에 기초하여, 재생 중인 동영상을 일시적으로 정지시킬 수 있다. 이에 대해서는, 당업자가 충분히 이해할 수 있을 것이므로, 자세한 설명은 생략한다.
모바일 디바이스(100)가 제 2 제어 모드로 동작할 때, 감지부(110)는 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리되는지 주기적으로 모니터링할 수 있다. 여기서, 제어부(130)는 주기를 고정된 값으로 설정하거나 사용자가 값을 변경하도록 설정할 수 있다.
도 11은 개시된 일 실시예에 따른 스타일러스 펜이 모바일 디바이스에 근접함에 따라, 제어부가 동작 모드를 제 1 제어 모드에서 제 2 제어 모드로 변경하는 일 예를 나타내는 도면이다.
개시된 일 실시예에 따른 모바일 디바이스(100)가 제 1 제어 모드로 동작할 때 스타일러스 펜(200)이 모바일 디바이스(100)에 근접하게 되면, 제어부(130)는 동작 모드를 제 1 제어 모드에서 제 2 제어 모드로 변경할 수 있다.
도 11을 참조하면, 감지부(110)는 스타일러스 펜(200)이 모바일 디바이스(100)에 근접하는지 여부를 감지할 수 있다. 스타일러스 펜(200)과 모바일 디바이스(100) 사이의 거리가 소정의 거리 이하로 가까워지면, 모바일 디바이스(100)는 제 1 제어 모드를 종료하고 제 2 제어 모드로 동작할 수 있다. 여기서, 감지부(110)는 근접센서를 이용하여 스타일러스 펜(200)이 모바일 디바이스(100)에 근접하는지 여부를 판단할 수 있다.
감지부(110)에서 스타일러스 펜(200)이 모바일 디바이스(100)에 근접한 것을 감지하면, 감지부(110)는 제어부(130)로 감지 신호를 전송할 수 있다. 그러면, 제어부(130)는 통신부(120)로 통지 신호를 전송할 수 있다. 통지 신호를 수신한 통신부(120)는, 모바일 디바이스(100)의 블루투스를 종료할 수 있다.
스타일러스 펜(200)의 감지부(210)와 통신부(220)도 모바일 디바이스(100)와 마찬가지로 동작할 수 있다. 스타일러스 펜(200)의 감지부(210)에서 스타일러스 펜(200)이 모바일 디바이스(100)에 근접한 것을 감지하면, 스타일러스 펜의 감지부(210)는 스타일러스 펜의 제어부(230)로 감지 신호를 전송할 수 있다. 그러면, 스타일러스 펜의 제어부(230)는 스타일러스 펜(200)의 통신부(220)로 통지 신호를 전송할 수 있다. 통지 신호를 수신한 스타일러스 펜의 통신부(220)는, 스타일러스 펜(200)의 블루투스를 종료할 수 있다.
또한, 도 11에 도시된 바와 같이, 제 1 제어 모드가 종료되면 디스플레이부(150)는 제 1 제어 모드의 종료를 나타내는 팝업 창(pop-up window)(1110)을 표시할 수 있다.
도 12는 개시된 일 실시예에 따른 스타일러스 펜이 슬롯에 삽입될 때 제어부가 모바일 디바이스의 동작 모드를 제 1 제어 모드에서 2 제어 모드로 변경하는 일 예를 나타내는 도면이다.
이하에서 도 12를 참조하여, 모바일 디바이스(100)가 제 1 제어 모드로 동작하는 중에 스타일러스 펜(200)이 모바일 디바이스(100)에 삽입되는 경우를 예로 들어 설명한다.
감지부(110)는 스타일러스 펜(200)이 슬롯(102)에 삽입된 것을 감지하고, 감지 신호를 제어부(130)로 전송할 수 있다. 그러면 제어부(130)는 제 1 종료 신호를 통신부(120)에 전송할 수 있다. 제 1 종료 신호를 수신한 통신부(120)는 모바일 디바이스(100)의 블루투스를 종료할 수 있다.
스타일러스 펜(200) 또한 모바일 디바이스(100)와 마찬가지로 동작할 수 있다. 구체적으로, 스타일러스 펜의 감지부(210)는 스타일러스 펜(200)이 슬롯(102)에 삽입된 것을 감지하고, 감지 신호를 스타일러스 펜의 제어부(230)로 전송할 수 있다. 그러면, 스타일러스 펜의 제어부(230)는 제 2 종료 신호를 스타일러스 펜(200)의 통신부(220)에 전송할 수 있다. 제 2 종료 신호를 수신한 스타일러스 펜(200)의 통신부(220)는 스타일러스 펜(200)의 블루투스를 종료할 수 있다.
모바일 디바이스(100)와 스타일러스 펜(200)의 블루투스가 종료되면, 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 형성된 통신 채널이 종료되고, 모바일 디바이스(100)는 제 2 제어 모드로 동작할 수 있다.
동작 모드가 제 1 제어 모드에서 제 2 제어 모드로 변경되면, 도 13에 도시된 바와 같이, 디스플레이부(150)는 제 1 제어 모드의 종료를 나타내는 팝업 창(1210)을 표시할 수 있다. 여기서, 제 1 제어 모드의 종료를 나타내는 방법은 디스플레이부(150) 상단에 배너(banner) 형태, 모바일 디바이스(100) 상에 존재하는 LED를 깜박거리는 형태 등을 포함할 수 있으나, 이에 한정되지 않는다.
도 13a 및 도 13b는 개시된 일 실시예에 따른 디스플레이부가 제 1 제어 모드를 나타내는 아이콘을 표시하는 일 예를 나타내는 도면이다.
모바일 디바이스(100)가 제 1 제어 모드로 동작할 때, 디스플레이부(150)는 제 1 제어 모드를 나타내는 아이콘(1310)을 표시할 수 있다.
예를 들어, 도 13a를 참조하면, 스타일러스 펜 형상의 아이콘(1310)을 하이라이트로 표시하여 모바일 디바이스(100)가 제 1 제어 모드로 동작 중임을 나타낼 수 있다.
또한, 모바일 디바이스(100)가 제 2 제어 모드로 동작할 때, 디스플레이부(150)는 스타일러스 펜 형상의 아이콘(1310)을 비활성화시켜 표시할 수 있다. 예를 들어, 디스플레이부(150)는 아이콘(1410)을 어둡게 표시함으로써 비활성화시킬 수 있다.
도 13a 및 도 13b에서는 스타일러스 펜 형상의 아이콘(1310)이 제 1 제어 모드를 나타내는 것으로 예를 들어 설명하였으나, 텍스트만으로 형성된 아이콘, 또는 다른 형태의 아이콘을 사용할 수도 있으며, 전술한 예에 한정되지 않는다.
도 14는 개시된 일 실시예에 따른 모바일 디바이스가 제 1 제어 모드로 동작하는 일 예를 나타내는 도면이다.
예를 들어, 스타일러스 펜(200)이 슬롯(102)에 삽입된 상태에서 어플리케이션이 실행된 후에, 제 1 제어 모드가 선택될 수 있다.
도 14를 참조하면, 모바일 디바이스(100)에서 카메라 어플리케이션이 실행되면, 디스플레이부(150)는 제 1 제어 모드를 사용할 것인지 여부에 대하여 질문하는 팝업 창(pop-up window)(1410)을 표시할 수 있다. 도 14에 도시된 바와 같이, 사용자가 “예(Yes)”를 선택하여 제 1 제어 모드가 선택된 후에, 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리되면, 감지부(110)는 제 감지 신호를 제어부(130)로 전송할 수 있다. 그러면, 제어부(130)는 통신부(120)로 제 1 시작 신호를 전송할 수 있다. 제 1 시작 신호를 수신한 통신부(120)는 전술한 바와 같이, 모바일 디바이스(100)의 블루투스를 시작할 수 있다.
스타일러스 펜(200) 또한 모바일 디바이스(100)와 마찬가지로 동작할 수 있다. 구체적으로, 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리되면, 스타일러스 펜(200)의 감지부(210)는 감지 신호를 스타일러스 펜의 제어부(230)로 전송할 수 있다. 그러면, 스타일러스 펜의 제어부(230)는 제 2 시작 신호를 스타일러스 펜의 통신부(220)로 전송할 수 있다. 제 2 시작 신호를 수신한 스타일러스 펜의 통신부(220)는 스타일러스 펜(200)의 블루투스를 시작할 수 있다.
모바일 디바이스(100)의 블루투스와 스타일러스 펜(200)의 블루투스가 시작되면, 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 통신 채널이 형성될 수 있다. 또한, 형성된 통신 채널을 통하여 모바일 디바이스(100)는 스타일러스 펜(200)으로부터 제어 신호를 수신할 수 있다.
도 15는 개시된 일 실시예에 따른 모바일 디바이스에서 실행 중인 어플리케이션이 종료되어 제 1 제어 모드가 종료되는 일 예를 나타내는 도면이다.
모바일 디바이스(100)가 제 1 제어 모드에서 동작하다가 실행 중인 어플리케이션이 종료되면, 제어부(130)는 제 1 제어 모드를 종료하고 제 2 제어 모드로 동작할 수 있다.
도 15를 참조하면, 모바일 디바이스(100)가 제 1 제어 모드에서 카메라 어플리케이션을 실행하다가 카메라 어플리케이션이 종료되면, 제어부(130)는 제 1 제어 모드를 자동으로 종료할 수 있다. 카메라 어플리케이션이 종료되면, 제어부(130)는 제 1 종료 신호를 통신부(120)에 전송하고, 제 1 종료 신호를 수신한 통신부(120)는 모바일 디바이스(100)와 스타일러스 펜(200) 사이의 통신 채널을 종료할 수 있다. 제 1 제어 모드가 종료되면, 디스플레이부(150)는 전술한 바와 같이 제 1 제어 모드의 종료를 나타내는 팝업 창을 표시할 수 있다. 또한, 디스플레이부(150)는 제 1 제어 모드를 나타내는 아이콘을 비활성화시켜 표시할 수 있다.
도 16은 개시된 일 실시예에 따른 모바일 디바이스의 동작 방법을 나타내는 흐름도이다.
도 16을 참조하면, 모바일 디바이스(100)는 스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리되는지 판단할 수 있다(S1600).
모바일 디바이스(100)는 모바일 디바이스(100)에서 분리된 스타일러스 펜(200)으로부터 제어 신호를 수신할 수 있다(S1610).
여기서 제어 신호는 모바일 디바이스(100)에서 실행 중인 어플리케이션을 원격으로 제어할 수 있는 신호일 수 있다. 구체적으로, 제어 신호는 제 1 제어 신호, 제 2 제어 신호를 포함할 수 있으며, 스타일러스 펜(200)에 있는 버튼(201)을 다양하게 클릭하는 방법으로 구분될 수 있다. 예를 들어, 제 1 제어 신호는 사용자가 스타일러스 펜(200)에 있는 버튼(201)을 한 번 클릭하는 동작에 대응되는 신호일 수 있으며, 제 2 제어 신호는 사용자가 스타일러스 펜(200)에 있는 버튼(201)을 더블 클릭하는 동작에 대응되는 신호일 수 있다.
모바일 디바이스(100)는 스타일러스 펜(200)으로부터 수신한 제어 신호에 응답하여, 모바일 디바이스(100)에서 실행 중인 어플리케이션의 적어도 하나의 동작을 수행할 수 있다(S1620).
예를 들어, 모바일 디바이스(100)에서 카메라 어플리케이션이 실행 중일 때, 스타일러스 펜(200)에 있는 버튼(201)이 한 번 클릭되면, 모바일 디바이스(100)는 줌-인 동작을 수행할 수 있다. 또한, 버튼(201)이 더블 클릭되면, 모바일 디바이스(100)는 사진을 촬영할 수 있다.
모바일 디바이스(100)에서 알람 시계 어플리케이션이 실행 중일 때, 버튼(201)이 한 번 클릭되면, 모바일 디바이스(100)는 알람이 울리는 상태를 정지시킬 수 있다. 또한, 버튼(201)이 더블 클릭되면, 모바일 디바이스(100)는 새로운 알람을 설정할 수 있다.
모바일 디바이스(100)에서 동영상 재생 어플리케이션이 실행 중일 때, 버튼(201)이 한 번 클릭되면, 모바일 디바이스(100)는 재생 중인 동영상을 정지시킬 수 있다. 또한, 버튼(201)이 더블 클릭되면 모바일 디바이스(100)는 재생 리스트 상에서 현재 재생 중인 동영상 다음에 위치하는 동영상을 재생시킬 수 있다.
스타일러스 펜(200)에 있는 버튼(201)을 클릭하는 사용자 입력에 기초하여 제어되는 어플리케이션은 카메라, 알람 시계, 동영상 재생 어플리케이션을 포함할 수 있으나, 이에 한정되지 않는다.
스타일러스 펜(200)이 모바일 디바이스(100)로부터 분리되면, 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 통신 채널이 형성될 수 있다.
한편, 모바일 디바이스(100)는 사용자의 손 또는 스타일러스 펜(200)으로 터치스크린(101)을 터치하는 입력에 기초하여, 어플리케이션의 적어도 하나의 동작을 수행하는 제 2 제어 모드로 동작할 수 있다.
모바일 디바이스(100)가 제 1 제어 모드로 동작할 때 스타일러스 펜(200)이 슬롯(102)에 삽입되면, 모바일 디바이스(100)와 스타일러스 펜(200) 사이에 형성된 통신 채널은 자동으로 종료될 수 있다. 그리고, 모바일 디바이스(100)는 제 2 제어 모드로 동작할 수 있다.
모바일 디바이스(100)가 제 1 제어 모드로 동작할 때 실행 중이던 어플리케이션이 종료되면, 모바일 디바이스(100)는 제 2 제어 모드에서 동작할 수 있다.
모바일 디바이스(100)가 제 1 제어 모드로 동작할 때, 모바일 디바이스(100)는 제 1 제어 모드를 나타내는 아이콘을 표시할 수 있다.
전술한 바와 같이, 개시된 실시예에 따른 모바일 디바이스(100) 및 모바일 디바이스(100)의 동작 방법은, 스타일러스 펜(200)에 있는 버튼(201)을 클릭하는 사용자 입력에 기초하여 모바일 디바이스(100)에서 실행 중인 어플리케이션의 동작을 원격으로 제어할 수 있다. 그에 따라서, 사용자가 모바일 디바이스(100)를 사용함에 있어 사용자 편의성을 높일 수 있다.
일 실시예에 따른 모바일 디바이스(100)의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 스타일러스 펜을 포함하는 모바일 디바이스에 있어서,
    상기 스타일러스 펜이 상기 모바일 디바이스로부터 분리되는지 판단하는 감지부;
    상기 모바일 디바이스와 분리된 스타일러스 펜으로부터 제어 신호를 수신하는 통신부; 및
    상기 제어 신호에 응답하여, 모바일 디바이스에서 실행 중인 어플리케이션의 적어도 하나의 동작을 수행하는 제 1 제어 모드로 동작하는 제어부;를 포함하는, 모바일 디바이스.
  2. 제 1항에 있어서,
    상기 제어 신호는 제 1 제어 신호 및 제 2 제어 신호를 포함하고,
    상기 제어부는,
    상기 제 1 제어 신호에 응답하여, 상기 어플리케이션의 제 1 동작을 수행하고, 상기 제 2 제어 신호에 응답하여, 상기 어플리케이션의 제 2 동작을 수행하는, 모바일 디바이스.
  3. 제 2항에 있어서,
    상기 제 1 제어 신호는 상기 스타일러스 펜에 포함되는 버튼을 한번 클릭하는 입력에 대응하는 신호이고,
    상기 제 2 제어 신호는 상기 버튼을 더블 클릭하는 입력에 대응하는 신호인, 모바일 디바이스.
  4. 제 2 항에 있어서,
    상기 제 1 제어 신호는 상기 스타일러스 펜에 포함되는 동작 센서에서 감지되는 제 1 사용자 모션에 대응하는 신호이고,
    상기 제 2 제어 신호는 상기 동작 센서에서 감지되는 제 2 사용자 모션에 대응하는 신호인, 모바일 디바이스.
  5. 제 2항에 있어서,
    상기 어플리케이션은 사진 촬영 기능을 포함하는 카메라 어플리케이션이고,
    상기 제 1 동작은 상기 카메라 어플리케이션에서의 줌-인하는 동작이며,
    상기 제 2 동작은 사진을 촬영하는 동작인, 모바일 디바이스.
  6. 제 2항에 있어서,
    상기 실행 중인 어플리케이션은 알람 시계 기능을 포함하는 알람 시계 어플리케이션이고,
    상기 제 1 동작은 알람이 울리는 상태를 정지시키는 동작이며,
    상기 제 2 동작은 새로운 알람 설정으로 전환하는 동작인, 모바일 디바이스.
  7. 제 2항에 있어서,
    상기 어플리케이션은 동영상 재생 기능을 포함하는 어플리케이션이고,
    상기 제 1 동작은 현재 재생 중인 동영상의 재생을 정지시키는 동작이며,
    상기 제 2 동작은 재생 리스트 상에서 상기 현재 재생 중인 동영상 다음에 위치하는 동영상을 재생시키는 동작인, 모바일 디바이스.
  8. 제 1항에 있어서,
    상기 제어부는,
    상기 스타일러스 펜으로 터치스크린을 터치하는 입력에 기초하여,
    상기 어플리케이션의 적어도 하나의 동작을 수행하는 제 2 제어 모드로 동작하는, 모바일 디바이스.
  9. 제 8항에 있어서,
    상기 제 1 제어 모드 및 상기 제 2 제어 모드 중 어느 하나를 선택하는 사용자 입력을 수신하는 사용자 입력부;를 더 포함하는, 모바일 디바이스.
  10. 제 8항에 있어서,
    상기 감지부는,
    상기 스타일러스 펜이 상기 모바일 디바이스에 근접하는지 여부를 감지하고,
    상기 제어부는,
    상기 스타일러스 펜이 상기 모바일 디바이스에 근접하면, 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경하는, 모바일 디바이스.
  11. 제 8항에 있어서,
    상기 제어부는,
    상기 어플리케이션의 실행이 종료되면, 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경하는, 모바일 디바이스.
  12. 제 1항에 있어서,
    상기 통신부는,
    상기 스타일러스 펜이 상기 모바일 디바이스로부터 분리되면,
    상기 모바일 디바이스와 상기 스타일러스 펜 사이에 통신 채널을 형성하도록 제어하고, 상기 통신 채널을 통하여 상기 제어 신호를 수신하는, 모바일 디바이스.
  13. 제 12항에 있어서,
    상기 감지부는,
    상기 스타일러스 펜이 상기 모바일 디바이스에 삽입되는지 감지하고,
    상기 제어부는,
    상기 스타일러스 펜이 상기 모바일 디바이스에 삽입되면, 상기 모바일 디바이스와 상기 스타일러스 펜 사이에 형성된 통신 채널을 종료시키고, 상기 제 1 제어 모드에서 제 2 제어 모드로 변경하는, 모바일 디바이스.
  14. 제 1항에 있어서,
    상기 제어부가 제 1 제어 모드로 동작 중인 경우,
    상기 제 1 제어 모드를 나타내는 아이콘을 표시하는 디스플레이부를 더 포함하는, 모바일 디바이스.
  15. 스타일러스 펜을 포함하는 모바일 디바이스의 동작 방법에 있어서,
    상기 스타일러스 펜이 상기 모바일 디바이스로부터 분리되는지 판단하는 단계;
    상기 모바일 디바이스와 분리된 스타일러스 펜으로부터 제어 신호를 수신하는 단계; 및
    상기 제어 신호에 응답하여, 상기 모바일 디바이스에서 실행 중인 어플리케이션의 적어도 하나의 동작을 수행하는 제 1 제어 모드로 동작하는 단계;
    를 포함하는, 방법.
  16. 제 15항에 있어서,
    상기 제어 신호는 제 1 제어 신호 및 제 2 제어 신호를 포함하고,
    상기 제 1 제어 모드로 동작하는 단계는,
    상기 제 1 제어 신호에 응답하여 상기 어플리케이션의 제 1 동작을 수행하고, 상기 제 2 제어 신호에 응답하여 상기 어플리케이션의 제 2 동작을 수행하는 단계를 포함하는, 방법.
  17. 제 16항에 있어서,
    상기 제 1 제어 신호는 상기 스타일러스 펜에 포함되는 버튼을 한번 클릭하는 입력에 대응하는 신호이고,
    상기 제 2 제어 신호는 상기 버튼을 더블 클릭하는 입력에 대응하는 신호인, 방법.
  18. 제 15항에 있어서,
    상기 스타일러스 펜으로 터치스크린을 터치하는 입력에 기초하여, 상기 어플리케이션의 적어도 하나의 동작을 수행하는 제 2 제어 모드로 동작하는 단계를 더 포함하는, 방법
  19. 제 18항에 있어서,
    상기 제 1 제어 모드 및 상기 제 2 제어 모드 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계를 더 포함하는, 방법.
  20. 제 18항에 있어서,
    상기 스타일러스 펜이 상기 모바일 디바이스에 근접하는지 여부를 감지하는 단계; 및
    상기 스타일러스 펜이 상기 모바일 디바이스에 근접하면, 상기 제 1 제어 모드에서 상기 제 2 제어 모드로 변경하는 단계를 더 포함하는, 방법.
PCT/KR2015/010429 2014-10-22 2015-10-02 스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법 WO2016064106A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/520,119 US10509492B2 (en) 2014-10-22 2015-10-02 Mobile device comprising stylus pen and operation method therefor
EP15853109.5A EP3211509B1 (en) 2014-10-22 2015-10-02 Mobile device comprising stylus pen and operation method therefor
US16/674,636 US11281313B2 (en) 2014-10-22 2019-11-05 Mobile device comprising stylus pen and operation method therefor

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN201410567542.7 2014-10-22
CN201410567542.7A CN104320579A (zh) 2014-10-22 2014-10-22 一种拍照装置及方法
CN201410823126.9 2014-12-25
CN201410823126.9A CN104461084B (zh) 2014-10-22 2014-12-25 一种控制装置及方法
KR1020150112723A KR102340795B1 (ko) 2014-10-22 2015-08-10 스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법
KR10-2015-0112723 2015-08-10

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/520,119 A-371-Of-International US10509492B2 (en) 2014-10-22 2015-10-02 Mobile device comprising stylus pen and operation method therefor
US16/674,636 Continuation US11281313B2 (en) 2014-10-22 2019-11-05 Mobile device comprising stylus pen and operation method therefor

Publications (1)

Publication Number Publication Date
WO2016064106A1 true WO2016064106A1 (ko) 2016-04-28

Family

ID=55761103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010429 WO2016064106A1 (ko) 2014-10-22 2015-10-02 스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법

Country Status (2)

Country Link
US (1) US11281313B2 (ko)
WO (1) WO2016064106A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020045947A1 (en) * 2018-08-27 2020-03-05 Samsung Electronics Co., Ltd. Electronic device to control screen property based on distance between pen input device and electronic device and method of controlling same

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10791172B2 (en) * 2016-07-22 2020-09-29 Tinker Pte. Ltd. Systems and methods for interacting with nearby people and devices
DE102018120760B4 (de) * 2018-07-12 2022-11-17 Tdk Electronics Ag Stiftförmiges Eingabe- und/oder Ausgabegerät und Verfahren zur Erzeugung eines haptischen Signals
JP7180160B2 (ja) * 2018-07-17 2022-11-30 富士フイルムビジネスイノベーション株式会社 表示装置及びプログラム
KR102498813B1 (ko) 2018-09-28 2023-02-13 삼성전자주식회사 스타일러스 펜과 페어링하기 위한 전자 장치 및 그에 관한 방법
KR20210017192A (ko) 2019-08-07 2021-02-17 삼성전자주식회사 디스플레이 및 센서를 포함하는 전자 장치
US11635874B2 (en) 2021-06-11 2023-04-25 Microsoft Technology Licensing, Llc Pen-specific user interface controls
CN113485580B (zh) * 2021-06-30 2024-04-02 青岛海信商用显示股份有限公司 显示设备、触控笔检测方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006036209A1 (en) * 2004-09-28 2006-04-06 Sony Ericsson Mobile Communications Ab Accessory device for mobile communication device
US20090000831A1 (en) * 2007-06-28 2009-01-01 Intel Corporation Multi-function tablet pen input device
US20110164000A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Communicating stylus
US20130335380A1 (en) * 2012-06-15 2013-12-19 Research In Motion Limited Stylus with control ring user interface
US20140125606A1 (en) * 2012-11-02 2014-05-08 Eun NAMKUNG Mobile terminal

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264734A (ja) 2003-03-04 2004-09-24 Canon Inc 携帯情報端末
US7102626B2 (en) 2003-04-25 2006-09-05 Hewlett-Packard Development Company, L.P. Multi-function pointing device
TW595775U (en) 2003-06-27 2004-06-21 Wen-Shiang Yue Portable wireless terminal device with wireless mouse stylus
KR100618287B1 (ko) 2004-08-24 2006-08-31 삼신이노텍 주식회사 블루투스를 이용한 펜타입의 휴대용 무선통신 단말기
US7486883B2 (en) 2005-06-01 2009-02-03 Tamrac, Inc. Radio remote control for photographic equipment
JP2007115045A (ja) 2005-10-20 2007-05-10 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
CN201000588Y (zh) 2007-01-04 2008-01-02 宇龙计算机通信科技(深圳)有限公司 手持终端的状态转换触发系统
KR101361857B1 (ko) 2007-08-24 2014-02-21 삼성전자주식회사 휴대단말에서 적외선을 이용한 촬영 장치 및 방법
TWI385694B (zh) 2007-11-07 2013-02-11 Htc Corp 可攜式電子裝置
KR20090131822A (ko) 2008-06-19 2009-12-30 김동주 스타일러스 펜
EP2228711A3 (en) * 2009-03-12 2014-06-04 Lg Electronics Inc. Mobile terminal and method for providing user interface thereof
US8811948B2 (en) * 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
US9247212B2 (en) * 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
CN201917881U (zh) 2011-01-21 2011-08-03 北京乐投科技有限公司 手写笔
US9395800B2 (en) * 2011-09-30 2016-07-19 Qualcomm Incorporated Enabling instant handwritten input on mobile computing devices
CN103139359A (zh) 2011-11-25 2013-06-05 上海晨兴希姆通电子科技有限公司 拍照系统和拍照方法
US20130201162A1 (en) 2012-02-05 2013-08-08 Ian Daniel Cavilia Multi-purpose pen input device for use with mobile computers
CN202617256U (zh) 2012-05-25 2012-12-19 李正良 一种蓝牙遥控式照相装置
KR101973634B1 (ko) 2012-08-23 2019-04-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20140168176A1 (en) 2012-12-17 2014-06-19 Microsoft Corporation Multi-purpose stylus for a computing device
US9766723B2 (en) 2013-03-11 2017-09-19 Barnes & Noble College Booksellers, Llc Stylus sensitive device with hover over stylus control functionality
US9189084B2 (en) 2013-03-11 2015-11-17 Barnes & Noble College Booksellers, Llc Stylus-based user data storage and access
US9367161B2 (en) 2013-03-11 2016-06-14 Barnes & Noble College Booksellers, Llc Touch sensitive device with stylus-based grab and paste functionality
US20140267078A1 (en) * 2013-03-15 2014-09-18 Adobe Systems Incorporated Input Differentiation for Touch Computing Devices
US8890855B1 (en) * 2013-04-04 2014-11-18 Lg Electronics Inc. Portable device and controlling method therefor
CN103279289A (zh) 2013-04-16 2013-09-04 广东欧珀移动通信有限公司 一种有线耳机控制相机拍照的方法及装置
CN103237169A (zh) 2013-04-16 2013-08-07 广东欧珀移动通信有限公司 一种蓝牙耳机控制相机拍照的方法及装置
CN203290347U (zh) 2013-06-20 2013-11-20 广东欧珀移动通信有限公司 一种具有蓝牙模块的钥匙吊饰

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006036209A1 (en) * 2004-09-28 2006-04-06 Sony Ericsson Mobile Communications Ab Accessory device for mobile communication device
US20090000831A1 (en) * 2007-06-28 2009-01-01 Intel Corporation Multi-function tablet pen input device
US20110164000A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Communicating stylus
US20130335380A1 (en) * 2012-06-15 2013-12-19 Research In Motion Limited Stylus with control ring user interface
US20140125606A1 (en) * 2012-11-02 2014-05-08 Eun NAMKUNG Mobile terminal

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020045947A1 (en) * 2018-08-27 2020-03-05 Samsung Electronics Co., Ltd. Electronic device to control screen property based on distance between pen input device and electronic device and method of controlling same
US11178334B2 (en) 2018-08-27 2021-11-16 Samsung Electronics Co., Ltd Electronic device to control screen property based on distance between pen input device and electronic device and method of controlling same
US11659271B2 (en) 2018-08-27 2023-05-23 Samsung Electronics Co., Ltd Electronic device to control screen property based on distance between pen input device and electronic device and method of controlling same

Also Published As

Publication number Publication date
US11281313B2 (en) 2022-03-22
US20200064933A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
WO2016064106A1 (ko) 스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법
WO2016052874A1 (ko) 영상과 관련되는 리마크 정보 제공 방법 및 그 단말
WO2013055089A1 (en) Method and apparatus for operating function in touch device
WO2016137272A1 (ko) 복수의 운영체제가 설치된 디바이스를 제어하는 방법 및 디바이스
WO2014021681A1 (en) Method and apparatus for alarm service using context awareness in portable terminal
WO2014157886A1 (en) Method and device for executing application
WO2016093506A1 (ko) 이동 단말기 및 그 제어 방법
WO2014104593A1 (en) Method of controlling portable device and portable device thereof
WO2017048076A1 (en) Display apparatus and method for controlling display of display apparatus
WO2016114444A1 (ko) 이동 단말기 및 이의 제어방법
WO2014088253A1 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
WO2012050248A1 (ko) 이동 단말기 및 그 제어 방법
WO2016190458A1 (ko) Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
WO2015083975A1 (en) Method of displaying pointing information and device for performing the method
WO2014092469A1 (en) Content playing apparatus, method for providing ui of content playing apparatus, network server, and method for controlling by network server
WO2014129822A1 (en) Apparatus and method for controlling a messenger service in a terminal
WO2017105018A1 (en) Electronic apparatus and notification displaying method for electronic apparatus
WO2015057013A1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
WO2016048019A1 (en) Method and device for outputting content and recording medium for executing the method
WO2018090822A1 (zh) 基于智能手表的移动终端相机控制方法及控制系统
WO2016089063A1 (en) Method and system for controlling device
WO2016089074A1 (en) Device and method for receiving character input through the same
WO2016137139A1 (en) Method and device for managing item
WO2014017784A1 (en) Content transmission method and system, device and computer-readable recording medium that uses the same
WO2018080152A1 (en) Portable device and method for controlling screen in the portable device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15853109

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15520119

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015853109

Country of ref document: EP