WO2024034812A1 - 획을 입력하기 위한 제스쳐를 이용하여 획에 대응하는 라인을 식별하기 위한 전자 장치 및 그 방법 - Google Patents

획을 입력하기 위한 제스쳐를 이용하여 획에 대응하는 라인을 식별하기 위한 전자 장치 및 그 방법 Download PDF

Info

Publication number
WO2024034812A1
WO2024034812A1 PCT/KR2023/007951 KR2023007951W WO2024034812A1 WO 2024034812 A1 WO2024034812 A1 WO 2024034812A1 KR 2023007951 W KR2023007951 W KR 2023007951W WO 2024034812 A1 WO2024034812 A1 WO 2024034812A1
Authority
WO
WIPO (PCT)
Prior art keywords
external object
display
electronic device
line
stroke
Prior art date
Application number
PCT/KR2023/007951
Other languages
English (en)
French (fr)
Inventor
곽태원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220107966A external-priority patent/KR20240020619A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024034812A1 publication Critical patent/WO2024034812A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the descriptions below relate to an electronic device and method for identifying a line corresponding to a stroke using a gesture for inputting a stroke.
  • Electronic devices are being developed to extract text from handwriting represented by strokes drawn by a user. For example, a user moves a finger, stylus, and/or digitizer in contact with the display of the electronic device, or moves a pointing device (e.g., mouse) connected to the electronic device to draw strokes representing handwriting. You can. From the strokes, the electronic device can identify letters such as the alphabet. Based on identifying one or more letters, the electronic device can identify text containing the one or more letters.
  • a pointing device e.g., mouse
  • an electronic device may include a display and a processor.
  • the processor may be configured, in response to identifying an external object being dragged on the display, to display a stroke based on the trajectory along which the external object is dragged.
  • the processor in response to identifying that the external object is touched within an area of a specified size within the display during a first period of time while identifying the external object as being dragged, is in association with the stroke. It may be configured to display a line.
  • the processor in response to identifying that the external object was touched within the area during a second time period after the first time period while identifying that the external object was dragged, is configured to: and may be configured to rotate the line based on the trajectory of the external object being dragged to another area.
  • the electronic device may perform all of the functions of displaying a stroke, obtaining a line based on the stroke, and changing the display of the line based on a single contact between the display and an external object. .
  • a method of an electronic device may include, in response to identifying an external object being dragged on a display in the electronic device, displaying a stroke based on a trajectory along which the external object is dragged.
  • the method further includes, in response to identifying that the external object has been touched within an area of a specified size within the display during a first period of time, while identifying that the external object has been dragged, displaying a line in association with the stroke. may include.
  • the method in response to identifying that the external object is touched within the area during a second time period after the first time period, while identifying that the external object has been dragged, the area after the second time period. It may include an operation of rotating the line based on the trajectory of the external object dragged to another area different from the above.
  • an electronic device may include a display and a processor.
  • the processor may be configured to display a stroke based on a trajectory along which the external object is dragged based on identifying the external object being dragged on the display.
  • the processor is responsive to identifying that the external object is in contact within an area of a specified size within the display during a first period of time, while contact is maintained between the external object associated with the stroke and the display.
  • the processor may be configured to receive input indicating, within the state, to change the display of the line based on the external object contacted on the line in the display.
  • the processor may be configured to change the display of the line based on the received input.
  • a method of an electronic device may include an operation of identifying an external object being dragged on a display in the electronic device and displaying a stroke based on a trajectory along which the external object is dragged.
  • the method is in response to identifying that the external object is in contact within an area of a specified size within the display during a first period of time, while contact is maintained between the external object associated with the stroke and the display.
  • the method may include receiving, within the state, an input indicating to change the display of the line based on an external object that has contacted the line in the display.
  • the method may include changing the display of the line based on the received input.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 illustrates an example of an operation performed by an electronic device based on the motion of an external object contacted on a display of the electronic device to input a stroke, according to an embodiment.
  • Figure 3 is a block diagram of an electronic device, according to one embodiment.
  • FIGS. 4A, 4B, and 4C illustrate an operation in which an electronic device displays a stroke and/or line based on the motion of an external object contacted on the display, according to an embodiment. An example is shown.
  • FIG. 5 illustrates an example of an operation in which an electronic device rotates a line displayed in a display based on the motion of an external object in contact with the display, according to an embodiment.
  • FIGS. 6A, 6B, 6C, and 6D show an electronic device adjusting the shape and/or color of lines displayed in the display based on the motion of an external object in contact with the display, according to one embodiment. An example of operation is shown.
  • FIG. 7 illustrates an example of operations performed by an electronic device based on identifying an external object contacted on a display, according to an embodiment.
  • Figure 8 shows an example of operations performed by an electronic device, according to an embodiment.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., a second) component, it means that the component is connected to the other component. It may be connected directly to the component or may be connected through another component (e.g., a third component).
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a second network 199.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band), for example, to achieve a high data rate.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, connected to the plurality of antennas by the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band), And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band), And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
  • FIG. 2 illustrates an operation performed by the electronic device 101 based on the motion of an external object 270 contacted on the display 210 of the electronic device 101 to input a stroke, according to an embodiment.
  • the electronic device 101 of FIG. 2 may be an example of the electronic device 101 of FIG. 1 .
  • the electronic device 101 may be a terminal owned by a user.
  • Terminals include, for example, personal computers (PCs) such as laptops and desktops, smartphones, smartpads, tablet PCs, smartwatches, and/or head-mounted devices (HMDs). ) may include smart accessories such as
  • PCs personal computers
  • HMDs head-mounted devices
  • the electronic device 101 may include a display 210. According to one embodiment, the electronic device 101 can visualize handwriting using the display 210.
  • Handwriting may include one or more lines drawn on one side by the user to convey linguistic meaning. The embodiment is not limited thereto, and the handwriting may include one or more lines drawn on one side to convey the user's intention (e.g., the user's non-verbal meaning) that is different from the verbal meaning.
  • the one or more lines included in handwriting may be referred to as strokes.
  • the electronic device 101 may obtain information about one or more strokes included in the handwriting by digitally converting analog handwriting.
  • the information may include the location and/or order of each of the one or more strokes.
  • the electronic device 101 may, based on a pointing device such as a fingertip, a stylus, a digitizer, and/or a mouse for adjusting the position of a cursor, be in contact with the display 210, It can receive input whose strokes represent a picture.
  • a pointing device such as a fingertip, a stylus, a digitizer, and/or a mouse for adjusting the position of a cursor
  • FIG. 2 an external object 270 that is different from the electronic device 101 is shown, according to one embodiment.
  • External object 270 may include a stylus and/or digitizer.
  • a stroke may be a trajectory dragged by an external object 270, including the fingertip, the stylus, and/or the digitizer, while the external object 270 is in contact with the display 210; and/or may be a path.
  • a stroke may be the trajectory and/or path of a cursor and/or mouse pointer moved within the display 210 by an external object 270 that is different from the electronic device 101 .
  • an operation of the electronic device 101 acquiring the information and media content including the information based on a user's gesture of drawing at least one stroke is described with reference to FIGS. 4A to 4C. do.
  • media content may include information generated based on interactions between a user and the electronic device 101 .
  • Media content may include information for reconstructing handwriting, shapes, text, images, video, and/or audio received from the user.
  • media content may be referenced as a document, and/or note.
  • information representing one or more strokes drawn by a user may be included within media content.
  • media content may include images, video, and/or audio embedded by the user.
  • Reconstructing media content may include the electronic device 101 visualizing information included in the media content within the display 210 .
  • the state in FIG. 2 is a state in which a designated application (e.g., a note application) is executed by the electronic device 101 and obtains information related to handwriting from the user and/or media content including the information. may include.
  • the electronic device 101 may display a navigation bar for controlling applications executed by the electronic device 101 in the area 220 of the display 210 .
  • the electronic device 101 may display a visual object 230 for replacing the screen displayed on the display 210 with another screen that is different from the screen.
  • the electronic device 101 may display the name and/or title assigned to the media content in the area 240 of the display 210.
  • the electronic device 101 may execute a function for adding text to media content displayed through the area 250 based on the visual object 261.
  • electronic device 101 may display a software keyboard within display 210 .
  • the electronic device 101 may execute a function for adding an image and/or video to media content displayed through the area 250 based on the visual object 263 .
  • the electronic device 101 may execute a function for adding audio to media content displayed through the area 250, based on the visual object 264.
  • the electronic device 101 may use the visual object 262 to execute a function for adding information related to handwriting in media content displayed through the area 250. After receiving an input indicating selection of a visual object 262, the electronic device 101 determines within the area 250, based on the trajectory of the external object 270 that touches the area 250, the location of the trajectory. At least one stroke having a shape can be displayed.
  • the electronic device 101 may receive an input for drawing at least one stroke based on the trajectory of the external object 270 contacted on the area 250 of the display 210. For example, in response to identifying an external object 270 being dragged on the display 210, the electronic device 101 may display a stroke 282 based on the trajectory along which the external object 270 is dragged. You can. The electronic device 101 is based on the path of the external object 270 within the area 250, based on information indicating the time and/or location at which the external object 270 was contacted on the area 250. At least one stroke may be displayed.
  • the electronic device 101 displays a stroke 282 based on an external object 270 that moves along a curved trajectory from point A to point B within the area 250.
  • an external object 270 that moves along a curved trajectory from point A to point B within the area 250.
  • the electronic device 101 may trigger a plurality of events related to contact between the external object 270 and the display 210. For example, based on identifying the external object 270 contacted on point A, the electronic device 101 detects contact between the external object 270 and the display 210, such as a touch down. The occurrence of a designated event to notify the initiation of can be identified.
  • the electronic device 101 may identify repeated occurrences of a designated event to indicate that the external object 270 is being dragged, such as a touch move. You can. Based on identifying that the external object 270 is separated from the display 210, the electronic device 101 signals the end of contact between the external object 270 and the display 210, such as by touching up. The occurrence of a specified event can be identified. Referring to FIG. 2 , the stroke 282 may be extended along the trajectory along which the external object 270 is dragged based on the repeated occurrence of a designated event, such as a touch move.
  • the shape of the stroke 282 may correspond to the trajectory of the external object 270 contacted on the display 210 being dragged from point A to point B.
  • the thickness of the stroke 282 may indicate the pressure and/or tilt of the external object 270 in contact with the display 210.
  • the electronic device 101 may support one or more functions related to the stroke 282 added based on the trajectory along which the external object 270 is dragged.
  • the electronic device 101 may receive an input for selectively executing one or more functions based on the motion of an external object 270 contacted on the display 210.
  • the one or more functions may include the ability to move the stroke 282.
  • the one or more functions may include the function of displaying a shape based on the stroke 282.
  • the shape may include a specific category of vector graphic object represented by a stroke 282.
  • the one or more functions may include rotating the stroke 282.
  • the one or more functions may include obtaining text represented by stroke 282.
  • the electronic device 101 obtains a shape represented by the stroke 282 and/or a line representing the shape from the stroke 282 based on the motion of the external object 270. can do. For example, while the electronic device 101 displays the stroke 282 based on the external object 270 dragged from point A to point B, the external object 270 maintains contact on point B. can be identified. Based on identifying that the external object 270 maintains contact on point B for more than a specified period of time (e.g., 500 milliseconds), the electronic device 101 displays a line representing the stroke 282. The occurrence of a designated event (e.g., a hold motion event) can be identified.
  • a designated event e.g., a hold motion event
  • the electronic device 101 may display the line 284 in association with the stroke 282 based on the occurrence of a hold motion event.
  • the electronic device 101 may display a line 284 within the area 252 where the stroke 282 is displayed.
  • An operation in which the electronic device 101 acquires a line 284 from a stroke 282 based on a designated event, such as a touch move, according to one embodiment, is described with reference to FIGS. 4A and 4B.
  • the electronic device 101 displays strokes 282 based on an external object 270 dragged from point A to point B. Based on the object 270, the stroke 282 can be replaced with a line 284. For example, while contact is maintained between the external object 270 associated with the stroke 282 and the display 210, the external object 270 is of a specified size within the display 210 during the first period of time. In response to identifying contact within the area, the electronic device 101 may display a line 284 to represent a shape based on the stroke 282.
  • the electronic device 101 may change the line 284 based on the trajectory of the external object 270 contacted on the display 210. While contact is maintained between the display 210 and the external object 270 that has performed the motion for drawing the stroke 282, the electronic device 101 touches the line 284 within the display 210. Based on the external object 270, an input indicating changing the display of the line 284 may be received. Based on the received input, electronic device 101 may change the display of line 284. For example, based on the trajectory of the external object 270 after displaying the line 284, the electronic device 101 may rotate the line 284. Referring to FIG.
  • the electronic device 101 may rotate the line 284 based on point C, which is a rotation axis related to the line 284.
  • line 286 may be the result of rotating line 284 based on the trajectory of external object 270 around point C.
  • the operation of the electronic device 101 to rotate the line 284 based on the trajectory of the external object 270 is described with reference to FIGS. 4B to 4C and/or 5.
  • An operation of the electronic device 101 to change the thickness, color, and/or size of the line 284 based on the trajectory of the external object 270 is described with reference to FIGS. 6A to 6D.
  • the electronic device 101 adds a stroke 282 to the stroke 282 based on a single contact of the external object 270 on the display 210. Acquisition of the based line 284 and rotation of the line 284 can be performed sequentially. Based on the movement and/or hold of the external object 270 included in the single contact, the electronic device 101 may display different signals based on the point of the external object 270 touched on the display 210. Functions can be executed. Because the electronic device 101 performs other functions (e.g., displaying and/or rotating a line 284) that are different from the function of displaying a stroke 282 based on a single contact of an external object 270, The electronic device 101 can improve the user experience related to drawing based on the external object 270.
  • functions e.g., displaying and/or rotating a line 284
  • Figure 3 is a block diagram of an electronic device 101, according to one embodiment.
  • the electronic device 101 of FIG. 3 may be an example of the electronic device 101 of FIG. 2 .
  • the electronic device 101 and the display 210 of FIG. 2 may include the electronic device 101 and the display 210 of FIG. 3 .
  • the electronic device 101 may include at least one of a processor 120, a memory 130, or a display 210.
  • the processor 120, memory 130, and display 210 may be electrically and/or operatively connected to each other by an electronic component such as a communication bus 305. and/or operably coupled with each other).
  • an electronic component such as a communication bus 305. and/or operably coupled with each other.
  • hardware components are operatively combined so that a second hardware component is controlled by a first hardware component among the hardware components, such that a direct connection or an indirect connection between the hardware components is made by wire or wirelessly. It can mean established.
  • the embodiment is not limited thereto, and some of the hardware components shown in FIG.
  • SoC SoC
  • the electronic device 101 may include only some of the hardware components shown in FIG. 3 .
  • the processor 120 of the electronic device 101 may include hardware components for processing data based on one or more instructions.
  • Hardware components for processing data may include, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), and/or a central processing unit (CPU).
  • ALU arithmetic and logic unit
  • FPU floating point unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • the number of processors 120 may be one or more.
  • the processor 120 may have the structure of a multi-core processor, such as a dual core, quad core, or hexa core.
  • the processor 120 of FIG. 3 may include the processor 120 of FIG. 1 .
  • the memory 130 of the electronic device 101 may include hardware components for storing data and/or instructions input and/or output to the processor 120.
  • Memory 130 may include, for example, volatile memory such as random-access memory (RAM), and/or non-volatile memory such as read-only memory (ROM). You can.
  • Volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • Non-volatile memory includes, for example, at least one of programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, and embedded multi media card (eMMC). can do.
  • the memory 130 of FIG. 3 may include the memory 130 of FIG. 1 .
  • the display 210 of the electronic device 101 displays information visualized to the user (e.g., at least one of the screens of FIGS. 4A to 4C, 5, and/or 6A to 6D). one) can be output.
  • the display 210 may be controlled by the processor 120 to output visualized information to the user.
  • the display 210 may include a flat panel display (FPD), a flexible display, and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LEDs).
  • the LED may include an organic LED (OLED).
  • the display 210 of the electronic device 101 includes a sensor (e.g., touch sensor panel (TSP)) for detecting an external object (e.g., the external object 270 of FIG. 2) on the display 210. ))) may be included.
  • a sensor e.g., touch sensor panel (TSP)
  • TSP touch sensor panel
  • the electronic device 101 may detect an external object that is in contact with the display 210 or floating on the display 210 .
  • the electronic device 101 selects a specific visual object, from among the visual objects being displayed within the display 210, corresponding to the location on the display 210 of the external object. Functions related to objects can be executed.
  • one or more instructions indicating operations and/or operations to be performed on data by the processor 120 may be stored.
  • a set of one or more instructions may be referred to as firmware, operating system, process, routine, sub-routine and/or application.
  • the electronic device 101 and/or the processor 120 executes a set of a plurality of instructions distributed in the form of an operating system, firmware, driver, and/or application. , at least one of the operations of FIG. 7, and/or FIG. 8 may be performed.
  • the fact that an application is installed on the electronic device 101 means that one or more instructions provided in the form of an application are stored in the memory 130 of the electronic device 101, and the one or more applications are installed in the electronic device 101. This may mean stored in a format executable by the processor 120 (eg, a file with an extension specified by the operating system of the electronic device 101).
  • examples of applications stored in the memory 130 include a note application 310, a stroke recognizer 320, a shape recognizer 330, and/or a shape converter ( converter) 340 is shown.
  • the note application 310 of FIG. 3 may be application software for displaying a user interface (UI) for executing functions related to handwriting on the display 210.
  • UI user interface
  • the embodiment is not limited thereto.
  • the stroke recognizer 320, the shape recognizer 330, and/or the shape converter 340 may be included in the note application 310.
  • the stroke recognizer 320, the shape recognizer 330, and/or the shape converter 340 are in a second state that is distinct from the first state visible to the user, such as a background process and/or a daemon. It can be executed in this state.
  • the stroke recognizer 320 of FIG. 3 may be software for acquiring at least one stroke from the trajectory of an external object contacted on the display 210. Based on the execution of the stroke recognizer 320, the electronic device 101 may obtain information representing the at least one stroke.
  • the information includes a list of coordinates (e.g., a dot list) representing the points of the external object on the display 210 measured along a specified period (e.g., 8.3 milliseconds), the trajectory of the external object corresponding to a single stroke. can do.
  • the electronic device 101 can identify the shape corresponding to the stroke indicated by the information obtained based on the stroke recognizer 320. there is. For example, based on identifying shapes similar to strokes recognized by stroke recognizer 320, among specified shapes (e.g., straight lines, curves, triangles, squares, pentagons, hexagons, circles, and/or hearts). , the electronic device 101 can identify the figure corresponding to the stroke.
  • the shape recognizer 330 may include a neural network trained to classify a stroke drawn by a user as one of the specified shapes.
  • the electronic device 101 identifies the stroke received from the user based on the UI provided through the note application 310 by the shape recognizer 330, based on the execution of the shape converter 340. It can be changed to a line representing a figure (e.g., line 284 in FIG. 2).
  • the line may include a vector graphic object represented by a formula related to the shape and one or more parameters included in the formula.
  • the electronic device 101 selectively uses the stroke recognizer 320, the shape recognizer 330, and/or the shape converter 340 based on the motion of an external object contacted on the display 210. By executing, one or more functions indicated by the motion can be executed. For example, the electronic device 101 may, based on a single contact between an external object and the display 210, add a stroke based on the trajectory of the external object, add a line based on the stroke, and add the line. All rotations can be performed.
  • FIGS. 4A to 4C show that, according to one embodiment, the electronic device 101 creates a stroke and/or line based on the motion of an external object 270 contacted on the display 210.
  • An example of a display operation is shown.
  • the electronic device 101 of FIGS. 4A to 4C may be an example of the electronic device 101 of FIG. 2 .
  • the electronic device 101 and the display 210 of FIG. 2 may include the electronic device 101 and the display 210 of FIGS. 4A to 4C.
  • FIGS. 4A to 4C example operations performed by the electronic device 101 based on the motion of the external object 270 within the time period in which the external object 270 is in contact with the display 210 are shown. Shown in chronological order. For example, states 410, 420, and 430 of FIGS. 4A-4C represent the state of electronic device 101 at different times within a single contact between external object 270 and display 210. ) may be in the state.
  • the state 410 of FIG. 4A is, according to one embodiment, the electronic device 101 creates a stroke ( This may be an example of a state displaying 412).
  • the electronic device 101 may repeatedly identify the location of the external object 270 contacted on the display 210 at designated periods. The specified period may include 120 Hz, and/or 8.33 milliseconds, as a non-limiting example.
  • a designated event e.g., a touchdown event
  • the generated specified event is based on the execution of the note application 310 of FIG. 3 and/or the stroke recognizer 320 by the electronic device 101, in the trajectory of the external object 270 within the area 250. Based on this, displaying at least a portion of the stroke 412 may be triggered.
  • the electronic device 101 determines the contact A designated event (e.g., touch move event) related to maintenance may occur.
  • the designated event may be generated based on identifying whether an external object 270 has been contacted on the display 210 .
  • the electronic device 101 may repeatedly identify whether an external object 270 has touched the display 210 based on a designated cycle.
  • the specified event may be processed by the stroke recognizer 320 of FIG. 3, which is executed by the electronic device 101.
  • the electronic device 101 may obtain information (eg, a dot list) for displaying a stroke 412 in the display 210 based on the occurrence of the specified event.
  • the electronic device 101 may accumulate the coordinates of the external object 270 contacted on the display 210 based on a designated period.
  • the electronic device 101 creates a stroke 412 starting from the point A. It can be extended gradually. For example, within the time interval from the initial state to the state 410, the stroke 412 displayed in the display 210 may track the external object 270. The electronic device 101 may track the location of the external object 270 in contact with the display 210 until it identifies that the external object 270 is separated from the display 210 . At this point, the electronic device 101 may generate a designated event (eg, a touch up event) to notify that the external object 270 is separated from the display 210.
  • a designated event eg, a touch up event
  • the designated event may be processed based on the execution of the stroke recognizer 320 of FIG. 3.
  • the electronic device 101 displays the stroke 412 of FIG. 3 Based on the execution of the recognizer 320, it can be identified that the motion for inputting the stroke 412 is complete.
  • the electronic device 101 may add data indicating that the external object 270 is separated from the B point to the information for displaying the stroke 412.
  • a single contact between external object 270 and display 210 may result in the sequential occurrence of one touchdown event, one or more touch move events, and one touch up event.
  • the designated time interval may include a time interval (e.g., a sliding window formed based on the current time) between the current time and a past time prior to a preset duration, such as about 500 milliseconds.
  • the length of the designated period may be longer than or equal to a designated period during which the electronic device 101 repeatedly identifies the location of the external object 270.
  • the distribution of the location of the external object 270 may include coordinates of the external object 270 repeatedly identified by the electronic device 101 based on a designated period. The coordinates may be identified by the electronic device 101 based on repeated occurrences of designated events, such as touch move events.
  • the electronic device 101 determines the location (within state 410, of point B) of the external object 270 touched on the display 210. ) by comparing the area 414 formed based on the distribution of the position of the external object 270 contacted on the display 210 within the designated time interval, and It is possible to identify whether contact was made within (414).
  • Region 414 may be centered at point B and have a specified size (e.g., 16 density-independent pixels (dp) ⁇ 16 dp, 80 pixels ⁇ 80 pixels, and/or 8 pixels ⁇ 8 pixels). The size of the area 414 may be determined in advance to identify the hold of the external object 270 in contact with the display 210 .
  • the size of area 414 may be related to the subtle motion of the user holding the external object 270.
  • the region 414 may be formed based on the location of the external object 270 contacted on the display 210 to identify a pause in drag by the external object 270. You can.
  • electronic device 101 may determine region 414 and the coordinates of an external object 270 repeatedly identified during a specified time interval associated with state 410. distribution can be obtained. Referring to FIG. 4A, a histogram 414-1 showing the x-axis distribution of the coordinates, and a histogram 414-2 showing the y-axis distribution of the coordinates are illustrated. According to one embodiment, the electronic device 101 may identify whether the distribution of the coordinates, visualized as histograms 414-1 and 414-2, has a Gaussian distribution.
  • a Gaussian distribution may mean that, as in example histograms 414-1 and 414-2, the coordinates are centered around a particular value and/or coordinate and are concentrated in an area below a specified standard deviation. For example, when the external object 270 is dragged based on the user's intention to draw the stroke 412 during a specified time interval, the coordinates of the external object 270 that the electronic device 101 identifies during the time interval Their distribution may have a distribution different from the Gaussian distribution.
  • the distribution of coordinates may have a Gaussian distribution centered on a specific point, such as the example histograms 414-1 and 414-2 of FIG. 4A.
  • the specific point may be the midpoint of the area 414, or may be another point within the area 414 that is different from the midpoint.
  • the electronic device 101 determines the distribution of the coordinates to be Gaussian based on the median value and/or standard deviation of the coordinates of the external object 270 tracked during a specified time period within the area 414. It is possible to identify whether or not there is a distribution.
  • the electronic device 101 determines that the external Hold motion of the object 270 can be detected. Based on detecting the hold motion, the electronic device 101 may generate a designated event (e.g., a hold motion event). The designated event may be processed by the shape recognizer 330 and/or shape converter 340 of FIG.
  • the electronic device 101 may identify the figure represented by the stroke 412 based on the occurrence of the specified event.
  • the specified event may be generated by an input indicating that a line is displayed based on the transformation of the stroke 412.
  • a line may be displayed in association with the stroke.
  • the electronic device 101 determines that an external object 270 is contacted within the area 414 to identify a pause in drag by the external object 270 during the designated time period.
  • the line may be displayed.
  • the electronic device 101 distributes the coordinates of the external object 270 in contact with the display 210 in order to more accurately identify whether the motion of the external object 270 in contact with the display 210 is maintained. can be compared to the Gaussian distribution.
  • an example state 420 in which the electronic device 101 displays a line 422 based on identifying the distribution of coordinates of an external object 270 that has a Gaussian distribution within the state 410. is shown.
  • the state 420 may include a state of the electronic device 101 entered by the motion of the external object 270 maintained on point B while the contact of the external object 270 first contacted on point A is maintained. You can.
  • the electronic device 101 may enter state 420 within state 410 of FIG. 4A based on the occurrence of a designated event (e.g., a hold motion event) associated with point B.
  • a designated event e.g., a hold motion event
  • the electronic device 101 displays the stroke 412 based on the trajectory of the external object 270 (e.g., the state 410 in FIG. 4A) and displays the area for a specified time period. Based on identifying the external object 270 contacted within 414 , the line 422 representing the shape associated with the stroke 412 may be displayed. In the state 420 of FIG. 4B, based on identifying that a straight line is expressed by the stroke 412, the electronic device 101 may display a line 422 having the shape of the straight line. Within the state 420 for displaying the line 422 , the electronic device 101 may at least temporarily stop displaying the stroke 412 within the area 250 of the display 210 .
  • the electronic device 101 may execute different functions based on the motion of the external object 270 . For example, based on identifying that external object 270 is separated from point B, electronic device 101 may display line 422 within area 250 of display 210 . Based on the external object 270 separated from point B, the electronic device 101 can identify an input indicating converting the stroke 412 of FIG. 4A into a line 422. Meanwhile, based on identifying that the external object 270 is dragged to another point different from point B, the electronic device 101 may stop displaying the line 422. Based on the external object 270 being dragged to another point, the electronic device 101 may resume displaying the stroke 412 of FIG. 4A.
  • the electronic device 101 may extend the displayed stroke 412 again.
  • the electronic device 101 may extend the stroke 412 toward point C.
  • the electronic device 101 may identify an input indicating extending the stroke 412 of FIG. 4A.
  • electronic device 101 may execute a function to rotate line 422 . For example, based on identifying a foreign object 270 that has been contacted for more than a specified period of time (e.g., 2000 milliseconds) on point B within state 420, electronic device 101 may The line 422 can be rotated based on the trajectory of . The operation of the electronic device 101 identifying the external object 270 maintained on point B may be performed based at least on the Gaussian distribution, described above with reference to FIG. 4A.
  • a specified period of time e.g. 2000 milliseconds
  • the electronic device 101 may enter a designated mode for rotating the line 422 . Based on entering the designated mode, the electronic device 101 may output feedback such as vibration.
  • a state 430 is shown after the external object 270 is in contact with point B for more than a specified period and then dragged from point B to point C.
  • the electronic device 101 enters a designated mode for rotating the line 422 based on the external object 270 that has been in contact with the B point for more than a designated period, and then the external object 270 ) can be rotated based on the trajectory of the line 422.
  • the electronic device 101 can rotate the line 422 using point A, which is the starting point of the line 422, as the rotation axis.
  • the electronic device 101 While rotating the line 422, the electronic device 101 displays a visual object (e.g., a visual object rotated along the trajectory of the external object 270 based on the dashed line) to guide the rotation of the line 422. can do.
  • a visual object e.g., a visual object rotated along the trajectory of the external object 270 based on the dashed line
  • electronic device 101 may change the display of line 422 based on the displayed visual object.
  • point C in display 210 where external object 270 is contacted may correspond to the endpoint of line 422 .
  • the angle by which the line 422 is rotated by the trajectory of the external object 270 is displayed in the display 210. It can be displayed. The angle may be displayed based on a visual object 432, such as a pop-up window, displayed overlaid on area 250 of display 210. Referring to FIG. 4C , within the visual object 432, the electronic device 101 may display a numerical value indicating the angle at which the line 422 is rotated.
  • the electronic device 101 may execute different functions based on the motion of the external object 270. For example, based on identifying an external object 270 that is separate from point C, the electronic device 101 may maintain displaying the rotated line 422 based on the state 430 . Based on the external object 270 being separated from point C within state 430 , the electronic device 101 may receive input indicating completion of the change in line 422 . Meanwhile, based on identifying an external object 270 that persists for more than a specified period (e.g., 500 milliseconds) on a specific point (e.g., point C), the electronic device 101 displays the line 422. It may stop and enter a state (e.g., state 410 in FIG. 4a) that displays a stroke (e.g., stroke 412 in FIG. 4a) based on the trajectory of the external object 270.
  • a specified period e.g. 500 milliseconds
  • the electronic device 101 creates a stroke 412 and/or a line 422 based on the motion of an external object 270 contacted on point A. It can be displayed.
  • the electronic device 101 may display a stroke 412 having the shape of the trajectory based on the trajectory of the external object 270 dragged from point A.
  • the electronic device 101 may replace the stroke 412 with a line 422 based on the external object 270 contacted over a first time period on a specific point (eg, point B).
  • the electronic device 101 may determine the location of the external object 270 based on the trajectory of the external object 270 after the second time period. , line 422 can be rotated. Referring to FIG. 4C, the electronic device 101 may rotate the line 422 based on the distance between point B and point C. If the external object 270 additionally stays on the specific point for a third time period after the second time period, the electronic device 101 may restore the stroke 412 that was displayed before the line 422. . After restoring the stroke 412 based on the third time period, the electronic device 101 may extend the restored stroke 412 based on the trajectory of the external object 270.
  • the electronic device 101 selectively displays a stroke 412 and/or a line 422 based on a single contact between the display 210 and an external object 270. It can be displayed as .
  • the electronic device 101 may receive an input to rotate the line 422 based on the single contact.
  • the electronic device 101 draws a line 422 based on the motion of an external object 270 contacted on the display 210 in order to draw a stroke 412.
  • An example of operations that rotate ) is described.
  • FIG. 5 illustrates an operation of the electronic device 101 to rotate the line 284 displayed on the display 210 based on the motion of an external object 270 in contact with the display 210, according to an embodiment.
  • the electronic device 101 of FIG. 5 may be an example of the electronic device 101 of FIG. 2 .
  • the electronic device 101 and the display 210 of FIG. 2 may include the electronic device 101 and the display 210 of FIG. 5 .
  • the electronic device 101 moves the area 250 of the display 210 based on the external object 270 that is stopped on point B for more than a specified period of time.
  • a state 510 is shown with a line 284 inside.
  • the shape of the line 284 may correspond to the shape of the trajectory of the external object 270 dragged from point A to point B.
  • the electronic device 101 may display an ellipse represented by the trajectory of the external object 270 dragged from point A to point B based on the line 284.
  • the display of the line 284 from the trajectory of the external object 270 by the electronic device 101 may be performed based on the operation described above with reference to FIG. 4A. For example, the electronic device 101 may determine a line, such as portion 512 of FIG. (284) can be displayed.
  • the electronic device 101 is based on identifying an external object 270 that is stationary for more than a specified period of time on point B, within state 510, based on the trajectory of the external object 270.
  • the line 270 can be rotated.
  • the electronic device 101 pivots the line 284, or within the portion formed by the line 284.
  • the rotation axis is the starting point (e.g., point A) or the end point (e.g., point B) of the stroke represented by the line 284, or the center point (e.g., point B) of the figure delimited by the line 284. It may correspond to any one of the points C, which are the centers of the ellipses separated by the line 284.
  • portion 512 after the electronic device 101 rotates line 284 based on an external object 270 dragged from point B to point P within state 510.
  • Fields 520, 530, and 540 are shown.
  • Portion 512 may include a portion of display 210 in which line 284 is displayed.
  • Each of the states 520, 530, and 540 of the portion 512 may include different states in which the electronic device 101 rotates the line 284 by different rotation axes.
  • the electronic device 101 uses point C, which is the center of the ellipse delimited by line 284, as the axis of rotation, and based on the external object 270 dragged from point B to point P, line 284 ) can be rotated.
  • Line 284-1 in state 520 may represent line 284 rotated by external object 270 dragged to point P.
  • the electronic device 101 may rotate the line 284 using point A, which is the starting point of the trajectory of the dragged external object 270, as the rotation axis to display the line 284.
  • Line 284-2 in state 530 may represent line 284 rotated by external object 270 dragged from point B to point P.
  • the electronic device 101 can rotate line 284 based on an external object 270 on point P, with point B, which is the end point of the stroke corresponding to line 284, as the rotation axis. there is.
  • Line 284-3 in state 540 may indicate the result of the electronic device 101 rotating line 284 based on the external object 270.
  • the electronic device 101 may display and even rotate the line 284 based on the motion of the external object 270 contacted on the display 210. .
  • the electronic device 101 can perform the display and rotation of the line 284 by a single contact between the display 210 and the external object 270 .
  • the electronic device 101 rotates the line 284 based on the trajectory and/or position of the external object 270, within the state 510, corresponding to the line 284. At least one of the center point of the figure, the start or end point of the stroke corresponding to the line 284 can be set as the rotation axis.
  • the electronic device 101 supports inputting a stroke, displaying, and/or rotating a line 284 corresponding to the stroke, based on the single contact, thereby creating a user experience associated with the single contact. can be strengthened.
  • a stroke displaying, and/or rotating a line 284 corresponding to the stroke, based on the single contact.
  • the electronic device 101 may receive an input indicating rotation of the figure displayed in the area 250 based on a hold motion event for the figure.
  • the function that the electronic device 101 executes based on the trajectory of the external object 270 is not limited to the function of rotating the line 284 having a shape related to the trajectory.
  • FIGS. 6A to 6D an example of an operation in which the electronic device 101 changes the display of the line 284 based on the trajectory of the external object 270 according to an embodiment is described. .
  • FIGS. 6A to 6D show lines 612, 622, and 632) shows an example of an operation to adjust the shape and/or color.
  • the electronic device 101 of FIGS. 6A to 6D may be an example of the electronic device 101 of FIG. 2 .
  • the electronic device 101 and the display 210 of FIG. 2 may include the electronic device 101 and the display 210 of FIGS. 6A to 6D.
  • the electronic device 101 displays different lines 612, 622, and 632 based on the trajectory of the external object 270 in different states 610. 620, 630) are shown as examples.
  • the lines 612, 622, 632 in FIGS. 6A to 6D represent the shapes of the figures represented by the strokes indicated in the area 250 by different trajectories of the external object 270 with point B as the end point. You can have it.
  • line 612 in state 610 of FIG. 6A is based on identifying that the shape represented by the first trajectory of external object 270 with point B as its end point corresponds to a star, e.g. It can be displayed by device 101.
  • 6B is based on identifying that the shape represented by the second trajectory of external object 270 with point B as an end point corresponds to a heart, e.g. It can be displayed by device 101.
  • line 632 in state 630 of FIG. 6C is based on identifying that the shape represented by the third trajectory of external object 270 with point B as an endpoint corresponds to a square, e.g. It can be displayed by device 101.
  • the electronic device 101 displays a line (e.g., FIGS. 6A to 6A) based on an external object 270 held on a specific point (e.g., point B) on the display 210, such as a hold motion event.
  • a mode for changing the display of lines 612, 622, and 632 in FIG. 6C can be entered.
  • the mode may include a mode for rotating the line, as described above with reference to FIGS. 4A-4C and/or FIG. 5 .
  • the mode may include a mode for adjusting the color of the line, which will be described later with reference to state 610 of FIG. 6A.
  • the mode may include a mode for adjusting the thickness of the line, which will be described later with reference to state 620 of FIG. 6B.
  • the mode may include a mode for adjusting the size of a figure represented by a line, which will be described later with reference to state 630 of FIG. 6C.
  • the electronic device 101 may select a mode from among the above-described modes based on the occurrence of the hold motion event and based on an option selected by the user.
  • the electronic device 101 may display a line 612 from the stroke drawn by the external object 270. You can. According to one embodiment, as the external object 270 is continuously fixed on the point B, the electronic device 101 may display a visual object 614 for adjusting the color of the line 612. According to one embodiment, the visual object 614 may have the form of a pop-up window that is displayed overlapping on the area 250 of the display 210. According to one embodiment, the electronic device 101 may display a list of a specified number of colors within the visual object 614. Referring to FIG.
  • the electronic device 101 creates a square shape filled with each of the specified number of colors along a specified direction (e.g., the horizontal direction of the screen displayed within the display 210) within the visual object 614.
  • a specified direction e.g., the horizontal direction of the screen displayed within the display 210
  • An example of displaying visual objects is shown. However, the embodiment is not limited thereto.
  • the electronic device 101 changes the color of the line 612 based on the trajectory of the external object 270 being dragged to another point different from point B. You can. For example, the electronic device 101 may determine the trajectory of the dragged external object 270 along the direction of the visual objects filled with different colors within the visual object 614 (e.g., the horizontal direction of the screen displayed within the display 210). Based on this, the color of line 612 can be changed. The electronic device 101 may highlight a specific color selected by the trajectory of the external object 270 within the list of colors within the visual object 614 .
  • the electronic device 101 determines the line 622 from the stroke input by the motion of the external object 270. can be displayed.
  • the electronic device 101 may display a line 622 based on the heart-shaped shape. there is.
  • the electronic device 101 may enter a mode for adjusting the thickness t of the line 622.
  • the electronic device 101 may change the thickness t of the line 622 based on the external object 270 being dragged to another point different from the B point. For example, the electronic device 101 may increase the thickness t of the line 622 in proportion to the distance between point B and another point with which the external object 270 is contacted.
  • the electronic device 101 receives a stroke having a square shape due to the motion of the external object 270, and then moves the external object (270) fixed on the point B. 270), a line 632 based on a square shape can be displayed from the stroke. After displaying line 632, based on identifying that an external object 270 is fixed on the B point for a specified period of time, the electronic device 101 enlarges the shape represented by line 632, Alternatively, you can enter a mode to zoom out. Within this mode, based on the external object 270 being dragged to another point (e.g., You can change the size.
  • the electronic device 101 may display a line 634 representing a reduced figure based on the X point. For example, when identifying an external object 270 that is dragged from the B point to the Y point, the electronic device 101 may display a line 636 representing an enlarged shape based on the Y point.
  • the electronic device 101 receives an input indicating that a line representing a figure represented by a stroke is restored to the stroke. can do. For example, within state 630 of FIG. 6C , in response to identifying an external object 270 that has been stationary for more than a specified period of time on point B on line 632, electronic device 101 moves line 632 ) can be stopped, and the stroke corresponding to the line 632 can be displayed.
  • the electronic device 101 may change the rotation, color, thickness, or A visual object can be displayed to select modes for changing each size.
  • the electronic device 101 within state 640, within the state of identifying the external object 270 fixed on point B, the electronic device 101 displays a portion 641 of display 210 including point B.
  • visual objects 642, 643, 644, and 645 to indicate the mode selected based on the movement of the external object 270 may be sequentially displayed.
  • a visual object 642 indicating rotation of the line 612 may be displayed.
  • the visual object 642 may have the shape of a curved double-headed arrow. While visual object 642 is displayed, based on identifying an external object 270 moving to another point that is different from point B, electronic device 101 determines based on the distance between point B and said other point, Line 612 can be rotated.
  • electronic device 101 may determine line A visual object 643 may be displayed to guide the execution of the mode for adjusting the color of 612. While visual object 643 is displayed, based on identifying an external object 270 that has moved to another point different from point B, electronic device 101 moves from state 640 in FIG. 6D to state 610 in FIG. 6A. ) can be switched to .
  • a second specified period of time e.g. 4000 milliseconds
  • electronic device 101 may determine line ( A visual object 644 may be displayed to guide the execution of the mode for changing the thickness of 612). While visual object 644 is displayed, based on identifying an external object 270 moving to another point different from point B, electronic device 101 moves to another point, such as state 620 in FIG. 6B. Based on this, the thickness of the line 612 can be adjusted.
  • a third specified period of time e.g., 6000 milliseconds
  • electronic device 101 may determine line ( A visual object 645 may be displayed to guide the execution of the mode for adjusting the size of 612). While visual object 645 is displayed, based on identifying an external object 270 moving to another point that is different from point B, electronic device 101 determines based on the distance between point B and said other point, Similar to state 630 in FIG. 6C, line 612 can be enlarged or reduced.
  • a fourth specified period of time e.g., 8000 milliseconds
  • the first to fourth designated periods used by the electronic device 101 while cycling through modes for changing each of the rotation, color, thickness, or size of the line 612 are: It is not limited to examples. According to one embodiment, the order in which the electronic device 101 cycles through the modes based on maintaining the external object 270 in contact with the display 210 is not limited to the above example.
  • an external object 270 moves to the end point of the stroke.
  • the electronic device 101 may enter a mode for changing at least one of the thickness, color, or size of the line.
  • the electronic device 101 may change at least one of the thickness, color, or size of the line based on the trajectory along which the external object 270 is dragged.
  • the electronic device 101 may display a visual object (eg, the visual object 614 in FIG. 6A) for selecting a color to fill the line.
  • FIG. 7 illustrates an example of operations performed by an electronic device based on identifying an external object contacted on a display, according to an embodiment.
  • the electronic device in FIG. 7 may be an example of the electronic device 101 in FIG. 2 .
  • at least one of the operations of FIG. 7 may be performed by the electronic device 101 and/or the processor 120 of FIG. 2 .
  • the electronic device may display a stroke based on the trajectory of an external object being dragged on the display.
  • State 410 of FIG. 4A may be a state in which the electronic device displays a stroke (eg, stroke 412 of FIG. 4A) based on the operation 710.
  • the electronic device may determine whether an external object has been contacted within an area of a designated size for more than a first designated period.
  • a first designated period, and a region of a designated size may be predetermined to identify a designated gesture for changing the displayed stroke to a line based on operation 710.
  • the designated gesture may include a gesture for maintaining an external object at a specific point on the display without separating the external object in contact with the display.
  • the electronic device displays the specified gesture based on whether the coordinates of an external object within an area of the specified size have a Gaussian distribution within the area. You can decide whether it has been done or not.
  • the electronic device displays the external object. It is possible to identify whether it has been separated from . Referring to FIG. 7, before the external object is separated from the display (740-No), the electronic device continues to draw a stroke displayed in the display based on the trajectory of the external object based on the operations 710, 720, and 740. can be extended. For example, based on the operations 710, 720, and 740 of FIG. 7, the electronic device may repeatedly measure the coordinates of an external object contacted on the display. The electronic device may accumulate repeatedly measured coordinates within information representing the stroke.
  • the electronic device may obtain information for displaying a stroke in the display.
  • the information may include a starting point and an ending point of the stroke, coordinates of one or more midpoints between the starting point and the ending point, and a thickness of the stroke at the midpoints.
  • the electronic device may: Linked lines can be displayed.
  • the electronic device may display a line in the display that has the form of an outline of a figure represented by a stroke, as in state 420 of FIG. 4B.
  • the electronic device may display the stroke and/or the line according to a specified transparency (or alpha value).
  • the electronic device may determine whether an external object has moved outside the area of the specified size of operation 720. . For example, after displaying a line based on the operation 730, the electronic device may identify whether contact with the display and an external object is maintained within an area of a specified size.
  • the electronic device determines that the external object is within the area of the designated size for a second designated period of time. It can be determined whether contact exceeded the limit. Before the second designated period is exceeded (770-No), the electronic device may monitor the location of the external object based on the actions (750, 770).
  • the electronic device displays a stroke, and a stroke among lines. can do. For example, the electronic device may stop displaying a line based on operation 730 and resume displaying a stroke displayed within the display based on operations 710, 720, and 740. After displaying a stroke based on operation 780, the electronic device may again perform an operation of displaying a stroke based on the trajectory of an external object based on operation 710 of FIG. 7.
  • the electronic device After the electronic device displays a line based on the operation 730, if the external object moves outside the area of the specified size (750 - Yes), within the operation 760, according to one embodiment, the electronic device: Lines can be rotated based on the trajectory of an external object. As described above with reference to the states 420 and 430 of FIGS. 4B to 4C and/or FIG. 5, the electronic device uses at least one of the center point of the figure formed by the line, the starting point, or the ending point of the stroke as the rotation axis. You can select . The electronic device can rotate the line along the trajectory of the external object based on the selected rotation axis. The electronic device may display a visual object including the angle at which the line is rotated on the display.
  • the electronic device's rotation of the line based on the trajectory of the external object may be performed based on whether the external object is separated from the display, based on operation 765 of FIG. 7 .
  • the electronic device may maintain rotating lines based on the trajectory of the external object. For example, when an external object is separated from the display, the electronic device may obtain information to display a line rotated by operation 760.
  • Figure 8 shows an example of operations performed by an electronic device, according to an embodiment.
  • the electronic device in FIG. 8 may be an example of the electronic device 101 in FIG. 2 .
  • at least one of the operations of FIG. 8 may be performed by the electronic device 101 and/or the processor 120 of FIG. 2 .
  • At least one of the operations in FIG. 8 may be related to at least one of the operations in FIG. 7 .
  • the electronic device may display a stroke based on the trajectory of an external object being dragged on the display.
  • the electronic device may track the location of an external object contacted on the display based on the operations 710, 720, and 740 of FIG. 7 and identify the trajectory of the external object being dragged on the display.
  • the electronic device determines that the external object being dragged on the display exceeds a specified period of time within an area of a specified size within the display. You can replace strokes with lines based on whether or not they are touching.
  • the area of the specified size may be an area formed to identify that an external object is fixed on the display, such as area 414 of FIG. 4A.
  • the specified period may be a predetermined period for identifying a stationary external object to replace a stroke with a line.
  • the electronic device can select a shape expressed by a stroke from among designated shapes.
  • the electronic device may display a line corresponding to the stroke based on the outline of a shape selected from among designated shapes.
  • the electronic device may receive input indicating to change the display of the line based on the trajectory of an external object being dragged on the display. there is.
  • the input may be received based on the trajectory of an external object contacted on the display.
  • the electronic device may receive the input of the action 830 before the external object contacted on the display is separated to display the stroke of the action 810.
  • the electronic device may change the display of a line based on a received input.
  • the electronic device may rotate the line based on the input of operation 830, as described above with reference to Figure 4C and/or Figure 5.
  • the electronic device may change the color and thickness of the line, or the size of the shape formed by the line, based on the input of operation 830.
  • the electronic device changing the display of the line based on the input may be performed until the external object in contact with the display is separated to display the stroke of operation 810.
  • an electronic device adds a stroke within the display, displays a line based on the stroke, and then changes the display of the line, based on a single contact of the display and an external object. You can. Based on the single contact, the electronic device can enhance the user experience associated with handwriting input based on external objects. For example, based on the single contact, the electronic device can execute various functions related to the input of strokes and/or lines.
  • a method for executing various functions related to drawing based on the external object may be required based on a single motion distinguished by the display and the contact and separation of the external object.
  • an electronic device e.g., electronic device 101 of FIG. 2 includes a display (e.g., display 210 of FIG. 2) and a processor (e.g., It may include the processor 120 of FIG. 3).
  • the processor in response to identifying an external object being dragged on the display (e.g., external object 270 in Figure 2), generates a stroke based on the trajectory along which the external object is dragged (e.g., stroke 412 in Figure 4A). ))).
  • the processor while identifying the external object as being dragged, in response to identifying that the external object is touched within an area of a specified size within the display (e.g., area 414 in FIG.
  • the electronic device may perform all of the functions of displaying a stroke, obtaining a line based on the stroke, and changing the display of the line based on a single contact between the display and an external object. .
  • the processor may determine the contact between the external object and the display based on the trajectory based on whether the contact was maintained until the second time interval after the stroke was displayed based on the trajectory. It can be configured to rotate the line.
  • the processor may be configured to repeatedly identify the location of the external object in contact with the display at a designated period and obtain information for displaying the stroke within the display.
  • the processor is responsive to identifying that the external object is contacted within the area of the specified size to identify a pause in drag by the external object during the first period of time. , may be configured to display the line.
  • the processor may, based on a distance between a first location of the foreign object touched within the area during the second time interval and a second location of the external object within the other area, It can be configured to rotate the line.
  • the processor is configured to display, within the display, a visual object for indicating the angle at which the line is rotated in a state in which the line is rotated based on the external object after the second time interval. It can be.
  • the processor may, within a state of rotating the line based on the external object after the second time interval, adjust the rotation axis (pivot) of the line within the line or a portion formed by the line. It may be configured to display within the display a visual object for presentation.
  • the processor may set the axis of rotation on any one of the center point of the portion, a point corresponding to the initial point of the trajectory on the line, or a point at which the external object in the area is contacted. and may be configured to display the visual object for presentation.
  • the processor may, in response to identifying that the dragged external object is in contact with the area during a third time interval after the second time interval, stop displaying the line and display the stroke. It can be configured to do so.
  • the processor may be configured to extend the stroke based on a trajectory along which the external object is dragged after the third time period.
  • the processor displays a visual object for guiding the rotation of the line by superimposing it on the line, based on the trajectory of the external object dragged to the other area, It can be configured.
  • the processor may be configured to change the display of the line based on the visual object in response to identifying that dragging of the external object is complete within a state of displaying the visual object.
  • the processor may be configured to display the line representing the shape associated with the stroke based on identifying the external object contacted within the area during the first time period.
  • a method of an electronic device includes an operation of displaying a stroke based on a trajectory along which the external object is dragged based on identifying an external object being dragged on a display in the electronic device ( Yes, it may include operation 810 of FIG. 8).
  • the method is in response to identifying that the external object is in contact within an area of a specified size within the display during a first period of time, while contact is maintained between the external object associated with the stroke and the display.
  • the method may include, within the state, a line in contact with the line in the display.
  • an operation may include receiving an input indicating changing the display of the line (e.g., operation 830 of FIG. 8).
  • the method may include, based on the received input, the An operation to change the display of a line (e.g., operation 840 of FIG. 8) may be included.
  • the operation of displaying the stroke may include repeatedly identifying the location of the external object in contact with the display at a designated period, and obtaining information for displaying the stroke within the display. there is.
  • the operation of displaying the line may be based on identifying that the external object is contacted within the area of the specified size to identify a stoppage of drag by the external object during the first time period.
  • the operation of displaying the line may include repeatedly acquiring the positions of the external object contacted in the area during the first time period, based on a designated period less than the first time period. You can.
  • the operation of displaying the line may include the operation of identifying whether to display the line based on the distribution of the obtained positions.
  • the operation of changing the display may determine whether contact between the external object and the display is maintained until a second time interval after the first time interval after the stroke is displayed based on the trajectory. and may include an operation of changing the display based on the input.
  • the act of changing the display may be based on identifying, within the state, that the external object is in contact with the area during a second time period after the first time period. It may include rotating the line based on the trajectory of the external object being dragged to another area different from the area.
  • the operation of changing the display may be based on identifying, within the state, that the external object is in contact with the area during a second time period after the first time period, such that the external object is in contact with the second time period. It may include changing at least one of the thickness, color, or size of the line based on the trajectory dragged after the time interval.
  • the act of changing the display may be based on changing the color of the line based on the trajectory after the second time period, within the display, among a plurality of colors based on the trajectory. It may include displaying a visual object for selecting a color to be filled in the line.
  • a method of an electronic device includes, in response to identifying an external object being dragged on a display in the electronic device, an operation of displaying a stroke based on the trajectory along which the external object is dragged ( Yes, may include operation 710 of Figure 7.
  • the method may include identifying that the external object has been touched within an area of a specified size within the display during a first time period while identifying that the external object has been dragged.
  • an operation may include displaying a line in association with the stroke (e.g., operation 750 of FIG. 7).
  • the method may include, while identifying that the external object is being dragged, the external object is dragged.
  • the rotating motion may be based on the trajectory, based on whether contact between the external object and the display is maintained until the second time period after the point at which the stroke is displayed based on the trajectory. This may include an operation of rotating the line.
  • the operation of displaying the stroke may include repeatedly identifying the location of the external object in contact with the display at a designated period, and obtaining information for displaying the stroke within the display. there is.
  • the act of displaying a line may be in response to identifying that the external object has been contacted within the area of the specified size to identify a cessation of drag by the external object during the first time period.
  • an operation of displaying the line may be included.
  • the rotating action may be based on the distance between a first location of the foreign object contacted within the area during the second time interval and a second location of the external object within the other area. , may include an operation of rotating the line.
  • the rotating operation includes displaying a visual object for indicating the angle at which the line is rotated within the display within a state of rotating the line based on the external object after the second time period.
  • the rotating motion may be based on at least one of the center point of the portion formed by the line, a point corresponding to a starting point of the trajectory, or a point where the external object touches the area,
  • the operation may include identifying a rotation axis related to rotation.
  • the method may, in response to identifying that the dragged external object is in contact with the area during a third time interval after the second time interval, stop displaying the line and display the stroke. It may include actions such as:
  • the rotating action displays a visual object to guide the rotation of the line by superimposing it on the line, based on the trajectory of the external object dragged to the other area after the second time period. It may include actions such as: The rotating action may include changing the display of the line based on the visual object in response to identifying that dragging of the external object is complete, within a state of displaying the visual object.
  • an electronic device e.g., electronic device 101 in FIG. 2 includes a display (e.g., display 210 in FIG. 2) and a processor (e.g., processor in FIG. 3). 120)) may be included.
  • the processor based on identifying an external object being dragged on the display (e.g., external object 270 in FIG. 2), generates a stroke based on the trajectory along which the external object is dragged (e.g., stroke 412 in FIG. 4A). ))).
  • the processor is configured to, within a state in which contact is maintained between the external object associated with the stroke and the display, determine whether the external object moves to an area of a specified size within the display (e.g., area 414 of FIG.
  • the processor may be configured to receive input indicating, within the state, to change the display of the line based on the external object contacted on the line in the display.
  • the processor may be configured to change the display of the line based on the received input.
  • the processor may be configured to repeatedly identify the location of the external object in contact with the display at a designated period and obtain information for displaying the stroke within the display.
  • the processor may determine the line based on identifying that the external object is touched within the area of the specified size to identify a cessation of drag by the external object during the first time interval. It can be configured to display.
  • the processor may be configured to repeatedly obtain the positions of the external object contacted within the area during the first time interval, based on a specified period less than the first time interval.
  • the processor may be configured to identify whether to display the line based on the distribution of the obtained positions.
  • the processor within the state, based on identifying that the external object is in contact with the area during a second time period after the first time period, determines that the area is different from the area after the second time period. It may be configured to rotate the line based on the trajectory of the external object being dragged to another area.
  • the processor may, within the state, based on identifying that the external object is in contact with the area during a second time period after the first time period, determine whether the external object is in contact with the area after the second time period. It may be configured to change at least one of the thickness, color, or size of the line based on the trajectory being dragged.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른, 전자 장치의 프로세서는, 상기 전자 장치의 디스플레이 상에서 드래그되는 외부 객체를 식별하는 것에 응답하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획과 연계로(in association with) 라인을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 제2 시간 구간 이후 상기 영역과 상이한 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여 상기 라인을 회전하도록, 구성될 수 있다.

Description

획을 입력하기 위한 제스쳐를 이용하여 획에 대응하는 라인을 식별하기 위한 전자 장치 및 그 방법
아래의 설명들은 획을 입력하기 위한 제스쳐를 이용하여 획에 대응하는 라인을 식별하기 위한 전자 장치 및 그 방법에 관한 것이다.
사용자에 의해 그려진 획들에 의해 나타나는 손 글씨(handwriting)로부터 텍스트를 추출하는 전자 장치가 개발되고 있다. 예를 들어, 사용자는 전자 장치의 디스플레이 상에 접촉된 손가락, 스타일러스, 및/또는 디지타이저를 이동하거나, 또는 상기 전자 장치에 연결된 포인팅 장치(예, 마우스)를 이동하여, 손 글씨를 나타내는 획들을 그릴 수 있다. 상기 획들로부터, 전자 장치는 알파벳과 같은 글자를 식별할 수 있다. 하나 이상의 글자들을 식별하는 것에 기반하여, 전자 장치는, 상기 하나 이상의 글자들이 포함된 텍스트를 식별할 수 있다.
일 실시예(an embodiment)에 따른, 전자 장치(an electronic device)는, 디스플레이, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이 상에서 드래그되는 외부 객체를 식별하는 것에 응답하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획과 연계로(in association with) 라인을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 제2 시간 구간 이후 상기 영역과 상이한 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여 상기 라인을 회전하도록, 구성될 수 있다. 일 실시예에 따른, 전자 장치는, 디스플레이, 및 외부 객체 사이의 단일 접촉에 기반하여, 획의 표시, 상기 획에 기반하는 라인의 획득, 및 상기 라인의 표시를 변경하는 기능 전부를 실행할 수 있다.
일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치 내 디스플레이 상에서 드래그되는 외부 객체를 식별하는 것에 응답하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획과 연계로 라인을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 제2 시간 구간 이후 상기 영역과 상이한 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여 상기 라인을 회전하는 동작을 포함할 수 있다.
일 실시예에 따른, 전자 장치는, 디스플레이, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이 상에서 드래그되는 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 획과 관련된 상기 외부 객체, 및 상기 디스플레이 사이의 접촉이 유지된 상태 내에서, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획에 기반하는 도형을 표현하기 위한 라인을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 상태 내에서, 상기 디스플레이 내 상기 라인 상에 접촉된 상기 외부 객체에 기반하여, 상기 라인의 표시를 변경함을 나타내는 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 수신된 입력에 기반하여, 상기 라인의 표시를 변경하도록, 구성될 수 있다.
일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치 내 디스플레이 상에서 드래그되는 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 획과 관련된 상기 외부 객체, 및 상기 디스플레이 사이의 접촉이 유지된 상태 내에서, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획에 기반하는 도형을 표현하기 위한 라인을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 상태 내에서, 상기 디스플레이 내 상기 라인 상에 접촉된 상기 외부 객체에 기반하여, 상기 라인의 표시를 변경함을 나타내는 입력을 수신하는 동작을 포함할 수 있다. 상기 방법은, 상기 수신된 입력에 기반하여, 상기 라인의 표시를 변경하는 동작을 포함할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 일 실시예에 따른, 전자 장치가 획을 입력하기 위해 전자 장치의 디스플레이 상에 접촉된 외부 객체의 모션에 기반하여 수행하는 동작의 일 예를 도시한다.
도 3은, 일 실시예에 따른, 전자 장치의 블록도이다.
도 4a, 도 4b, 및 도 4c는, 일 실시예에 따른, 전자 장치가 디스플레이 상에 접촉된 외부 객체의 모션에 기반하여, 상기 모션에 기반하여 획, 및/또는 라인을 표시하는 동작의 일 예를 도시한다.
도 5는, 일 실시예에 따른, 전자 장치가 디스플레이 상에 접촉된 외부 객체의 모션에 기반하여, 디스플레이 내에 표시된 라인을 회전하는 동작의 일 예를 도시한다.
도 6a, 도 6b, 도 6c, 및 도 6d는, 일 실시예에 따른, 전자 장치가 디스플레이 상에 접촉된 외부 객체의 모션에 기반하여, 디스플레이 내에 표시된 라인의 형태, 및/또는 색상을 조절하는 동작의 일 예를 도시한다.
도 7은, 일 실시예에 따른, 전자 장치가 디스플레이 상에 접촉된 외부 객체를 식별하는 것에 기반하여 수행하는 동작들의 일 예를 도시한다.
도 8은, 일 실시예에 따른, 전자 장치가 수행하는 동작들의 일 예를 도시한다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는, 일 실시예에 따른, 전자 장치(101)가 획을 입력하기 위해 전자 장치(101)의 디스플레이(210) 상에 접촉된 외부 객체(270)의 모션에 기반하여 수행하는 동작의 일 예를 도시한다. 도 2의 전자 장치(101)는 도 1의 전자 장치(101)의 일 예일 수 있다. 도 2를 참고하면, 전자 장치(101)는 사용자에 의해 소유되는(be owned by) 단말일 수 있다. 단말은, 예를 들어, 랩톱 및 데스크톱과 같은 개인용 컴퓨터(personal computer, PC), 스마트폰(smartphone), 스마트패드(smartpad), 태블릿 PC, 스마트워치(smartwatch) 및/또는 HMD(head-mounted device)와 같은 스마트액세서리를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)는 디스플레이(210)를 포함할 수 있다. 일 실시예에 따른, 전자 장치(101)는 디스플레이(210)를 이용하여 손 글씨(handwriting)를 시각화할 수 있다. 손 글씨를 시각화하기 위하여 전자 장치(101) 내에 포함된, 하드웨어들, 및/또는 소프트웨어들의 일 예가 도 3을 참고하여 설명된다. 손 글씨는, 언어적 의미(linguistic meaning)를 전달하기 위하여, 사용자에 의해 일 면 상에 그려진, 하나 이상의 선들을 포함할 수 있다. 실시예가 이에 제한되지 않으며, 손 글씨는, 언어적 의미와 상이한 사용자의 의도(예, 사용자의 비언어적 의미)를 전달하기 위해 일 면 상에 그려진, 하나 이상의 선들을 포함할 수 있다. 이하에서, 손 글씨 내에 포함된 상기 하나 이상의 선들이, 획(stroke, 스트로크)으로 참조될 수 있다.
일 실시예에 따른, 전자 장치(101)는, 아날로그의 손 글씨를 디지털 변환하여(by digitally converting), 상기 손 글씨 내에 포함된 하나 이상의 획들에 대한 정보를 획득할 수 있다. 상기 정보는, 상기 하나 이상의 획들 각각의 위치, 및/또는 순서를 포함할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이(210) 상에 접촉된 손 끝(fingertip), 스타일러스, 디지타이저, 및/또는 커서의 위치를 조절하기 위한 마우스와 같은 포인팅 디바이스에 기반하여, 상기 복수의 획들을 그림을 나타내는 입력을 수신할 수 있다. 도 2를 참고하면, 일 실시예에 따른, 전자 장치(101)와 상이한 외부 객체(270)가 도시된다. 외부 객체(270)는, 스타일러스, 및/또는 디지타이저를 포함할 수 있다. 예를 들어, 획은, 상기 손 끝, 상기 스타일러스, 및/또는 상기 디지타이저를 포함하는 외부 객체(270)가 디스플레이(210) 상에 접촉된 동안, 상기 외부 객체(270)에 의해 드래그된 궤적, 및/또는 경로일 수 있다. 예를 들어, 획은, 전자 장치(101)와 상이한 외부 객체(270)에 의해 디스플레이(210) 내에서 이동된, 커서, 및/또는 마우스 포인터의 궤적, 및/또는 경로일 수 있다. 일 실시예에 따른, 전자 장치(101)가 적어도 하나의 획을 그리는 사용자의 제스쳐에 기반하여 상기 정보, 및 상기 정보를 포함하는 미디어 콘텐트를 획득하는 동작이, 도 4a 내지 도 4c를 참고하여 설명된다.
일 실시예에서, 미디어 콘텐트는, 사용자, 및 전자 장치(101) 사이의 상호작용에 기반하여 생성된 정보를 포함할 수 있다. 미디어 콘텐트는, 사용자로부터 수신되었던 손 글씨, 도형, 텍스트, 이미지, 비디오, 및/또는 오디오를 재구성하기 위한 정보를 포함할 수 있다. 일 실시예에서, 미디어 콘텐트는, 문서, 및/또는 메모로 참조될 수 있다. 예를 들어, 미디어 콘텐트 내에, 사용자에 의해 그려진 하나 이상의 획들을 나타내는 정보가 포함될 수 있다. 예를 들어, 미디어 콘텐트 내에, 사용자에 의해 임베딩된(embedded) 이미지, 비디오, 및/또는 오디오가 포함될 수 있다. 미디어 콘텐트를 재구성하는 것은, 전자 장치(101)가 디스플레이(210) 내에 미디어 콘텐트 내에 포함된 정보를 시각화하는 동작을 포함할 수 있다.
도 2를 참고하면, 일 실시예에 따른, 전자 장치(101)가 디스플레이(210) 내에 적어도 하나의 획을 시각화한 상태의 일 예가 도시된다. 도 2의 상태는, 전자 장치(101)에 의해 실행되고, 사용자로부터 손 글씨와 관련된 정보, 및/또는 상기 정보를 포함하는 미디어 콘텐트를 획득하기 위한 지정된 어플리케이션(예, 노트 어플리케이션)이 실행된 상태를 포함할 수 있다. 전자 장치(101)는 디스플레이(210)의 영역(220) 내에, 전자 장치(101)에 의해 실행되는 어플리케이션을 제어하기 위한 내비게이션 바를 표시할 수 있다. 전자 장치(101)는 디스플레이(210) 내에 표시된 화면을, 상기 화면과 상이한 다른 화면으로 교체하기 위한 시각적 객체(230)를 표시할 수 있다. 전자 장치(101)는 디스플레이(210)의 영역(240) 내에, 상기 미디어 콘텐트에 할당된 명칭, 및/또는 제목(title)을 표시할 수 있다.
일 실시예에 따른, 전자 장치(101)는 시각적 객체(261)에 기반하여 영역(250)을 통해 표시되는 미디어 콘텐트 내에 텍스트를 추가하기 위한 기능을 실행할 수 있다. 시각적 객체(261)를 선택함을 나타내는 입력에 응답하여, 전자 장치(101)는 디스플레이(210) 내에 소프트웨어 키보드를 표시할 수 있다. 전자 장치(101)는 시각적 객체(263)에 기반하여, 영역(250)을 통해 표시되는 미디어 콘텐트 내에 이미지, 및/또는 비디오를 추가하기 위한 기능을 실행할 수 있다. 전자 장치(101)는 시각적 객체(264)에 기반하여, 영역(250)을 통해 표시되는 미디어 콘텐트 내에 오디오를 추가하기 위한 기능을 실행할 수 있다.
일 실시예에 따른, 전자 장치(101)는 시각적 객체(262)를 이용하여, 영역(250)을 통해 표시되는 미디어 콘텐트 내에 손 글씨와 관련된 정보를 추가하기 위한 기능을 실행할 수 있다. 시각적 객체(262)를 선택함을 나타내는 입력을 수신한 이후, 전자 장치(101)는 영역(250) 상에 접촉되는 외부 객체(270)의 궤적에 기반하여, 영역(250) 내에, 상기 궤적의 형태를 가지는 적어도 하나의 획을 표시할 수 있다.
일 실시예에 따른, 전자 장치(101)는 디스플레이(210)의 영역(250) 상에 접촉된 외부 객체(270)의 궤적에 기반하여, 적어도 하나의 획을 그리기 위한 입력을 수신할 수 있다. 예를 들어, 디스플레이(210) 상에서 드래그되는 외부 객체(270)를 식별하는 것에 응답하여, 전자 장치(101)는, 상기 외부 객체(270)가 드래그되는 궤적에 기반하는 획(282)을 표시할 수 있다. 전자 장치(101)는, 외부 객체(270)가 영역(250) 상에 접촉된 시점, 및/또는 위치를 나타내는 정보에 기반하여, 영역(250) 내에 상기 외부 객체(270)의 상기 경로에 기반하는 적어도 하나의 획을 표시할 수 있다.
도 2를 참고하면, 일 실시예에 따른, 전자 장치(101)가 영역(250) 내 A 포인트로부터 B 포인트까지 곡선의 궤적을 따라 이동된 외부 객체(270)에 기반하여 획(282)을 표시한 예시적인 상태가 도시된다. 외부 객체(270)가 A 포인트로부터 B 포인트까지 드래그되는 동안, 전자 장치(101)는 외부 객체(270), 및 디스플레이(210) 사이의 접촉과 관련된 복수의 이벤트들을 촉발(trigger)할 수 있다. 예를 들어, A 포인트 상에 접촉된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 터치 다운(touch down)과 같이 외부 객체(270), 및 디스플레이(210) 사이의 접촉의 개시(initiation)를 알리기 위한 지정된 이벤트의 발생을 식별할 수 있다. 외부 객체(270)가 A 포인트로부터 B 포인트로 드래그되는 동안, 전자 장치(101)는 터치 무브(touch move)와 같이, 외부 객체(270)가 드래그됨을 알리기 위한 지정된 이벤트의 반복적인 발생을 식별할 수 있다. 외부 객체(270)가 디스플레이(210)로부터 분리됨을 식별하는 것에 기반하여, 전자 장치(101)는 터치 업(touch up)과 같이 외부 객체(270), 및 디스플레이(210)의 접촉의 종료를 알리기 위한 지정된 이벤트의 발생을 식별할 수 있다. 도 2를 참고하면, 획(282)은, 터치 무브와 같은 지정된 이벤트의 반복적인 발생에 기반하여, 외부 객체(270)가 드래그되는 궤적을 따라 연장될 수 있다. 예를 들어, 획(282)의 형태는, 디스플레이(210) 상에 접촉된 외부 객체(270)가 A 포인트로부터 B 포인트까지 드래그된 궤적에 대응할 수 있다. 획(282)의 두께는, 디스플레이(210) 상에 접촉된 외부 객체(270)의 압력, 및/또는 기울기를 나타낼 수 있다.
일 실시예에 따른, 전자 장치(101)는, 외부 객체(270)가 드래그된 궤적에 기반하여 추가된, 획(282)과 관련된 하나 이상의 기능들을 지원할 수 있다. 전자 장치(101)는, 디스플레이(210) 상에 접촉된 외부 객체(270)의 모션에 기반하여, 상기 하나 이상의 기능들을 선택적으로 실행하기 위한 입력을 수신할 수 있다. 상기 하나 이상의 기능들은, 획(282)을 이동하는 기능을 포함할 수 있다. 상기 하나 이상의 기능들은, 획(282)에 기반하는 도형을 표시하는 기능을 포함할 수 있다. 상기 도형은 획(282)에 의해 표현된 특정 카테고리의 벡터 그래픽 객체를 포함할 수 있다. 상기 하나 이상의 기능들은, 획(282)을 회전하는 기능을 포함할 수 있다. 상기 하나 이상의 기능들은, 획(282)에 의해 표현된 텍스트를 획득하는 기능을 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)는, 외부 객체(270)의 모션에 기반하여 획(282)으로부터, 상기 획(282)에 의해 표현된 도형, 및/또는 상기 도형을 나타내는 라인을 획득할 수 있다. 예를 들어, 전자 장치(101)는 A 포인트로부터 B 포인트까지 드래그된 외부 객체(270)에 기반하여 획(282)을 표시한 상태 내에서, 외부 객체(270)가 B 포인트 상에서의 접촉을 유지함을 식별할 수 있다. 외부 객체(270)가 B 포인트 상에서 지정된 기간(예, 500 밀리초(milliseconds))을 초과하여 접촉을 유지함을 식별하는 것에 기반하여, 전자 장치(101)는 획(282)을 표현하는 라인을 표시하기 위한 지정된 이벤트(예, 홀드 모션 이벤트(hold motion event))의 발생을 식별할 수 있다. 예를 들어, 전자 장치(101)는 홀드 모션 이벤트의 발생에 기반하여, 획(282)과 연계로(in association with) 라인(284)을 표시할 수 있다. 도 2를 참고하면, 일 실시예에 따른, 전자 장치(101)는 획(282)이 표시된 영역(252) 내에, 라인(284)을 표시할 수 있다. 일 실시예에 따른, 전자 장치(101)가 터치 무브와 같은 지정된 이벤트에 기반하여, 획(282)으로부터 라인(284)을 획득하는 동작이 도 4a 내지 도 4b를 참고하여 설명된다.
일 실시예에 따른, 전자 장치(101)는 A 포인트로부터 B 포인트로 드래그된 외부 객체(270)에 기반하여 획들(282)을 표시한 상태 내에서, B 포인트 상에서 지정된 기간을 초과하여 접촉된 외부 객체(270)에 기반하여, 획(282)을, 라인(284)으로 대체할 수 있다. 예를 들어, 획(282)과 관련된 외부 객체(270), 및 디스플레이(210) 사이의 접촉이 유지된 상태 내에서, 외부 객체(270)가 제1 시간 구간 동안 디스플레이(210) 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 전자 장치(101)는 획(282)에 기반하는 도형을 표현하기 위한 라인(284)을 표시할 수 있다.
일 실시예에 따른, 전자 장치(101)는 라인(284)을 표시한 이후, 디스플레이(210) 상에 접촉된 외부 객체(270)의 궤적에 기반하여, 라인(284)을 변경할 수 있다. 획(282)을 그리기 위한 모션을 수행한 외부 객체(270), 및 디스플레이(210) 사이의 접촉이 유지된 상태 내에서, 전자 장치(101)는 디스플레이(210) 내 라인(284) 상에 접촉된 외부 객체(270)에 기반하여, 라인(284)의 표시를 변경함을 나타내는 입력을 수신할 수 있다. 상기 수신된 입력에 기반하여, 전자 장치(101)는 라인(284)의 표시를 변경할 수 있다. 예를 들어, 라인(284)을 표시한 이후의 외부 객체(270)의 궤적에 기반하여, 전자 장치(101)는 라인(284)을 회전할 수 있다. 도 2를 참고하면, 일 실시예에 따른, 전자 장치(101)는 라인(284)과 관련된 회전축인 C 포인트에 기반하여, 라인(284)을 회전할 수 있다. 예를 들어, 라인(286)은, C 포인트를 중심으로 외부 객체(270)의 궤적에 기반하여 라인(284)을 회전한 결과일 수 있다. 전자 장치(101)가 외부 객체(270)의 상기 궤적에 기반하여, 라인(284)을 회전하는 동작이 도 4b 내지 도 4c, 및/또는 도 5를 참고하여 설명된다. 전자 장치(101)가 외부 객체(270)의 상기 궤적에 기반하여, 라인(284)의 두께, 색상, 및/또는 크기를 변경하는 동작이 도 6a 내지 도 6d를 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101)는 디스플레이(210) 상의 외부 객체(270)의 단일 접촉(single contact)에 기반하여, 획(282)의 추가, 획(282)에 기반하는 라인(284)의 획득, 및 라인(284)의 회전을 순차적으로 수행할 수 있다. 상기 단일 접촉에 포함된 외부 객체(270)의 이동, 및/또는 유지(hold)에 기반하여, 전자 장치(101)는 디스플레이(210) 상에 접촉된 외부 객체(270)의 지점에 기반하는 상이한 기능들을 실행할 수 있다. 전자 장치(101)가 외부 객체(270)의 단일 접촉에 기반하여 획(282)을 표시하는 기능과 상이한 다른 기능들(예, 라인(284)의 표시, 및/또는 회전)을 수행하기 때문에, 전자 장치(101)는 외부 객체(270)에 기반하는 드로잉과 관련된 사용자 경험을 개선할 수 있다.
이하에서는, 도 3을 참고하여, 일 실시예에 따른, 전자 장치(101) 내에 포함된 하드웨어의 구조가 설명된다.
도 3은, 일 실시예에 따른, 전자 장치(101)의 블록도이다. 도 3의 전자 장치(101)는, 도 2의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 2의 전자 장치(101), 및 디스플레이(210)는 도 3의 전자 장치(101), 및 디스플레이(210)를 포함할 수 있다.
도 3을 참고하면, 일 실시예에 따른, 전자 장치(101)는 프로세서(120), 메모리(130), 또는 디스플레이(210) 중 적어도 하나를 포함할 수 있다. 프로세서(120), 메모리(130), 및 디스플레이(210)는 통신 버스(a communication bus)(305)와 같은 전자 소자(electronic component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어 컴포넌트들이 작동적으로 결합된 것은, 하드웨어 컴포넌트들 중 제1 하드웨어 컴포넌트에 의해 제2 하드웨어 컴포넌트가 제어되도록, 하드웨어 컴포넌트들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 3에 도시된 하드웨어 컴포넌트들 중 일부분(예, 프로세서(120), 및/또는 메모리(130)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 전자 장치(101)에 포함된 하드웨어 컴포넌트들의 타입 및/또는 개수는 도 3에 도시된 바에 제한되지 않는다. 예를 들어, 전자 장치(101)는 도 3에 도시된 하드웨어 컴포넌트들 중 일부만 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)의 프로세서(120)는 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어 컴포넌트는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), 및/또는 CPU(central processing unit)를 포함할 수 있다. 프로세서(120)의 개수는 하나 이상일 수 있다. 예를 들어, 프로세서(120)는 듀얼 코어(dual core), 쿼드 코어(quad core), 또는 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다. 도 3의 프로세서(120)는 도 1의 프로세서(120)를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)의 메모리(130)는 프로세서(120)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(130)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory), 및/또는 ROM(read-only memory)과 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, 및 PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, 및 eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다. 도 3의 메모리(130)는 도 1의 메모리(130)를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)의 디스플레이(210)는, 사용자에게 시각화된 정보(예를 들어, 도 4a 내지 도 4c, 도 5, 및/또는 도 6a 내지 도 6d의 화면들 중 적어도 하나)를 출력할 수 있다. 예를 들어, 디스플레이(210)는, 프로세서(120)에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(210)는 FPD(flat panel display), 플렉서블 디스플레이(flexible display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel), 및/또는 하나 이상의 LED들(light emitting diodes)을 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)의 디스플레이(210)는, 디스플레이(210) 상의 외부 객체(예, 도 2의 외부 객체(270))를 탐지하기 위한 센서(예, TSP(touch sensor panel))를 포함할 수 있다. 예를 들어, TSP에 기반하여, 전자 장치(101)는 디스플레이(210)와 접촉하거나, 또는 디스플레이(210) 상을 부유하는(floating) 외부 객체를 탐지할 수 있다. 상기 외부 객체를 탐지하는 것에 응답하여, 전자 장치(101)는, 디스플레이(210) 내에 표시되고 있는 시각적 객체들 중에서, 상기 외부 객체의 디스플레이(210) 상에서의 위치에 대응하는, 특정(specific) 시각적 객체와 관련된 기능을 실행할 수 있다.
일 실시예에 따른, 전자 장치(101)의 메모리(130) 내에서, 프로세서(120)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 예를 들어, 전자 장치(101), 및/또는 프로세서(120)는, 운영체제, 펌웨어, 드라이버, 및/또는 어플리케이션 형태로 배포된 복수의 인스트럭션의 집합(set of a plurality of instructions)이 실행될 시에, 도 7, 및/또는 도 8의 동작들 중 적어도 하나를 수행할 수 있다. 이하에서, 어플리케이션이 전자 장치(101)에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 전자 장치(101)의 메모리(130) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치(101)의 프로세서(120)에 의해 실행 가능한(executable) 포맷(예, 전자 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다.
도 3을 참고하면, 일 실시예에 따른, 메모리(130) 내에 저장된 어플리케이션들의 일 예로, 노트 어플리케이션(310), 획 인식기(recognizer)(320), 도형 인식기(330), 및/또는 도형 변환기(converter)(340)가 도시된다. 도 3의 노트 어플리케이션(310)은, 디스플레이(210) 내에 손 글씨와 관련된 기능을 실행하기 위한 사용자 인터페이스(user interface, UI)를 표시하기 위한 응용 소프트웨어일 수 있다. 비록, 상이한 블록들에 기반하여 도시되지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 획 인식기(320), 도형 인식기(330), 및/또는 도형 변환기(340)는, 노트 어플리케이션(310) 내에 포함될 수 있다. 획 인식기(320), 도형 인식기(330), 및/또는 도형 변환기(340)는, 백그라운드 프로세스(background process), 및/또는 데몬(daemon)과 같이 사용자에게 보여지는 제1 상태와 구별되는 제2 상태에서 실행될 수 있다.
일 실시예에 따르면, 도 3의 획 인식기(320)는, 디스플레이(210) 상에 접촉된 외부 객체의 궤적으로부터 적어도 하나의 획을 획득하기 위한 소프트웨어일 수 있다. 획 인식기(320)의 실행에 기반하여, 전자 장치(101)는 상기 적어도 하나의 획을 나타내기 위한 정보를 획득할 수 있다. 상기 정보는, 단일 획에 대응하는 외부 객체의 궤적을, 지정된 주기(예, 8.3 밀리초)를 따라 측정된 디스플레이(210) 상의 외부 객체의 지점들을 나타내는 좌표들의 리스트(예, 도트 리스트)를 포함할 수 있다.
일 실시예에서, 도형 인식기(330)의 실행에 기반하여, 전자 장치(101)는 획 인식기(320)에 기반하여 획득된 상기 정보에 의해 지시되는(indicated) 획에 대응하는 도형을 식별할 수 있다. 예를 들어, 지정된 도형들(예, 직선, 곡선, 삼각형, 사각형, 오각형, 육각형, 원, 및/또는 하트) 중에서, 획 인식기(320)에 의해 인식된 획과 유사한 도형을 식별하는 것에 기반하여, 전자 장치(101)는 획에 대응하는 도형을 식별할 수 있다. 도형 인식기(330)는, 사용자에 의해 그려진 획을, 상기 지정된 도형들 중 어느 하나로 분류하도록 트레이닝된 뉴럴 네트워크를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)는 도형 변환기(340)의 실행에 기반하여, 노트 어플리케이션(310)을 통해 제공된 UI에 기반하여 사용자로부터 수신된 획을, 도형 인식기(330)에 의해 식별된 도형을 나타내는 라인(예, 도 2의 라인(284))으로 변경할 수 있다. 상기 라인은, 상기 도형과 관련된 수식, 및 상기 수식에 포함된 하나 이상의 파라미터들에 의하여 표현되는 벡터 그래픽 객체를 포함할 수 있다. 일 실시예에 따른, 전자 장치(101)는 디스플레이(210) 상에 접촉된 외부 객체의 모션에 기반하여, 획 인식기(320), 도형 인식기(330), 및/또는 도형 변환기(340)를 선택적으로 실행하여, 상기 모션에 의해 지시되는 하나 이상의 기능들을 실행할 수 있다. 예를 들어, 전자 장치(101)는, 외부 객체, 및 디스플레이(210) 사이의 단일 접촉에 기반하여, 외부 객체의 궤적에 기반하는 획의 추가, 상기 획에 기반하는 라인의 추가, 및 상기 라인의 회전 전부를 수행할 수 있다.
이하에서는, 도 4a 내지 도 4c를 참고하여, 일 실시예에 따른, 전자 장치(101)가 디스플레이(210), 및 외부 객체의 단일 접촉에 기반하여 수행하는 동작들이 설명된다.
도 4a 내지 도 4c는, 일 실시예에 따른, 전자 장치(101)가 디스플레이(210) 상에 접촉된 외부 객체(270)의 모션에 기반하여, 상기 모션에 기반하여 획, 및/또는 라인을 표시하는 동작의 일 예를 도시한다. 도 4a 내지 도 4c의 전자 장치(101)는 도 2의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 2의 전자 장치(101), 및 디스플레이(210)는 도 4a 내지 도 4c의 전자 장치(101), 및 디스플레이(210)를 포함할 수 있다.
도 4a 내지 도 4c를 참고하면, 외부 객체(270)가 디스플레이(210) 상에 접촉된 시간 구간 내에서, 전자 장치(101)가 외부 객체(270)의 모션에 기반하여 수행하는 예시적인 동작들이 시간 순서대로(in chronological order) 도시된다. 예를 들어, 도 4a 내지 도 4c의 상태들(410, 420, 430)은, 외부 객체(270), 및 디스플레이(210) 사이의 단일(single) 접촉 내 상이한 시점들 내에서의 전자 장치(101)의 상태일 수 있다.
도 4a의 상태(410)는, 일 실시예에 따른, 전자 장치(101)가 디스플레이(210)의 영역(250)의 A 포인트로부터 B 포인트까지 드래그된 외부 객체(270)에 기반하여, 획(412)을 표시한 상태의 일 예일 수 있다. 일 실시예에서, 전자 장치(101)는 지정된 주기 마다 디스플레이(210) 상에 접촉된 외부 객체(270)의 위치를 반복적으로 식별할 수 있다. 상기 지정된 주기는, 실시예를 제한하지 않는 일 예로(as a non-limiting example), 120 Hz, 및/또는 8.33 밀리초를 포함할 수 있다. 상태(410) 이전에, 외부 객체(270)가 A 포인트 상에 접촉된 초기 상태(initial state) 내에서, 전자 장치(101)는 외부 객체(270), 및 디스플레이(210) 사이의 접촉의 개시를 알리는 지정된 이벤트(예, 터치 다운 이벤트)를 발생할 수 있다. 상기 발생된 지정된 이벤트는, 전자 장치(101)에 의한 도 3의 노트 어플리케이션(310), 및/또는 획 인식기(320)의 실행에 기반하여, 영역(250) 내에 외부 객체(270)의 궤적에 기반하여 획(412)의 적어도 일부분을 표시하는 것을 촉발(trigger)할 수 있다.
A 포인트 상에 접촉된 외부 객체(270)를 식별한 상기 초기 상태 이후, 외부 객체(270), 및 디스플레이(210) 사이의 접촉이 유지됨을 식별하는 것에 기반하여, 전자 장치(101)는 상기 접촉의 유지와 관련된 지정된 이벤트(예, 터치 무브 이벤트)를 발생할 수 있다. 상기 지정된 이벤트는, 외부 객체(270)가 디스플레이(210) 상에 접촉되었는지 여부를 식별하는 것에 기반하여, 발생될 수 있다. 예를 들어, 전자 장치(101)는 지정된 주기에 기반하여, 외부 객체(270)가 디스플레이(210) 상에 접촉되었는지 여부를 반복적으로 식별할 수 있다. 상기 지정된 이벤트는, 전자 장치(101)에 의해 실행되는, 도 3의 획 인식기(320)에 의하여 처리될 수 있다. 예를 들어, 전자 장치(101)는 상기 지정된 이벤트의 발생에 기반하여, 디스플레이(210) 내에 획(412)을 표시하기 위한 정보(예, 도트 리스트)를 획득할 수 있다. 예를 들어, 상기 정보 내에, 전자 장치(101)는 지정된 주기에 기반하여 디스플레이(210) 상에 접촉된 외부 객체(270)의 좌표를 누적(accumulate)할 수 있다.
도 4a의 상태(410)를 참고하면, 상기 초기 상태 이후, 디스플레이(210) 상에 접촉된 외부 객체(270)가 드래그됨에 따라, 전자 장치(101)는 상기 A 포인트로부터 시작된 획(412)을 점진적으로 연장할 수 있다. 예를 들어, 상기 초기 상태부터 상태(410) 까지의 시간 구간 내에서, 디스플레이(210) 내에 표시되는 획(412)이 외부 객체(270)를 추적할 수 있다. 전자 장치(101)는, 외부 객체(270)가 디스플레이(210)로부터 분리됨을 식별하는 시점까지, 디스플레이(210) 상에 접촉된 외부 객체(270)의 위치를 추적할 수 있다. 상기 시점에서, 전자 장치(101)는 외부 객체(270)가 디스플레이(210)로부터 분리됨을 알리기 위한 지정된 이벤트(예, 터치 업 이벤트)를 발생할 수 있다. 상기 지정된 이벤트는, 도 3의 획 인식기(320)의 실행에 기반하여 처리될 수 있다. 외부 객체(270)의 모션에 기반하여 획(412)을 표시하는, 도 4a의 상태(410) 내에서, 상기 지정된 이벤트가 발생된 예시적인 케이스 내에서, 전자 장치(101)는 도 3의 획 인식기(320)의 실행에 기반하여, 획(412)을 입력하기 위한 상기 모션이 완료됨을 식별할 수 있다. 상기 케이스 내에서, 전자 장치(101)는 획(412)을 표시하기 위한 정보 내에, 외부 객체(270)가 B 포인트로부터 분리됨을 지시하는(indicating) 데이터를 추가할 수 있다. 외부 객체(270), 및 디스플레이(210) 사이의 단일 접촉은, 하나의 터치 다운 이벤트, 하나 이상의 터치 무브 이벤트들, 및 하나의 터치 업 이벤트의 순차적인 발생을 야기할 수 있다.
도 4a의 상태(410)와 같이, 외부 객체(270), 및 디스플레이(210) 사이의 접촉이 유지되는 동안, 전자 장치(101)는 지정된 시간 구간 동안 디스플레이(210) 상에 접촉된 외부 객체(270)의 위치의 분포(또는 편차(deviation))를 식별할 수 있다. 상기 지정된 시간 구간은, 현재 시점부터, 약 500 밀리초와 같은 지정된 기간(preset duration) 이전의 과거 시점 사이의 시간 구간(예, 상기 현재 시점에 기반하여 형성된 슬라이딩 윈도우)을 포함할 수 있다. 일 실시예에서, 상기 지정된 기간의 길이는, 전자 장치(101)가 외부 객체(270)의 위치를 반복적으로 식별하는 지정된 주기 이상일 수 있다. 상기 외부 객체(270)의 위치의 분포는, 지정된 주기에 기반하여 전자 장치(101)에 의하여 반복적으로 식별된 외부 객체(270)의 좌표들을 포함할 수 있다. 상기 좌표들은, 터치 무브 이벤트와 같은 지정된 이벤트의 반복적인 발생에 기반하여, 전자 장치(101)에 의하여 식별될 수 있다.
도 4a의 예시적인 상태(410) 내에서, 일 실시예에 따른, 전자 장치(101)는, 디스플레이(210) 상에 접촉된 외부 객체(270)의 위치(상태(410) 내에서, B 포인트)에 기반하여 형성된 영역(414)과, 지정된 시간 구간 내에서 디스플레이(210) 상에 접촉된 외부 객체(270)의 위치의 분포를 비교하여, 전자 장치(101)가 상기 지정된 시간 구간 내에서 영역(414) 내에서 접촉되었는지 여부를 식별할 수 있다. 영역(414)은, B 포인트를 중심으로 가지고, 지정된 사이즈(예, 16 dp(density-independent pixel) Х 16 dp, 80 픽셀 Х 80 픽셀, 및/또는 8 픽셀 Х 8 픽셀)를 가질 수 있다. 영역(414)의 사이즈는, 디스플레이(210) 상에 접촉된 외부 객체(270)의 유지(hold)를 식별하기 위하여, 미리 결정될 수 있다. 예를 들어, 영역(414)의 사이즈는, 외부 객체(270)를 쥔 사용자의 미세한 모션과 관련될 수 있다. 일 실시예에서, 영역(414)은, 외부 객체(270)에 의한 드래그의 정지(pause)를 식별하기 위하여, 디스플레이(210) 상에 접촉된 외부 객체(270)의 위치에 기반하여, 형성될 수 있다.
도 4a의 상태(410) 내에서, 일 실시예에 따른, 전자 장치(101)는 영역(414), 및 상태(410)와 관련된 지정된 시간 구간 동안 반복적으로 식별된 외부 객체(270)의 좌표들의 분포를 획득할 수 있다. 도 4a를 참고하면, 상기 좌표들의 x 축 분포를 나타내는 히스토그램(414-1), 및 상기 좌표들의 y 축 분포를 나타내는 히스토그램(414-2)이 예시된다. 일 실시예에 따른, 전자 장치(101)는 히스토그램들(414-1, 414-2)과 같이 시각화되는, 상기 좌표들의 분포가 가우시안(gaussian) 분포를 가지는지 여부를 식별할 수 있다. 가우시안 분포는, 예시적인 히스토그램들(414-1, 414-2)과 같이, 특정 값, 및/또는 좌표를 중심으로, 좌표들이 지정된 표준 편차 미만의 영역에 집중됨을 의미할 수 있다. 예를 들어, 외부 객체(270)가 지정된 시간 구간 동안 획(412)을 그리기 위한 사용자의 의도에 기반하여 드래그되는 경우, 전자 장치(101)가 상기 시간 구간 동안 식별하는 외부 객체(270)의 좌표들의 분포는, 가우시안 분포와 상이한 분포를 가질 수 있다. 예를 들어, 외부 객체(270)가 지정된 시간 구간 동안, B 포인트와 같은 특정 포인트에 머무르기 위한 사용자의 의도에 기반하여 정지되는 경우, 전자 장치(101)가 상기 시간 구간 동안 식별하는 외부 객체(270)의 좌표들의 분포는, 도 4a의 예시적인 히스토그램들(414-1, 414-2)과 같이, 특정 포인트를 중심으로 가지는 가우시안 분포를 가질 수 있다. 상기 특정 포인트는 영역(414)의 중점이거나, 또는 상기 중점과 상이한 영역(414) 내 다른 포인트일 수 있다.
일 실시예에 따른, 전자 장치(101)는 영역(414) 내에서 지정된 시간 구간 동안 추적된 외부 객체(270)의 좌표들의 중간 값, 및/또는 표준 편차에 기반하여, 상기 좌표들의 분포가 가우시안 분포를 가지는지 여부를 식별할 수 있다. 도 4a의 상태(410) 내에서, 디스플레이(210) 상에 접촉된 외부 객체(270)의 좌표들이 영역(414) 내에서 가우시안 분포를 가지는 것을 식별하는 것에 기반하여, 전자 장치(101)는 외부 객체(270)의 홀드 모션(hold motion)을 탐지할 수 있다. 홀드 모션을 탐지하는 것에 기반하여, 전자 장치(101)는 지정된 이벤트(예, 홀드 모션 이벤트)를 발생할 수 있다. 상기 지정된 이벤트는, 전자 장치(101)에 의해 실행되는, 도 3의 도형 인식기(330), 및/또는 도형 변환기(340)에 의하여 처리될 수 있다. 예를 들어, 전자 장치(101)는 상기 지정된 이벤트의 발생에 기반하여, 획(412)에 의해 표현된 도형을 식별할 수 있다. 상기 지정된 이벤트는, 획(412)의 변환에 기반하여 라인을 표시함을 나타내는 입력에 의하여 발생될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101)는, 외부 객체(270)가 드래그됨을 식별한 동안, 외부 객체(270)가 지정된 시간 구간 동안 디스플레이(210) 내 지정된 크기의 영역(414) 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획과 연계로(in association with) 라인을 표시할 수 있다. 예를 들어, 전자 장치(101)는 외부 객체(270)가 상기 지정된 시간 구간 동안, 상기 외부 객체(270)에 의한 드래그의 정지(pause)를 식별하기 위한, 상기 영역(414) 내에서 접촉됨을 식별하는 것에 응답하여, 상기 라인을 표시할 수 있다. 전자 장치(101)는, 디스플레이(210) 상에 접촉된 외부 객체(270)의 모션이 유지되는지 여부를 보다 정확하게 식별하기 위하여, 디스플레이(210) 상에 접촉된 외부 객체(270)의 좌표들의 분포를, 가우시안 분포와 비교할 수 있다.
도 4b를 참고하면, 전자 장치(101)가 상태(410) 내에서 가우시안 분포를 가지는 외부 객체(270)의 좌표들의 분포를 식별하는 것에 기반하여 라인(422)을 표시한 예시적인 상태(420)가 도시된다. 상태(420)는, A 포인트 상에서 최초로 접촉된 외부 객체(270)의 접촉이 유지되는 동안, B 포인트 상에서 유지되는 외부 객체(270)의 모션에 의하여 진입된 전자 장치(101)의 상태를 포함할 수 있다. 예를 들어, 전자 장치(101)는 도 4a의 상태(410) 내에서, B 포인트와 관련된 지정된 이벤트(예, 홀드 모션 이벤트)의 발생에 기반하여, 상태(420)로 진입할 수 있다.
일 실시예에 따른, 전자 장치(101)는, 외부 객체(270)의 궤적에 기반하여 획(412)을 표시한 상태(예, 도 4a의 상태(410)) 내에서, 지정된 시간 구간 동안 영역(414) 내에 접촉된 상기 외부 객체(270)를 식별하는 것에 기반하여, 상기 획(412)과 관련된 도형을 표현하는 상기 라인(422)을 표시할 수 있다. 도 4b의 상태(420) 내에서, 획(412)에 의해 직선이 표현됨을 식별하는 것에 기반하여, 전자 장치(101)는 상기 직선의 형태를 가지는 라인(422)을, 표시할 수 있다. 라인(422)을 표시하기 위한 상태(420) 내에서, 전자 장치(101)는 디스플레이(210)의 영역(250) 내에서 획(412)을 표시하는 것을 적어도 일시적으로 중단할 수 있다.
도 4b의 상태(420) 내에서, 전자 장치(101)는 외부 객체(270)의 모션에 기반하여, 상이한 기능들을 실행할 수 있다. 예를 들어, 외부 객체(270)가 B 포인트로부터 분리됨을 식별하는 것에 기반하여, 전자 장치(101)는 디스플레이(210)의 영역(250) 내에 라인(422)을 표시할 수 있다. B 포인트로부터 분리되는 외부 객체(270)에 기반하여, 전자 장치(101)는 도 4a의 획(412)을 라인(422)으로 변환함을 나타내는 입력을 식별할 수 있다. 한편, 외부 객체(270)가 B 포인트와 상이한 다른 포인트로 드래그됨을 식별하는 것에 기반하여, 전자 장치(101)는 라인(422)을 표시하는 것을 중단할 수 있다. 상기 다른 포인트로 드래그되는 외부 객체(270)에 기반하여, 전자 장치(101)는, 도 4a의 획(412)의 표시를 재개할 수 있다. 상기 다른 포인트로 드래그되는 외부 객체(270)에 기반하여, 전자 장치(101)는 다시 표시된 획(412)을 연장할 수 있다. 도 4b를 참고하면, 외부 객체(270)가 B 포인트로부터 C 포인트를 향하여 드래그되는 경우, 전자 장치(101)는 상기 C 포인트를 향하여 획(412)을 연장할 수 있다. 예를 들어, B 포인트와 상이한 다른 포인트로 드래그되는 외부 객체(270)에 기반하여, 전자 장치(101)는 도 4a의 획(412)을 연장함을 나타내는 입력을 식별할 수 있다.
도 4b의 상태(420) 내에서, 외부 객체(270)가 B 포인트 상에서 유지됨을 식별하는 것에 기반하여, 전자 장치(101)는 라인(422)을 회전하기 위한 기능을 실행할 수 있다. 예를 들어, 상태(420) 내에서 B 포인트 상에서 지정된 기간(예, 2000 밀리초)을 초과하여 접촉된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 외부 객체(270)의 궤적에 기반하여 라인(422)을 회전할 수 있다. 전자 장치(101)가 B 포인트 상에서 유지되는 외부 객체(270)를 식별하는 동작은, 도 4a를 참고하여 상술된, 가우시안 분포에 적어도 기반하여, 수행될 수 있다. 예를 들어, B 포인트 상에서 상기 지정된 기간을 초과하여 접촉된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 라인(422)을 회전하기 위한 지정된 모드로 진입할 수 있다. 상기 지정된 모드로 진입하는 것에 기반하여, 전자 장치(101)는 진동과 같은 피드백을 출력할 수 있다.
도 4c를 참고하면, 외부 객체(270)가 B 포인트 상에 지정된 기간을 초과하여 접촉된 이후, B 포인트로부터 C 포인트로 드래그된 이후의 상태(430)가 도시된다. 일 실시예에 따른, 전자 장치(101)는 B 포인트 상에 지정된 기간을 초과하여 접촉된 외부 객체(270)에 기반하여 라인(422)을 회전하기 위한 지정된 모드로 진입한 이후, 외부 객체(270)의 궤적에 기반하여 라인(422)을 회전할 수 있다. 도 4c의 상태(430)를 참고하면, 전자 장치(101)는 라인(422)의 시점인 A 포인트를 회전축으로, 라인(422)을 회전할 수 있다. 라인(422)을 회전하는 동안, 전자 장치(101)는 라인(422)의 회전을 가이드하기 위한 시각적 객체(예, 파선에 기반하여 외부 객체(270)의 궤적을 따라 회전되는 시각적 객체)를 표시할 수 있다. 외부 객체(270)의 드래그가 완료됨을 식별하는 것에 응답하여, 전자 장치(101)는 상기 표시된 시각적 객체에 기반하여, 라인(422)의 표시를 변경할 수 있다.
도 4c의 예시적인 상태(430) 내에서, 외부 객체(270)가 접촉된 디스플레이(210) 내 C 포인트가, 라인(422)의 종점에 대응할 수 있다. 일 실시예에 따른, 전자 장치(101)는 상태(420)로부터 상태(430)로 진입함에 따라, 라인(422)이 외부 객체(270)의 궤적에 의해 회전된 각도를, 디스플레이(210) 내에 표시할 수 있다. 상기 각도는 디스플레이(210)의 영역(250) 상에 중첩으로 표시되는 팝업 윈도우와 같은 시각적 객체(432)에 기반하여 표시될 수 있다. 도 4c를 참고하면, 시각적 객체(432) 내에서, 전자 장치(101)는, 라인(422)이 회전된 각도를 나타내는 수치 값을 표시할 수 있다.
도 4c의 상태(430) 내에서, 일 실시예에 따른, 전자 장치(101)는 외부 객체(270)의 모션에 기반하여, 상이한 기능들을 실행할 수 있다. 예를 들어, C 포인트로부터 분리되는 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 상태(430)에 기반하여 회전된 라인(422)을 표시하는 것을 유지할 수 있다. 상태(430) 내에서 C 포인트로부터 분리되는 외부 객체(270)에 기반하여, 전자 장치(101)는, 라인(422)의 변경을 완료함을 나타내는 입력을 수신할 수 있다. 한편, 특정 포인트(예, C 포인트) 상에서 지정된 기간(예, 500 밀리초)을 초과하여 유지되는 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 라인(422)의 표시를 중단하고, 외부 객체(270)의 궤적에 기반하여 획(예, 도 4a의 획(412))을 표시하는 상태(예, 도 4a의 상태(410))로 진입할 수 있다.
도 4a 내지 도 4c를 참고하면, 일 실시예에 따른, 전자 장치(101)는 A 포인트 상에서 접촉된 외부 객체(270)의 모션에 기반하여, 획(412), 및/또는 라인(422)을 표시할 수 있다. 전자 장치(101)는 A 포인트로부터 드래그되는 외부 객체(270)의 궤적에 기반하여, 상기 궤적의 형태를 가지는 획(412)을 표시할 수 있다. 전자 장치(101)는 특정 포인트(예, B 포인트) 상에서 제1 시간 구간을 초과하여 접촉된 외부 객체(270)에 기반하여, 획(412)을 라인(422)으로 대체할 수 있다. 외부 객체(270)가 상기 특정 포인트 상에서, 상기 제1 시간 구간 이후의 제2 시간 구간 동안 추가적으로 머무르는 경우, 전자 장치(101)는 상기 제2 시간 구간 이후의 외부 객체(270)의 궤적에 기반하여, 라인(422)을 회전할 수 있다. 도 4c를 참고하면, 전자 장치(101)는 B 포인트 내지 C 포인트 사이의 거리에 기반하여, 라인(422)을 회전할 수 있다. 외부 객체(270)가 상기 특정 포인트 상에서, 상기 제2 시간 구간 이후의 제3 시간 구간 동안 추가적으로 머무르는 경우, 전자 장치(101)는 라인(422) 이전에 표시되던 획(412)을 복원할 수 있다. 상기 제3 시간 구간에 기반하여 획(412)을 복원한 이후, 전자 장치(101)는 외부 객체(270)의 궤적에 기반하여, 복원된 획(412)을 연장할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101)는 디스플레이(210), 및 외부 객체(270) 사이의 단일 접촉에 기반하여, 획(412), 및/또는 라인(422)을 선택적으로 표시할 수 있다. 전자 장치(101)는 상기 단일 접촉에 기반하여, 라인(422)을 회전하기 위한 입력을 수신할 수 있다. 이하에서는, 도 5를 참고하여, 일 실시예에 따른, 전자 장치(101)가 획(412)을 그리기 위하여 디스플레이(210) 상에 접촉된 외부 객체(270)의 모션에 기반하여, 라인(422)을 회전하는 동작들의 일 예가 설명된다.
도 5는, 일 실시예에 따른, 전자 장치(101)가 디스플레이(210) 상에 접촉된 외부 객체(270)의 모션에 기반하여, 디스플레이(210) 내에 표시된 라인(284)을 회전하는 동작의 일 예를 도시한다. 도 5의 전자 장치(101)는 도 2의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 2의 전자 장치(101), 및 디스플레이(210)는 도 5의 전자 장치(101), 및 디스플레이(210)를 포함할 수 있다.
도 5를 참고하면, A 포인트로부터 B 포인트로 드래그된 이후, B 포인트 상에서 지정된 기간을 초과하여 정지된 외부 객체(270)에 기반하여, 전자 장치(101)가 디스플레이(210)의 영역(250) 내에 라인(284)을 표시한 상태(510)가 도시된다. 라인(284)의 형태는, A 포인트로부터 B 포인트로 드래그된 외부 객체(270)의 궤적의 형태에 대응할 수 있다. 전자 장치(101)는 A 포인트로부터 B 포인트로 드래그된 외부 객체(270)의 궤적에 의해 표현되는 타원을, 라인(284)에 기반하여 표시할 수 있다. 전자 장치(101)가 외부 객체(270)의 궤적으로부터 라인(284)을 표시하는 것은, 도 4a를 참고하여 상술된 동작에 기반하여, 수행될 수 있다. 예를 들어, 전자 장치(101)는 외부 객체(270)의 궤적의 종점인 B 포인트 상에서 유지되는 외부 객체(270)의 모션을 식별하는 것에 기반하여, 도 5의 부분(512)과 같이, 라인(284)을 표시할 수 있다.
일 실시예에 따른, 전자 장치(101)는 상태(510) 내에서, B 포인트 상에서 지정된 기간을 초과하여 정지된 외부 객체(270)를 식별하는 것에 기반하여, 외부 객체(270)의 궤적에 기반하여 라인(270)을 회전할 수 있다. 외부 객체(270)에 기반하여 라인(284)을 회전하는 상태 내에서, 전자 장치(101)는 라인(284), 또는 라인(284)에 의해 형성된 부분 내에서, 라인(284)의 회전축(pivot)을 나타내기 위한 시각적 객체를 표시할 수 있다. 예를 들어, 상기 회전축은, 라인(284)에 의해 표현된 획의 시점(예, A 포인트), 종점(예, B 포인트), 또는 라인(284)에 의해 구분되는 도형의 중심 점(예, 라인(284)에 의해 구분되는 타원의 중심인 C 포인트) 중 어느 하나에 대응할 수 있다.
도 5를 참고하면, 상태(510) 내에서 B 포인트로부터 P 포인트로 드래그된 외부 객체(270)에 기반하여, 전자 장치(101)가 라인(284)을 회전한 이후의 부분(512)의 상태들(520, 530, 540)이 도시된다. 부분(512)은, 라인(284)이 표시된 디스플레이(210)의 일부분을 포함할 수 있다. 부분(512)의 상태들(520, 530, 540) 각각은, 전자 장치(101)가 상이한 회전축들에 의하여 라인(284)을 회전한 상이한 상태들을 포함할 수 있다. 상태(520) 내에서, 전자 장치(101)는 라인(284)에 의해 구분되는 타원의 중심인 C 포인트를 회전축으로, B 포인트로부터 P 포인트로 드래그된 외부 객체(270)에 기반하여 라인(284)을 회전할 수 있다. 상태(520) 내 라인(284-1)은, P 포인트로 드래그된 외부 객체(270)에 의해 회전된 라인(284)을 나타낼 수 있다. 상태(530) 내에서, 전자 장치(101)는 라인(284)을 표시하기 위해 드래그된 외부 객체(270)의 궤적의 시점인 A 포인트를 회전축으로, 라인(284)을 회전할 수 있다. 상태(530) 내 라인(284-2)은, B 포인트로부터 P 포인트로 드래그된 외부 객체(270)에 의해 회전된 라인(284)을 나타낼 수 있다. 상태(540) 내에서, 전자 장치(101)는 라인(284)에 대응하는 획의 종점인 B 포인트를 회전축으로, P 포인트 상의 외부 객체(270)에 기반하여, 라인(284)을 회전할 수 있다. 상태(540) 내 라인(284-3)은, 전자 장치(101)가 외부 객체(270)에 기반하여 라인(284)을 회전한 결과를 나타낼 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101)는 디스플레이(210) 상에 접촉된 외부 객체(270)의 모션에 기반하여, 라인(284)의 표시, 및 회전까지 수행할 수 있다. 전자 장치(101)는 라인(284)의 표시, 및 회전을, 디스플레이(210), 및 외부 객체(270) 사이의 단일 접촉에 의하여 수행할 수 있다. 일 실시예에 따른, 전자 장치(101)는, 외부 객체(270)의 궤적, 및/또는 위치에 기반하여, 라인(284)을 회전하는 상태(510) 내에서, 라인(284)에 대응하는 도형의 중심 점, 라인(284)에 대응하는 획의 시점, 내지 종점 중 적어도 하나를 회전축으로 설정할(set) 수 있다. 일 실시예에 따른, 전자 장치(101)는 상기 단일 접촉에 기반하여, 획의 입력, 상기 획에 대응하는 라인(284)의 표시, 및/또는 회전을 지원하여, 상기 단일 접촉과 관련된 사용자 경험을 강화할 수 있다. 비록 전자 장치(101)가 상기 단일 접촉에 기반하여, 획으로부터 라인(284)을 표시하는 예시적인 동작이 설명되었지만, 실시예가 이에 제한되는 것은 아니다. 전자 장치(101)는 영역(250) 내에 표시된 도형에 대한 홀드 모션 이벤트에 기반하여, 상기 도형을 회전함을 나타내는 입력을 수신할 수 있다.
일 실시예에 따른, 전자 장치(101)가 외부 객체(270)의 궤적에 기반하여 실행하는 기능은, 상기 궤적과 관련된 형태를 가지는 라인(284)을 회전하는 기능에 제한되지 않는다. 이하에서는, 도 6a 내지 도 6d를 참고하여, 일 실시예에 따른, 전자 장치(101)가 외부 객체(270)의 궤적에 기반하여, 라인(284)의 표시를 변경하는 동작의 일 예가 설명된다.
도 6a 내지 도 6d는, 일 실시예에 따른, 전자 장치(101)가 디스플레이(210) 상에 접촉된 외부 객체(270)의 모션에 기반하여, 디스플레이(210) 내에 표시된 라인(612, 622, 632)의 형태, 및/또는 색상을 조절하는 동작의 일 예를 도시한다. 도 6a 내지 도 6d의 전자 장치(101)는 도 2의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 2의 전자 장치(101), 및 디스플레이(210)는, 도 6a 내지 도 6d의 전자 장치(101), 및 디스플레이(210)를 포함할 수 있다.
도 6a 내지 도 6d를 참고하면, 일 실시예에 따른, 전자 장치(101)가 외부 객체(270)의 궤적에 기반하여 상이한 라인들(612, 622, 632)을 표시한 상이한 상태들(610, 620, 630)이 예시적으로 도시된다. 도 6a 내지 도 6d의 상기 라인들(612, 622, 632)은, B 포인트를 종점으로 가지는 외부 객체(270)의 상이한 궤적들에 의해 영역(250) 내에 표시된 획들에 의해 표현된 도형들의 형태들을 가질 수 있다. 예를 들어, 도 6a의 상태(610) 내 라인(612)은, B 포인트를 종점으로 가지는 외부 객체(270)의 제1 궤적에 의해 표현된 도형이 별에 대응함을 식별하는 것에 기반하여, 전자 장치(101)에 의하여 표시될 수 있다. 예를 들어, 도 6b의 상태(620) 내 라인(622)은, B 포인트를 종점으로 가지는 외부 객체(270)의 제2 궤적에 의해 표현된 도형이 하트에 대응함을 식별하는 것에 기반하여, 전자 장치(101)에 의하여 표시될 수 있다. 예를 들어, 도 6c의 상태(630) 내 라인(632)은, B 포인트를 종점으로 가지는 외부 객체(270)의 제3 궤적에 의해 표현된 도형이 사각형에 대응함을 식별하는 것에 기반하여, 전자 장치(101)에 의하여 표시될 수 있다.
일 실시예에 따른, 전자 장치(101)는 홀드 모션 이벤트와 같이, 디스플레이(210) 상의 특정 포인트(예, B 포인트) 상에서 유지되는 외부 객체(270)에 기반하여, 라인(예, 도 6a 내지 도 6c의 라인들(612, 622, 632))의 표시를 변경하기 위한 모드로 진입할 수 있다. 상기 모드는 도 4a 내지 도 4c, 및/또는 도 5를 참고하여 상술된, 라인을 회전하는 모드를 포함할 수 있다. 상기 모드는 도 6a의 상태(610)를 참고하여 후술되는, 라인의 색상을 조절하는 모드를 포함할 수 있다. 상기 모드는, 도 6b의 상태(620)를 참고하여 후술되는, 라인의 두께를 조절하는 모드를 포함할 수 있다. 상기 모드는, 도 6c의 상태(630)를 참고하여 후술되는, 라인에 의해 표현되는 도형의 크기를 조절하는 모드를 포함할 수 있다. 전자 장치(101)가 상기 홀드 모션 이벤트의 발생에 기반하여, 사용자에 의해 선택된 옵션에 기반하여, 상술된 모드들 중에서 일 모드를 선택할 수 있다.
도 6a의 상태(610) 내에서, B 포인트 상에서 고정된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 외부 객체(270)에 의해 그려진 획으로부터 라인(612)을 표시할 수 있다. 일 실시예에 따르면, 외부 객체(270)가 상기 B 포인트 상에 연속적으로 고정됨에 따라, 전자 장치(101)는 라인(612)의 색상을 조절하기 위한 시각적 객체(614)를 표시할 수 있다. 일 실시예에 따르면, 시각적 객체(614)는 디스플레이(210)의 영역(250) 상에 중첩으로 표시되는, 팝업 윈도우의 형태를 가질 수 있다. 일 실시예에 따른, 전자 장치(101)는 시각적 객체(614) 내에 지정된 수의 색상들의 리스트를 표시할 수 있다. 도 6a를 참고하면, 전자 장치(101)가 시각적 객체(614) 내에서 지정된 방향(예, 디스플레이(210) 내에 표시된 화면의 수평 방향)을 따라 상기 지정된 수의 색상들 각각이 채워진 사각형의 형태를 가지는 시각적 객체들을 표시한 일 예가 도시된다. 하지만, 실시예가 이에 제한되는 것은 아니다.
도 6a의 상태(610) 내에서, 일 실시예에 따른, 전자 장치(101)는 B 포인트와 상이한 다른 포인트로 드래그되는 외부 객체(270)의 궤적에 기반하여, 라인(612)의 색상을 변경할 수 있다. 예를 들어, 전자 장치(101)는 시각적 객체(614) 내에서 상이한 색상들이 채워진 시각적 객체들의 방향(예, 디스플레이(210) 내에 표시된 화면의 수평 방향)을 따라 드래그된 외부 객체(270)의 궤적에 기반하여, 라인(612)의 색상을 변경할 수 있다. 전자 장치(101)는 시각적 객체(614) 내 색상들의 리스트 내에서, 외부 객체(270)의 궤적에 의해 선택된 특정 색상을 강조할 수 있다.
도 6b의 상태(620) 내에서, B 포인트 상에서 고정된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 외부 객체(270)의 모션에 의해 입력된 획으로부터 라인(622)을 표시할 수 있다. 도 6b의 상태(620) 내에서, 외부 객체(270)에 의해 하트 모양의 획을 수신하는 것에 기반하여, 전자 장치(101)는 상기 하트 모양의 도형에 기반하는 라인(622)을 표시할 수 있다. 외부 객체(270)가 상기 B 포인트 상에서 고정됨에 따라, 전자 장치(101)는 라인(622)의 두께(t)를 조절하기 위한 모드로 진입할 수 있다. 상기 모드 내에서, 상기 B 포인트와 상이한 다른 포인트로 드래그되는 외부 객체(270)에 기반하여, 전자 장치(101)는 라인(622)의 두께(t)를 변경할 수 있다. 예를 들어, B 포인트, 및 외부 객체(270)가 접촉된 다른 포인트 사이의 거리에 비례하여, 전자 장치(101)는 라인(622)의 두께(t)를 증가시킬 수 있다.
도 6c의 상태(630) 내에서, 일 실시예에 따른, 전자 장치(101)는 외부 객체(270)의 모션에 의해 사각형의 형태를 가지는 획을 수신한 이후, B 포인트 상에서 고정된 외부 객체(270)에 기반하여, 상기 획으로부터 사각형의 도형에 기반하는 라인(632)을 표시할 수 있다. 라인(632)을 표시한 이후, 외부 객체(270)가 상기 B 포인트 상에 지정된 기간 동안 고정됨을 식별하는 것에 기반하여, 전자 장치(101)는 라인(632)에 의해 표현된 상기 도형을 확대, 또는 축소하기 위한 모드로 진입할 수 있다. 상기 모드 내에서, B 포인트와 상이한 다른 포인트(예, X 포인트, 및/또는 Y 포인트)로 드래그되는 외부 객체(270)에 기반하여, 전자 장치(101)는 라인(632)에 의해 표현된 도형의 크기를 변경할 수 있다. 예를 들어, B 포인트로부터 X 포인트로 드래그되는 외부 객체(270)를 식별하는 경우, 전자 장치(101)는 상기 X 포인트에 기반하여 축소된 도형을 표현하는 라인(634)을 표시할 수 있다. 예를 들어, B 포인트로부터 Y 포인트로 드래그되는 외부 객체(270)를 식별하는 경우, 전자 장치(101)는 상기 Y 포인트에 기반하여 확대된 도형을 표현하는 라인(636)을 표시할 수 있다.
도 6a 내지 도 6c의 상태들(610, 620, 630) 중 적어도 하나의 상태 내에서, 전자 장치(101)는 획에 의해 표현되는 도형을 나타내는 라인을, 상기 획으로 복원함을 나타내는 입력을 수신할 수 있다. 예를 들어, 도 6c의 상태(630) 내에서, 라인(632)의 B 포인트 상에서 지정된 기간을 초과하여 정지된 외부 객체(270)를 식별하는 것에 응답하여, 전자 장치(101)는 라인(632)의 표시를 중단하고, 라인(632)에 대응하는 획을 표시할 수 있다.
도 6d를 참고하면, 일 실시예에 따른, 전자 장치(101)는 라인(612) 내 B 포인트 상에서 고정된 외부 객체(270)를 식별하는 동안, 라인(612)의 회전, 색상, 굵기, 또는 크기 각각을 변경하기 위한 모드들을 선택하기 위한 시각적 객체를 표시할 수 있다. 도 6d를 참고하면, 상태(640) 내에서, B 포인트 상에 고정된 외부 객체(270)를 식별한 상태 내에서, 전자 장치(101)는 B 포인트를 포함하는 디스플레이(210)의 일부분(641-1) 내에, 외부 객체(270)의 이동에 기반하여 선택되는 모드를 나타내기 위한 시각적 객체들(642, 643, 644, 645)을 순차적으로 표시할 수 있다.
예를 들어, 상태(640) 내에서, B 포인트 상에 제1 지정된 기간(예, 2000 밀리초)를 초과하여 고정된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 B 포인트와 인접한 일부분(641-2) 상에 중첩으로, 라인(612)을 회전함을 나타내는 시각적 객체(642)를 표시할 수 있다. 시각적 객체(642)는 곡선의 양방향 화살표의 형태를 가질 수 있다. 시각적 객체(642)가 표시된 동안, B 포인트와 상이한 다른 포인트로 이동되는 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 B 포인트, 및 상기 다른 포인트 사이의 거리에 기반하여, 라인(612)을 회전할 수 있다.
예를 들어, 상태(640) 내에서, B 포인트 상에서, 제2 지정된 기간(예, 4000 밀리초)를 초과하여 고정된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 라인(612)의 색상을 조절하는 모드의 실행을 가이드하기 위한 시각적 객체(643)를 표시할 수 있다. 시각적 객체(643)가 표시된 동안, B 포인트와 상이한 다른 포인트로 이동되는 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 도 6d의 상태(640)로부터 도 6a의 상태(610)로 스위칭할 수 있다.
예를 들어, 상태(640) 내에서, B 포인트 상에서 제3 지정된 기간(예, 6000 밀리초)를 초과하여 고정된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 라인(612)의 두께를 변경하는 모드의 실행을 가이드하기 위한 시각적 객체(644)를 표시할 수 있다. 시각적 객체(644)가 표시된 동안, B 포인트와 상이한 다른 포인트로 이동되는 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 도 6b의 상태(620)와 같이, 상기 다른 포인트에 기반하여 라인(612)의 두께를 조절할 수 있다.
예를 들어, 상태(640) 내에서, B 포인트 상에서 제4 지정된 기간(예, 8000 밀리초)를 초과하여 고정된 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 라인(612)의 크기를 조절하는 모드의 실행을 가이드하기 위한 시각적 객체(645)를 표시할 수 있다. 시각적 객체(645)가 표시된 동안, B 포인트와 상이한 다른 포인트로 이동되는 외부 객체(270)를 식별하는 것에 기반하여, 전자 장치(101)는 B 포인트, 및 상기 다른 포인트 사이의 거리에 기반하여, 도 6c의 상태(630)와 유사하게, 라인(612)을 확대, 또는 축소할 수 있다.
라인(612)의 회전, 색상, 굵기, 또는 크기 각각을 변경하기 위한 모드들을 순환(circulating)하는 동안, 전자 장치(101)에 의하여 이용되는, 상기 제1 지정된 기간 내지 제4 지정된 기간은, 상기 예시에 제한되지 않는다. 일 실시예에 따른, 전자 장치(101)가 디스플레이(210) 상에 접촉된 외부 객체(270)의 유지에 기반하여, 상기 모드들을 순환하는 순서는, 상기 예시에 제한되지 않는다.
상술한 바와 같이, 획에 의해 표현되는 도형을 나타내는 라인(예, 도 6a 내지 도 6d의 라인들(612, 622, 632))을 표시한 상태 내에서, 외부 객체(270)가 상기 획의 종점 상에 계속적으로 접촉됨을 식별하는 것에 기반하여, 일 실시예에 따른, 전자 장치(101)는 상기 라인의 두께, 색상, 또는 크기 중 적어도 하나를 변경하기 위한 모드로 진입할 수 있다. 상기 모드 내에서, 전자 장치(101)는, 외부 객체(270)가 드래그되는 궤적에 기반하여, 라인의 두께, 색상, 또는 크기 중 적어도 하나를 변경할 수 있다. 라인의 색상을 변경하는 모드로 진입한 경우, 전자 장치(101)는 라인에 채워질 색상을 선택하기 위한 시각적 객체(예, 도 6a의 시각적 객체(614))를 표시할 수 있다.
도 7은, 일 실시예에 따른, 전자 장치가 디스플레이 상에 접촉된 외부 객체를 식별하는 것에 기반하여 수행하는 동작들의 일 예를 도시한다. 도 7의 전자 장치는 도 2의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 7의 동작들 중 적어도 하나는, 도 2의 전자 장치(101), 및/또는 프로세서(120)에 의해 수행될 수 있다.
도 7을 참고하면, 동작(710) 내에서, 일 실시예에 따른, 전자 장치는, 디스플레이 상에서 드래그되는 외부 객체의 궤적에 기반하는 획을 표시할 수 있다. 도 4a의 상태(410)는, 전자 장치가 동작(710)에 기반하여 획(예, 도 4a의 획(412))을 표시하는 상태일 수 있다.
도 7을 참고하면, 동작(720) 내에서, 일 실시예에 따른, 전자 장치는, 외부 객체가 지정된 크기의 영역 내에서 제1 지정된 기간을 초과하여 접촉되었는지 여부를 판단할 수 있다. 제1 지정된 기간, 및 지정된 크기의 영역(예, 도 4a의 영역(414))은, 동작(710)에 기반하여 표시된 획을 라인으로 변경하기 위한 지정된 제스쳐를 식별하기 위해 미리 결정될 수 있다. 상기 지정된 제스쳐는, 디스플레이 상에 접촉된 외부 객체를 분리하지 않은 상태 내에서, 외부 객체를 디스플레이 상의 특정 포인트로 유지하는 제스쳐를 포함할 수 있다. 일 실시예에 따른, 전자 장치는, 도 4a를 참고하여 상술된 바와 같이, 상기 지정된 크기의 영역 내에서 외부 객체의 좌표들이 상기 영역 내에서 가우시안 분포를 가지는 지 여부에 기반하여, 상기 지정된 제스쳐가 수행되었는지 여부를 결정할 수 있다.
외부 객체가 제1 지정된 기간 동안 동작(720)의 영역 내에서 접촉되지 않은 경우(720-아니오), 도 7의 동작(740) 내에서, 일 실시예에 따른, 전자 장치는, 외부 객체가 디스플레이로부터 분리되었는지 여부를 식별할 수 있다. 도 7을 참고하면, 외부 객체가 디스플레이로부터 분리되기 이전에(740-아니오), 전자 장치는 동작들(710, 720, 740)에 기반하여, 외부 객체의 궤적에 기반하여 디스플레이 내에 표시된 획을 계속적으로 연장할 수 있다. 예를 들어, 도 7의 동작들(710, 720, 740)에 기반하여, 전자 장치는 디스플레이 상에 접촉된 외부 객체의 좌표를, 반복적으로 측정할 수 있다. 전자 장치는, 상기 획을 나타내기 위한 정보 내에, 반복적으로 측정된 좌표를 누적할 수 있다.
외부 객체가 디스플레이로부터 분리됨을 식별한 것에 기반하여(740-예), 도 7의 동작(745) 내에서, 일 실시예에 따른, 전자 장치는 디스플레이 내에 획을 표시하기 위한 정보를 획득할 수 있다. 상기 정보는, 상기 획의 시점, 및 종점을 포함하고, 상기 시점, 및 상기 종점 사이의 하나 이상의 중간 점들의 좌표, 및 상기 중간 점들에서의 상기 획의 두께를 포함할 수 있다.
외부 객체가 제1 지정된 기간 동안 동작(720)의 영역 내에 접촉됨을 식별하는 것에 기반하여(720-예), 도 7의 동작(730) 내에서, 일 실시예에 따른, 전자 장치는, 획과 연계된 라인을 표시할 수 있다. 예를 들어, 전자 장치는 도 4b의 상태(420)와 같이, 획에 의해 표현되는 도형의 외곽선의 형태를 가지는 라인을, 디스플레이 내에 표시할 수 있다. 전자 장치는, 상기 획, 및/또는 상기 라인을 지정된 투명도(또는 알파 값)를 따라 표시할 수 있다.
도 7을 참고하면, 동작(730) 이후의 동작(750) 내에서, 일 실시예에 따른, 전자 장치는, 외부 객체가 동작(720)의 지정된 크기의 영역 밖으로 이동하였는지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 동작(730)에 기반하여 라인을 표시한 이후, 디스플레이, 및 외부 객체의 접촉이 지정된 크기의 영역 내에서 유지되는지 여부를 식별할 수 있다.
외부 객체가 상기 영역 밖으로 이동하지 않은 경우(750-아니오), 도 7의 동작(770) 내에서, 일 실시예에 따른, 전자 장치는, 외부 객체가 지정된 크기의 영역 내에서 제2 지정된 기간을 초과하여 접촉되었는지 여부를 판단할 수 있다. 제2 지정된 기간을 초과하기 이전에(770-아니오), 전자 장치는, 동작들(750, 770)에 기반하여, 외부 객체의 위치를 모니터링할 수 있다.
외부 객체가 지정된 크기의 영역 내에서 제2 지정된 기간을 초과하여 접촉된 경우(770-예), 동작(780) 내에서, 일 실시예에 따른, 전자 장치는, 획, 및 라인 중에서 획을 표시할 수 있다. 예를 들어, 전자 장치는 동작(730)에 기반하여 라인을 표시하는 것을 중단하고, 동작들(710, 720, 740)에 기반하여 디스플레이 내에 표시된 획을 표시하는 것을 재개할 수 있다. 동작(780)에 기반하여 획을 표시한 이후, 전자 장치는 도 7의 동작(710)에 기반하여, 외부 객체의 궤적에 기반하여 획을 표시하는 동작을 다시 수행할 수 있다.
전자 장치는 동작(730)에 기반하여 라인을 표시한 이후, 외부 객체가 지정된 크기의 영역 밖으로 이동한 경우(750-예), 동작(760) 내에서, 일 실시예에 따른, 전자 장치는, 외부 객체의 궤적에 기반하여 라인을 회전할 수 있다. 전자 장치는 도 4b 내지 도 4c의 상태들(420, 430), 및/또는 도 5를 참고하여 상술한 바와 같이, 라인에 의해 형성된 도형의 중심 점, 획의 시점, 또는 종점 중 적어도 하나를 회전축으로 선택할 수 있다. 전자 장치는 선택된 회전축에 기반하여, 외부 객체의 궤적을 따라 라인을 회전할 수 있다. 전자 장치는 디스플레이 상에, 라인이 회전된 각도를 포함하는 시각적 객체를 표시할 수 있다. 전자 장치가 외부 객체의 궤적에 기반하여 라인을 회전하는 것은, 도 7의 동작(765)에 기반하여, 외부 객체가 디스플레이로부터 분리되었는지 여부에 기반하여 수행될 수 있다. 외부 객체가 디스플레이로부터 분리되기 이전에, 전자 장치는 외부 객체의 궤적에 기반하여, 라인을 회전하는 것을 유지할 수 있다. 예를 들어, 외부 객체가 디스플레이로부터 분리된 경우, 전자 장치는 동작(760)에 의하여 회전된 라인을 표시하기 위한 정보를 획득할 수 있다.
도 8은, 일 실시예에 따른, 전자 장치가 수행하는 동작들의 일 예를 도시한다. 도 8의 전자 장치는 도 2의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 8의 동작들 중 적어도 하나는, 도 2의 전자 장치(101), 및/또는 프로세서(120)에 의해 수행될 수 있다. 도 8의 동작들 중 적어도 하나는 도 7의 동작들 중 적어도 하나와 관련될 수 있다.
도 8을 참고하면, 동작(810) 내에서, 일 실시예에 따른, 전자 장치는, 디스플레이 상에서 드래그되는 외부 객체의 궤적에 기반하는 획을 표시할 수 있다. 전자 장치는 도 7의 동작들(710, 720, 740)에 기반하여 디스플레이 상에 접촉된 외부 객체의 위치를 추적하여, 디스플레이 상에서 드래그되는 외부 객체의 상기 궤적을 식별할 수 있다.
외부 객체, 및 디스플레이 사이의 접촉이 유지된 동안, 동작(820) 내에서, 일 실시예에 따른, 전자 장치는, 디스플레이 상에서 드래그되는 외부 객체가 상기 디스플레이 내 지정된 크기의 영역 내에서 지정된 기간을 초과하여 접촉되는지 여부에 기반하여, 획을 라인으로 교체할 수 있다. 상기 지정된 크기의 영역은, 도 4a의 영역(414)과 같이, 디스플레이 상에서 외부 객체가 고정됨을 식별하기 위해 형성된 영역일 수 있다. 상기 지정된 기간은, 획을 라인으로 교체하기 위하여 정지된 외부 객체를 식별하기 위하여 미리 결정된 기간일 수 있다. 전자 장치는 획에 의해 표현된 도형을, 지정된 도형들 중에서 선택할 수 있다. 전자 장치는 지정된 도형들 중에서 선택된 일 도형의 외곽선에 기반하여, 상기 획에 대응하는 라인을 표시할 수 있다.
획을 라인으로 교체한 이후, 동작(830) 내에서, 일 실시예에 따른, 전자 장치는, 디스플레이 상에서 드래그되는 외부 객체의 궤적에 기반하여, 라인의 표시를 변경함을 나타내는 입력을 수신할 수 있다. 상기 입력은, 디스플레이 상에서 접촉된 외부 객체의 궤적에 기반하여 수신될 수 있다. 전자 장치는, 동작(810)의 획을 표시하기 위하여 디스플레이 상에 접촉된 외부 객체가 분리되기 이전에, 동작(830)의 입력을 수신할 수 있다.
도 8을 참고하면, 동작(840) 내에서, 일 실시예에 따른, 전자 장치는, 수신된 입력에 기반하여, 라인의 표시를 변경할 수 있다. 예를 들어, 전자 장치는 도 4c, 및/또는 도 5를 참고하여 상술한 바와 같이, 동작(830)의 입력에 기반하여, 라인을 회전할 수 있다. 예를 들어, 전자 장치는 도 6a 내지 도 6d를 참고하여 상술한 바와 같이, 동작(830)의 입력에 기반하여, 라인의 색상, 두께, 또는 상기 라인에 의해 형성된 도형의 사이즈를 변경할 수 있다. 전자 장치가 상기 입력에 기반하여 라인의 표시를 변경하는 것은, 동작(810)의 획을 표시하기 위하여 디스플레이 상에 접촉된 외부 객체가 분리되기 전까지 수행될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치는 디스플레이, 및 외부 객체의 단일 접촉에 기반하여, 디스플레이 내에 획을 추가하고, 상기 획에 기반하는 라인을 표시한 다음, 상기 라인의 표시를 변경할 수 있다. 상기 단일 접촉에 기반하여, 전자 장치는 외부 객체에 기반하여 손 글씨를 입력하는 것과 관련된 사용자 경험을 강화할 수 있다. 예를 들어, 상기 단일 접촉에 기반하여, 전자 장치는 획, 및/또는 라인의 입력과 관련된 다양한 기능들을 실행할 수 있다.
디스플레이, 및 외부 객체의 접촉, 및 분리에 의해 구분되는 단일 모션에 기반하여, 상기 외부 객체에 기반하는 드로잉과 관련된 다양한 기능들을 실행하기 위한 방안이 요구될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치(an electronic device)(예, 도 2의 전자 장치(101))는, 디스플레이(예, 도 2의 디스플레이(210)), 및 프로세서(예, 도 3의 프로세서(120))를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이 상에서 드래그되는 외부 객체(예, 도 2의 외부 객체(270))를 식별하는 것에 응답하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획(예, 도 4a의 획(412))을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역(예, 도 4a의 영역(414)) 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획과 연계로(in association with) 라인(예, 도 4b의 라인(412))을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 제2 시간 구간 이후 상기 영역과 상이한 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여 상기 라인을 회전하도록, 구성될 수 있다. 일 실시예에 따른, 전자 장치는, 디스플레이, 및 외부 객체 사이의 단일 접촉에 기반하여, 획의 표시, 상기 획에 기반하는 라인의 획득, 및 상기 라인의 표시를 변경하는 기능 전부를 실행할 수 있다.
예를 들어, 상기 프로세서는, 상기 외부 객체, 및 상기 디스플레이 사이의 접촉이, 상기 획이 상기 궤적에 기반하여 표시된 시점 이후 상기 제2 시간 구간까지 유지되었는지 여부에 기반하여, 상기 궤적에 기반하여 상기 라인을 회전하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 지정된 주기 마다 상기 디스플레이 상에 접촉된 상기 외부 객체의 위치를 반복적으로 식별하여, 상기 디스플레이 내에 상기 획을 표시하기 위한 정보를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 외부 객체가 상기 제1 시간 구간 동안, 상기 외부 객체에 의한 드래그의 정지(pause)를 식별하기 위한, 상기 지정된 크기의 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 라인을 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 시간 구간 동안 상기 영역 내에서 접촉된 상기 외부 객체의 제1 위치, 및 상기 다른 영역 내에서의 상기 외부 객체의 제2 위치 사이의 거리에 기반하여, 상기 라인을 회전하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 시간 구간 이후 상기 외부 객체에 기반하여 상기 라인을 회전하는 상태 내에서, 상기 라인이 회전된 각도를 나타내기 위한 시각적 객체를, 상기 디스플레이 내에 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 시간 구간 이후 상기 외부 객체에 기반하여 상기 라인을 회전하는 상태 내에서, 상기 라인, 또는 상기 라인에 의해 형성된 부분 내에서, 상기 라인의 회전축(pivot)을 나타내기 위한 시각적 객체를, 상기 디스플레이 내에 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 부분의 중심 점, 상기 라인 상에서 상기 궤적의 시점(initial point)에 대응하는 지점, 또는 상기 영역 내 상기 외부 객체가 접촉된 지점 중 어느 하나 상에, 상기 회전축을 나타내기 위한 상기 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 드래그되는 외부 객체가 상기 제2 시간 구간 이후의 제3 시간 구간 동안 상기 영역 내에 접촉됨을 식별하는 것에 응답하여, 상기 라인을 표시하는 것을 중단하고, 상기 획을 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제3 시간 구간 이후, 상기 외부 객체가 드래그되는 궤적에 기반하여, 상기 획을 연장하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 시간 구간 이후, 상기 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여, 상기 라인 상에 중첩으로 상기 라인의 회전을 가이드하기 위한 시각적 객체를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 시각적 객체를 표시한 상태 내에서, 상기 외부 객체의 드래그가 완료됨을 식별하는 것에 응답하여, 상기 시각적 객체에 기반하여 상기 라인의 표시를 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 시간 구간 동안 상기 영역 내에 접촉된 상기 외부 객체를 식별하는 것에 기반하여, 상기 획과 관련된 도형을 표현하는 상기 라인을 표시하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치 내 디스플레이 상에서 드래그되는 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획을 표시하는 동작(예, 도 8의 동작(810))을 포함할 수 있다. 상기 방법은, 상기 획과 관련된 상기 외부 객체, 및 상기 디스플레이 사이의 접촉이 유지된 상태 내에서, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획에 기반하는 도형을 표현하기 위한 라인을 표시하는 동작(예, 도 8의 동작(820)을 포함할 수 있다. 상기 방법은, 상기 상태 내에서, 상기 디스플레이 내 상기 라인 상에 접촉된 상기 외부 객체에 기반하여, 상기 라인의 표시를 변경함을 나타내는 입력을 수신하는 동작(예, 도 8의 동작(830)을 포함할 수 있다. 상기 방법은, 상기 수신된 입력에 기반하여, 상기 라인의 표시를 변경하는 동작(예, 도 8의 동작(840)을 포함할 수 있다.
예를 들어, 상기 획을 표시하는 동작은, 지정된 주기 마다 상기 디스플레이 상에 접촉된 상기 외부 객체의 위치를 반복적으로 식별하여, 상기 디스플레이 내에 상기 획을 표시하기 위한 정보를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 라인을 표시하는 동작은, 상기 외부 객체가 상기 제1 시간 구간 동안, 상기 외부 객체에 의한 드래그의 정지를 식별하기 위한 상기 지정된 크기의 상기 영역 내에서 접촉됨을 식별하는 것에 기반하여, 상기 라인을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 라인을 표시하는 동작은, 상기 제1 시간 구간 미만의 지정된 주기에 기반하여, 상기 제1 시간 구간 동안 상기 영역 내 접촉된 상기 외부 객체의 위치들을 반복적으로 획득하는 동작을 포함할 수 있다. 상기 라인을 표시하는 동작은, 상기 획득된 위치들의 분포에 기반하여, 상기 라인을 표시할지 여부를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 표시를 변경하는 동작은, 상기 외부 객체, 및 상기 디스플레이 사이의 접촉이, 상기 획이 상기 궤적에 기반하여 표시된 시점 이후 상기 제1 시간 구간 이후의 제2 시간 구간 까지 유지되었는지 여부에 적어도 기반하여, 상기 입력에 기반하여, 상기 표시를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 표시를 변경하는 동작은, 상기 상태 내에서, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에 접촉됨을 식별하는 것에 기반하여, 상기 제2 시간 구간 이후 상기 영역과 상이한 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여, 상기 라인을 회전하는 동작을 포함할 수 있다.
예를 들어, 상기 표시를 변경하는 동작은, 상기 상태 내에서, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에 접촉됨을 식별하는 것에 기반하여, 상기 외부 객체가 제2 시간 구간 이후에 드래그되는 궤적에 기반하여, 상기 라인의 두께, 색상, 또는 크기 중 적어도 하나를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 표시를 변경하는 동작은, 상기 제2 시간 구간 이후의 상기 궤적에 기반하여 상기 라인의 색상을 변경하는 것에 기반하여, 상기 디스플레이 내에서, 상기 궤적에 기반하여 복수의 색상들 중에서 상기 라인에 채워질(filled) 색상을 선택하기 위한 시각적 객체를 표시하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치 내 디스플레이 상에서 드래그되는 외부 객체를 식별하는 것에 응답하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획을 표시하는 동작(예, 도 7의 동작(710)을 포함할 수 있다. 상기 방법은, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획과 연계로 라인을 표시하는 동작(예, 도 7의 동작(750)을 포함할 수 있다. 상기 방법은, 상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 제2 시간 구간 이후 상기 영역과 상이한 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여 상기 라인을 회전하는 동작(예, 도 7의 동작(760)을 포함할 수 있다.
예를 들어, 상기 회전하는 동작은, 상기 외부 객체, 및 상기 디스플레이 사이의 접촉이, 상기 획이 상기 궤적에 기반하여 표시된 시점 이후 상기 제2 시간 구간까지 유지되었는지 여부에 기반하여, 상기 궤적에 기반하여 상기 라인을 회전하는 동작을 포함할 수 있다.
예를 들어, 상기 획을 표시하는 동작은, 지정된 주기 마다 상기 디스플레이 상에 접촉된 상기 외부 객체의 위치를 반복적으로 식별하여, 상기 디스플레이 내에 상기 획을 표시하기 위한 정보를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 라인을 표시하는 동작은, 상기 외부 객체가 상기 제1 시간 구간 동안, 상기 외부 객체에 의한 드래그의 정지를 식별하기 위한, 상기 지정된 크기의 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 라인을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 회전하는 동작은, 상기 제2 시간 구간 동안 상기 영역 내에서 접촉된 상기 외부 객체의 제1 위치, 및 상기 다른 영역 내에서의 상기 외부 객체의 제2 위치 사이의 거리에 기반하여, 상기 라인을 회전하는 동작을 포함할 수 있다.
예를 들어, 상기 회전하는 동작은, 상기 제2 시간 구간 이후 상기 외부 객체에 기반하여 상기 라인을 회전하는 상태 내에서, 상기 라인이 회전된 각도를 나타내기 위한 시각적 객체를, 상기 디스플레이 내에 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 회전하는 동작은, 상기 라인에 의해 형성된 부분의 중심 점, 상기 궤적의 시점에 대응하는 지점, 또는 상기 외부 객체가 상기 영역 내에 접촉된 지점 중 적어도 하나에 기반하여, 상기 라인의 회전과 관련된 회전축을 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 드래그되는 외부 객체가 상기 제2 시간 구간 이후의 제3 시간 구간 동안 상기 영역 내에 접촉됨을 식별하는 것에 응답하여, 상기 라인을 표시하는 것을 중단하고, 상기 획을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 회전하는 동작은, 상기 제2 시간 구간 이후, 상기 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여, 상기 라인 상에 중첩으로 상기 라인의 회전을 가이드하기 위한 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 회전하는 동작은, 상기 시각적 객체를 표시한 상태 내에서, 상기 외부 객체의 드래그가 완료됨을 식별하는 것에 응답하여, 상기 시각적 객체에 기반하여 상기 라인의 표시를 변경하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치(예, 도 2의 전자 장치(101))는, 디스플레이(예, 도 2의 디스플레이(210)), 및 프로세서(예, 도 3의 프로세서(120))를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이 상에서 드래그되는 외부 객체(예, 도 2의 외부 객체(270))를 식별하는 것에 기반하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획(예, 도 4a의 획(412))을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 획과 관련된 상기 외부 객체, 및 상기 디스플레이 사이의 접촉이 유지된 상태 내에서, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역(예, 도 4a의 영역(414)) 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획에 기반하는 도형을 표현하기 위한 라인(예, 도 4b의 라인(422))을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 상태 내에서, 상기 디스플레이 내 상기 라인 상에 접촉된 상기 외부 객체에 기반하여, 상기 라인의 표시를 변경함을 나타내는 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 수신된 입력에 기반하여, 상기 라인의 표시를 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 지정된 주기 마다 상기 디스플레이 상에 접촉된 상기 외부 객체의 위치를 반복적으로 식별하여, 상기 디스플레이 내에 상기 획을 표시하기 위한 정보를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 외부 객체가 상기 제1 시간 구간 동안, 상기 외부 객체에 의한 드래그의 정지를 식별하기 위한 상기 지정된 크기의 상기 영역 내에서 접촉됨을 식별하는 것에 기반하여, 상기 라인을 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 시간 구간 미만의 지정된 주기에 기반하여, 상기 제1 시간 구간 동안 상기 영역 내 접촉된 상기 외부 객체의 위치들을 반복적으로 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 획득된 위치들의 분포에 기반하여, 상기 라인을 표시할지 여부를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 상태 내에서, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에 접촉됨을 식별하는 것에 기반하여, 상기 제2 시간 구간 이후 상기 영역과 상이한 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여, 상기 라인을 회전하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 상태 내에서, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에 접촉됨을 식별하는 것에 기반하여, 상기 외부 객체가 상기 제2 시간 구간 이후에 드래그되는 궤적에 기반하여, 상기 라인의 두께, 색상, 또는 크기 중 적어도 하나를 변경하도록, 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 전자 장치(electronic device)(101)에 있어서,
    디스플레이(210); 및
    프로세서(120)를 포함하고,
    상기 프로세서는,
    상기 디스플레이 상에서 드래그되는 외부 객체(270)를 식별하는 것에 응답하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획(412)을 표시하고;
    상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역(414) 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획과 연계로(in association with) 라인(422)을 표시하고; 및
    상기 외부 객체가 드래그됨을 식별한 동안, 상기 외부 객체가 상기 제1 시간 구간 이후의 제2 시간 구간 동안 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 제2 시간 구간 이후 상기 영역과 상이한 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여 상기 라인을 회전하도록, 구성된,
    전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 외부 객체, 및 상기 디스플레이 사이의 접촉이, 상기 획이 상기 궤적에 기반하여 표시된 시점 이후 상기 제2 시간 구간까지 유지되었는지 여부에 기반하여, 상기 궤적에 기반하여 상기 라인을 회전하도록, 구성된,
    전자 장치.
  3. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    지정된 주기 마다 상기 디스플레이 상에 접촉된 상기 외부 객체의 위치를 반복적으로 식별하여, 상기 디스플레이 내에 상기 획을 표시하기 위한 정보를 획득하도록, 구성된,
    전자 장치.
  4. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 외부 객체가 상기 제1 시간 구간 동안, 상기 외부 객체에 의한 드래그의 정지(pause)를 식별하기 위한, 상기 지정된 크기의 상기 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 라인을 표시하도록, 구성된,
    전자 장치.
  5. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제2 시간 구간 동안 상기 영역 내에서 접촉된 상기 외부 객체의 제1 위치, 및 상기 다른 영역 내에서의 상기 외부 객체의 제2 위치 사이의 거리에 기반하여, 상기 라인을 회전하도록, 구성된,
    전자 장치.
  6. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제2 시간 구간 이후 상기 외부 객체에 기반하여 상기 라인을 회전하는 상태 내에서, 상기 라인이 회전된 각도를 나타내기 위한 시각적 객체를, 상기 디스플레이 내에 표시하도록, 구성된,
    전자 장치.
  7. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제2 시간 구간 이후 상기 외부 객체에 기반하여 상기 라인을 회전하는 상태 내에서, 상기 라인, 또는 상기 라인에 의해 형성된 부분 내에서, 상기 라인의 회전축(pivot)을 나타내기 위한 시각적 객체를, 상기 디스플레이 내에 표시하도록, 구성된,
    전자 장치.
  8. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 부분의 중심 점, 상기 라인 상에서 상기 궤적의 시점(initial point)에 대응하는 지점, 또는 상기 영역 내 상기 외부 객체가 접촉된 지점 중 어느 하나 상에, 상기 회전축을 나타내기 위한 상기 시각적 객체를 표시하도록, 구성된,
    전자 장치.
  9. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 드래그되는 외부 객체가 상기 제2 시간 구간 이후의 제3 시간 구간 동안 상기 영역 내에 접촉됨을 식별하는 것에 응답하여, 상기 라인을 표시하는 것을 중단하고, 상기 획을 표시하도록, 구성된,
    전자 장치.
  10. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제3 시간 구간 이후, 상기 외부 객체가 드래그되는 궤적에 기반하여, 상기 획을 연장하도록, 구성된,
    전자 장치.
  11. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제2 시간 구간 이후, 상기 다른 영역으로 드래그되는 상기 외부 객체의 궤적에 기반하여, 상기 라인 상에 중첩으로 상기 라인의 회전을 가이드하기 위한 시각적 객체를 표시하고;
    상기 시각적 객체를 표시한 상태 내에서, 상기 외부 객체의 드래그가 완료됨을 식별하는 것에 응답하여, 상기 시각적 객체에 기반하여 상기 라인의 표시를 변경하도록, 구성된,
    전자 장치.
  12. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제1 시간 구간 동안 상기 영역 내에 접촉된 상기 외부 객체를 식별하는 것에 기반하여, 상기 획과 관련된 도형을 표현하는 상기 라인을 표시하도록, 구성된,
    전자 장치.
  13. 전자 장치의 방법에 있어서,
    상기 전자 장치 내 디스플레이 상에서 드래그되는 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체가 드래그되는 궤적에 기반하는 획을 표시하는 동작(810);
    상기 획과 관련된 상기 외부 객체, 및 상기 디스플레이 사이의 접촉이 유지된 상태 내에서, 상기 외부 객체가 제1 시간 구간 동안 상기 디스플레이 내 지정된 크기의 영역 내에서 접촉됨을 식별하는 것에 응답하여, 상기 획에 기반하는 도형을 표현하기 위한 라인을 표시하는 동작(820);
    상기 상태 내에서, 상기 디스플레이 내 상기 라인 상에 접촉된 상기 외부 객체에 기반하여, 상기 라인의 표시를 변경함을 나타내는 입력을 수신하는 동작(830); 및
    상기 수신된 입력에 기반하여, 상기 라인의 표시를 변경하는 동작(840)을 포함하는,
    방법.
  14. 제13항에 있어서, 상기 획을 표시하는 동작은,
    지정된 주기 마다 상기 디스플레이 상에 접촉된 상기 외부 객체의 위치를 반복적으로 식별하여, 상기 디스플레이 내에 상기 획을 표시하기 위한 정보를 획득하는 동작을 포함하는,
    방법.
  15. 전술한 항들 중 어느 한 항에 있어서, 상기 라인을 표시하는 동작은,
    상기 외부 객체가 상기 제1 시간 구간 동안, 상기 외부 객체에 의한 드래그의 정지를 식별하기 위한 상기 지정된 크기의 상기 영역 내에서 접촉됨을 식별하는 것에 기반하여, 상기 라인을 표시하는 동작을 포함하는,
    방법.
PCT/KR2023/007951 2022-08-08 2023-06-09 획을 입력하기 위한 제스쳐를 이용하여 획에 대응하는 라인을 식별하기 위한 전자 장치 및 그 방법 WO2024034812A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0098900 2022-08-08
KR20220098900 2022-08-08
KR10-2022-0107966 2022-08-26
KR1020220107966A KR20240020619A (ko) 2022-08-08 2022-08-26 획을 입력하기 위한 제스쳐를 이용하여 획에 대응하는 라인을 식별하기 위한 전자 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2024034812A1 true WO2024034812A1 (ko) 2024-02-15

Family

ID=89851935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/007951 WO2024034812A1 (ko) 2022-08-08 2023-06-09 획을 입력하기 위한 제스쳐를 이용하여 획에 대응하는 라인을 식별하기 위한 전자 장치 및 그 방법

Country Status (1)

Country Link
WO (1) WO2024034812A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208259A (ja) * 2002-01-10 2003-07-25 Ricoh Co Ltd 座標入力表示装置
KR20140024762A (ko) * 2012-08-21 2014-03-03 박철 터치패널을 갖는 개인휴대단말기의 작동방법
KR20140085942A (ko) * 2012-12-28 2014-07-08 삼성전자주식회사 터치 기반의 도형의 조작 방법 및 장치
KR20160046150A (ko) * 2014-10-20 2016-04-28 삼성전자주식회사 도형 컨텐트를 생성 및 해석하는 방법 및 장치
KR20220109254A (ko) * 2021-01-28 2022-08-04 삼성전자주식회사 전자 장치 및 전자 장치에서 스트로크 분석 기반 도형 인식 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208259A (ja) * 2002-01-10 2003-07-25 Ricoh Co Ltd 座標入力表示装置
KR20140024762A (ko) * 2012-08-21 2014-03-03 박철 터치패널을 갖는 개인휴대단말기의 작동방법
KR20140085942A (ko) * 2012-12-28 2014-07-08 삼성전자주식회사 터치 기반의 도형의 조작 방법 및 장치
KR20160046150A (ko) * 2014-10-20 2016-04-28 삼성전자주식회사 도형 컨텐트를 생성 및 해석하는 방법 및 장치
KR20220109254A (ko) * 2021-01-28 2022-08-04 삼성전자주식회사 전자 장치 및 전자 장치에서 스트로크 분석 기반 도형 인식 방법

Similar Documents

Publication Publication Date Title
WO2015072787A1 (ko) 전자 장치가 외부 디스플레이 장치와 화면을 공유하는 방법 및 전자 장치
WO2022031051A1 (ko) 캡쳐 기능 제공 방법 및 그 전자 장치
WO2021206415A1 (en) Electronic device for communicating in augmented reality and method thereof
WO2022131549A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022119276A1 (ko) 플렉서블 디스플레이 전자 장치 및 그 동작 방법
WO2024034812A1 (ko) 획을 입력하기 위한 제스쳐를 이용하여 획에 대응하는 라인을 식별하기 위한 전자 장치 및 그 방법
WO2022164200A1 (ko) 전자 장치 및 전자 장치에서 스트로크 분석 기반 도형 인식 방법
WO2022030890A1 (ko) 다중 윈도우 이미지 캡쳐 방법 및 이를 위한 전자 장치
WO2022031048A1 (ko) 전자 장치 및 이의 전자 펜 포인터를 표시하는 방법
WO2022085940A1 (ko) 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
WO2022030933A1 (ko) 전자 장치 및 그의 필기 입력을 처리하는 방법
WO2024049042A1 (ko) 제스쳐의 궤적을 변경하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2022114885A1 (ko) 스타일러스를 이용한 전자 장치의 제어 방법 및 그 방법을 이용하여 스타일러스로부터 입력을 받는 전자 장치
WO2024063346A1 (ko) 텍스트를 표시하기 위한 전자 장치 및 그 방법
WO2024080709A1 (ko) 음성 신호에 기반하여 실행가능한 객체를 제어하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2024014655A1 (ko) 획들에 의해 나타나는 문장을 식별하기 위한 전자 장치 및 방법
WO2024080680A1 (ko) 상황 특정 설정을 위한 사용자 인터페이스를 표시하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2023013904A1 (ko) 화면 제어 방법 및 장치
WO2024029740A1 (ko) 입력 장치를 이용하여 드로잉 데이터를 출력하는 방법 및 장치
WO2024029748A1 (ko) 플렉서블 디스플레이의 형태에 기반하여, 복수의 어플리케이션들에 의한 화면들을 표시하기 위한 전자 장치, 방법 및 컴퓨터 판독 가능 저장 매체
WO2023136443A1 (ko) 터치 입력을 처리하는 방법 및 그 전자 장치
WO2022177216A1 (ko) 포인터의 이동을 제어하기 위한 전자 장치 및 그 동작 방법
WO2023146142A1 (ko) 전자 장치 및 전자 펜 알림 및 연결 방법
WO2024048911A1 (ko) 비디오를 획득하는 동안 메타 데이터를 획득하는 전자 장치 및 그 방법
WO2024019300A1 (ko) 사용자 입력 장치의 부착을 감지하기 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852699

Country of ref document: EP

Kind code of ref document: A1