WO2022039366A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022039366A1
WO2022039366A1 PCT/KR2021/007825 KR2021007825W WO2022039366A1 WO 2022039366 A1 WO2022039366 A1 WO 2022039366A1 KR 2021007825 W KR2021007825 W KR 2021007825W WO 2022039366 A1 WO2022039366 A1 WO 2022039366A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
touch input
type
acquired
touch
Prior art date
Application number
PCT/KR2021/007825
Other languages
English (en)
French (fr)
Inventor
김동찬
황진영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN202180051655.XA priority Critical patent/CN115943361A/zh
Priority to EP21858454.8A priority patent/EP4174629A4/en
Publication of WO2022039366A1 publication Critical patent/WO2022039366A1/ko
Priority to US18/112,255 priority patent/US12045458B2/en
Priority to US18/746,420 priority patent/US20240338122A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device capable of detecting a force touch and a control method thereof.
  • the force touch refers to a gesture interface implemented by a user pressing a touch panel.
  • a pressure sensor for measuring the pressure of the user's touch should be installed on the touch panel. This causes an increase in the manufacturing cost of the touch panel or an electronic device having the touch panel, and becomes an obstacle in miniaturization of the touch panel or the electronic device.
  • One technical problem to be solved by the present invention is to provide an electronic device capable of detecting a force touch.
  • a plurality of touch inputs corresponding to a first type of touch input for touching a touch screen with a pressure smaller than a preset pressure acquiring and storing a first image and a plurality of second images corresponding to a second type of touch input for touching the touch screen with a pressure greater than the preset pressure; learning a neural network model for identifying a type of a user's touch input based on the plurality of first and second images; acquiring a plurality of images corresponding to the acquired user's touch input when a user's touch input is acquired through the touch screen; inputting the plurality of acquired images, the plurality of first images, and the plurality of second images to the learned neural network model to identify the acquired type of the user's touch input; and performing a function corresponding to the acquired user's touch input based on the identified type of touch input.
  • the acquiring of the plurality of first images and the plurality of second images may include providing a UI element for guiding a user's touch input corresponding to each of the first type of touch input and the second type of touch input.
  • the method may include displaying on a touch screen, and generating a plurality of images corresponding to the sensed touch input when a user's touch input touching the UI element is sensed.
  • the displaying may include displaying a first UI element for guiding the first type of touch input and a second UI element for guiding a user's touch input corresponding to the second type of touch input on the touch screen. and a size of the second UI element may be greater than a size of the first UI element.
  • a function corresponding to the first type is executed according to the acquired user's touch input
  • a first label corresponding to the first type of touch input is assigned to the plurality of acquired images, and the storing the plurality of acquired images
  • a function corresponding to the second type is executed according to the acquired user's touch input
  • a second label corresponding to the second type of touch input is assigned to the acquired plurality of images to obtain the plurality of images saving the; and re-learning the neural network model based on the plurality of images to which the first label is assigned and the plurality of images to which the second label is assigned.
  • the control method may include, when the plurality of images corresponding to the acquired user's touch input are acquired, a first degree of similarity between the acquired plurality of images and the plurality of first images, and the acquired plurality of images and the plurality of images. obtaining a second similarity between second images of ; and acquiring a plurality of first input images from among the plurality of first images having the first similarity greater than or equal to a preset value, and a plurality of second input images from among the plurality of second images having the second similarity greater than or equal to the preset value. It may further include; obtaining a.
  • the identifying may include inputting the plurality of acquired images, the plurality of first input images, and the plurality of second input images to the learned neural network model to identify the acquired type of the user's touch input. there is.
  • the acquiring of the similarity may include an area corresponding to a touch input included in each of the acquired plurality of images, the plurality of first images, and the plurality of second images, and a change in the area according to the shape and time
  • the similarity may be acquired based on at least one of
  • the control method may further include re-learning the neural network model based on the plurality of acquired images, the plurality of first input images, and the plurality of second input images.
  • the function corresponding to the second type of touch input may include a function of displaying at least one UI element on the touch screen.
  • the at least one UI element may include at least one of a first UI element for adjusting the volume of the speaker and a second UI element for turning off the power of the electronic device.
  • the identifying may include allocating the plurality of acquired images to a plurality of first channels, the plurality of first images to a plurality of second channels, and allocating the plurality of second images to a plurality of third channels, respectively. and merging the plurality of first channels, second channels, and third channels to obtain input data for the learned neural network model.
  • the identifying may include inputting the plurality of acquired images, the plurality of first images, and the plurality of second images to the learned neural network model so that the acquired user's touch input corresponds to the first type.
  • a first probability and a second probability that the obtained user's touch input corresponds to the second type of touch input are obtained, and when the first probability is greater than a preset probability, the acquired type of the user's touch input is the If the first type is identified, and the second probability is greater than the preset probability, the acquired type of the user's touch input may be identified as the second type.
  • an electronic device includes: a touch screen; a memory storing at least one instruction; and a processor, wherein the processor is configured to apply a plurality of first images corresponding to a first type of touch input for touching the touch screen with a pressure less than a preset pressure and a pressure greater than the preset pressure for the touch screen.
  • Electronic that identifies a type of the acquired user's touch input by inputting a first image and the plurality of second images, and performs a function corresponding to the acquired user's touch input based on the identified type of the touch input A device may be provided.
  • the processor displays a UI element for guiding a user's touch input corresponding to each of the first type of touch input and the second type of touch input on the touch screen, and a user's touch that touches the UI element
  • a plurality of images corresponding to the sensed touch input may be generated.
  • the processor displays a first UI element for guiding the first type of touch input and a second UI element for guiding a user's touch input corresponding to the second type of touch input on the touch screen,
  • a size of the second UI element may be greater than a size of the first UI element.
  • the processor is, when a function corresponding to the first type is executed according to the acquired user's touch input, assigns a first label corresponding to the first type of touch input to the plurality of acquired images to obtain the acquired image stores a plurality of images obtained, and when a function corresponding to the second type is executed according to the acquired user's touch input, a second label corresponding to the second type of touch input is applied to the acquired plurality of images to store the plurality of images obtained by allocating, and to retrain the neural network model based on the plurality of images to which the first label is assigned and the plurality of images to which the second label is assigned there is.
  • the processor is, when the plurality of images corresponding to the acquired touch input of the user are acquired, a first degree of similarity between the acquired plurality of images and the plurality of first images, and the acquired plurality of images and the plurality of images. acquiring a second similarity between second images, acquiring a plurality of first input images in which the first similarity is greater than or equal to a preset value among the plurality of first images, wherein the second similarity among the plurality of second images is determined by the Obtaining a plurality of second input images equal to or greater than a preset value, and inputting the plurality of images, the plurality of first input images, and the plurality of second input images to the learned neural network model, A type of touch input may be identified.
  • the processor is configured to detect at least one of an area, a shape, and a change in the area over time of a region corresponding to a touch input included in each of the plurality of acquired images, the plurality of first images, and the plurality of second images. Based on the above, the similarity may be obtained.
  • the processor may retrain the neural network model based on the plurality of acquired images, the plurality of first input images, and the plurality of second input images.
  • the electronic device may further include a speaker, the function corresponding to the second type of touch input includes a function of displaying at least one UI element on the touch screen, and the at least one UI element includes: It may include at least one of a first UI element for adjusting the volume of the speaker and a second UI element for turning off the power of the electronic device.
  • the processor allocates the plurality of acquired images to a plurality of first channels, the plurality of first images to a plurality of second channels, and the plurality of second images to a plurality of third channels, A plurality of first channels, second channels, and third channels may be merged to obtain input data for the learned neural network model.
  • the processor is configured to input the plurality of acquired images, the plurality of first images, and the plurality of second images to the learned neural network model, so that the acquired user's touch input corresponds to the first type.
  • a probability and a second probability that the obtained user's touch input corresponds to the second type of touch input are obtained, and if the first probability is greater than a preset probability, the acquired type of the user's touch input is determined as the first It is identified as a type, and when the second probability is greater than the preset probability, the acquired type of the user's touch input may be identified as the second type.
  • the electronic device may sense the user's force touch using a neural network model. Accordingly, user convenience and satisfaction may be improved.
  • FIG. 1 is a diagram for explaining an operation of an electronic device according to an embodiment of the present disclosure.
  • 2A is a diagram for explaining a method for constructing individual data according to an embodiment of the present disclosure.
  • 2B is a table illustrating label values according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining a method of learning a neural network model according to an embodiment of the present disclosure.
  • 4A is a flowchart illustrating a method of allocating a class label according to an embodiment of the present disclosure.
  • 4B is a flowchart illustrating a method of allocating a class label according to another embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a method of allocating a finger label according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a method of acquiring input data according to an embodiment of the present disclosure.
  • FIG. 7A is a diagram illustrating a state in which an electronic device performs a function corresponding to a touch input according to an embodiment of the present disclosure.
  • FIG. 7B is a diagram illustrating a state in which an electronic device performs a function corresponding to a touch input according to another embodiment of the present disclosure.
  • FIG. 8 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining a method of controlling an electronic device according to an embodiment of the present disclosure.
  • Embodiments of the present disclosure may be subjected to various transformations and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents and substitutions included in the spirit and scope of the disclosure. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.
  • FIG. 1 is a diagram for explaining an operation of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may obtain the user's touch input 1 through the touch screen 110 .
  • the electronic device 100 may acquire a plurality of images 11 based on the touch input 1 .
  • the electronic device 100 may generate a plurality of images 11 based on signals obtained from a plurality of touch sensors provided on the touch screen 110 for a preset time. For example, the electronic device 100 may generate 15 frames of images at regular time intervals for 0.5 seconds. That is, the electronic device 100 may generate a plurality of images 11 corresponding to the touch input 1 at a sampling rate (or sampling period) of 30 Hz.
  • Each of the plurality of images 11 may include a region corresponding to the touch input 1 .
  • the plurality of images 11 may refer to grayscale images. Meanwhile, hereinafter, the plurality of images 11 may be referred to as an image set 11 for convenience of description.
  • the electronic device 100 may acquire a plurality of images included in the user's individual data 12 based on the image set 11 .
  • the individual data 12 is data including information related to the user's touch input 1 , and may be stored in a user database.
  • the individual data 12 may include a plurality of images (or image sets) generated based on a user's touch input obtained through the touch screen 110 .
  • the individual data 12 may include an image set for each user's touch type.
  • the touch type may include a first type of touch input for touching the touch screen 110 with a pressure less than a preset pressure and a second type for touching the touch screen 110 with a pressure greater than a preset pressure. there is.
  • the electronic device 100 may acquire an image set most similar to the touch input 1 for each touch type among a plurality of image sets included in the individual data 12 .
  • the electronic device 100 may include a plurality of first images (or first image sets) 13 corresponding to a first type of touch input and a plurality of second images (or a plurality of second images) corresponding to a second type of touch input.
  • the second image set) 14 may be acquired. Meanwhile, a method of acquiring the first image set 13 and the second image set 14 will be described later in more detail with reference to FIG. 6 .
  • the electronic device 100 inputs the image set 11 , the first image set 13 , and the second image set 14 to the neural network model 20 to obtain touch type information corresponding to the touch input 1 .
  • the touch type information may mean a probability that the touch input 1 corresponds to each touch type or a label corresponding to each touch type.
  • the touch type includes a first type of touch input for touching the touch screen 110 with a pressure less than a preset pressure and a second type for touching the touch screen 110 with a pressure greater than a preset pressure. can do.
  • a touch corresponding to the above-described first type is also referred to as a long touch
  • a touch corresponding to the second type is also referred to as a force touch
  • the electronic device 100 may identify various touch types such as a short touch and a swipe as well as the first type and the second type.
  • a conventional electronic device measures a pressure corresponding to a user's touch input using a pressure sensor, and identifies the user's touch type based on the measured pressure.
  • a pressure sensor since a pressure sensor must be installed on the touch panel, there is a problem in that the thickness of the touch panel increases and the manufacturing cost increases.
  • the electronic device 100 according to the present disclosure may obtain the touch type information by inputting the user's touch input 1 and individual data 12 corresponding to the touch input 1 into the neural network model 20 . there is. Accordingly, the electronic device 100 can acquire accurate touch type information without a separate pressure sensor, and has a technical effect of reducing the manufacturing cost of the touch panel.
  • 2A is a diagram for explaining a method for constructing individual data according to an embodiment of the present disclosure.
  • 2B is a table illustrating label values according to an embodiment of the present disclosure.
  • the electronic device 100 may display UI elements 41 and 42 for guiding a user's touch input corresponding to a plurality of touch types on the touch panel 110 .
  • the electronic device 100 may display UI elements 41 and 42 and guide messages 23 and 24 for guiding a user's touch input corresponding to a specific touch type for each finger.
  • the electronic device 100 includes a first UI element for guiding a touch input (that is, a first type of touch input) pressing the touch screen 110 with a pressure smaller than a preset pressure with a 'right thumb' ( 21) can be displayed.
  • the electronic device 100 includes a second UI element 22 for guiding a touch input (that is, a second type of touch input) pressing the touch screen 110 with a pressure greater than a preset pressure with a 'right thumb'. can be displayed.
  • a touch input that is, a second type of touch input
  • the electronic device 100 displays the UI elements 41 and 42 as described above, the user touches the UI elements 41 and 42 with a pressure greater than a preset pressure or a pressure less than a preset pressure with each finger. can do.
  • the electronic device 100 may collect information for each touch type for each finger of the user. Specifically, when a touch input of a user who touches the UI elements 41 and 42 is obtained, the electronic device 100 may generate an image corresponding to the touch input. For example, when a touch input for touching the first UI element 21 is obtained, the electronic device 100 may generate the image set 25 . Also, when a touch input for touching the second UI element 21 is obtained, the electronic device 100 may generate the image set 26 . In this case, the image sets 25 and 26 may each include a region corresponding to a user's touch input.
  • the electronic device 100 may assign a label value corresponding to a user input to the generated image.
  • the label may include a class label and a finger label.
  • the class label may mean a label corresponding to the above-described touch type
  • the finger label may mean a label corresponding to each finger.
  • a label according to an embodiment of the present disclosure may be defined as shown in the table of FIG. 2B .
  • the electronic device 100 may allocate a label ([1, 0]) to the image set 25 .
  • the electronic device 100 may allocate a label ([2, 0]) to the image set 26 .
  • the electronic device 100 may store the image set in the user database. Also, the electronic device 100 may learn the neural network model 20 based on the individual data 12 .
  • the electronic device 100 may learn the neural network model 20 for identifying the touch type based on the individual data 12 and the pre-stored image set.
  • the pre-stored image set may mean a sample image set provided by a manufacturer.
  • the electronic device 100 may acquire arbitrary learning data from the individual data 12 stored in the user database and a pre-stored image set.
  • the electronic device 100 may acquire the first image set 31 , the second image set 32 , and the third image set 33 .
  • the first image set 31 , the second image set 32 , and the third image set 33 may each include a plurality of images.
  • the first image set 31 , the second image set 32 , and the third image set 33 include a first channel (channels 1 to 15), a second channel (channels 16 to 30), and a third channel 31, respectively. ⁇ 45 channels) can be assigned (or classified).
  • the first channel may be a channel corresponding to the current input
  • the second channel may be a channel corresponding to the first type
  • the third channel may be a channel corresponding to the second type.
  • the electronic device 100 may acquire input data for the neural network model 20 by merging the first channel, the second channel, and the third channel. Then, the electronic device 100 uses a neural network model ( 20) to obtain touch type information corresponding to the first image set 31 . In addition, the electronic device 100 may calculate an error value based on the predicted label according to the acquired touch type information and the actual label of the first image set 31 . The electronic device 100 may train the neural network model 20 by updating parameters (or weights) of the neural network model 20 so that an error value is minimized.
  • the electronic device 100 may re-learn the neural network model 20 .
  • the predefined condition may be determined based on whether the accumulated amount of individual data 12 stored in the user database is equal to or greater than a threshold value, whether the memory capacity of the electronic device 100 is equal to or greater than the threshold value, and the like.
  • the electronic device 100 may collect individual data 12 even while the user uses the electronic device 100 .
  • 4A is a flowchart illustrating a method of allocating a class label according to an embodiment of the present disclosure. It is a flowchart to explain how to build individual data. 4B is a flowchart illustrating a method of allocating a class label according to another embodiment of the present disclosure.
  • the electronic device 100 may obtain a user's touch input.
  • the electronic device 100 may identify whether a function corresponding to the second type of touch input is performed according to the acquired user's touch input (S410).
  • the function corresponding to the second type of touch input may be preset by the user.
  • the function corresponding to the second type of touch input may include a function of displaying a UI element for adjusting the volume of a speaker provided in the electronic device 100 .
  • the function corresponding to the second type of touch input may include a function of transmitting a phone signal to an external device for an emergency call.
  • the electronic device 100 may assign a second class label to an image corresponding to the user's touch input ( S420 ).
  • the second class label means a class label corresponding to the second type of touch input (ie, force touch).
  • the electronic device 100 may generate a plurality of images based on a user's touch input, and may assign a second class label to the plurality of images.
  • the electronic device 100 may store the plurality of images to which the second class label is assigned as individual data 12 .
  • the electronic device 100 may assign a first class label to the image corresponding to the user's touch input (S430) ).
  • the first label means a class label corresponding to the first type of touch input (ie, long touch).
  • the electronic device 100 may assign a class label to an image corresponding to the touch input based on whether a function corresponding to the second type of touch input is performed according to the touch input.
  • the electronic device 100 may determine a class label to be assigned to an image corresponding to the touch input based on whether a function corresponding to the first type of touch input is performed according to the touch input.
  • the electronic device 100 may identify whether a function corresponding to the first type of touch input has been performed according to the touch input ( S411 ).
  • the first type of touch input means a long touch input
  • a function corresponding to the first type of touch input may be preset by the user.
  • a function corresponding to the first type of touch input may be set as a function of displaying a UI element for deleting an icon displayed on the touch screen 110 .
  • the electronic device 100 may allocate a first class label to the image corresponding to the touch input ( S421 ). On the other hand, if it is identified that the function corresponding to the first type of touch input is not performed according to the touch input, the electronic device 100 may allocate the second class label to the image corresponding to the touch input ( S431 ). . In addition, the electronic device 100 may build the individual data 12 by storing the image to which the class label is assigned as the individual data 12 .
  • the electronic device 100 may assign a finger label as well as a class label to an image corresponding to a touch input.
  • 5 is a diagram for explaining a method of allocating a finger label according to an embodiment of the present disclosure.
  • the electronic device 100 may obtain an image (or a touch image) 51 corresponding to the touch input. Then, the electronic device 100 may compare the touch image 51 with the image 52 stored in the user database to obtain a similarity between the touch image 51 and the stored image 52 ( S510 ).
  • the stored image 52 means an image stored as the above-described individual data 12 . Accordingly, a class label and a finger label may be assigned to the stored image 52 .
  • the electronic device 100 may acquire the similarity between the touch image 51 and the stored image 52 in various ways (S510). As an example, the electronic device 100 based on the difference between the area of the user's first touch area A included in the touch image 51 and the area of the second touch area B included in the stored image 52 . It is possible to obtain a degree of similarity between the touch image 51 and the stored image 52 .
  • the first touch area A and the second touch area B may each correspond to a user's input touching the touch screen 110 .
  • the electronic device 100 may obtain a similarity between the touch image 51 and the stored image 52 by analyzing the patterns of the touch image 51 and the stored image 52 .
  • the electronic device 100 displays the first touch area ( A degree of similarity between the touch image 51 and the stored image 52 may be obtained by comparing the change in A) with the change in the second touch area B.
  • the electronic device 100 may acquire an image corresponding to the class label assigned to the touch image 51 among the stored images 52 , and acquire a similarity between the acquired image and the touch image 51 .
  • the electronic device 100 may obtain an image having a class label of 1 among the stored images 52 .
  • the electronic device 100 may acquire a similarity between the acquired image and the touch image 51 , and may acquire a similarity between the touch image 51 and the stored image 52 .
  • the electronic device 100 may identify whether the obtained similarity is equal to or greater than a preset value (S520). When it is identified that the obtained similarity is greater than or equal to a preset value (eg, 90%), the electronic device 100 applies a finger label of an image having the highest similarity to the touch image 51 among the stored images 52 to the touch image 51 . can be assigned to (S530). For example, if the touch image 51 has the highest similarity to the first image to which the finger label corresponding to the right thumb is assigned among the stored images 52 , the electronic device 100 displays the touch image 51 as the right thumb A finger label (eg, 0) corresponding to the finger may be assigned.
  • a preset value eg, 90%
  • the electronic device 100 identifies a finger label corresponding to an image set having the highest similarity to the touch image set, and touches the identified finger label similarly to the above-described method. It can be assigned to an imageset.
  • the electronic device 100 may allocate a new finger label to the touch image 51 ( S540 ). At this time, the electronic device 100 may identify a finger corresponding to the touch image 51 by inputting the input to the finger identification model.
  • the finger identification model may be previously stored in the electronic device 100 as a learned neural network model. For example, if there is no image to which a finger label corresponding to the 'ring finger of the right hand' is assigned in the stored image 52 and the finger corresponding to the touch image 51 is identified as the 'ring finger of the right hand', the electronic device 100 may assign a finger label corresponding to the 'ring finger of the right hand' to the touch image 51 .
  • the electronic device 100 may store the touch image 51 to which the finger label is assigned in the user database. In this way, the electronic device 100 may build individual data based on a touch input obtained while the user uses the electronic device 100 . And, as described with reference to FIG. 3 , the electronic device 100 may re-learn the neural network model 20 based on individual data.
  • the electronic device 100 may obtain a touch image set 61 corresponding to the touch input.
  • the electronic device 100 may acquire a similarity between the touch image set 61 and the plurality of image sets 62 stored in the user database.
  • the plurality of image sets 62 include a plurality of first image sets 63 to which a class label corresponding to the first type (ie, long touch) is assigned, and a class label corresponding to the second type (ie, force touch). It may include a plurality of allocated second image sets 64 .
  • the electronic device 100 may acquire the similarity between the touch image set 61 and the plurality of first image sets 63 .
  • the electronic device 100 may acquire the similarity between the touch image set 61 and the plurality of second image sets 64 .
  • For a detailed similarity determination method refer to step S510 of FIG. 5 and a detailed description thereof will be omitted.
  • the electronic device 100 may acquire input data for the neural network model 20 based on the similarity. In this case, the electronic device 100 may acquire the 1-1 image set 63 - 1 having the greatest similarity to the touch image set 61 among the plurality of first image sets 63 . Also, the electronic device 100 may acquire the 2-1 th image set 64 - 1 having the greatest similarity to the touch image set 61 among the plurality of second image sets 64 . In addition, the electronic device 100 may acquire the touch image set 61 , the 1-1 image set 63 - 1 , and the 2-1 image set 64 - 1 as input data.
  • the electronic device 100 may allocate the touch image set 61, the 1-1 image set 63-1, and the 2-1 image set 64-1 to a plurality of channels, respectively.
  • input data for the neural network model 20 may be acquired by merging a plurality of channels.
  • the electronic device 100 applies the touch image set 61 , the 1-1 image set 63 - 1 , and the 2-1 image set 64 - 1 respectively allocated to the plurality of channels to the neural network model 20 .
  • touch type information corresponding to the touch image set 61 may be acquired.
  • the touch type information may include a first probability that the touch input corresponds to the first type of touch input and a second probability that the touch input corresponds to the second type of touch input. In this case, if the first probability is greater than a preset probability (eg, 70%), the electronic device 100 may identify the type of the touch input as the first type.
  • a preset probability eg, 70%
  • the electronic device 100 may identify the acquired type of the user's touch input as the second type. In addition, the electronic device 100 may perform a function corresponding to the touch input based on the acquired touch type information.
  • a preset probability eg, 70%
  • the electronic device 100 identifies a touch type of a single touch input that touches the touch screen 110 with one finger, and provides a function corresponding to the single touch input based on the identified touch type. described as performing. However, this is only an embodiment, and the electronic device 100 may perform a function corresponding to a multi-touch input of touching the touch screen 110 with two or more fingers. In this case, the electronic device 100 may generate an image set corresponding to the multi-touch input, and may acquire an input image set for the neural network model 20 from among the image sets stored in individual data based on the generated image set. .
  • the electronic device 100 may identify the touch type of the multi-touch input by inputting the generated image set and the input image set to the neural network model 20 .
  • the electronic device 100 may perform a function corresponding to the multi-touch input based on the identified touch type. For example, when the touch type of the multi-touch input is identified as the second type, the electronic device 100 may display a UI element for powering off. A more detailed description thereof will be provided later with reference to FIG. 7B.
  • FIG. 7A is a diagram illustrating a state in which an electronic device performs a function corresponding to a touch input according to an embodiment of the present disclosure.
  • the electronic device 100 may identify the type of the touch input 71 .
  • the electronic device 100 may display the UI element 72 for volume control.
  • FIG. 7B is a diagram illustrating a state in which an electronic device performs a function corresponding to a touch input according to another embodiment of the present disclosure.
  • the electronic device 100 may identify the type of the multi-touch input 73 .
  • the electronic device 100 may display the UI element 74 for powering off the electronic device 100 . there is.
  • FIG. 8 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a touch screen 110 , a speaker 120 , a communication interface 130 , a memory 140 , and a processor 150 .
  • the touch screen 110 may obtain a user's touch input.
  • the touch screen 110 may include a plurality of touch sensors.
  • the touch screen 110 may display at least one UI element.
  • the touch screen 110 may display a UI element for obtaining a user input for each touch type.
  • the speaker 120 may output audio.
  • the processor 150 may control the touch screen 110 to display a UI element for controlling the volume of the speaker 120 .
  • the communication interface 130 includes at least one circuit and may communicate with various types of external devices according to various types of communication methods.
  • the communication interface 130 may include a Wi-Fi chip and a Bluetooth chip.
  • the electronic device 100 may communicate with an external server or an external device through the communication interface 130 .
  • the processor 150 may generate a notification signal and transmit the generated notification signal to an external server through the communication interface 130 .
  • the memory 140 may store an operating system (OS) for controlling overall operations of the components of the electronic device 100 and commands or data related to the components of the electronic device 100 .
  • OS operating system
  • the memory 140 may be implemented as a non-volatile memory (eg, a hard disk, a solid state drive (SSD), a flash memory), a volatile memory, or the like.
  • the memory 140 may store a neural network model for identifying the type of touch input.
  • the neural network model may be executed by an existing general-purpose processor (eg, CPU) or a separate AI-only processor (eg, GPU, NPU, etc.).
  • the memory 140 may include a user database including individual data of the user.
  • the processor 150 may control the overall operation of the electronic device 100 .
  • the processor 150 may control the touch screen 110 to display a UI element for guiding a user's input for each touch type.
  • the UI element may include a first UI element for guiding a first type of touch input and a second UI element for guiding a user's touch input corresponding to the second type of touch input.
  • the size of the second UI element may be larger than that of the first UI element.
  • the processor 150 may obtain a first type of touch input and a second type of touch input through the touch screen 110 .
  • the processor 150 may generate a plurality of first images corresponding to the first type of touch input and a plurality of second images corresponding to the second type of touch input.
  • the processor 150 may allocate a label corresponding to the first type to a plurality of first images, and allocate a label corresponding to the second type to a plurality of second images and store the allocated label in the memory 140 .
  • the processor 150 may learn a neural network model for identifying a touch type based on the plurality of first and second images to which labels are assigned.
  • the processor 150 may acquire a plurality of images corresponding to the acquired user's touch input.
  • the processor 150 may acquire a plurality of first input images having the highest similarity to the acquired image among the plurality of first images stored in the memory 140 .
  • the processor 150 may acquire a plurality of second input images having the highest similarity to the acquired image among the plurality of second images stored in the memory 140 .
  • the processor 150 may input the plurality of acquired images, the plurality of first input images and the second input images stored in the memory 140 into the neural network model to identify a touch type corresponding to the user's touch input. .
  • the processor 150 is configured to A first degree of similarity between the plurality of acquired images and a plurality of first images and a second degree of similarity between the plurality of acquired images and a plurality of second images may be acquired.
  • the processor 150 assigns a first label corresponding to the first type of touch input to the plurality of images obtained. may be stored in the memory 140 .
  • the processor 150 allocates a second label corresponding to the second type of touch input to the plurality of images obtained. may be stored in the memory 140 .
  • the processor 150 may retrain the neural network model based on the plurality of images to which the first label and the second label are respectively assigned. Accordingly, the performance of the neural network model may be improved.
  • the processor 150 may acquire input data for the neural network model based on the image corresponding to the user's touch input, the first input image, and the second input image.
  • the processor 150 may obtain input data by allocating an image, a first input image, and a second input image corresponding to a user touch input to a plurality of channels, respectively, and merging the plurality of channels.
  • the processor 150 may identify a touch type corresponding to the user's touch input by inputting the input data into the neural network model.
  • the processor 150 may perform a function corresponding to the user's touch input based on the identified type of the touch input.
  • the processor 150 may display at least one UI element on the touch screen 110 .
  • the processor 150 displays at least one of a first UI element for adjusting the volume of the speaker 120 and a second UI element for turning off the power of the electronic device 100 on the touch screen 110 . ) can be controlled.
  • the processor 150 may include one or a plurality of processors.
  • one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
  • One or more processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory 140 .
  • the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.
  • a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
  • Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • AI models can be created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between the operation result of a previous layer and the plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the learning process is reduced or minimized.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Generative Adversarial Network (GAN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), or Deep Q-Networks, but is not limited to the above example.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • GAN Generative Adversarial Network
  • RBM Restricted Boltzmann Machine
  • DBN Deep Belief Network
  • BDN Bidirectional Recurrent Deep Neural Network
  • Deep Q-Networks Deep Q-Networks
  • FIG. 9 is a diagram for explaining a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes a plurality of first images corresponding to a first type of touch input for touching the touch screen with a pressure less than a preset pressure, and a second type of touch for touching the touch screen with a pressure greater than a preset pressure.
  • a plurality of second images corresponding to the input may be acquired and stored (S910).
  • the electronic device 100 may display a UI element for guiding the first type and the second type of touch input. Also, the electronic device 100 may allocate a first label and a second label to the plurality of first images and the second images, respectively.
  • the electronic device 100 may learn a neural network model for identifying the type of the user's touch input based on the plurality of first and second images ( S920 ).
  • the electronic device 100 may learn a neural network model for identifying a touch type based on the plurality of first and second images to which the first label and the second label are assigned.
  • the electronic device 100 may acquire a plurality of images corresponding to the user's touch input (S930). In addition, the electronic device 100 may acquire a plurality of first input images having the highest similarity to the plurality of acquired images among the plurality of first images. Also, the electronic device 100 may acquire a plurality of second input images having the highest similarity to the plurality of acquired images among the plurality of second images.
  • the electronic device 100 may identify the type of the user's touch input obtained by inputting the plurality of images, the plurality of first images, and the plurality of second images acquired to the learned neural network model ( S940 ). In this case, the electronic device 100 may identify the acquired type of the user's touch input by inputting the plurality of acquired images, the plurality of first input images, and the plurality of second input images into the learned neural network model. Then, the electronic device 100 may perform a function corresponding to the user's touch input obtained based on the identified type of the touch input (S950).
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof.
  • the embodiments described herein may be implemented by the processor itself.
  • embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • computer instructions for performing the processing operation according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • a specific device may perform the processing operation according to the above-described various embodiments.
  • the non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be included in a computer program product (computer program product) and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 본 개시에 따른 전자 장치는 터치 스크린, 및 프로세서를 포함하고, 프로세서는, 터치 스크린을 통해 사용자의 터치 입력이 획득되면 획득된 사용자의 터치 입력에 대응되는 이미지를 획득하고, 사용자의 터치 입력의 유형을 식별하기 위한 신경망 모델에 획득된 이미지, 터치 스크린을 기 설정된 압력보다 작은 압력으로 터치하는 제1 유형의 터치 입력에 대응되는 제1 이미지 및 터치 스크린을 기 설정된 압력보다 큰 압력으로 터치하는 제2 유형의 터치 입력에 대응되는 제2 이미지를 입력하여 획득된 사용자의 터치 입력의 유형을 식별하고, 식별된 터치 입력의 유형을 바탕으로 기능을 수행할 수 있다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 포스 터치를 감지할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.
근래에는 다양한 전자 기기가 터치 패널을 이용하여 사용자의 터치 입력을 획득하고, 터치 입력을 바탕으로 기능을 수행한다. 최근에는 사용자 터치 입력의 다양화를 위한 일환으로 전자 기기에 포스 터치(force touch)를 도입하고자 하는 시도가 진행되고 있다. 포스 터치란, 사용자가 터치 패널을 누르는 압력을 통해 구현되는 제스처 인터페이스를 의미한다.
한편, 이러한 포스 터치를 구현하기 위해서는, 터치 패널에 사용자 터치의 압력을 측정하기 위한 압력 센서가 설치되어야 한다. 이는 곧 터치 패널 또는 터치 패널을 구비한 전자 기기의 제조 단가 상승을 야기하며, 터치 패널 또는 전자기기의 소형화 제작의 장애물이된다.
이에 따라, 압력 센서를 이용하지 않고도 포스 터치를 구현할 수 있는 기술에 대한 필요성이 대두된다.
본 발명이 해결하고자 하는 일 기술적 과제는, 포스 터치를 감지할 수 있는 전자 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 터치 스크린을 기 설정된 압력보다 작은 압력으로 터치하는 제1 유형의 터치 입력에 대응되는 복수의 제1 이미지 및 상기 터치 스크린을 상기 기 설정된 압력보다 큰 압력으로 터치하는 제2 유형의 터치 입력에 대응되는 복수의 제2 이미지를 획득하여 저장하는 단계; 상기 복수의 제1 및 제2 이미지를 바탕으로 사용자의 터치 입력의 유형을 식별하기 위한 신경망 모델을 학습하는 단계; 상기 터치 스크린을 통해 사용자의 터치 입력이 획득되면 상기 획득된 사용자의 터치 입력에 대응되는 복수의 이미지를 획득하는 단계; 상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 입력하여 상기 획득된 사용자의 터치 입력의 유형을 식별하는 단계; 및 상기 식별된 터치 입력의 유형을 바탕으로 상기 획득된 사용자의 터치 입력에 대응되는 기능을 수행하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 획득하는 단계는, 상기 제1 유형의 터치 입력 및 상기 제2 유형의 터치 입력 각각에 대응되는 사용자의 터치 입력을 가이드하기 위한 UI 엘리먼트를 상기 터치 스크린에 디스플레이하는 단계, 및 상기 UI 엘리먼트를 터치하는 사용자의 터치 입력이 감지되면, 상기 감지된 터치 입력에 대응되는 복수의 이미지를 생성하는 단계를 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 제1 유형의 터치 입력을 가이드하기 위한 제1 UI 엘리먼트 및 상기 제2 유형의 터치 입력에 대응되는 사용자의 터치 입력을 가이드하기 위한 제2 UI 엘리먼트를 상기 터치 스크린에 디스플레이하고, 상기 제2 UI 엘리먼트의 크기는 상기 제1 UI 엘리먼트의 크기보다 클 수 있다.
상기 제어 방법은, 상기 획득된 사용자의 터치 입력에 따라 상기 제1 유형에 대응되는 기능이 실행되면, 상기 획득된 복수의 이미지에 상기 제1 유형의 터치 입력에 대응되는 제1 라벨을 할당하여 상기 획득된 복수의 이미지를 저장하는 단계; 상기 획득된 사용자의 터치 입력에 따라 상기 제2 유형에 대응되는 기능이 실행되면, 상기 획득된 복수의 이미지에 상기 제2 유형의 터치 입력에 대응되는 제2 라벨을 할당하여 상기 획득된 복수의 이미지를 저장하는 단계; 및 상기 제1 라벨이 할당된 상기 획득된 복수의 이미지 및 상기 제2 라벨이 할당된 상기 획득된 복수의 이미지를 바탕으로 상기 신경망 모델을 재학습하는 단계;를 더 포함할 수 있다.
상기 제어 방법은, 상기 획득된 사용자의 터치 입력에 대응되는 상기 복수의 이미지가 획득되면, 상기 획득된 복수의 이미지와 상기 복수의 제1 이미지 간의 제1 유사도 및 상기 획득된 복수의 이미지와 상기 복수의 제2 이미지 간의 제2 유사도를 획득하는 단계; 및 상기 복수의 제1 이미지 중 상기 제1 유사도가 기 설정된 값 이상인 복수의 제1 입력 이미지를 획득하고, 상기 복수의 제2 이미지 중 상기 제2 유사도가 상기 기 설정된 값 이상인 복수의 제2 입력 이미지를 획득하는 단계;를 더 포함할 수 있다.
상기 식별하는 단계는, 상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 입력 이미지 및 상기 복수의 제2 입력 이미지를 입력하여 상기 획득된 사용자의 터치 입력의 유형을 식별할 수 있다.
상기 유사도를 획득하는 단계는, 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지 각각에 포함된 터치 입력에 대응되는 영역의 면적, 형태 및 시간에 따른 상기 면적의 변화 중 적어도 하나를 바탕으로 상기 유사도를 획득할 수 있다.
상기 제어 방법은, 상기 획득된 복수의 이미지, 상기 복수의 제1 입력 이미지 및 상기 복수의 제2 입력 이미지를 바탕으로 상기 신경망 모델을 재학습하는 단계;를 더 포함할 수 있다.
상기 제어 방법은, 상기 제2 유형의 터치 입력에 대응되는 기능은 적어도 하나의 UI 엘리먼트를 상기 터치 스크린에 디스플레이하는 기능을 포함할 수 있다.
상기 적어도 하나의 UI 엘리먼트는, 상기 스피커의 볼륨을 조절하기 위한 제1 UI 엘리먼트 및 상기 전자 장치의 전원을 오프하기 위한 제2 UI 엘리먼트 중 적어도 하나를 포함할 수 있다.
상기 식별하는 단계는, 상기 획득된 복수의 이미지를 복수의 제1 채널에, 상기 복수의 제1 이미지를 복수의 제2 채널에, 상기 복수의 제2 이미지를 복수의 제3 채널에 각각 할당하는 단계 및 상기 복수의 제1 채널, 제2 채널, 및 제3 채널을 병합하여 상기 학습된 신경망 모델에 대한 입력 데이터를 획득하는 단계를 포함할 수 있다.
상기 식별하는 단계는, 상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 입력하여 상기 획득된 사용자의 터치 입력이 상기 제1 유형에 해당될 제1 확률 및 상기 획득된 사용자의 터치 입력이 상기 제2 유형의 터치 입력에 해당될 제2 확률을 획득하고, 상기 제1 확률이 기 설정된 확률보다 크면 상기 획득된 사용자의 터치 입력의 유형을 상기 제1 유형으로 식별하고, 상기 제2 확률이 상기 기 설정된 확률보다 크면 상기 획득된 사용자의 터치 입력의 유형을 상기 제2 유형으로 식별할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치에 있어서, 터치 스크린; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 프로세서;를 포함하고, 상기 프로세서는, 상기 터치 스크린을 기 설정된 압력보다 작은 압력으로 터치하는 제1 유형의 터치 입력에 대응되는 복수의 제1 이미지 및 상기 터치 스크린을 상기 기 설정된 압력보다 큰 압력으로 터치하는 제2 유형의 터치 입력에 대응되는 복수의 제2 이미지를 획득하여 상기 메모리에 저장하고, 상기 복수의 제1 및 제2 이미지를 바탕으로 사용자의 터치 입력의 유형을 식별하기 위한 신경망 모델을 학습하고, 상기 터치 스크린을 통해 사용자의 터치 입력이 획득되면 상기 획득된 사용자의 터치 입력에 대응되는 복수의 이미지를 획득하고, 상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 입력하여 상기 획득된 사용자의 터치 입력의 유형을 식별하고, 상기 식별된 터치 입력의 유형을 바탕으로 상기 획득된 사용자의 터치 입력에 대응되는 기능을 수행하는 전자 장치가 제공될 수 있다.
상기 프로세서는, 상기 제1 유형의 터치 입력 및 상기 제2 유형의 터치 입력 각각에 대응되는 사용자의 터치 입력을 가이드하기 위한 UI 엘리먼트를 상기 터치 스크린에 디스플레이하고, 상기 UI 엘리먼트를 터치하는 사용자의 터치 입력이 감지되면, 상기 감지된 터치 입력에 대응되는 복수의 이미지를 생성할 수 있다.
상기 프로세서는, 상기 제1 유형의 터치 입력을 가이드하기 위한 제1 UI 엘리먼트 및 상기 제2 유형의 터치 입력에 대응되는 사용자의 터치 입력을 가이드하기 위한 제2 UI 엘리먼트를 상기 터치 스크린에 디스플레이하고, 상기 제2 UI 엘리먼트의 크기는 상기 제1 UI 엘리먼트의 크기보다 클 수 있다.
상기 프로세서는, 상기 획득된 사용자의 터치 입력에 따라 상기 제1 유형에 대응되는 기능이 실행되면, 상기 획득된 복수의 이미지에 상기 제1 유형의 터치 입력에 대응되는 제1 라벨을 할당하여 상기 획득된 복수의 이미지를 저장하고, 상기 획득된 사용자의 터치 입력에 따라 상기 제2 유형에 대응되는 기능이 실행되면, 상기 획득된 복수의 이미지에 상기 제2 유형의 터치 입력에 대응되는 제2 라벨을 할당하여 상기 획득된 복수의 이미지를 저장하고, 상기 제1 라벨이 할당된 상기 획득된 복수의 이미지 및 상기 제2 라벨이 할당된 상기 획득된 복수의 이미지를 바탕으로 상기 신경망 모델을 재학습할 수 있다.
상기 프로세서는, 상기 획득된 사용자의 터치 입력에 대응되는 상기 복수의 이미지가 획득되면, 상기 획득된 복수의 이미지와 상기 복수의 제1 이미지 간의 제1 유사도 및 상기 획득된 복수의 이미지와 상기 복수의 제2 이미지 간의 제2 유사도를 획득하고, 상기 복수의 제1 이미지 중 상기 제1 유사도가 기 설정된 값 이상인 복수의 제1 입력 이미지를 획득하고, 상기 복수의 제2 이미지 중 상기 제2 유사도가 상기 기 설정된 값 이상인 복수의 제2 입력 이미지를 획득하고, 상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 입력 이미지 및 상기 복수의 제2 입력 이미지를 입력하여 상기 획득된 사용자의 터치 입력의 유형을 식별할 수 있다.
상기 프로세서는, 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지 각각에 포함된 터치 입력에 대응되는 영역의 면적, 형태 및 시간에 따른 상기 면적의 변화 중 적어도 하나를 바탕으로 상기 유사도를 획득할 수 있다.
상기 프로세서는, 상기 획득된 복수의 이미지, 상기 복수의 제1 입력 이미지 및 상기 복수의 제2 입력 이미지를 바탕으로 상기 신경망 모델을 재학습할 수 있다.
상기 전자 장치는, 스피커;를 더 포함하고, 상기 제2 유형의 터치 입력에 대응되는 기능은 적어도 하나의 UI 엘리먼트를 상기 터치 스크린에 디스플레이하는 기능을 포함하며, 상기 적어도 하나의 UI 엘리먼트는, 상기 스피커의 볼륨을 조절하기 위한 제1 UI 엘리먼트 및 상기 전자 장치의 전원을 오프하기 위한 제2 UI 엘리먼트 중 적어도 하나를 포함할 수 있다.
상기 프로세서는, 상기 획득된 복수의 이미지를 복수의 제1 채널에, 상기 복수의 제1 이미지를 복수의 제2 채널에, 상기 복수의 제2 이미지를 복수의 제3 채널에 각각 할당하고, 상기 복수의 제1 채널, 제2 채널, 및 제3 채널을 병합하여 상기 학습된 신경망 모델에 대한 입력 데이터를 획득할 수 있다.
상기 프로세서는, 상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 입력하여 상기 획득된 사용자의 터치 입력이 상기 제1 유형에 해당될 제1 확률 및 상기 획득된 사용자의 터치 입력이 상기 제2 유형의 터치 입력에 해당될 제2 확률을 획득하고, 상기 제1 확률이 기 설정된 확률보다 크면 상기 획득된 사용자의 터치 입력의 유형을 상기 제1 유형으로 식별하고, 상기 제2 확률이 상기 기 설정된 확률보다 크면 상기 획득된 사용자의 터치 입력의 유형을 상기 제2 유형으로 식별할 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 신경망 모델을 이용하여 사용자의 포스 터치를 감지할 수 있다. 이에 따라, 사용자의 편의성 및 만족도가 향상될 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 2a는 본 개시의 일 실시 예에 따른 개별 데이터 구축 방법을 설명하기 위한 도면이다.
도 2b는 본 개시의 일 실시 예에 따른 라벨 값을 도시한 표이다.
도 3은 본 개시의 일 실시 예에 따른 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 4a는 본 개시의 일 실시 예에 따른 클래스 라벨을 할당하는 방법을 설명하기 위한 순서도이다.
도 4b는 본 개시의 다른 일 실시 예에 따른 클래스 라벨을 할당하는 방법을 설명하기 위한 순서도이다.
도 5는 본 개시의 일 실시 예에 따른 핑거 라벨을 할당하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 입력 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시 예에 따른 전자 장치가 터치 입력에 대응되는 기능을 수행하는 모습을 도시한 도면이다.
도 7b는 본 개시의 다른 일 실시 예에 따른 전자 장치가 터치 입력에 대응되는 기능을 수행하는 모습을 도시한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
전자 장치(100)는 터치 스크린(110)을 통해 사용자의 터치 입력(1)을 획득할 수 있다. 그리고, 전자 장치(100)는 터치 입력(1)을 바탕으로 복수의 이미지(11)를 획득할 수 있다. 전자 장치(100)는 기 설정된 시간 동안 터치 스크린(110)에 구비된 복수의 터치 센서로부터 획득되는 신호를 바탕으로 복수의 이미지(11)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 0.5초동안 일정한 시간 간격으로 15 프레임의 이미지를 생성할 수 있다. 즉, 전자 장치(100)는 30Hz의 샘플링 레이트(sampling rate)(또는, 샘플링 주기)로 터치 입력(1)에 대응되는 복수의 이미지(11)를 생성할 수 있다. 복수의 이미지(11)는 각각 터치 입력(1)에 대응되는 영역을 포함할 수 있다. 여기서, 복수의 이미지(11)는 그레이 스케일(grayscale) 이미지를 의미할 수 있다. 한편, 이하에서 복수의 이미지(11)는 설명의 편의상 이미지 셋(11)이라 지칭되기도 한다.
전자 장치(100)는 이미지 셋(11)을 바탕으로 사용자의 개별 데이터(12)에 포함된 복수의 이미지를 획득할 수 있다. 개별 데이터(12)는 사용자의 터치 입력(1)과 관련된 정보를 포함하는 데이터로, 사용자 데이터 베이스에 저장되어 있을 수 있다. 개별 데이터(12)는 터치 스크린(110)을 통해 획득된 사용자의 터치 입력을 바탕으로 생성된 복수의 이미지(또는 이미지 셋)를 포함할 수 있다. 또한, 개별 데이터(12)는 사용자의 터치 유형 별 이미지 셋을 포함할 수 있다. 여기서, 터치 유형은, 터치 스크린(110)을 기 설정된 압력보다 작은 압력으로 터치하는 제1 유형의 터치 입력 및 터치 스크린(110)을 기 설정된 압력보다 큰 압력으로 터치하는 제2 유형을 포함할 수 있다.
전자 장치(100)는 개별 데이터(12)에 포함된 다수의 이미지 셋 중 터치 유형 별로 터치 입력(1)과 가장 유사한 이미지 셋을 획득할 수 있다. 예를 들어, 전자 장치(100)는 제1 유형의 터치 입력에 대응되는 복수의 제1 이미지(또는 제1 이미지 셋)(13) 및 제2 유형의 터치 입력에 대응되는 복수의 제2 이미지(또는 제2 이미지 셋)(14)를 획득할 수 있다. 한편, 제1 이미지 셋(13) 및 제2 이미지 셋(14)을 획득하는 방법에 대해서는 도 6을 참조하여 보다 상세히 후술하도록 한다.
전자 장치(100)는 이미지 셋(11), 제1 이미지 셋(13) 및 제2 이미지 셋(14)을 신경망 모델(20)에 입력하여 터치 입력(1)에 대응되는 터치 유형 정보를 획득할 수 있다. 터치 유형 정보란, 터치 입력(1)이 각 터치 유형에 해당될 확률 또는 각 터치 유형에 대응되는 라벨을 의미할 수 있다. 전술한 바와 같이, 터치 유형은 터치 스크린(110)을 기 설정된 압력보다 작은 압력으로 터치하는 제1 유형의 터치 입력 및 터치 스크린(110)을 기 설정된 압력보다 큰 압력으로 터치하는 제2 유형을 포함할 수 있다. 다만, 이는 일 실시 예에 불과하며, 본 개시에 따른 터치 유형은 다양할 수 있음을 밝혀둔다. 한편, 본 개시에서, 상술한 제1 유형에 대응되는 터치는 롱 터치(long touch), 제2 유형에 대응되는 터치는 포스 터치(force touch)로 각각 지칭하기도한다. 또한, 전자 장치(100)는 제1 유형 및 제2 유형뿐만 아니라 숏 터치(short touch), 스와이프(swipe) 등 다양한 터치 유형을 식별할 수 있다.
한편, 종래의 전자 장치는 압력 센서를 이용하여 사용자의 터치 입력에 대응되는 압력을 측정하고, 측정된 압력을 바탕으로 사용자의 터치 유형을 식별하였다. 이 경우, 터치 패널에 압력 센서가 설치되어야 하므로, 터치 패널의 두께가 증가하고 제조 단가가 증가하는 문제가 있었다. 반면에, 본 개시에 따른 전자 장치(100)는 사용자의 터치 입력(1)과 터치 입력(1)에 대응되는 개별 데이터(12)를 신경망 모델(20)에 입력하여 터치 유형 정보를 획득할 수 있다. 이에 따라, 전자 장치(100)는 별도의 압력 센서 없이도 정확한 터치 유형 정보를 획득할 수 있으며, 터치 패널의 제조 단가가 감소하는 기술적 효과를 갖는다.
한편, 신경망 모델(20)을 통해 획득되는 터치 유형 정보의 정확도를 향상시키기 위해서는 개별 데이터(12)를 효율적으로 구축하는 것이 중요하다. 이하에서는, 개별 데이터(12)를 구축하는 방법에 대하여 설명하도록 한다.
도 2a는 본 개시의 일 실시 예에 따른 개별 데이터 구축 방법을 설명하기 위한 도면이다. 도 2b는 본 개시의 일 실시 예에 따른 라벨 값을 도시한 표이다.
도 2a를 참조하면, 전자 장치(100)는 터치 패널(110)상에 다수의 터치 유형에 대응되는 사용자의 터치 입력을 가이드하기 위한 UI 엘리먼트(41, 42)를 디스플레이할 수 있다. 전자 장치(100)는 각 손가락 별 특정 터치 유형에 대응되는 사용자의 터치 입력을 가이드하기 위한 UI 엘리먼트(41, 42) 및 가이드 메시지(23, 24)를 디스플레이할 수 있다. 예를 들어, 전자 장치(100)는 '오른손 엄지 손가락'으로 터치 스크린(110)을 기 설정된 압력보다 작은 압력으로 누르는 터치 입력(즉 제1 유형의 터치 입력)을 가이드 하기 위한 제1 UI 엘리먼트(21)를 디스플레이할 수 있다. 또한, 전자 장치(100)는'오른손 엄지 손가락'으로 터치 스크린(110)을 기 설정된 압력보다 큰 압력으로 누르는 터치 입력(즉 제2 유형의 터치 입력)을 가이드 하기 위한 제2 UI 엘리먼트(22)를 디스플레이할 수 있다. 이와 같이 전자 장치(100)가 UI 엘리먼트(41, 42)를 디스플레이함에 따라, 사용자는 각 손가락으로 UI 엘리먼트(41, 42)를 기 설정된 압력보다 큰 압력으로 터치하거나 기 설정된 압력보다 작은 압력으로 터치할 수 있다.
이에 따라, 전자 장치(100)는 사용자의 각 손가락에 대한 터치 유형 별 정보를 수집할 수 있다. 구체적으로, UI 엘리먼트(41, 42)를 터치하는 사용자의 터치 입력이 획득되면, 전자 장치(100)는 터치 입력에 대응되는 이미지를 생성할 수 있다. 예를 들어, 제1 UI 엘리먼트(21)를 터치하는 터치 입력이 획득되면, 전자 장치(100)는 이미지셋(25)을 생성할 수 있다. 또한, 제2 UI 엘리먼트(21)를 터치하는 터치 입력이 획득되면, 전자 장치(100)는 이미지셋(26)을 생성할 수 있다. 이 때, 이미지셋(25, 26)은 각각 사용자의 터치 입력에 대응되는 영역을 포함할 수 있다.
그리고, 전자 장치(100)는 생성된 이미지에 사용자 입력에 대응되는 라벨 값을 할당할 수 있다. 여기서, 라벨은 클래스 라벨(class label) 및 핑거 라벨(finger label)을 포함할 수 있다. 클래스 라벨은 상술한 터치 유형에 대응되는 라벨을 의미하며, 핑거 라벨은 각 손가락에 대응되는 라벨을 의미할 수 있다. 본 개시의 일 실시 예에 따른 라벨은 도 2b의 표와 같이 정의될 수 있다. 예를 들어, 전자 장치(100)는 이미지셋(25)에 라벨([1, 0])을 할당할 수 있다. 또한, 전자 장치(100)는 이미지셋(26)에 라벨([2, 0])을 할당할 수 있다.
이와 같이, 사용자의 각 손가락 및 각 터치 유형에 대응되는 이미지셋이 생성되고 각 이미지셋에 라벨(또는 라벨 값)이 할당되면, 전자 장치(100)는 이미지셋을 사용자 데이터 베이스에 저장할 수 있다. 그리고, 전자 장치(100)는 개별 데이터(12)를 바탕으로 신경망 모델(20)을 학습할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 전자 장치(100)는 개별 데이터(12) 및 미리 저장된 이미지셋을 바탕으로 터치 유형을 식별하기 위한 신경망 모델(20)을 학습할 수 있다. 여기서, 미리 저장된 이미지셋은 제조사에 의해 제공된 샘플 이미지셋을 의미할 수 있다. 전자 장치(100)는 사용자 데이터 베이스에 저장된 개별 데이터(12) 및 미리 저장된 이미지셋으로부터 임의의 학습 데이터를 획득할 수 있다. 예를 들어, 전자 장치(100)는 제1 이미지셋(31), 제2 이미지셋(32) 및 제3 이미지셋(33)을 획득할 수 있다. 제1 이미지셋(31), 제2 이미지셋(32) 및 제3 이미지셋(33)은 각각 복수의 이미지를 포함할 수 있다. 제1 이미지셋(31), 제2 이미지셋(32) 및 제3 이미지셋(33)은 각각 제1 채널(1~15채널), 제2 채널(16~30채널) 및 제3 채널(31~45채널)로 할당(또는 분류)될 수 있다. 여기서 제1 채널은 현재 입력에 대응되는 채널이며, 제2 채널은 제1 유형에 대응되는 채널이며, 제3 채널은 제2 유형에 대응되는 채널일 수 있다.
전자 장치(100)는 제1 채널, 제2 채널 및 제3 채널을 병합하여 신경망 모델(20)에 대한 입력 데이터를 획득할 수 있다. 그리고, 전자 장치(100)는 제1 채널, 제2 채널 및 제3 채널에 각각 할당된 제1 이미지셋(31), 제2 이미지셋(32) 및 제3 이미지셋(33)을 신경망 모델(20)에 입력하여 제1 이미지셋(31)에 대응되는 터치 유형 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 터치 유형 정보에 따른 예측 라벨과 실제 제1 이미지셋(31)의 라벨을 바탕으로 에러값을 산출할 수 있다. 전자 장치(100)는 에러값이 최소화되도록 신경망 모델(20)의 파라미터(또는 가중치)를 업데이트함으로써 신경망 모델(20)을 학습시킬 수 있다.
한편, 전자 장치(100)는 기 정의된 조건이 충족되면, 신경망 모델(20)을 재학습할 수 있다. 예를 들어, 기 정의된 조건은 사용자 데이터 베이스에 저장된 개별 데이터(12)의 누적량이 임계치 이상인지 여부, 전자 장치(100)의 메모리 용량이 임계값 이상인지 여부 등을 바탕으로 정해질 수 있다.
한편, 신경망 모델(20)의 성능을 높이기 위해서는 다량의 개별 데이터(12)를 수집하는 것이 중요하다. 이를 위해, 전자 장치(100)는 사용자가 전자 장치(100)를 사용하는 동안에도 개별 데이터(12)를 수집할 수 있다.
도 4a는 본 개시의 일 실시 예에 따른 클래스 라벨을 할당하는 방법을 설명하기 위한 순서도이다. 개별 데이터를 구축하는 방법을 설명하기 위한 순서도이다. 도 4b는 본 개시의 다른 일 실시 예에 따른 클래스 라벨을 할당하는 방법을 설명하기 위한 순서도이다.
도 4a를 참조하면, 전자 장치(100)는 사용자의 터치 입력을 획득할 수 있다. 전자 장치(100)는 획득된 사용자의 터치 입력에 따라 제2 유형의 터치 입력에 대응되는 기능이 수행되었는지 여부를 식별할 수 있다(S410). 여기서, 제2 유형의 터치 입력에 대응되는 기능은, 사용자에 의해 미리 설정될 수 있다. 예를 들어, 제2 유형의 터치 입력에 대응되는 기능은 전자 장치(100)에 구비된 스피커의 볼륨을 조절하기 위한 UI 엘리먼트를 디스플레이하는 기능을 포함할 수 있다. 또는, 제2 유형의 터치 입력에 대응되는 기능은 긴급 통화를 위해 외부 장치로 전화 신호를 전송하는 기능을 포함할 수 있다.
사용자의 터치 입력에 따라 제2 유형의 터치 입력에 대응되는 기능이 수행된 것으로 식별되면, 전자 장치(100)는 사용자의 터치 입력에 대응되는 이미지에 제2 클래스 라벨을 할당할 수 있다(S420). 여기서, 제2 클래스 라벨은 제2 유형의 터치 입력(즉, 포스 터치)에 대응되는 클래스 라벨을 의미한다. 전술한 바와 같이, 전자 장치(100)는 사용자의 터치 입력을 바탕으로 복수의 이미지를 생성할 수 있으며, 복수의 이미지에 제2 클래스 라벨을 할당할 수 있다. 그리고, 전자 장치(100)는 제2 클래스 라벨이 할당된 복수의 이미지를 개별 데이터(12)로 저장할 수 있다.
사용자의 터치 입력에 따라 제2 유형의 터치 입력에 대응되는 기능이 수행되지 않은 것으로 식별되면, 전자 장치(100)는 사용자의 터치 입력에 대응되는 이미지에 제1 클래스 라벨을 할당할 수 있다(S430). 여기서, 제1 라벨은 제1 유형의 터치 입력(즉, 롱 터치)에 대응되는 클래스 라벨을 의미한다. 이와 같이, 전자 장치(100)는 터치 입력에 따라 제2 유형의 터치 입력에 대응되는 기능이 수행되었는지 여부를 바탕으로 터치 입력에 대응되는 이미지에 클래스 라벨을 부여할 수 있다.
한편, 전자 장치(100)는 터치 입력에 따라 제1 유형의 터치 입력에 대응되는 기능이 수행되었는지 여부를 바탕으로 터치 입력에 대응되는 이미지에 할당할 클래스 라벨을 결정할 수 있다. 도 4b를 참조하면, 전자 장치(100)는 터치 입력에 따라 제1 유형의 터치 입력에 대응되는 기능이 수행되었는지 여부를 식별할 수 있다(S411). 여기서, 제1 유형의 터치 입력은 롱 터치 입력을 의미하며, 제1 유형의 터치 입력에 대응되는 기능은 사용자에 의해 미리 설정될 수 있다. 예를 들어, 제1 유형의 터치 입력에 대응되는 기능은 터치 스크린(110)에 표시된 아이콘을 삭제하기 위한 UI 엘리먼트를 디스플레이하는 기능으로 설정될 수 있다.
터치 입력에 따라 제1 유형의 터치 입력에 대응되는 기능이 수행된 것으로 식별되면, 전자 장치(100)는 터치 입력에 대응되는 이미지에 제1 클래스 라벨을 할당할 수 있다(S421). 반면에, 터치 입력에 따라 제1 유형의 터치 입력에 대응되는 기능이 수행되지 않은 것으로 식별되면, 전자 장치(100)는 터치 입력에 대응되는 이미지에 제2 클래스 라벨을 할당할 수 있다(S431). 그리고, 전자 장치(100)는 클래스 라벨이 할당된 이미지를 개별 데이터(12)로 저장하여 개별 데이터(12)를 구축할 수 있다.
한편, 전자 장치(100)는 터치 입력에 대응되는 이미지에 클래스 라벨뿐만 아니라 핑거 라벨을 할당할 수 있다. 도 5는 본 개시의 일 실시 예에 따른 핑거 라벨을 할당하는 방법을 설명하기 위한 도면이다.
*전자 장치(100)는 사용자의 터치 입력이 획득되면, 터치 입력에 대응되는 이미지(또는 터치 이미지)(51)를 획득할 수 있다. 그리고, 전자 장치(100)는 터치 이미지(51)와 사용자 데이터 베이스에 저장된 이미지(52)를 비교하여 터치 이미지(51)와 저장된 이미지(52) 간의 유사도를 획득할 수 있다(S510). 여기서, 저장된 이미지(52)는 상술한 개별 데이터(12)로 저장된 이미지를 의미한다. 따라서, 저장된 이미지(52)에는 클래스 라벨 및 핑거 라벨이 할당되어있을 수 있다.
전자 장치(100)는 다양한 방법으로 터치 이미지(51)와 저장된 이미지(52) 간의 유사도를 획득할 수 있다(S510). 일 예로, 전자 장치(100)는 터치 이미지(51)에 포함된 사용자의 제1 터치 영역(A)의 면적과 저장된 이미지(52)에 포함된 제2 터치 영역(B)의 면적의 차이를 바탕으로 터치 이미지(51)와 저장된 이미지(52) 간의 유사도를 획득할 수 있다. 여기서, 제1 터치 영역(A) 및 제2 터치 영역(B)은 각각 터치 스크린(110)을 터치하는 사용자의 입력에 대응될 수 있다. 다른 일 예로, 전자 장치(100)는 터치 이미지(51) 및 저장된 이미지(52)의 패턴을 분석하여 터치 이미지(51)와 저장된 이미지(52) 간의 유사도를 획득할 수 있다. 또 다른 일 예로, 터치 이미지(51)와 저장된 이미지(52)가 기 설정된 시간(예로, 0.5초) 동안 획득된 복수의 이미지셋인 경우, 전자 장치(100)는 시간에 따른 제1 터치 영역(A)의 변화와 제2 터치 영역(B)의 변화를 비교하여 터치 이미지(51)와 저장된 이미지(52) 간의 유사도를 획득할 수 있다.
한편, 전자 장치(100)는 저장된 이미지(52) 중 터치 이미지(51)에 할당된 클래스 라벨에 대응되는 이미지를 획득하고, 획득된 이미지와 터치 이미지(51)간의 유사도를 획득할 수 있다. 예를 들어, 터치 이미지(51)에 할당된 클래스 라벨이 1(즉, 포스 터치)인 경우, 전자 장치(100)는 저장된 이미지(52) 중 클래스 라벨이 1인 이미지를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 이미지와 터치 이미지(51)간의 유사도를 획득하여, 터치 이미지(51)와 저장된 이미지(52) 간의 유사도를 획득할 수 있다.
터치 이미지(51)와 저장된 이미지(52) 간의 유사도가 획득되면, 전자 장치(100)는 획득된 유사도가 기 설정된 값 이상인지 여부를 식별할 수 있다(S520). 획득된 유사도가 기 설정된 값(예로, 90%) 이상인 것으로 식별되면, 전자 장치(100)는 저장된 이미지(52) 중 터치 이미지(51)와 유사도가 가장 높은 이미지의 핑거 라벨을 터치 이미지(51)에 할당할 수 있다(S530). 예를 들어, 저장된 이미지(52) 중 오른손 엄지 손가락에 대응되는 핑거 라벨이 할당된 제1 이미지와 터치 이미지(51)의 유사도가 가장 높으면, 전자 장치(100)는 터치 이미지(51)에 오른손 엄지 손가락에 대응되는 핑거 라벨(예로, 0)을 할당할 수 있다. 한편, 전자 장치(100)는 여러 프레임의 터치 이미지셋을 획득하는 경우에도 상술한 방법과 유사하게 터치 이미지셋에 유사도가 가장 높은 이미지셋에 대응되는 핑거 라벨을 식별하고, 식별된 핑거 라벨을 터치 이미지셋에 할당할 수 있다.
한편, 획득된 유사도가 기 설정된 값보다 작은 것으로 식별되면, 전자 장치(100)는 터치 이미지(51)에 새로운 핑거 라벨을 할당할 수 있다(S540). 이 때, 전자 장치(100)는 손가락 식별 모델에 입력하여 터치 이미지(51)에 대응되는 손가락을 식별할 수 있다. 손가락 식별 모델은 학습된 신경망 모델로서 전자 장치(100)에 미리 저장되어 있을 수 있다. 예를 들어, 저장된 이미지(52)에 '오른손 약지'에 대응되는 핑거 라벨이 할당된 이미지가 존재하지 않고 터치 이미지(51)에 대응되는 손가락이 '오른손 약지'로 식별되면, 전자 장치(100)는 터치 이미지(51)에 '오른손 약지'에 대응되는 핑거 라벨을 할당할 수 있다.
터치 이미지(또는 터치 이미지셋)(51)에 핑거 라벨이 할당되면, 전자 장치(100)는 핑거 라벨이 할당된 터치 이미지(51)를 사용자 데이터 베이스에 저장할 수 있다. 이와 같이, 전자 장치(100)는 사용자가 전자 장치(100)를 사용하는 동안 획득되는 터치 입력을 바탕으로 개별 데이터를 구축할 수 있다. 그리고, 전자 장치(100)는 도 3에서 설명한 바와 같이, 개별 데이터를 바탕으로 신경망 모델(20)을 재학습할 수 있다.
한편, 신경망 모델(20)을 통해 획득되는 터치 유형 정보의 정확도를 향상시키기 위해서는, 신경망 모델(20)에 입력되는 입력 데이터를 선정하는 것이 중요하다.
도 6은 본 개시의 일 실시 예에 따른 입력 데이터를 획득하는 방법을 설명하기 위한 도면이다. 전자 장치(100)는 터치 입력이 획득되면, 터치 입력에 대응되는 터치 이미지셋(61)를 획득할 수 있다. 전자 장치(100)는 터치 이미지셋(61)과 사용자 데이터 베이스에 저장된 복수의 이미지셋(62)의 유사도를 획득할 수 있다. 복수의 이미지셋(62)은 제1 유형(즉, 롱 터치)에 대응되는 클래스 라벨이 할당된 복수의 제1 이미지셋(63) 및 제2 유형(즉, 포스 터치)에 대응되는 클래스 라벨이 할당된 복수의 제2 이미지셋(64)을 포함할 수 있다. 전자 장치(100)는 터치 이미지셋(61)과 복수의 제1 이미지셋(63)의 유사도를 획득할 수 있다. 그리고, 전자 장치(100)는 터치 이미지셋(61)과 복수의 제2 이미지셋(64)의 유사도를 획득할 수 있다. 구체적인 유사도 판단 방법은 도 5의 단계 S510을 참조하도록 하고 그 상세한 설명은 생략한다.
터치 이미지셋(61)과 저장된 이미지셋(62) 간의 유사도가 획득되면, 전자 장치(100)는 유사도를 바탕으로 신경망 모델(20)에 대한 입력 데이터를 획득할 수 있다. 이 때, 전자 장치(100)는 복수의 제1 이미지셋(63) 중 터치 이미지셋(61)과 유사도가 가장 큰 제1-1 이미지셋(63-1)을 획득할 수 있다. 또한, 전자 장치(100)는 복수의 제2 이미지셋(64) 중 터치 이미지셋(61)과 유사도가 가장 큰 제2-1 이미지셋(64-1)을 획득할 수 있다. 그리고, 전자 장치(100)는 터치 이미지셋(61), 제1-1 이미지셋(63-1) 및 제2-1 이미지셋(64-1)을 입력 데이터로 획득할 수 있다. 구체적으로, 전자 장치(100)는 터치 이미지셋(61), 제1-1 이미지셋(63-1) 및 제2-1 이미지셋(64-1)을 각각 복수의 채널에 할당할 수 있다. 그리고, 복수의 채널을 병합하여 신경망 모델(20)에 대한 입력 데이터를 획득할 수 있다.
전자 장치(100)는 복수의 채널에 각각 할당된 터치 이미지셋(61), 제1-1 이미지셋(63-1) 및 제2-1 이미지셋(64-1)을 신경망 모델(20)에 입력하여 터치 이미지셋(61)에 대응되는 터치 유형 정보를 획득할 수 있다. 한편, 터치 유형 정보는 터치 입력이 제1 유형의 터치 입력에 해당될 제1 확률 및 제2 유형의 터치 입력에 해당될 제2 확률을 포함할 수 있다. 이 때, 제1 확률이 기 설정된 확률(예로, 70%)보다 크면, 전자 장치(100)는 터치 입력의 유형을 제1 유형으로 식별할 수 있다. 반면에, 제2 확률이 기 설정된 확률(예로, 70%)보다 크면, 전자 장치(100)는 획득된 사용자의 터치 입력의 유형을 제2 유형으로 식별할 수 있다. 그리고, 전자 장치(100)는 획득된 터치 유형 정보를 바탕으로 터치 입력에 대응되는 기능을 수행할 수 있다.
한편, 이상에서는 설명의 편의상 전자 장치(100)가 하나의 손가락으로 터치 스크린(110)을 터치하는 싱글 터치 입력의 터치 유형을 식별하고, 식별된 터치 유형을 바탕으로 싱글 터치 입력에 대응되는 기능을 수행하는 것으로 설명하였다. 다만, 이는 일 실시 예에 불과하며, 전자 장치(100)는 2 이상의 손가락으로 터치 스크린(110)을 터치하는 멀티 터치 입력에 대응되는 기능을 수행할 수도 있다. 이 때, 전자 장치(100)는 멀티 터치 입력에 대응되는 이미지셋을 생성하고, 생성된 이미지셋을 바탕으로 개별 데이터에 저장된 이미지셋 중 신경망 모델(20)에 대한 입력 이미지셋을 획득할 수 있다. 그리고, 전자 장치(100)는 생성된 이미지셋과 입력 이미지셋을 신경망 모델(20)에 입력하여 멀티 터치 입력의 터치 유형을 식별할 수 있다. 전자 장치(100)는 식별된 터치 유형을 바탕으로 멀티 터치 입력에 대응되는 기능을 수행할 수 있다. 예를 들어, 멀티 터치 입력의 터치 유형이 제2 유형으로 식별되면, 전자 장치(100)는 전원 종료를 위한 UI 엘리먼트를 디스플레이할 수 있다. 이에 대한 보다 상세한 설명은 도 7b를 참조하여 후술하도록 한다.
도 7a는 본 개시의 일 실시 예에 따른 전자 장치가 터치 입력에 대응되는 기능을 수행하는 모습을 도시한 도면이다. 터치 스크린(110)을 통해 터치 입력(71)이 획득되면, 전자 장치(100)는 터치 입력(71)의 유형을 식별할 수 있다. 예를 들어, 터치 입력(71)이 제2 유형(즉, force touch)으로 식별되면, 전자 장치(100)는 볼륨 조절을 위한 UI 엘리먼트(72)를 디스플레이할 수 있다.
도 7b는 본 개시의 다른 일 실시 예에 따른 전자 장치가 터치 입력에 대응되는 기능을 수행하는 모습을 도시한 도면이다. 터치 스크린(110)을 통해 멀티 터치 입력(73)이 획득되면, 전자 장치(100)는 멀티 터치 입력(73)의 유형을 식별할 수 있다. 예를 들어, 멀티 터치 입력(73)이 제2 유형(즉, force touch)으로 식별되면, 전자 장치(100)는 전자 장치(100)의 전원을 종료하기 위한 UI 엘리먼트(74)를 디스플레이할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
전자 장치(100)는 터치 스크린(110), 스피커(120), 통신 인터페이스(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다.
터치 스크린(110)은 사용자의 터치 입력을 획득할 수 있다. 이를 위해, 터치 스크린(110)은 복수의 터치 센서를 포함할 수 있다. 또한, 터치 스크린(110)은 적어도 하나의 UI 엘리먼트를 디스플레이할 수 있다. 예를 들어, 터치 스크린(110)은 터치 유형 별 사용자의 입력을 획득하기 위한 UI 엘리먼트를 디스플레이할 수 있다.
스피커(120)는 오디오를 출력할 수 있다. 예를 들어, 제2 터치 유형에 대응되는 사용자의 터치 입력이 획득되면, 프로세서(150)는 스피커(120)의 볼륨을 제어하기 위한 UI 엘리먼트를 디스플레이하도록 터치 스크린(110)을 제어할 수 있다.
통신 인터페이스(130)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(130)는 와이파이(Wi-Fi)칩, 블루투스 칩을 포함할 수 있다. 전자 장치(100)는 통신 인터페이스(130)를 통해 외부 서버 또는 외부 장치와 통신을 수행할 수 있다. 예를 들어, 제2 유형에 대응되는 사용자의 터치 입력이 획득되면, 프로세서(150)는 알림 신호를 생성하고, 생성된 알림 신호를 통신 인터페이스(130)를 통해 외부 서버로 전송할 수 있다.
메모리(140)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(140)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다. 특히, 메모리(140)는 터치 입력의 유형을 식별하기 위한 신경망 모델을 저장할 수 있다. 신경망 모델은 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU, NPU 등)에 의해 실행될 수 있다. 또한, 메모리(140)는 사용자의 개별 데이터를 포함하는 사용자 데이터 베이스를 포함할 수 있다.
프로세서(150)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
예를 들어, 프로세서(150)는 터치 유형 별 사용자의 입력을 가이드 하기 위한 UI 엘리먼트를 디스플레이하도록 터치 스크린(110)을 제어할 수 있다. UI 엘리먼트는 제1 유형의 터치 입력을 가이드하기 위한 제1 UI 엘리먼트 및 제2 유형의 터치 입력에 대응되는 사용자의 터치 입력을 가이드하기 위한 제2 UI 엘리먼트를 포함할 수 있다. 이 때, 제2 UI 엘리먼트의 크기는 제1 UI 엘리먼트보다 클 수 있다.
프로세서(150)는 터치 스크린(110)을 통해 제1 유형의 터치 입력 및 제2 유형의 터치 입력을 획득할 수 있다. 그리고, 프로세서(150)는 제1 유형의 터치 입력에 대응되는 복수의 제1 이미지 및 제2 유형의 터치 입력에 대응되는 복수의 제2 이미지를 생성할 수 있다. 프로세서(150)는 복수의 제1 이미지에 제1 유형에 대응되는 라벨을 할당하고, 복수의 제2 이미지에 제2 유형에 대응되는 라벨을 할당하여 메모리(140)에 저장할 수 있다. 그리고, 프로세서(150)는 라벨이 할당된 복수의 제1 이미지 및 제2 이미지를 바탕으로 터치 유형을 식별하기 위한 신경망 모델을 학습할 수 있다.
터치 스크린(110)을 통해 사용자의 터치 입력이 획득되면, 프로세서(150)는 획득된 사용자의 터치 입력에 대응되는 복수의 이미지를 획득할 수 있다. 프로세서(150)는 메모리(140)에 저장된 복수의 제1 이미지 중 획득된 이미지와 유사도가 가장 높은 복수의 제1 입력 이미지를 획득할 수 있다. 또한, 프로세서(150)는 메모리(140)에 저장된 복수의 제2 이미지 중 획득된 이미지와 유사도가 가장 높은 복수의 제2 입력 이미지를 획득할 수 있다. 그리고, 프로세서(150)는 획득된 복수의 이미지, 메모리(140)에 저장된 복수의 제1 입력 이미지 및 제2 입력 이미지를 신경망 모델에 입력하여 사용자의 터치 입력에 대응되는 터치 유형을 식별할 수 있다.
프로세서(150)는 획득된 복수의 이미지, 복수의 제1 이미지 및 복수의 제2 이미지 각각에 포함된 터치 입력에 대응되는 영역의 면적, 형태 및 시간에 따른 상기 면적의 변화 중 적어도 하나를 바탕으로 획득된 복수의 이미지 및 복수의 제1 이미지 간의 제1 유사도 및 획득된 복수의 이미지 및 복수의 제2 이미지 간의 제2 유사도를 획득할 수 있다.
한편, 프로세서(150)는 사용자의 터치 입력에 따라 제1 유형에 대응되는 기능이 실행되면, 획득된 복수의 이미지에 제1 유형의 터치 입력에 대응되는 제1 라벨을 할당하여 획득된 복수의 이미지를 메모리(140)에 저장할 수 있다. 또한, 프로세서(150)는 사용자의 터치 입력에 따라 제2 유형에 대응되는 기능이 실행되면, 획득된 복수의 이미지에 제2 유형의 터치 입력에 대응되는 제2 라벨을 할당하여 획득된 복수의 이미지를 메모리(140)에 저장할 수 있다. 그리고, 프로세서(150)는 제1 라벨 및 제2 라벨이 각각 할당된 복수의 이미지를 바탕으로 신경망 모델을 재학습할 수 있다. 이에 따라, 신경망 모델의 성능이 향상될 수 있다.
프로세서(150)는 사용자 터치 입력에 대응되는 이미지, 제1 입력 이미지 및 제2 입력 이미지를 바탕으로 신경망 모델에 대한 입력 데이터를 획득할 수 있다. 프로세서(150)는 사용자 터치 입력에 대응되는 이미지, 제1 입력 이미지 및 제2 입력 이미지를 각각 복수의 채널에 할당하고, 복수의 채널을 병합하여 입력 데이터를 획득할 수 있다. 그리고, 프로세서(150)는 입력 데이터를 신경망 모델에 입력하여 사용자 터치 입력에 대응되는 터치 유형을 식별할 수 있다.
프로세서(150)는 식별된 터치 입력의 유형을 바탕으로 사용자의 터치 입력에 대응되는 기능을 수행할 수 있다. 프로세서(150)는 적어도 하나의 UI 엘리먼트를 터치 스크린(110)에 디스플레이할 수 있다. 예를 들어, 프로세서(150)는 스피커(120)의 볼륨을 조절하기 위한 제1 UI 엘리먼트 및 상기 전자 장치(100)의 전원을 오프하기 위한 제2 UI 엘리먼트 중 적어도 하나를 디스플레이하도록 터치 스크린(110)을 제어할 수 있다.
특히, 본 개시에 따른 인공지능과 관련된 기능은 프로세서(150)와 메모리(140)를 통해 동작된다. 프로세서(150)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리(140)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 도면이다.
전자 장치(100)는 터치 스크린을 기 설정된 압력보다 작은 압력으로 터치하는 제1 유형의 터치 입력에 대응되는 복수의 제1 이미지 및 터치 스크린을 기 설정된 압력보다 큰 압력으로 터치하는 제2 유형의 터치 입력에 대응되는 복수의 제2 이미지를 획득하여 저장할 수 있다(S910). 전자 장치(100)는 제1 유형 및 제2 유형의 터치 입력을 가이드하기 위한 UI 엘리먼트를 디스플레이할 수 있다. 또한, 전자 장치(100)는 복수의 제1 이미지 및 제2 이미지에 각각 제1 라벨 및 제2 라벨을 할당할 수 있다.
전자 장치(100)는 복수의 제1 및 제2 이미지를 바탕으로 사용자의 터치 입력의 유형을 식별하기 위한 신경망 모델을 학습할 수 있다(S920). 전자 장치(100)는 제1 라벨 및 제2 라벨이 할당된 복수의 제1 이미지 및 제2 이미지를 바탕으로 터치 유형을 식별하기 위한 신경망 모델을 학습할 수 있다.
전자 장치(100)는 터치 스크린을 통해 사용자의 터치 입력이 획득되면 사용자의 터치 입력에 대응되는 복수의 이미지를 획득할 수 있다(S930). 그리고, 전자 장치(100)는 복수의 제1 이미지 중 획득된 복수의 이미지와 유사도가 가장 높은 복수의 제1 입력 이미지를 획득할 수 있다. 또한, 전자 장치(100)는 복수의 제2 이미지 중 획득된 복수의 이미지와 유사도가 가장 높은 복수의 제2 입력 이미지를 획득할 수 있다.
전자 장치(100)는 학습된 신경망 모델에 획득된 복수의 이미지, 복수의 제1 이미지 및 복수의 제2 이미지를 입력하여 획득된 사용자의 터치 입력의 유형을 식별할 수 있다(S940). 이 때, 전자 장치(100)는 획득된 복수의 이미지, 복수의 제1 입력 이미지 및 복수의 제2 입력 이미지를 학습된 신경망 모델에 입력하여 획득된 사용자의 터치 입력의 유형을 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 터치 입력의 유형을 바탕으로 획득된 사용자의 터치 입력에 대응되는 기능을 수행할 수 있다(S950).
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치의 제어 방법에 있어서,
    터치 스크린을 기 설정된 압력보다 작은 압력으로 터치하는 제1 유형의 터치 입력에 대응되는 복수의 제1 이미지 및 상기 터치 스크린을 상기 기 설정된 압력보다 큰 압력으로 터치하는 제2 유형의 터치 입력에 대응되는 복수의 제2 이미지를 획득하여 저장하는 단계;
    상기 복수의 제1 및 제2 이미지를 바탕으로 사용자의 터치 입력의 유형을 식별하기 위한 신경망 모델을 학습하는 단계;
    상기 터치 스크린을 통해 사용자의 터치 입력이 획득되면 상기 획득된 사용자의 터치 입력에 대응되는 복수의 이미지를 획득하는 단계;
    상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 입력하여 상기 획득된 사용자의 터치 입력의 유형을 식별하는 단계; 및
    상기 식별된 터치 입력의 유형을 바탕으로 상기 획득된 사용자의 터치 입력에 대응되는 기능을 수행하는 단계;를 포함하는
    제어 방법.
  2. 제1 항에 있어서,
    상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 획득하는 단계는,
    상기 제1 유형의 터치 입력 및 상기 제2 유형의 터치 입력 각각에 대응되는 사용자의 터치 입력을 가이드하기 위한 UI 엘리먼트를 상기 터치 스크린에 디스플레이하는 단계, 및
    상기 UI 엘리먼트를 터치하는 사용자의 터치 입력이 감지되면, 상기 감지된 터치 입력에 대응되는 복수의 이미지를 생성하는 단계를 포함하는
    제어 방법.
  3. 제2 항에 있어서,
    상기 디스플레이하는 단계는,
    상기 제1 유형의 터치 입력을 가이드하기 위한 제1 UI 엘리먼트 및 상기 제2 유형의 터치 입력에 대응되는 사용자의 터치 입력을 가이드하기 위한 제2 UI 엘리먼트를 상기 터치 스크린에 디스플레이하고,
    상기 제2 UI 엘리먼트의 크기는 상기 제1 UI 엘리먼트의 크기보다 큰
    제어 방법.
  4. 제1 항에 있어서,
    상기 획득된 사용자의 터치 입력에 따라 상기 제1 유형에 대응되는 기능이 실행되면, 상기 획득된 복수의 이미지에 상기 제1 유형의 터치 입력에 대응되는 제1 라벨을 할당하여 상기 획득된 복수의 이미지를 저장하는 단계;
    상기 획득된 사용자의 터치 입력에 따라 상기 제2 유형에 대응되는 기능이 실행되면, 상기 획득된 복수의 이미지에 상기 제2 유형의 터치 입력에 대응되는 제2 라벨을 할당하여 상기 획득된 복수의 이미지를 저장하는 단계; 및
    상기 제1 라벨이 할당된 상기 획득된 복수의 이미지 및 상기 제2 라벨이 할당된 상기 획득된 복수의 이미지를 바탕으로 상기 신경망 모델을 재학습하는 단계;를 더 포함하는
    제어 방법.
  5. 제1 항에 있어서,
    상기 획득된 사용자의 터치 입력에 대응되는 상기 복수의 이미지가 획득되면, 상기 획득된 복수의 이미지와 상기 복수의 제1 이미지 간의 제1 유사도 및 상기 획득된 복수의 이미지와 상기 복수의 제2 이미지 간의 제2 유사도를 획득하는 단계; 및
    상기 복수의 제1 이미지 중 상기 제1 유사도가 기 설정된 값 이상인 복수의 제1 입력 이미지를 획득하고, 상기 복수의 제2 이미지 중 상기 제2 유사도가 상기 기 설정된 값 이상인 복수의 제2 입력 이미지를 획득하는 단계;를 더 포함하고,
    상기 식별하는 단계는,
    상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 입력 이미지 및 상기 복수의 제2 입력 이미지를 입력하여 상기 획득된 사용자의 터치 입력의 유형을 식별하는
    제어 방법.
  6. 제5 항에 있어서,
    상기 유사도를 획득하는 단계는,
    상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지 각각에 포함된 터치 입력에 대응되는 영역의 면적, 형태 및 시간에 따른 상기 면적의 변화 중 적어도 하나를 바탕으로 상기 유사도를 획득하는
    제어 방법.
  7. 제5 항에 있어서,
    상기 획득된 복수의 이미지, 상기 복수의 제1 입력 이미지 및 상기 복수의 제2 입력 이미지를 바탕으로 상기 신경망 모델을 재학습하는 단계;를 더 포함하는
    제어 방법.
  8. 제1 항에 있어서,
    상기 제2 유형의 터치 입력에 대응되는 기능은 적어도 하나의 UI 엘리먼트를 상기 터치 스크린에 디스플레이하는 기능을 포함하며,
    상기 적어도 하나의 UI 엘리먼트는,
    상기 스피커의 볼륨을 조절하기 위한 제1 UI 엘리먼트 및 상기 전자 장치의 전원을 오프하기 위한 제2 UI 엘리먼트 중 적어도 하나를 포함하는
    제어 방법.
  9. 제1 항에 있어서,
    상기 식별하는 단계는,
    상기 획득된 복수의 이미지를 복수의 제1 채널에, 상기 복수의 제1 이미지를 복수의 제2 채널에, 상기 복수의 제2 이미지를 복수의 제3 채널에 각각 할당하는 단계 및
    상기 복수의 제1 채널, 제2 채널, 및 제3 채널을 병합하여 상기 학습된 신경망 모델에 대한 입력 데이터를 획득하는 단계를 포함하는
    제어 방법.
  10. 제1 항에 있어서,
    상기 식별하는 단계는,
    상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 입력하여 상기 획득된 사용자의 터치 입력이 상기 제1 유형에 해당될 제1 확률 및 상기 획득된 사용자의 터치 입력이 상기 제2 유형의 터치 입력에 해당될 제2 확률을 획득하고,
    상기 제1 확률이 기 설정된 확률보다 크면 상기 획득된 사용자의 터치 입력의 유형을 상기 제1 유형으로 식별하고, 상기 제2 확률이 상기 기 설정된 확률보다 크면 상기 획득된 사용자의 터치 입력의 유형을 상기 제2 유형으로 식별하는
    제어 방법.
  11. 전자 장치에 있어서,
    터치 스크린;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 터치 스크린을 기 설정된 압력보다 작은 압력으로 터치하는 제1 유형의 터치 입력에 대응되는 복수의 제1 이미지 및 상기 터치 스크린을 상기 기 설정된 압력보다 큰 압력으로 터치하는 제2 유형의 터치 입력에 대응되는 복수의 제2 이미지를 획득하여 상기 메모리에 저장하고,
    상기 복수의 제1 및 제2 이미지를 바탕으로 사용자의 터치 입력의 유형을 식별하기 위한 신경망 모델을 학습하고,
    상기 터치 스크린을 통해 사용자의 터치 입력이 획득되면 상기 획득된 사용자의 터치 입력에 대응되는 복수의 이미지를 획득하고,
    상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 이미지 및 상기 복수의 제2 이미지를 입력하여 상기 획득된 사용자의 터치 입력의 유형을 식별하고,
    상기 식별된 터치 입력의 유형을 바탕으로 상기 획득된 사용자의 터치 입력에 대응되는 기능을 수행하는
    전자 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 제1 유형의 터치 입력 및 상기 제2 유형의 터치 입력 각각에 대응되는 사용자의 터치 입력을 가이드하기 위한 UI 엘리먼트를 상기 터치 스크린에 디스플레이하고,
    상기 UI 엘리먼트를 터치하는 사용자의 터치 입력이 감지되면, 상기 감지된 터치 입력에 대응되는 복수의 이미지를 생성하는
    전자 장치.
  13. 제12 항에 있어서,
    상기 프로세서는,
    상기 제1 유형의 터치 입력을 가이드하기 위한 제1 UI 엘리먼트 및 상기 제2 유형의 터치 입력에 대응되는 사용자의 터치 입력을 가이드하기 위한 제2 UI 엘리먼트를 상기 터치 스크린에 디스플레이하고,
    상기 제2 UI 엘리먼트의 크기는 상기 제1 UI 엘리먼트의 크기보다 큰
    전자 장치.
  14. 제11 항에 있어서,
    상기 프로세서는,
    상기 획득된 사용자의 터치 입력에 따라 상기 제1 유형에 대응되는 기능이 실행되면, 상기 획득된 복수의 이미지에 상기 제1 유형의 터치 입력에 대응되는 제1 라벨을 할당하여 상기 획득된 복수의 이미지를 저장하고,
    상기 획득된 사용자의 터치 입력에 따라 상기 제2 유형에 대응되는 기능이 실행되면, 상기 획득된 복수의 이미지에 상기 제2 유형의 터치 입력에 대응되는 제2 라벨을 할당하여 상기 획득된 복수의 이미지를 저장하고,
    상기 제1 라벨이 할당된 상기 획득된 복수의 이미지 및 상기 제2 라벨이 할당된 상기 획득된 복수의 이미지를 바탕으로 상기 신경망 모델을 재학습하는
    전자 장치.
  15. 제11 항에 있어서,
    상기 프로세서는,
    상기 획득된 사용자의 터치 입력에 대응되는 상기 복수의 이미지가 획득되면, 상기 획득된 복수의 이미지와 상기 복수의 제1 이미지 간의 제1 유사도 및 상기 획득된 복수의 이미지와 상기 복수의 제2 이미지 간의 제2 유사도를 획득하고,
    상기 복수의 제1 이미지 중 상기 제1 유사도가 기 설정된 값 이상인 복수의 제1 입력 이미지를 획득하고, 상기 복수의 제2 이미지 중 상기 제2 유사도가 상기 기 설정된 값 이상인 복수의 제2 입력 이미지를 획득하고,
    상기 학습된 신경망 모델에 상기 획득된 복수의 이미지, 상기 복수의 제1 입력 이미지 및 상기 복수의 제2 입력 이미지를 입력하여 상기 획득된 사용자의 터치 입력의 유형을 식별하는
    전자 장치.
PCT/KR2021/007825 2020-08-21 2021-06-22 전자 장치 및 그 제어 방법 WO2022039366A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180051655.XA CN115943361A (zh) 2020-08-21 2021-06-22 电子设备及其控制方法
EP21858454.8A EP4174629A4 (en) 2020-08-21 2021-06-22 ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
US18/112,255 US12045458B2 (en) 2020-08-21 2023-02-21 Device and method with trained neural network to identify touch input
US18/746,420 US20240338122A1 (en) 2020-08-21 2024-06-18 Device and method with trained neural network to identify touch input

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200105617A KR20220023639A (ko) 2020-08-21 2020-08-21 전자 장치 및 그 제어 방법
KR10-2020-0105617 2020-08-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/112,255 Continuation US12045458B2 (en) 2020-08-21 2023-02-21 Device and method with trained neural network to identify touch input

Publications (1)

Publication Number Publication Date
WO2022039366A1 true WO2022039366A1 (ko) 2022-02-24

Family

ID=80322968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/007825 WO2022039366A1 (ko) 2020-08-21 2021-06-22 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (2) US12045458B2 (ko)
EP (1) EP4174629A4 (ko)
KR (1) KR20220023639A (ko)
CN (1) CN115943361A (ko)
WO (1) WO2022039366A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220023639A (ko) 2020-08-21 2022-03-02 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4099142A4 (en) 2021-04-19 2023-07-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD OF OPERATION
WO2024039219A1 (ko) * 2022-08-19 2024-02-22 삼성전자 주식회사 전자 장치 및 전자 장치의 학습을 위한 학습 모델 결정 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577277B1 (ko) * 2015-02-04 2015-12-28 주식회사 하이딥 터치종류 판별방법 및 이를 수행하는 터치 입력 장치
WO2016007450A1 (en) * 2014-07-11 2016-01-14 Microsoft Technology Licensing, Llc Touch classification
KR20180017500A (ko) * 2016-08-09 2018-02-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20180188938A1 (en) * 2016-12-29 2018-07-05 Google Inc. Multi-Task Machine Learning for Predicted Touch Interpretations
KR20190104101A (ko) * 2019-08-19 2019-09-06 엘지전자 주식회사 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법, 장치 및 시스템
KR20190109805A (ko) * 2018-03-19 2019-09-27 네이버 주식회사 단말장치의 인터페이스 제어 방법 및 이를 이용하는 단말장치

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107743A (ja) 2003-09-29 2005-04-21 Nec Corp 学習システム
US7835999B2 (en) 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
JP5083320B2 (ja) 2007-08-22 2012-11-28 富士通株式会社 化合物の物性予測装置、物性予測方法およびその方法を実施するためのプログラム
US9733745B1 (en) 2007-12-31 2017-08-15 Cypress Semiconductor Corporation Pressure detection system for touch-sense devices
US20110007023A1 (en) 2009-07-09 2011-01-13 Sony Ericsson Mobile Communications Ab Display device, touch screen device comprising the display device, mobile device and method for sensing a force on a display device
US8432368B2 (en) 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
US20120056846A1 (en) 2010-03-01 2012-03-08 Lester F. Ludwig Touch-based user interfaces employing artificial neural networks for hdtp parameter and symbol derivation
KR101696930B1 (ko) * 2010-07-21 2017-01-16 엘지전자 주식회사 이동 단말기에서 보호 모드 실행방법 및 그 방법을 이용한 이동 단말기
KR101189078B1 (ko) 2010-12-17 2012-10-10 고려대학교 산학협력단 터치 감지 수단을 구비하는 사용자 식별 장치 및 방법
US9104308B2 (en) 2010-12-17 2015-08-11 The Hong Kong University Of Science And Technology Multi-touch finger registration and its applications
KR101202414B1 (ko) 2011-08-03 2012-11-16 주식회사 코아리버 터치입력 인식장치 및 그 방법
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8723824B2 (en) 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
US9823781B2 (en) 2011-12-06 2017-11-21 Nri R&D Patent Licensing, Llc Heterogeneous tactile sensing via multiple sensor types
KR101350782B1 (ko) 2012-06-13 2014-01-16 포항공과대학교 산학협력단 데이터 샘플링 방법 및 장치
JP6100657B2 (ja) 2013-09-26 2017-03-22 京セラ株式会社 電子機器
WO2015123322A1 (en) 2014-02-12 2015-08-20 Apple Inc. Force determination employing sheet sensor and capacitive array
WO2015176305A1 (zh) * 2014-05-23 2015-11-26 中国科学院自动化研究所 人形图像分割方法
KR101703867B1 (ko) 2014-08-01 2017-02-07 엘지전자 주식회사 적어도 하나의 터치에 의해 컨트롤되는 이동 단말기 및 그 제어 방법
CN107077235B (zh) 2014-09-30 2021-01-12 惠普发展公司，有限责任合伙企业 确定非故意触摸拒绝
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
KR101653167B1 (ko) 2015-06-22 2016-09-09 주식회사 노타 키 입력을 인터페이스하는 장치 및 방법
US10459561B2 (en) 2015-07-09 2019-10-29 Qualcomm Incorporated Using capacitance to detect touch pressure
KR20170030246A (ko) 2015-09-09 2017-03-17 지멘스 메디컬 솔루션즈 유에스에이, 인크. 가상 키 버튼 제공 장치와 방법 및 초음파 시스템
CN105279405B (zh) 2015-10-28 2018-06-26 同济大学 触屏用户按键行为模式构建与分析系统及其身份识别方法
CN105677082B (zh) 2015-12-29 2017-08-04 比亚迪股份有限公司 基于终端设备的指纹测压方法及其应用方法和对应装置
KR20170081401A (ko) 2016-01-04 2017-07-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR101809892B1 (ko) 2016-03-29 2017-12-20 휴먼플러스(주) 컴퓨터를 포함한 스마트 디바이스 및 그것의 동작 방법
JP6786245B2 (ja) 2016-04-07 2020-11-18 ソニーモバイルコミュニケーションズ株式会社 情報処理装置
US10310725B2 (en) 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
CN107967077A (zh) 2016-10-19 2018-04-27 深圳富泰宏精密工业有限公司 电子装置及其触控方法
CN110325951B (zh) 2017-02-28 2023-06-09 指纹卡安娜卡敦知识产权有限公司 根据手指压力的手指触摸分类方法及指纹感测系统
KR102280581B1 (ko) 2017-03-21 2021-07-22 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CA3063738A1 (en) 2017-05-14 2018-11-22 Digital Reasoning Systems, Inc. Systems and methods for rapidly building, managing, and sharing machine learning models
KR102426717B1 (ko) 2017-06-27 2022-07-29 삼성전자주식회사 발화 인식 모델을 선택하는 시스템 및 전자 장치
CN107609461A (zh) 2017-07-19 2018-01-19 阿里巴巴集团控股有限公司 模型的训练方法、数据相似度的确定方法、装置及设备
CN107734089A (zh) 2017-09-29 2018-02-23 努比亚技术有限公司 压力触控屏及具有该压力触控屏的移动终端
US20190204929A1 (en) 2017-12-29 2019-07-04 Immersion Corporation Devices and methods for dynamic association of user input with mobile device actions
US11175767B2 (en) 2018-02-19 2021-11-16 Beechrock Limited Unwanted touch management in touch-sensitive devices
KR102077669B1 (ko) 2018-03-06 2020-02-14 네이버랩스 주식회사 사용자의 터치 인터랙션과 연관된 센싱 데이터를 처리하는 방법 및 장치
US11531864B2 (en) 2018-03-21 2022-12-20 Lg Electronics Inc. Artificial intelligence server
US11669746B2 (en) * 2018-04-11 2023-06-06 Samsung Electronics Co., Ltd. System and method for active machine learning
TWI654541B (zh) 2018-04-13 2019-03-21 矽統科技股份有限公司 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品
US20190354238A1 (en) 2018-05-21 2019-11-21 UltraSense Systems, Inc. Ultrasonic touch detection and decision
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
CN110554793B (zh) 2018-06-04 2021-06-01 华为技术有限公司 终端设备和压力触控方法
KR20200014510A (ko) 2018-08-01 2020-02-11 삼성에스디에스 주식회사 기계 학습 기반의 예측 서비스 제공 방법 및 그 장치
US11175769B2 (en) 2018-08-16 2021-11-16 Apple Inc. Electronic device with glass enclosure
US11501191B2 (en) 2018-09-21 2022-11-15 International Business Machines Corporation Recommending machine learning models and source codes for input datasets
US11216512B2 (en) 2018-10-08 2022-01-04 Fujitsu Limited Accessible machine learning backends
US20200310621A1 (en) * 2019-03-29 2020-10-01 Rapt Ip Limited Unwanted touch management in touch-sensitive devices
US11455383B2 (en) 2019-04-30 2022-09-27 TruU, Inc. Supervised and unsupervised techniques for motion classification
KR20200142374A (ko) 2019-06-12 2020-12-22 삼성전자주식회사 입력 데이터에 근거한 ai 모델 선택 방법 및 그에 따른 방법을 수행하는 디스플레이 장치
EP3841459B1 (en) * 2019-11-08 2023-10-04 Google LLC Using corrections, of automated assistant functions, for training of on-device machine learning models
CN111061394B (zh) 2019-11-26 2021-08-13 北京航空航天大学 触摸力度识别方法及其模型的训练方法、装置和电子系统
GB2591764B (en) * 2020-02-04 2024-08-14 Peratech Holdco Ltd Classifying pressure inputs
US11663418B2 (en) 2020-08-05 2023-05-30 Capital One Services, Llc Systems and methods for generating dynamic conversational responses using machine learning models
KR20220023639A (ko) 2020-08-21 2022-03-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US20220108788A1 (en) 2020-10-02 2022-04-07 Ethicon Llc Reconfiguration of display sharing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016007450A1 (en) * 2014-07-11 2016-01-14 Microsoft Technology Licensing, Llc Touch classification
KR101577277B1 (ko) * 2015-02-04 2015-12-28 주식회사 하이딥 터치종류 판별방법 및 이를 수행하는 터치 입력 장치
KR20180017500A (ko) * 2016-08-09 2018-02-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20180188938A1 (en) * 2016-12-29 2018-07-05 Google Inc. Multi-Task Machine Learning for Predicted Touch Interpretations
KR20190109805A (ko) * 2018-03-19 2019-09-27 네이버 주식회사 단말장치의 인터페이스 제어 방법 및 이를 이용하는 단말장치
KR20190104101A (ko) * 2019-08-19 2019-09-06 엘지전자 주식회사 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법, 장치 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4174629A4 *

Also Published As

Publication number Publication date
EP4174629A4 (en) 2023-12-20
US12045458B2 (en) 2024-07-23
US20230195303A1 (en) 2023-06-22
KR20220023639A (ko) 2022-03-02
EP4174629A1 (en) 2023-05-03
CN115943361A (zh) 2023-04-07
US20240338122A1 (en) 2024-10-10

Similar Documents

Publication Publication Date Title
WO2022039366A1 (ko) 전자 장치 및 그 제어 방법
WO2020180013A1 (en) Apparatus for vision and language-assisted smartphone task automation and method thereof
WO2015020272A1 (en) Mobile device and method of controlling therefor
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2018074681A1 (ko) 전자 장치 및 그 제어 방법
EP3120217A1 (en) Display device and method for controlling the same
WO2019182414A1 (ko) 터치 입력을 압력 입력으로 결정하기 위한 조건을 변경하는 전자 장치 및 방법
WO2019177373A1 (en) Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof
EP3752978A1 (en) Electronic apparatus, method for processing image and computer-readable recording medium
EP3691521A1 (en) Electronic device and method for providing stress index corresponding to activity of user
WO2022065682A1 (ko) 웨어러블 장치 및 그 제어 방법
WO2022145611A1 (ko) 전자 장치 및 그 제어 방법
WO2021141210A1 (en) Electronic apparatus and controlling method thereof
WO2019045362A1 (en) DISPLAY APPARATUS FOR PROVIDING A PREVIEWING UI AND METHOD FOR CONTROLLING DISPLAY APPARATUS
WO2018056587A1 (en) Electronic apparatus and controlling method thereof
WO2024111728A1 (ko) 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템
WO2017078329A1 (ko) 전자장치 및 그의 동작 방법
WO2023068495A1 (ko) 전자 장치 및 그 제어 방법
WO2019198900A1 (en) Electronic apparatus and control method thereof
WO2015174623A1 (ko) 입력 처리 장치 및 방법
WO2021125550A1 (en) Electronic device and method for controlling the electronic device.
EP2987062A1 (en) Electronic device and method for preventing touch input error
WO2021242073A1 (ko) 전자 장치 및 이의 제어 방법
WO2022177089A1 (ko) 전자 장치 및 그 제어 방법
WO2022092487A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858454

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021858454

Country of ref document: EP

Effective date: 20230125

NENP Non-entry into the national phase

Ref country code: DE