KR20190104101A - Method, device, and system for determining a false touch on a touch screen of an electronic device - Google Patents

Method, device, and system for determining a false touch on a touch screen of an electronic device Download PDF

Info

Publication number
KR20190104101A
KR20190104101A KR1020190101019A KR20190101019A KR20190104101A KR 20190104101 A KR20190104101 A KR 20190104101A KR 1020190101019 A KR1020190101019 A KR 1020190101019A KR 20190101019 A KR20190101019 A KR 20190101019A KR 20190104101 A KR20190104101 A KR 20190104101A
Authority
KR
South Korea
Prior art keywords
touch
input
error
detected
touch input
Prior art date
Application number
KR1020190101019A
Other languages
Korean (ko)
Inventor
이재호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190101019A priority Critical patent/KR20190104101A/en
Publication of KR20190104101A publication Critical patent/KR20190104101A/en
Priority to US16/571,745 priority patent/US10949022B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182Filtering of noise external to the device and not generated by digitiser components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed are a false touch determination device for determining a false touch on a touch screen of an electronic device and a touch screen system including a server. The touch screen system comprises: a touch input detection unit which detects a time interval between a touch input and a touch input inputted before the touch input detected through a touch screen and a touch area of the touch input; a touch type classification unit which outputs whether the detected touch input is a normal touch or a false touch by applying data about the time interval from the touch input inputted before the detected touch input and the detected touch area to an artificial intelligence (AI) model learned to determine a touch type about whether the detected touch input is a normal touch or a false touch; and a communications unit which communicates with a server to transmit the time interval, the touch area, and touch result values of the touch inputs detected in the touch input detection unit to the server. The server includes an AI model learning unit configured to generate a learned AI model in which time intervals of received touch inputs, the touch area, and the touch result values are learned through a deep neural network and the touch type classification unit of the false touch determination device is configured to infer a touch type about whether the touch input detected through the learned AI model transmitted from the server is a normal touch or a false touch. According to the present invention, a false touch can be determined by using an AI, an AI-based false touch recognition technology and a 5G network.

Description

전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법, 장치 및 시스템{METHOD, DEVICE, AND SYSTEM FOR DETERMINING A FALSE TOUCH ON A TOUCH SCREEN OF AN ELECTRONIC DEVICE}METHOD, DEVICE, AND SYSTEM FOR DETERMINING A FALSE TOUCH ON A TOUCH SCREEN OF AN ELECTRONIC DEVICE}

본 발명은 예를 들어, 스마트 폰, 및 가전제품 등과 같은 다양한 유형의 전자 장치에 적용될 수 있는 터치 스크린에 관한 것이다. .The present invention relates to a touch screen that can be applied to various types of electronic devices such as, for example, smart phones and home appliances. .

터치스크린장치는 각종 전자기기에서 별도의 입력장치 없이 표시장치의 화면접촉을 통해 정보를 입력하는 입력 장치의 한 종류이다. 이러한 터치스크린장치는 전자수첩, 전자책, PMP(Portable Multimedia Player), 네비게이션, UMPC(Ultra Mobile PC), 모바일폰, 스마트폰(smart phone), 스마트와치(smart watch), 태블릿PC(Personal Computer), 와치폰(watch phone) 및 이동통신단말기 등과 같은 휴대용 전자기기뿐만 아니라 전기레인지, 냉장고, 텔레비전, 노트북 및 모니터 등의 다양한 제품의 입력장치로 사용되고 있다.A touch screen device is a type of input device that inputs information through screen contact of a display device without a separate input device in various electronic devices. Such touch screen devices include electronic organizers, e-books, portable multimedia players (PMPs), navigation, UMPCs (Ultra Mobile PCs), mobile phones, smart phones, smart watches, and tablet PCs. It is used as an input device for various products such as electric ranges, refrigerators, televisions, laptops and monitors, as well as portable electronic devices such as mobile phones, watch phones and mobile communication terminals.

터치패널은 간단하고, 오작동이 적으며, 다른 입력기기 없이 문자 입력이 가능하여 휴대가 용이하고, 사용자가 용이하게 사용방법을 감지할 수 있다는 장점이 있어 최근 다양한 정보처리장치에 적용되고 있다.The touch panel is simple, has less malfunction, and can be inputted without any other input device, which is easy to carry, and the user can easily detect a method of use.

터치 스크린은, 터치된 부분을 감지하는 방식에 따라, 상판 또는 하판에 금속 전극을 형성하여 직류전압을 인가한 상태에서 터치된 위치를 저항에 따른 전압 구배로 판단하는 저항막 방식(Resistive type), 도전막에 등전위를 형성하고 터치에 따른 상하판의 전압 변화가 일어난 위치를 감지하여 터치된 부분을 감지하는 정전용량 방식(Capacitive type), 전자펜이 도전막을 터치함에 따라 유도되는 LC값을 읽어들여 터치된 부분을 감지하는 전자 유도 방식(Electro Magnetic type) 등으로 구별될 수 있다. 터치 스크린은, 저항막 방식, 정전용량 방식, 전자기 유도 방식, 이외에도 적외선 방식, 또는 초음파 방식 등과 같은 다양한 유형의 터치 검출 방식이 적용될 수 있다. The touch screen may include a resistive type (Resistive type) for determining a touched position as a voltage gradient according to a resistance in a state in which a metal electrode is formed on the upper or lower plate and a DC voltage is applied according to a method of sensing a touched portion, Capacitive type to detect the touched part by forming the equipotential in the conductive film and sensing the position of the voltage change of the upper and lower panels according to the touch, and reading the LC value induced when the electronic pen touches the conductive film. It may be distinguished by an electromagnetic induction method that detects a touched part. As the touch screen, various types of touch detection methods, such as a resistive film type, a capacitive type, an electromagnetic induction type, an infrared type, or an ultrasonic type, may be applied.

정전용량 방식의 터치 스크린은, 손가락 또는 전자 펜 등과 같은 터치 입력 도구가, 상기 터치 스크린에 배열된 터치 센서(touch sensor)에 접촉 또는 접근함에 따라, 상기 터치 센서에서 발생하는 터치 커패시턴스(Ct: touch capacitance)에 의한 전압 변화에 기반하여, 터치 여부 및 터치 위치를 검출할 수 있다. The capacitive touch screen includes a touch capacitance (Ct: touch) generated by the touch sensor as a touch input tool such as a finger or an electronic pen touches or approaches a touch sensor arranged on the touch screen. Based on the voltage change by capacitance), whether or not the touch is detected and the touch position may be detected.

터치 스크린은, 상기 터치 입력 도구 이외의 다른 요소(예: 물, 습기, 자석 등)에 의해, 사용자가 의도하지 않은 터치 신호를 발생시킬 수 있다. 예를 들어, 사용자가 터치하는 손가락에 물(water)이 묻어 있는 경우, 상기 물에 의해 의도하지 않은 터치 신호가 발생할 수 있다. The touch screen may generate a touch signal not intended by the user by other elements (eg, water, moisture, magnets, etc.) other than the touch input tool. For example, when water is on a finger touched by a user, an unintended touch signal may be generated by the water.

사용자가 의도한 터치 신호는, 정상 터치(normal touch) 신호이고, 사용자가 의도하지 않은 터치 신호는, 고스트 터치(ghost touch) 신호라고 일컬어질 수 있으며, 상기 정상 터치 신호와 고스트 터치 신호는, 임의의 다른 명칭으로 다양하게 일컬어질 수 있다. The touch signal intended by the user is a normal touch signal, and the touch signal not intended by the user may be referred to as a ghost touch signal, and the normal touch signal and the ghost touch signal may be arbitrary. It may be called variously under different names of.

오류 터치(false touch) 또는 고스트 터치(ghost touch) 발생 시에는 버튼들이 무작위로 작동되기 시작한다. 전기 레인지 또는 오븐의 경우에는 상당히 위험한 상황이 될 수 있다. 예를 들어 자동세척 과정에서 소비자의 의도와 무관하게 터치 오류가 일어날 수 있고 내부에 있던 물품들이 소비자에게 안전 문제와 위험 상황을 불러올 수 있다. 이것은 모든 정전용량식 터치 컨트롤러의 공통적인 문제이다. In the event of a false touch or ghost touch, the buttons start to work randomly. In the case of an electric range or oven it can be a very dangerous situation. For example, in the automatic cleaning process, touch errors may occur irrespective of the consumer's intention, and items inside may cause safety problems and dangerous situations for the consumer. This is a common problem for all capacitive touch controllers.

부엌과 세탁실에서는 물이나 기타 액체를 흔히 찾아볼 수 있으므로 내습성(moisture immunity)이 필요하다. 예를 들면 전기 레인지의 주전자가 끓어 넘치고 내용물이 터치 스크린에 떨어져도 터치 오류가 발생해서는 안 된다. 하지만 수증기나 미세한 물방울에 의해서도 문제가 발생할 수 있다. 따라서 수분이나 물이 존재하는 상태에서의 터치 감지 능력은 가전제품의 터치 스크린 입력장치를 다루는 모든 개발자들에게 관심의 대상이 되었다. Water and other liquids are commonly found in kitchens and laundries, requiring moisture immunity. For example, if a kettle in a microwave oven boils and its contents drop on the touch screen, touch errors should not occur. However, water vapor or fine water droplets can also cause problems. Therefore, the ability to sense touch in the presence of moisture or water has attracted interest to all developers who deal with touch screen input devices in home appliances.

종래의 터치스크린은 터치스크린 패널(TSP)을 타겟으로 특정 신호로부터 정상 신호와 고스트 신호의 특징을 분별하여 이를 제거 및 보상하는 방식이었다. The conventional touch screen is a method of distinguishing features of a normal signal and a ghost signal from a specific signal by using a touch screen panel (TSP) as a target and removing and compensating them.

선행 기술 1에는 본 발명은 터치 스크린 및 그에 따른 고스트 터치 제거 방법에 관한 것으로, 다수의 로우와 컬럼으로 배열되는 터치 센서들, 터치 센서들에서 발생하는 터치 신호에 기반하여, 터치 위치를 검출하는 터치 드라이브 IC를 포함하되, 터치드라이브 IC는, 상기 터치 신호에 포함된 로우 레벨의 고스트 터치 신호를 제1 기준 값으로 감산하여 제거하고, 상기 터치 신호에 포함된 하이 레벨의 정상 터치 신호에 상기 제1 기준 값을 가산하여, 상기 고스트 터치 신호를 제거하는 과정에서 감소된 신호 레벨을 보상하는 터치 스크린이 개시되어 있으나, 이는 입력되는 터치 신호만을 고려한 방식으로, 사용자가 의도하지 않은 다양한 유형의 고스트 터치를 검출하는데 한계가 있다. Prior art 1 relates to a touch screen and a ghost touch elimination method according to the present invention, based on touch sensors arranged in a plurality of rows and columns and a touch signal generated from touch sensors, a touch for detecting a touch position Including a drive IC, the touch drive IC, subtracts and removes the low level ghost touch signal included in the touch signal to a first reference value, and the first touch signal to the high level normal touch signal included in the touch signal A touch screen for compensating for a reduced signal level in the process of removing the ghost touch signal by adding a reference value is disclosed. However, the touch screen compensates only for the input touch signal. There is a limit to detection.

선행 기술 2는 터치 스크린과 상기 터치 스크린을 통해 검출한 터치들에 대한 터치들 간의 시간 간격, 터치들 간의 거리 또는 터치 면적 중 적어도 두 개에 기반하여 고스트 터치를 검출하는 프로세서를 개시하나, 미리 정해진 알고리즘에 의해서만 고스트 터치를 검출할 수 있고, 고스트 터치 알고리즘을 벗어나는 에러 터치 유형에 관해서는 대처할 수 없는 한계가 있었다. Prior art 2 discloses a processor for detecting a ghost touch based on at least two of a time interval between touches and touches detected through the touch screen, a distance between touches, or a touch area, but predetermined The ghost touch can be detected only by the algorithm, and there is a limit that cannot cope with error touch types that deviate from the ghost touch algorithm.

본 발명에서는 사용자가 의도하지 않은 터치 신호를 오류 터치로 정의하고, 오류 터치는 다시 사용자의 터치 입력이 없음에도 터치 입력에 의한 결과값(이하 '터치 결과값'이라고 함)이 검출되는 고스트 터치와 사용자 터치 입력이 있지만 의도하지 않은 터치 결과값이 검출되는 모호 터치(obscure touch)를 포함하는 것으로 정의하기로 한다. 여기서 고스트 터치는 사용자의 손가락에 의한 터치 입력이 없음에도 물방울 또는 기름에 의한 입력이 있는 경우를 포함하고, 모호터치는 사용자의 손가락에 의한 터치 입력이 있으나 의도하지 않은 터치 결과값이 검출되는 경우로서 목표 설정값과 상기 검출된 터치 입력의 터치 결과값이 서로 불일치하는 터치이다. In the present invention, the touch signal not intended by the user is defined as an error touch, and the error touch is a ghost touch in which a result value (hereinafter referred to as a “touch result value”) detected by the touch input is detected even though the user does not have a touch input. It is defined as including an obscure touch in which a user touch input is detected but an unintended touch result value is detected. Here, the ghost touch includes a case in which there is an input by water droplets or oil even when there is no touch input by the user's finger, and the ambiguity touch is a case in which an unintended touch result value is detected by the user's finger input. A target set value and a touch result value of the detected touch input are inconsistent touches.

선행기술 1: 한국 공개특허공보 제10-2018-0116812호(2018.10.26. 공개)Prior Art 1: Korean Patent Publication No. 10-2018-0116812 (published Oct. 26, 2018) 선행기술 2: 한국 공개특허공보 제10-2016-0036927호(2016.04.05. 공개)Prior Art 2: Korean Unexamined Patent Publication No. 10-2016-0036927 (2016.04.05.published)

본 발명의 일 실시 예는, AI 기술을 이용하여 학습된 인공지능 모델을 통해 보다 광범위한 환경에서 발생하는 다양한 오류 터치를 구별하고 이를 제거하게 하는 것이다. An embodiment of the present invention is to distinguish and eliminate various error touches occurring in a wider environment through an artificial intelligence model trained using AI technology.

본 발명의 일 실시 예는, 터치패드의 오입력 및 미입력 등을 다양한 환경에서의 인공신경망 학습을 통해 그 패턴을 파악하고, 보다 정확한 입력을 가능케 하여 사용자 경험을 개선한다 According to an embodiment of the present invention, the false input or non-input of the touch pad is identified through artificial neural network learning in various environments, and the user's experience is improved by enabling more accurate input.

본 발명의 일 실시 예는, 오류 터치 판정에 강화 학습 기반의 신경망 모델을 사용하게 하는 것이다.  An embodiment of the present invention is to use a neural network model based on reinforcement learning for error touch determination.

본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, other objects and advantages of the present invention not mentioned can be understood by the following description, will be more clearly understood by the embodiments of the present invention. It will also be appreciated that the objects and advantages of the invention may be realized by the means and combinations thereof indicated in the claims.

상술한 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 터치 스크린에서 오류 터치를 판정하는 방법 및 장치는 AI 기술을 기반으로 오류터치 여부를 추론하여 수행될 수 있다. Method and apparatus for determining an error touch in the touch screen according to an embodiment of the present invention for solving the above problems can be performed by inferring whether the error touch based on the AI technology.

구체적으로, 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법은 터치 스크린을 통해 터치 결과값을 얻기 위해 터치 입력을 검출하는 단계, 검출된 터치 입력의 이전에 입력된 터치 입력과의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도(감도), 또는 터치 입력의 온도 중 적어도 2개를 검출하는 단계, 검출된 시간 간격, 터치 면적, 터치 강도, 또는 온도 중 적어도 2개에 관한 데이터를, 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 판정하기 위해 학습된 인공지능 모델에 입력하는 단계, 입력된 데이터를 학습된 인공지능 모델에 적용하는 단계, 및 학습된 인공지능 모델로부터 검출된 터치 입력이 정상 터치인지 오류 터치인지를 출력하는 단계를 포함할 수 있다. In detail, the method of determining an error touch on a touch screen of an electronic device includes detecting a touch input to obtain a touch result value through a touch screen, a time interval with a previously input touch input of the detected touch input, and a touch. Detecting at least two of the touch area of the input, the touch intensity (sensitivity) of the touch input, or the temperature of the touch input, data relating to at least two of the detected time interval, touch area, touch intensity, or temperature, Inputting to the learned AI model to determine whether the detected touch input is a normal touch or an error touch, applying the input data to the learned AI model, and detecting from the learned AI model The method may include outputting whether the touch input is a normal touch or an error touch.

본 발명의 다른 실시 예에서, 오류 터치를 판정하는 방법은 검출된 터치 타입이 오류 터치인 경우 터치 입력을 제거하거나, 교정하는 단계를 더 포함할 수 있다. 오류 터치 입력의 교정은 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 어느 하나인 것을 포함할 수 있다. In another embodiment of the present disclosure, the method of determining an error touch may further include removing or correcting a touch input when the detected touch type is an error touch. The correction of the error touch input may include at least one of a noise reduction filter adding method, a touch sensitivity adjusting method, or a touch frequency changing method.

본 발명의 다른 실시 예에서, 오류 터치를 판정하는 방법은 검출된 터치 타입이 오류 터치인 경우 터치 신호를 제거하거나 터치 입력을 교정(calibration)하는 단계를 더 포함할 수 있고, 검출된 터치 타입이 오류 터치인 경우 터치 입력을 제거하거나 터치 신호를 교정하는 단계는 검출된 터치 타입이 고스트 터치인 경우 터치 입력을 제거하고, 모호 터치인 경우 터치 입력을 교정할 수 있다. In another embodiment of the present disclosure, the method of determining an erroneous touch may further include removing a touch signal or calibrating a touch input when the detected touch type is an erroneous touch. In the case of an error touch, removing the touch input or correcting the touch signal may remove the touch input when the detected touch type is a ghost touch, and correct the touch input when the ambiguity touch is ambiguous.

본 발명의 다른 실시 예에서, 모호 터치 입력의 교정은 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 어느 하나인 것을 포함할 수 있다. In another embodiment of the present disclosure, the correction of the ambiguity touch input may include at least one of a noise reduction filter adding method, a touch sensitivity adjusting method, or a touch frequency changing method.

본 발명의 다른 실시 예에서, 전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치는 터치 스크린을 통해 터치 결과값을 얻기 위해 터치 입력을 검출하고, 검출된 터치 입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개을 검출하는 터치 입력 검출부, 검출된 터치 입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개에 관한 데이터를, 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 판정하기 위해 학습된 인공지능 모델에 적용하여 학습된 인공지능 모델로부터 검출된 터치 입력이 정상 터치인지 오류 터치인지를 출력하는 터치타입 분류부를 포함할 수 있다. In another embodiment of the present disclosure, an error touch determination apparatus for determining an error touch on a touch screen of an electronic device detects a touch input to obtain a touch result value through the touch screen, and detects a time interval of the detected touch input, a touch input. A touch input detector for detecting at least two of a touch area, a touch intensity of a touch input, or a temperature of a touch input, a time interval of the detected touch inputs, a touch area of a touch input, a touch intensity of a touch input, or a temperature of a touch input Whether the touch input detected from the learned AI model is a normal touch by applying data about at least two of them to the learned AI model to determine a touch type of whether the detected touch input is a normal touch or an error touch. It may include a touch type classification unit for outputting whether the touch.

본 발명의 다른 실시 예에 따른 오류 터치 판정 장치 및 오류 터치를 판정하는 방법에서, 학습된 인공지능 모델은 복수 개의 검출된 터치입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개, 및 복수 개의 터치 입력에 레이블링된 터치 타입들을 학습용 데이터로 하여, 검출된 터치 입력이 정상 터치인지 오류 터치인지를 추론하여 출력하도록 학습된 정상/오류터치분류엔진일 수 있다. In an error touch determination apparatus and a method of determining an error touch according to another embodiment of the present invention, the learned AI model includes a time interval of a plurality of detected touch inputs, a touch area of a touch input, a touch intensity of a touch input, or A normal / error touch classification engine trained to infer and output whether the detected touch input is a normal touch or an error touch, using at least two of the touch input temperatures and the touch types labeled on the plurality of touch inputs as learning data. Can be.

본 발명의 다른 실시 예에 따른 오류 터치 판정 장치 및 오류 터치를 판정하는 방법에서, 학습된 인공지능 모델은 복수 개의 검출된 터치입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개, 및 복수 개의 터치 입력에 레이블링된 터치 타입들을 학습용 데이터로 하여, 검출된 터치 입력이 정상 터치인지, 고스트 터치인지, 모호 터치인지를 분류하여 출력하도록 학습된 정상/고스트/모호터치분류엔진일 수 있다. In an error touch determination apparatus and a method of determining an error touch according to another embodiment of the present invention, the learned AI model includes a time interval of a plurality of detected touch inputs, a touch area of a touch input, a touch intensity of a touch input, or Learned to classify and output whether the detected touch input is a normal touch, a ghost touch, or an ambiguous touch by using at least two of the temperatures of the touch input and the touch types labeled on the plurality of touch inputs as learning data. It may be a ghost / ambigu touch classification engine.

본 발명의 다른 실시 예에 따른 오류 터치 판정 장치 및 오류 터치를 판정하는 방법에서, 학습된 인공지능 모델은 복수 개의 검출된 터치입력의 검출된 시간 간격, 터치 면적, 터치 강도, 또는 온도 중 적어도 2개, 및 복수 개의 터치 입력에 레이블링된 터치 타입들을 학습용 데이터로 하여, 분류(classification) 분석에 의해 학습된 정상/오류터치분류엔진일 수 있다. In the error touch determination apparatus and the method for determining the error touch according to another embodiment of the present invention, the learned AI model is at least two of the detected time interval, touch area, touch intensity, or temperature of the plurality of detected touch inputs. It may be a normal / error touch classification engine trained by classification analysis using the touch types labeled on the dog and the plurality of touch inputs as learning data.

본 발명의 다른 실시 예에서, 전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치는 검출된 터치 타입이 오류 터치인 경우 오류 터치를 제거하거나 교정하는 오류 터치 처리부를 더 포함할 수 있다. According to another embodiment of the present disclosure, the error touch determination apparatus for determining an error touch on the touch screen of the electronic device may further include an error touch processor that removes or corrects the error touch when the detected touch type is an error touch.

본 발명의 다른 실시 예에서, 오류 터치 처리부는 검출된 터치 타입이 고스트 터치인 경우 터치 입력을 제거하고, 모호 터치인 경우 터치 입력을 교정하고, 모호 터치 입력의 교정은 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 어느 하나인 것을 포함할 수 있다. In another embodiment of the present disclosure, the error touch processor removes the touch input when the detected touch type is a ghost touch, corrects the touch input when the ambiguity touch is input, and corrects the ambiguity touch input by adding a noise reduction filter. It may include at least one of a sensitivity adjusting method or a touch frequency changing method.

본 발명의 다른 실시 예에 따른 오류 터치 판정 장치 및 오류 터치를 판정하는 방법에서, 학습된 인공지능 모델은 터치 입력이 정상터치인지 오류 터치인지의 터치 타입을 판정하는 에이전트(Agent)가 터치 입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개가 주어진 상태(state)에 대해 터치 타입을 결정하는 행동(Action)을 수행하고, 그리고 에이전트가 결정한 터치 타입이 의도했던 터치 타입이면 에이전트가 보상(Reward)을 받도록 구성되고, 에이전트의 주어진 상태 및 행동을 취득하여 보상 및 다음 상태(state)를 반환하는 환경(environment)에서, 에이전트는 최대 보상을 받도록 주어진 상태에서 행동을 수행하고 오류 터치 판정 성능을 업데이트하도록 구성된 강화학습 기반의 신경망모델일 수 있다. In the error touch determination apparatus and the method for determining the error touch according to another embodiment of the present invention, the trained AI model is an agent for determining the touch type whether the touch input is a normal touch or an error touch, At least two of the time interval, the touch area of the touch input, the touch intensity of the touch input, or the temperature of the touch input perform an action of determining the touch type for a given state, and the touch type determined by the agent. In this intended touch type, the agent is configured to receive a reward, and in an environment where the agent obtains the given state and behavior of the agent and returns the reward and the next state, the agent is given the maximum reward. It may be a reinforcement learning based neural network model configured to perform an action and update an error touch determination performance.

본 발명의 다른 실시 예에 따른 오류 터치 판정 장치 및 오류 터치를 판정하는 방법에서, 강화학습 기반의 신경망모델은 의도했던 목표 터치의 설정값을 시퀀스로 갖는 강화학습을 위한 시뮬레이션 시나리오들에 대해 학습하도록 구성하되, 각 시뮬레이션 시나리오를 하나의 에피소드로 하여 업데이트되도록 강화학습되고, 보상은 하나의 에피소드인 각 시나리오의 시퀀스 입력이 종료될 때 계산될 수 있다. In the error touch determination apparatus and the method for determining the error touch according to another embodiment of the present invention, the reinforcement learning-based neural network model learns about simulation scenarios for reinforcement learning having a sequence of a set value of an intended target touch. In this case, the training is reinforced to update each simulation scenario as one episode, and the reward may be calculated when the sequence input of each scenario, which is one episode, is finished.

본 발명의 다른 실시 예에 따른 오류 터치 판정 장치 및 오류 터치를 판정하는 방법에서, 강화학습 기반의 신경망은 DQN(Deep Q-network)인 강화학습 기반의 신경망을 이용할 수 있다. In the error touch determination apparatus and the method for determining the error touch according to another embodiment of the present invention, the reinforcement learning based neural network may use a reinforcement learning based neural network, which is a deep Q-network (DQN).

본 발명의 다른 실시 예에서, 전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치 및 서버를 포함하는 터치 스크린 시스템은 터치 스크린을 통해 터치 결과값을 얻기 위해 터치 입력을 검출하고, 검출된 터치 입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개를 검출하는 터치 입력 검출부, 검출된 터치 입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개에 관한 데이터를, 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 판정하기 위해 학습된 인공지능 모델에 적용하여 학습된 인공지능 모델로부터 검출된 터치 입력이 정상 터치인지 오류 터치인지를 출력하는 터치타입 분류부, 및 터치 입력 검출부에서 검출한 복수 개의 터치 입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개, 및 복수 개의 터치 입력에 레이블링된 터치 타입들을 서버로 전송하는, 서버와 통신하는 통신부를 포함할 수 있고, 서버는 수신된 복수 개의 터치 입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개, 및 복수 개의 터치 입력에 레이블링된 터치 타입들을, 심층신경망을 통해 학습시킨 학습된 인공지능 모델을 생성하는 인공지능 모델 학습부를 포함할 수 있고, 서버는 인공지능 모델 학습부를 통해 학습시킨 학습된 인공지능 모델을 오류터치 판정 장치로 전송하도록 구성되고, 오류터치 판정 장치의 터치타입 분류부는 서버에서 전송받은 학습된 인공지능 모델을 통해 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 추론하도록 구성될 수 있다. In another embodiment of the present disclosure, a touch screen system including an error touch determination device and a server for determining an error touch on a touch screen of an electronic device detects a touch input to obtain a touch result value through the touch screen, and detects a touch input. A touch input detector for detecting at least two of a time interval of the touch input, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input, a time interval of the detected touch input, a touch area of the touch input, and touch input From the learned AI model by applying data relating to at least two of the touch intensity, or the temperature of the touch input, to the learned AI model to determine the touch type of whether the detected touch input is a normal touch or an error touch. A touch type classification unit for outputting whether the detected touch input is a normal touch or an error touch, and a touch input detecting unit Communicating with the server, sending at least two of a time interval of one of the plurality of touch inputs, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input, and touch types labeled in the plurality of touch inputs to the server. And a communication unit configured to label at least two of a time interval of a plurality of received touch inputs, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input, and a plurality of touch inputs. An AI model learner may generate an AI model trained through the deep neural network, and the server may transmit the trained AI model trained through the AI model learner to the error touch determination apparatus. The touch type classification unit of the error touch determination apparatus is detected through the learned artificial intelligence model received from the server. It may be configured to infer the touch type whether the touch input is a normal touch or an error touch.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.In addition to this, other methods, other systems and computer programs for implementing the present invention may be further provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시 예에 의하면, 인공지능(AI), 인공지능 기반의 오류 터치 인식 기술과 5G 네트워크를 이용하여 터치 오류를 판정할 수 있다.According to an embodiment of the present invention, a touch error may be determined using artificial intelligence (AI), artificial intelligence-based error touch recognition technology, and 5G network.

본 발명의 일 실시 예는, 오류 터치 알고리즘에서 정해지지 않은 유형의 오류 터치이더라도, 오류 터치를 제거하고 교정할 수 있게 하는 것이다.According to an embodiment of the present invention, even if an error touch of a type not defined in the error touch algorithm is possible, the error touch can be removed and corrected.

또한, 터치 입력을 지원하는 다양한 터치 스크린을 갖는 가전제품에서 사용자의 불편함 해소할 수 있다. In addition, it is possible to solve the inconvenience of the user in the home appliance having a variety of touch screen supporting the touch input.

또한, 외부의 환경(물기, 기름기, 이물질, 고온)에 영향을 최소로 하는 강인한 터치(Robust touch) 입력을 가능하게 할 수 있다. In addition, it is possible to enable a robust touch (Robust touch) input to minimize the influence on the external environment (water, greasy, foreign matter, high temperature).

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시 예에 따른 오류 터치 판정 장치를 포함하는 전자 장치, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 오류 터치 판정 환경의 예시도이다.
도 2a는 본 발명의 일 실시 예에 따른 정전식 터치스크린장치의 터치구동회로의 구조를 나타내는 도면이다.
도 2b는 본 발명의 일 실시 예에 따른 터치스크린 장치의 블록도이다.
도 3a는 본 발명의 일 실시 예에 따른 터치스크린의 오류 터치 판정 시스템의 예시도이다.
도 3b은 본 발명의 일 실시 예에 따른 터치스크린 오류 터치 판정 장치의 기능을 도시한 흐름도이다.
도 4a는 본 발명의 일 실시 예에 따라 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법에 대한 상세한 흐름도이다.
도 4b는 도 4a의 전자 장치의 터치 스크린에서 오류 터치를 판정하는 인공지능 모델을 학습시키기 위한 흐름도이다.
도 5a는 본 발명의 일 실시예에 따른 터치 스크린의 오류 터치를 판정하기 위한 인공지능 모델의 지도학습을 위한 학습용 데이터이다.
도 5b는 본 발명의 일 실시예에 따른 인공지능 모델의 지도학습을 위한 테스트용 데이터이다.
도 5c는 도 5a의 학습용 데이터에 따른 결정트리를 생성하기 위해 학습용 데이터를 CART 알고리즘에 따라 출력한 결과이다.
도 5d는 도 5c의 출력 결과에 따라 작성된 결정트리이다. .
도 5e는 도 5a의 학습용 데이터를 학습시키기 위한 심층 신경망 구조와 도 5b의 테스트용 데이터로 검증한 학습 정확도 및 손실 함수의 그래프이다.
도 6은 본 발명의 일 실시예에 따른 감압식 터치 스크린의 오류 터치를 판정하기 위해 작성된 결정트리이다. .
도 7a는 본 발명의 일 실시예에 따른 강화학습 기반 신경망모델의 개념도이다.
도 7b는 본 발명의 일 실시 에에 따라 강화학습 기반 신경망모델을 학습시키는 예시도이다.
도 7c는 본 발명의 일 실시 에에 따라 강화학습 기반 신경망모델을 학습시키는 흐름도이다.
1 is a diagram illustrating an error touch determination environment including an electronic device including an error touch determination device, a server, and a network connecting them to each other, according to an exemplary embodiment.
2A is a diagram illustrating a structure of a touch driving circuit of a capacitive touch screen device according to an embodiment of the present invention.
2B is a block diagram of a touch screen device according to an embodiment of the present invention.
3A is an exemplary diagram of an error touch determination system of a touch screen according to an exemplary embodiment.
3B is a flowchart illustrating a function of an apparatus for determining a touch screen error touch according to an exemplary embodiment.
4A is a detailed flowchart illustrating a method of determining an error touch in a touch screen of an electronic device according to an embodiment of the present disclosure.
FIG. 4B is a flowchart for training an artificial intelligence model that determines an error touch on the touch screen of the electronic device of FIG. 4A.
5A is learning data for supervised learning of an artificial intelligence model for determining an error touch of a touch screen according to an embodiment of the present invention.
5B is test data for supervised learning of an artificial intelligence model according to an embodiment of the present invention.
FIG. 5C illustrates a result of outputting training data according to a CART algorithm to generate a decision tree according to the training data of FIG. 5A.
FIG. 5D is a decision tree created according to the output result of FIG. 5C. .
FIG. 5E is a graph of a deep neural network structure for learning the training data of FIG. 5A and a learning accuracy and loss function verified with the test data of FIG. 5B.
6 is a decision tree prepared for determining an error touch of a pressure sensitive touch screen according to an embodiment of the present invention. .
7A is a conceptual diagram of a reinforcement learning-based neural network model according to an embodiment of the present invention.
Figure 7b is an exemplary diagram for learning reinforcement learning-based neural network model according to an embodiment of the present invention.
Figure 7c is a flow chart for learning reinforcement learning-based neural network model according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Advantages and features of the present invention, and methods for achieving them will be apparent with reference to the embodiments described in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments set forth below, but may be embodied in many different forms and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. . The embodiments set forth below are provided to make the disclosure of the present invention complete, and to fully inform the scope of the invention to those skilled in the art. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and in the following description with reference to the accompanying drawings, the same or corresponding components will be given the same reference numerals and redundant description thereof will be omitted. Let's do it.

도 1은 본 발명의 일 실시 예에 따른 오류 터치 판정 장치를 포함하는 터치 스크린 탑재 전자 장치, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 오류 터치 판정 환경의 예시도이다. 도 1은 본 발명의 일 실시 예에 따른 오류 터치 판정 장치(100)를 포함하는 전자 장치, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 오류 터치 처리 환경의 예시도이다. 도 1을 참조하면, 오류 터치 처리 환경(1)은, 오류 터치 판정 장치(100)를 포함하는 전자 장치(200), 서버(300) 및 네트워크(400)를 포함할 수 있다. 오류 터치 판정 장치(100)를 포함하는 전자 장치(200)) 및 서버(300)는 5G 통신 환경에서 서로 연결될 수 있다. 1 is a diagram illustrating an error touch determination environment including a touch screen-mounted electronic device including an error touch determination device, a server, and a network connecting them to each other, according to an embodiment of the present disclosure. 1 is a diagram illustrating an error touch processing environment including an electronic device including an error touch determining apparatus 100, a server, and a network connecting them to each other, according to an exemplary embodiment. Referring to FIG. 1, an error touch processing environment 1 may include an electronic device 200 including an error touch determination device 100, a server 300, and a network 400. The electronic device 200 including the error touch determination device 100 and the server 300 may be connected to each other in a 5G communication environment.

터치 스크린 탑재 전자 장치(200)는 스마트폰(201), 태블릿 PC(202), 전기 레인지(203), 냉장고(204)의 통신기기 또는 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 제품들을 포함할 수 있으나, 이에 한정되는 것은 아니다. The touch screen-mounted electronic device 200 includes products that incorporate combinations of such functions as well as communication devices or appliances in the smartphone 201, tablet PC 202, electric range 203, refrigerator 204. It may be, but is not limited thereto.

터치 스크린 탑재 전자 장치(200)는 예를 들면, 전자 장치는 이동 전화기(mobile phone), 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예:스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다. The touch screen-mounted electronic device 200 may include, for example, a mobile phone, a mobile medical device, a camera, or a wearable device (for example, smart glasses or a head wearable device). head-mounted-device (HMD)), electronic clothes, electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos, smart mirrors, or smart watches.

어떤 실시 예들에서, 터치 스크린 탑재 전자 장치는 스마트 가전 제품 (smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD (digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전기레인지, 세탁기, 공기 청정기, 셋톱 박스 (set-top box), 홈 자동 제어 패널 (home automation control panel), 보안 컨트롤 패널 (security control panel), TV 박스 (예: 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더 (camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.In some embodiments, the touch screen-mounted electronic device may be a smart home appliance. Smart home appliances are, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, cleaners, ovens, microwaves, washing machines, air purifiers, set-top boxes, home automatic control panels (home automation control panel), security control panel, TV box (e.g. Apple TV ™ or Google TV ™), game console (e.g. Xbox ™, PlayStation ™), electronic dictionary, electronic key, camcorder It may include at least one of a (camcorder), or an electronic picture frame.

다른 실시 예에서, 전자 장치는, 각종 의료기기 (예: 각종 휴대용 의료측정기기 (혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA (magnetic resonance angiography), MRI (magnetic resonance imaging), CT (computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 (navigation) 장치, GPS 수신기(global positioning system receiver), EDR (event data recorder), FDR (flight data recorder), 자동차 인포테인먼트 (infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛 (head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine), 상점의 POS (point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기 (thermostat), 가로등, 토스터 (toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.In another embodiment, the electronic device may include a variety of medical devices (eg, various portable medical devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Such as CT (computed tomography, imaging or ultrasound), navigation devices, global positioning system receivers, event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ships Electronic equipment (e.g. ship navigation systems, gyro compasses, etc.), avionics, security devices, vehicle head units, industrial or home robots, automatic teller's machines (financial institutions), point of sale (POS) stores (point of sales), or the Internet of things (e.g. light bulbs, sensors, electric or gas meters, sprinkler devices, fire alarms, thermostats, street lights, earth Of the emitter (toaster), exercise equipment, hot water tank, a heater, boiler, etc.) may include at least one.

오류 터치 판정 장치(100)는 터치 스크린에서 오류 터치를 판정하는 인공지능 모델을 학습시키기 위한 용도로 서버(300)를 이용할 수 있다. 예를 들어 오류 터치 판정 장치(100)는 인공지능 모델 학습부(134)를 포함하여서, 터치 스크린에서 터치 입력이 정상 터치인지 오류 터치인지를 판정(determine)하기 위한 학습된 인공지능 모델을 자신이 직접 생성하여 이를 이용할 수도 있지만, 서버(300)가 인공지능 모델 학습부(134)를 포함할 수 있고, 서버(300)에 의해 수집된 빅 데이터 형태의 데이터를 대신 이용할 수도 있다.The error touch determination apparatus 100 may use the server 300 for learning an artificial intelligence model that determines an error touch on a touch screen. For example, the error touch determination apparatus 100 may include an artificial intelligence model learner 134 so as to determine a trained artificial intelligence model for determining whether a touch input is a normal touch or an error touch on a touch screen. Although it may be generated and used directly, the server 300 may include an artificial intelligence model learning unit 134, or may use data in the form of big data collected by the server 300 instead.

오류 터치 판정 장치(100)는 로컬 영역에 저장되거나 또는 서버(300)에 저장된 인공지능 알고리즘과 관련된 각종 프로그램을 이용할 수 있다. 즉 서버(300)는 데이터 수집과 함께 수집된 데이터를 이용하여 인공지능 모델을 학습시키는 역할을 할 수 있다. 오류 터치 판정 장치(100)는 생성된 인공지능 모델을 기반으로 하는 터치 스크린의 터치 입력이 정상 터치인지 오류 터치인지 판정하고, 오류 터치인경우 터치 입력을 제거하거나, 교정하도록 제어할 수 있다. The error touch determination apparatus 100 may use various programs related to an artificial intelligence algorithm stored in a local area or stored in the server 300. That is, the server 300 may play a role of learning an artificial intelligence model using data collected together with data collection. The error touch determination apparatus 100 may determine whether the touch input of the touch screen based on the generated artificial intelligence model is a normal touch or an error touch, and control to remove or correct the touch input in case of an error touch.

서버(300)는 인공지능 알고리즘을 이용하여 오류 터치 추론(Inference)에 필요한 훈련용 데이터 및 인공지능 알고리즘과 관련된 각종 프로그램, 예를 들어 API, 워크플로우 등을 사용자 단말에 제공할 수 있다. 즉 서버(300)는 복수 개의 검출된 터치입력들의, 이전에 검출된 터치 입력과의 시간 간격, 검출된 터치입력의 터치 면적, 및 상기 터치 입력들에 레이블링된 터치 타입들을 포함하는 훈련용 데이터를 이용하여 인공지능 모델을 학습시킬 수 있다. 그 밖에 서버(300)는 인공지능 모델을 평가할 수 있으며, 평가 후에도 더 나은 성능을 위해 인공지능 모델을 업데이트 할 수 있다. 여기서, 오류 터치 판정 장치(100)는 서버(300)가 수행하는 일련의 단계들을 단독으로 또는 서버(300)와 함께 수행할 수 있다.The server 300 may provide the user terminal with various programs, for example, an API and a workflow, related to training data and artificial intelligence algorithms required for error touch inference using an artificial intelligence algorithm. That is, the server 300 may include training data including a plurality of detected touch inputs, a time interval with a previously detected touch input, a touch area of the detected touch input, and touch types labeled on the touch inputs. AI models can be trained. In addition, the server 300 may evaluate the AI model, and after the evaluation, may update the AI model for better performance. Here, the error touch determination apparatus 100 may perform a series of steps performed by the server 300 alone or together with the server 300.

네트워크(400)는 유선 및 무선 네트워크, 예를 들어 LAN(local area network), WAN(wide area network), 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 그리고 모바일 네트워크, 예를 들어 셀룰러, 3G, LTE, 5G, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.Network 400 may be a wired and wireless network, such as a local area network (LAN), a wide area network (WAN), the Internet, an intranet and an extranet, and a mobile network, such as It may be any suitable communication network, including cellular, 3G, LTE, 5G, WiFi networks, ad hoc networks, and combinations thereof.

네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 이하 본 발명의 일 실시 예에 따른 오류 터치 판정 시스템 및 오류 터치 판정 장치(100)에 대해 상세히 설명하기로 한다. Network 400 may include a connection of network elements such as hubs, bridges, routers, switches, and gateways. Network 400 may include one or more connected networks, such as a multi-network environment, including a public network such as the Internet and a private network such as a secure corporate private network. Access to network 400 may be provided through one or more wired or wireless access networks. Hereinafter, an error touch determination system and an error touch determination apparatus 100 according to an exemplary embodiment will be described in detail.

도 2a는 본 발명의 일 실시 예에 따른 정전식 터치스크린장치(100)의 터치구동회로(130)의 구조를 나타내는 도면이다. 도 2a에 도시된 바와 같이, 상기 터치구동회로(130)는 터치 드라이브 IC와 같이 터치스크린(110)에 연결된 하나의 집적회로로 구성될 수 있다. 이때, 터치구동회로(130)는 플렉서블회로기판을 통해 터치스크린(110)에 연결될 수 있으며, 플렉서블회로기판에 실장될 수 있다. 상기 터치구동회로(130)는 터치스크린(110)의 터치부(111) 및 온도감지부(120)와 전기적으로 연결될 수 있다.2A is a diagram illustrating a structure of a touch driving circuit 130 of the capacitive touch screen device 100 according to an embodiment of the present invention. As shown in FIG. 2A, the touch driver circuit 130 may be configured as one integrated circuit connected to the touch screen 110, such as a touch drive IC. In this case, the touch driving circuit 130 may be connected to the touch screen 110 through the flexible circuit board, and may be mounted on the flexible circuit board. The touch driver circuit 130 may be electrically connected to the touch unit 111 and the temperature sensing unit 120 of the touch screen 110.

상기 터치구동회로(130)는 복수의 제1터치라우팅라인(TRL1)을 통해 터치부(111)의 터치구동전극(T_Tx)과 일대일로 연결되고, 복수의 제2터치라우팅라인(TRL2)을 통해 터치부(111)에 마련된 복수의 터치감지전극(T_Rx)과 일대일로 연결될 수 있다. 그리고, 상기 터치구동회로(130)는 제1 및 제2온도라우팅라인(TTL1,TTL2)를 통해 온도센서(118)와 연결될 수 있다.The touch driver circuit 130 is connected one-to-one with the touch driving electrode T_Tx of the touch unit 111 through a plurality of first touch routing lines TRL1 and through a plurality of second touch routing lines TRL2. The touch sensing electrodes T_Rx provided in the touch unit 111 may be connected one-to-one. In addition, the touch driving circuit 130 may be connected to the temperature sensor 118 through the first and second temperature routing lines TTL1 and TTL2.

상기 터치구동회로(130)는 감지부(131), 터치제어회로(133) 및 메모리(135)를 포함할 수 있다. The touch driver circuit 130 may include a detector 131, a touch control circuit 133, and a memory 135.

감지부(131)는 터치제어회로(133)의 제어에 따라 적어도 하나의 터치구동펄스를 갖는 터치구동신호(TDS)를 생성하고 터치제어회로(133)로부터 제공되는 터치채널 선택신호에 기초하여 터치구동신호(TDS)를 정해진 순서에 따라 복수의 제1터치라우팅라인(TRL1) 각각을 통해 복수의 터치구동전극(T_Tx)에 각각 공급하고, 터치채널 선택신호에 기초하여 복수의 제2터치라우팅라인(TRL2) 각각을 통해 복수의 터치감지전극(T_Rx) 각각과 연결시킨다.The sensing unit 131 generates a touch driving signal TDS having at least one touch driving pulse under the control of the touch control circuit 133 and touches the touch based on the touch channel selection signal provided from the touch control circuit 133. The driving signals TDS are respectively supplied to the plurality of touch driving electrodes T_Tx through the plurality of first touch routing lines TRL1 in a predetermined order, and the plurality of second touch routing lines are based on the touch channel selection signal. Each of the plurality of touch sensing electrodes T_Rx is connected to each other through the TRL2.

상기 터치제어회로(133)는 MCU(Micro Controller Unit)으로서, 외부로부터 공급되는 터치동기신호(Tsync)를 수신하고, 수신된 터치동기신호(Tsync)를 기반으로 터치구동회로(130)의 구동 타이밍을 제어할 수 있다.The touch control circuit 133 is a micro controller unit (MCU), receives a touch sync signal Tsync supplied from the outside, and drives timing of the touch driver circuit 130 based on the received touch sync signal Tsync. Can be controlled.

상기 터치제어회로(133)는 온도감지부의 온도센서(120)에서 측정된 온도를 수신하여 전자기기 내부(엄밀하게 말해서, 터치부(111)의 내부)의 온도를 결정할 수 있다. The touch control circuit 133 may receive the temperature measured by the temperature sensor 120 of the temperature sensing unit to determine the temperature of the inside of the electronic device (strictly, the inside of the touch unit 111).

일반적으로 온도가 올라가면 결정을 형성하는 원자들의 운동이 활발해질 뿐만 아니라 격자를 형성하는 원자들의 진동운동도 활발해지므로, 물질 내에서의 전자의 이동이 방해된다. 따라서, 금속과 같은 도체의 경우 온도가 올라가면 전기저항이 증가한다.In general, when the temperature rises, not only the movement of atoms forming crystals but also the vibration movement of atoms forming a lattice are prevented, thereby preventing the movement of electrons in the material. Therefore, in the case of a conductor such as a metal, the electrical resistance increases as the temperature increases.

본 발명에서는 이러한 원리를 이용하여 온도센서(120)를 구성한다. 즉, 본 발명에서는 Ag, Au, Al 등과 같은 금속으로 온도센서(120)를 구성하여 온도에 따른 저항값을 측정함으로써 온도변화를 측정할 수 있다. In the present invention, the temperature sensor 120 is configured using this principle. That is, in the present invention, the temperature sensor 120 may be formed of a metal such as Ag, Au, Al, or the like, and the temperature change may be measured by measuring a resistance value according to temperature.

도 2b는 본 발명의 일 실시 예에 따른 터치스크린 장치의 블록도이다.2B is a block diagram of a touch screen device according to an embodiment of the present invention.

오류 터치 장치(100)는 터치 스크린(110)과 터치스크린(110)을 구동하는 터치구동회로(130)를 포함할 수 있다. 터치구동회로(130)는 터치감지부(131) 및 터치제어회로(133)를 포함하고, 터치제어회로(133)는 터치 감지부(131)부터 터치 입력에 관한 데이터를 검출하는 터치입력 검출부(132), 검출된 데이터를 기초로 심층신경망을 통해 학습시키는 인공지능 모델 학습부(134), 터치타입 분류부(136), 오류터치 처리부(138), 터치 입력 데이터, 학습 데이터 등 각종 데이터를 저장하는 메모리(135), 서버 또는 외부 장치와 통신하는 통신부(137), 및 오류터치 판정장치의 입력/출력 조정부(139)를 포함할 수 있다. The error touch apparatus 100 may include a touch screen 110 and a touch driver circuit 130 for driving the touch screen 110. The touch driver circuit 130 includes a touch sensing unit 131 and a touch control circuit 133, and the touch control circuit 133 may include a touch input detecting unit for detecting data related to a touch input from the touch sensing unit 131. 132, the artificial intelligence model learning unit 134, the touch type classifier 136, the error touch processing unit 138, the touch input data, the training data, and the like to learn various data through the deep neural network based on the detected data Memory 135, a communication unit 137 communicating with a server or an external device, and an input / output adjustment unit 139 of an error touch determination device.

터치 입력 검출부(132)는 터치감지부(131)에서 감지된 터치 신호들 및 온도 신호들을 기초로 터치 결과값을 얻기 위해 터치 입력을 검출하고, 검출된 터치 입력의 이전에 입력된 터치 입력과의 시간 간격, 상기 터치 입력의 터치 면적, 터치 강도(감도), 터치들 거리 및 터치시 온도를 검출할 수 있다. 터치 간격, 터치 거리, 터치 면적, 터치 강도 및 터치시 온도는 터치 입력 검출부(132)을 통해 측정값으로 검출될 수 있다. 본 발명의 다른 실시예에서, 터치 간격, 터치 거리, 터치 면적, 터치 강도 및 터치시 온도는 각각 터치 입력 검출부(132)을 통해 미리 결정된 기준 터치 간격(α:1ms), 기준 터치 거리(β:1cm), 기준 터치 면적(Φ:1cm2), 기준 터치 강도(δ:1pF, 또는 1Pa/L) 및 기준 터치시 온도(ε:1℃)와 상대적인 값으로 표시될 수 있다. 예를 들어, 터치 입력들의 시간 간격 및 터치 거리는 2 개 이상의 터치 입력들로부터 구해질 수 있으므로, 맨 처음 터치 입력만 있는 경우 미리 정해진 기준 시간 간격 및 기준 시간 거리로 간주하여 기준 시간 간격 및 기준 터치 거리인 것으로 처리하거나, 시간 간격이 없는 것으로 간주하여 0으로 처리할 수 있다. The touch input detector 132 detects a touch input to obtain a touch result value based on the touch signals and the temperature signals sensed by the touch detector 131, and detects a touch input with a previously input touch input of the detected touch input. The time interval, the touch area of the touch input, the touch intensity (sensitivity), the distance of the touches, and the temperature at the touch may be detected. The touch interval, touch distance, touch area, touch intensity, and temperature at the touch may be detected as measured values through the touch input detector 132. In another embodiment of the present invention, the touch interval, the touch distance, the touch area, the touch intensity, and the temperature at the touch are respectively determined by the touch input detection unit 132 in predetermined reference touch intervals (α: 1 ms) and reference touch distances (β: 1 cm), reference touch area (Φ: 1 cm 2 ), reference touch intensity (δ: 1 pF, or 1 Pa / L), and reference touch temperature (ε: 1 ° C.). For example, the time interval and the touch distance of the touch inputs may be obtained from two or more touch inputs, so if there is only the first touch input, the reference time interval and the reference touch distance are regarded as the predetermined reference time interval and the reference time distance. It can be treated as, or it can be treated as 0 because there is no time interval.

터치타입 분류부(136)는 검출된 터치 입력의 이전에 입력된 터치 입력과의 시간 간격, 검출된 터치 면적, 터치 거리, 터치 강도, 또는 터치시 온도 중 적어도 2개에 관한 데이터를, 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 판정하기 위해 학습된 인공지능 모델에 적용하여 상기 학습된 인공지능 모델로부터 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지를 출력할 수 있다. The touch type classification unit 136 detects data regarding at least two of a time interval with a previously input touch input of the detected touch input, a detected touch area, a touch distance, a touch intensity, or a temperature at the touch. In order to determine a touch type of whether the touch input is a normal touch or an error touch, it may be applied to the learned AI model to output whether the detected touch input is a normal touch or an error touch from the learned AI model.

인공지능 모델 학습부(134)는 검출된 터치입력들의 상기 이전에 검출된 터치 입력과의 터치 시간 간격, 상기 검출된 터치입력들의 터치 면적, 검출된 터치 면적, 상기 검출된 터치입력들의 터치 거리, 상기 검출된 터치입력들의 터치 강도, 또는 상기 검출된 터치입력들의 터치시 온도 중 적어도 2개, 및 상기 터치 입력들에 레이블링된 터치 타입들을 학습용 데이터로 하여, 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지를 추론하여 출력하도록 정상/오류터치분류엔진을 학습시키도록 구성될 수 있다. 본 발명의 일 실시 예에서, 터치 스크린의 종류에 따라 오류터치를 검출하기에 적합한 터치 입력의 환경정보가 다를 수 있기 때문에, 상기 검출된 터치입력들의 터치 면적, 검출된 터치 면적, 상기 검출된 터치입력들의 터치 거리, 상기 검출된 터치입력들의 터치 강도, 또는 상기 검출된 터치입력들의 터치시 온도의 터치 입력의 환경 정보들 중에서 오류 터치를 검출하는데 가장 알맞은 적어도 2개를 학습을 통해 선별할 수 있다. 예를 들어, 정전식 터치 스크린의 경우 터치 시간 간격 및 터치 면적을 오류 터치 분류를 위한 터치 입력의 환경 정보로 이용할 수 있고, 감압식 터치 스크린의 경우 터치 간격과 터치 강도를 터치 입력의 환경 정보로 이용할 수 있다. The artificial intelligence model learner 134 may include a touch time interval of the detected touch inputs with the previously detected touch input, a touch area of the detected touch inputs, a detected touch area, a touch distance of the detected touch inputs, Whether the detected touch input is a normal touch by using at least two of the touch intensity of the detected touch inputs or the temperature at the time of touching the detected touch inputs, and the touch types labeled on the touch inputs as learning data. It may be configured to train a normal / error touch classification engine to infer and output whether it is a touch. According to an embodiment of the present disclosure, since the environmental information of the touch input suitable for detecting the error touch may vary according to the type of touch screen, the touch area of the detected touch inputs, the detected touch area, and the detected touch. From the touch distance of the inputs, the touch intensity of the detected touch inputs, or the environmental information of the touch input of the temperature at the touch of the detected touch inputs, at least two that are most suitable for detecting an error touch may be selected through learning. . For example, in the case of a capacitive touch screen, the touch time interval and the touch area may be used as environmental information of a touch input for classifying an error touch, and in the case of a pressure sensitive touch screen, the touch interval and touch intensity may be used as environmental information of a touch input. Can be.

인공지능 모델 학습부(134)는 지도학습을 이용하여 인공지능 모델을 생성하지만, 비지도학습, 또는 강화학습을 이용하여 정상/오류터치분류엔진을 학습시킬 수 있다. 예를 들어, 인공지능 모델 학습부(134)는 분류 또는 회귀 분석의 기계학습 알고리즘, 그리고 DNN, CNN, RNN의 심층 신경망을 통해 정상/오류터치분류엔진을 학습시킬 수 있다. 분류 지도학습에 의한 정상/오류터치분류엔진의 학습은은 도 5a 내지 도 5e에서 설명되고, 강화학습에 기반한 신경망 학습은 도 7a 내지 도 7c에서 설명된다. The artificial intelligence model learning unit 134 generates an artificial intelligence model using supervised learning, but may train a normal / error touch classification engine using unsupervised learning or reinforcement learning. For example, the AI model learner 134 may train a normal / error touch classification engine through a machine learning algorithm of classification or regression analysis, and deep neural networks of DNNs, CNNs, and RNNs. Learning of the normal / error touch classification engine by the classification supervised learning is described in FIGS. 5A to 5E, and neural network learning based on reinforcement learning is described in FIGS. 7A to 7C.

터치타입 분류부(136)는 인공지능 모델 학습부(134)에서 학습된 인공지능 모델을 통해, 터치입력 검출부(132)에서 검출한 터치 입력이 정상터치인지 오류터치인지의 터치타입을 판정할 수 있다. 본 발명의 다른 실시 예에서, 전술한 바와 같이, 터치타입 분류부(136)는 서버(300)에서 전송받은 학습된 인공지능 모델을 통해 터치 입력이 정상터치인지 오류터치인지 판정하도록 구성될 수 있다. The touch type classification unit 136 may determine the touch type whether the touch input detected by the touch input detection unit 132 is a normal touch or an error touch, using the AI model learned by the AI model learner 134. have. In another embodiment of the present disclosure, as described above, the touch type classifier 136 may be configured to determine whether the touch input is a normal touch or an error touch through the learned artificial intelligence model received from the server 300. .

오류터치 처리부(138)는 터치타입 분류부(136)에서 판정한 터치타입에 따라고스트 터치의 터치입력신호를 제거하고, 모호 터치의 터치입력신호를 교정할 수 있고, 정상 터치의 터치입력신호는 그대로 유지할 수 있다. 오류터치 처리부(138)로부터 교정되거나 그대로 유지된 터치입력신호를 수신한 터치제어회로(133)는 터치입력의 터치 결과값을 표시하도록 제어할 수 있다. The error touch processing unit 138 may remove the touch input signal of the ghost touch according to the touch type determined by the touch type classification unit 136, and correct the touch input signal of the ambiguity touch. You can keep it as it is. The touch control circuit 133 receiving the corrected or maintained touch input signal from the error touch processor 138 may control to display the touch result value of the touch input.

본 발명의 일 실시예에서, 오류 터치 교정 방식은 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 어느 하나일 수 있다. 잡음 저감 필터 추가 방식은 에러 발생 횟수에 따라 적어도 하나의 잡음 저감 필터를 적용하여 터치 오류를 보정하는 소프트웨어 구성 요소를 포함할 수 있다. 터치 감도 조절 방식은 에러 발생 횟수에 따라 터치 감도를 조절하여 터치 오류를 보정하는 소프트웨어 구성 요소를 포함할 수도 있다. 주파수 변경 방식은 잡음 문제를 해결하기 위해 컨트롤러가 공통모드의 잡음을 걸러내고 주파수 도약 방식(frequency hopping scheme)으로 잡음 문제를 회피할 수 있다. In one embodiment of the present invention, the error touch correction method may be at least one of a noise reduction filter addition method, a touch sensitivity adjustment method, or a touch frequency change method. The noise reduction filter addition method may include a software component that corrects touch errors by applying at least one noise reduction filter according to the number of error occurrences. The touch sensitivity adjustment scheme may include a software component that corrects a touch error by adjusting the touch sensitivity according to the number of error occurrences. In order to solve the noise problem, the frequency change method allows the controller to filter out the noise of the common mode and avoid the noise problem by using a frequency hopping scheme.

오류터치 판정 장치(100)가 스마트폰, 전기 레인지, 노트북, 데스크탑 컴퓨터 등에 프로그램 또는 앱 형태로 실행되는 방법으로 포함되어 있다면, 오류터치 판정 장치(100)는 프로그램 형태로 통신부(103)를 포함하지 않을 수 있고, 이 경우 입력/출력 조정부(104)를 통해 오류터치 판정 장치(100)가 매립된 스마트폰, 전기 레인지, 노트북, 데스크탑 컴퓨터 등의 통신부(103)를 이용하여 외부 기기와 통신할 수 있다. If the error touch determining apparatus 100 is included in a smart phone, an electric range, a notebook, a desktop computer, or the like in a program or app form, the error touch determining apparatus 100 does not include the communication unit 103 in the form of a program. In this case, the input / output adjustment unit 104 may communicate with an external device using the communication unit 103 such as a smartphone, an electric range, a laptop, a desktop computer, or the like, in which the error touch determination device 100 is embedded. have.

도 3a는 본 발명의 일 실시 예에 따른 터치스크린의 오류 터치 판정 시스템의 예시도이다. 3A is an exemplary diagram of an error touch determination system of a touch screen according to an exemplary embodiment.

오류 터치 판정 시스템은 터치스크린의 오류 터치를 판정할 수 있는 오류 터치 판정 장치(100) 및 서버(300)를 포함할 수 있다. 오류 터치 판정 장치(100)는 스마트폰, 타블릿 PC, 전기 레인지 등에서 프로그램, 또는 어플리케이션 앱의 형태로 실행될 수 있고, 가전제품 등에 내장(embedded)될 수 있다. The error touch determination system may include an error touch determination apparatus 100 and a server 300 capable of determining an error touch of a touch screen. The error touch determining apparatus 100 may be executed in the form of a program or an application app in a smartphone, a tablet PC, an electric range, or the like, and may be embedded in a home appliance or the like.

오류 터치 판정 장치(100)의 통신부(137)는 터치 입력 검출부(132)에서 검출된 터치 입력들의 시간 간격, 터치 면적, 터치 강도, 또는 터치시 온도 중 적어도 하나 및 상기 터치 결과값들을 서버로 전송할 수 있다. The communication unit 137 of the error touch determination apparatus 100 transmits at least one of a time interval, touch area, touch intensity, or temperature at the touch of the touch inputs detected by the touch input detector 132 and the touch result values to the server. Can be.

서버(300)는 검출된 수집된 터치 입력들의 시간 간격, 터치 면적, 터치 강도, 또는 터치시 온도 중 적어도 2개 및 상기 터치 결과값들을 데이터베이스에 수집하며 심층신경망(DNN)을 통해 학습시키는 학습된 인공지능 모델을 생성하는 인공지능 모델 학습부를 포함할 수 있다. 서버의 인공지능 모델 학습부는 기계학습 또는 딥러닝에 필요한 오류 터치 데이터를 저장한 데이터베이스로부터 심층신경망을 통해 학습시키는데 필요한 학습 데이터를 추출하고, 학습 데이터의 정확도를 높이기 위해 학습 데이터 전처리하고, 학습 데이터를 심층신경망(DNN)을 통해 학습시키고, 그리고 학습된 인공지능 모델을 생성하도록 구성될 수 있다. The server 300 collects at least two of the detected time intervals, the touch area, the touch intensity, or the temperature at the touch of the detected touch inputs, and collects the touch result values in a database, and learns the data through a deep neural network (DNN). It may include an AI model learner for generating an AI model. The artificial intelligence model learning unit of the server extracts the training data necessary for learning through the deep neural network from the database storing the error touch data required for machine learning or deep learning, and preprocesses the training data to increase the accuracy of the training data, and then processes the training data. It can be configured to train through a deep neural network (DNN), and generate a trained AI model.

데이터의 전처리 (Preprocessing)란 학습 데이터를 제거 또는 수정하여 최대한 소스 데이터의 정확성을 높이는 것을 말한다. 뿐만 아니라 중요성이 현저히 낮은 데이터를 과도하게 많이 포함한 경우 이들을 적절히 축소 조절하여 관리와 사용에 용이한 형태로 변경시켜 주기도 한다. 데이터 전처리에는 데이터 정제, 데이터 통합, 데이터 변환, 데이터 축소등이 포함된다. 데이터 정제는 결측치를 채워넣고, 잡음있는 데이터를 평활화(smoothing) 하고, 이상치를 식별하고, 데이터 불일치를 교정하는 것이다.Preprocessing of data refers to removing or modifying training data to increase the accuracy of source data as much as possible. In addition, if they contain excessively significant data, they can be scaled down to a form that is easy to manage and use. Data preprocessing includes data cleansing, data integration, data transformation, and data reduction. Data refinement is to fill in missing values, to smooth out noisy data, to identify outliers, and to correct data inconsistencies.

서버(300)는 인공지능 모델 학습부를 통해 학습시킨 학습된 인공지능 모델을 오류 터치 판정 장치(100)로 전송하도록 구성될 수 있다. 오류 터치 판정 장치(100)의 터치타입 분류부(136)는 상기 서버에서 전송받은 학습된 인공지능 모델을 통해 터치스크린의 정상 터치, 오류 터치(고스트 터치, 모호 터치)를 분류하여 판정하도록 구성될 수 있다. The server 300 may be configured to transmit the learned AI model trained through the AI model learner to the error touch determining apparatus 100. The touch type classification unit 136 of the error touch determination apparatus 100 may be configured to classify and determine normal touch and error touch (ghost touch, ambiguous touch) of the touch screen through the learned artificial intelligence model received from the server. Can be.

도 3b은 본 발명의 일 실시 예에 따른 터치스크린 오류 터치 판정 장치의 기능을 도시한 흐름도이다.3B is a flowchart illustrating a function of an apparatus for determining a touch screen error touch according to an exemplary embodiment.

오류터치 판정 장치(100)는 터치스크린(110)에서 터치감지부(131)를 통해 터치를 감지하고 터치입력검출부(132)를 통해 터치 입력, 터치 입력의 이전에 입력된 터치 입력과의 시간 간격, 터치 입력의 터치 면적, 터치 강도(감압식 터치스크린인 경우), 터치시 온도 및 터치 거리를 검출할 수 있다. 또한, 오류터치 판정을 위한 인공지능 신경망을 학습시키기 위해 터치 입력에 대해 레이블링된 터치 타입[정상 터치, 오류 터치(고스트 터치, 모호터치)]에 관한 정보를 얻을 수 있다. The error touch determining apparatus 100 detects a touch on the touch screen 110 through the touch sensing unit 131, and time intervals between the touch input and the touch input previously input through the touch input detecting unit 132. , The touch area of the touch input, the touch intensity (for a touch sensitive screen), the temperature at the time of touch, and the touch distance can be detected. In addition, information about a touch type (normal touch, error touch (ghost touch, obscure touch)) labeled for a touch input may be obtained to train an artificial intelligence neural network for error touch determination.

본 발명의 일 실시예에서, 터치 입력의 터치 타입에 관한 정보는 실험적으로 실험자가 터치 입력 테스트시 판별하여 입력시킬 수 있다. 학습용 데이터는 실험자가 직접 터치 후, 입력된 터치 입력 위치를 확인하여 그것이 어떤 종류(Ghost, Obscure, Normal)의 터치였는지 수작업으로 레이블링하여 구축할 수 있다. In an embodiment of the present invention, the information about the touch type of the touch input may be experimentally determined and input by the experimenter during the touch input test. The training data can be constructed by manually labeling the touch input location after the experimenter directly touches the type of touch (Ghost, Obscure, and Normal).

본 발명의 다른 실시예에서, 터치 스크린에 비전 센서를 설치하여 비전 인식을 통해 실험자의 특정 부분 터치시 상기 특정 터치 입력에 레이블링된 값과 터치 결과값이 일치하는지로 정상 터치 오류터치의 터치 타입의 데이터를 수집할 수 있다. 만약 비전 인식에서 아무런 터치를 하지 않은 것으로 판단했음에도 터치 결과값이 나온 경우 고스트 터치로 기록하고, 비전 인식으로 인식된 특정터치 입력 위치의 레이블링 값과 터치 입력의 터치 결과값이 서로 일치하지 않는 경우 모호 터치로, 그리고 서로 일치하는 경우 정상 터치로 판단하고 기록할 수 있다. 비전 인식으로 터치스크린의 특정 터치 입력 위치의 레이블 인식은 실험자의 손가락 끝이 터치하는 부분이 손가락 끝에 의해 가려지는 것을 이용하여 비전 인식에 이용할 수 있다. 예를 들어, 실험자의 손가락의 끝이 전기 레인지의 '타이머' 부분을 가렸다면 비전인식 알고리즘은 가려진 부분을 가려지기 전 전체 전기 레인지와 비교하여 이 '타이머' 부분임을 인식하여 '타이머'와 터치 결과값이 일치하는지 여부로 오류터치인지 정상터치인지 터치타입을 결정할 수 있다. In another embodiment of the present invention, a vision sensor is installed on the touch screen to detect whether the value of the touch input of the normal touch error touch corresponds to whether the value labeled on the specific touch input coincides with the touch result value when the user touches a specific part of the experiment through vision recognition. You can collect data. If it is determined that no touch is detected in the vision recognition, the touch result value is recorded. If the touch result is recorded, the labeling value of the specific touch input position recognized by the vision recognition and the touch result value of the touch input do not coincide with each other. By touch, and if they match each other, it can be judged and recorded as normal touch. Label recognition of a specific touch input position of the touch screen by vision recognition may be used for vision recognition by using a part of the fingertip that is touched by an experimenter's fingertip. For example, if the tip of an experimenter's finger covered the 'timer' part of the electric range, the vision recognition algorithm would recognize that it was the 'timer' part compared to the entire electric range before covering the obscured part, and the 'timer' and the touch result. It is possible to determine whether the touch type is an error touch or a normal touch based on whether the values match.

오류터치 판정을 위한 데이터들을 검출하고, 인공지능 모델 학습부(134)에서 학습시킨 정상/오류터치분류엔진을 포함하는 터치타입 분류부(136)에서 터치 타입을 추론하여 판정할 수 있다. 오류터치 처리부(138)는 터치타입 분류부(136)에서 판정한 결과를 기초로, 고스트 터치의 경우 터치입력신호를 제거하고, 모호터치의 경우 교정하고, 정상입력으로 판정하여 유지시킬 수 있다. 오류 터치(고스트 터치, 모호터치)의 경우 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 하나를 이용하여 오류 터치를 교정할 수 있다. Data for error touch determination may be detected, and the touch type classifier 136 including the normal / error touch classification engine trained by the AI model learner 134 may infer the touch type. The error touch processing unit 138 may remove the touch input signal in the case of ghost touch, correct the ambiguous touch, and determine and maintain the normal input based on the result determined by the touch type classification unit 136. In the case of an error touch (ghost touch, ambiguous touch), the error touch may be corrected using at least one of a noise reduction filter addition method, a touch sensitivity adjustment method, or a touch frequency change method.

도 4a는 디스플레이(105) 상의 화면의 화질 또는 화면 내용을 추론하여 화면을 최적화하는 방법에 대한 상세한 흐름도이다.4A is a detailed flowchart of a method of optimizing a screen by inferring a picture quality or screen content of a screen on the display 105.

전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법은 전자 장치의 전원이 온되면 자동적으로 시작된다(S100). The method of determining an erroneous touch on the touch screen of the electronic device is automatically started when the power of the electronic device is turned on (S100).

오류터치 판정 장치(100)의 터치입력 검출부(132)는 터치 스크린의 터치 감지부(131)를 통해 터치 결과값을 얻기 위해 터치 입력을 검출한다(S1100).The touch input detection unit 132 of the error touch determination apparatus 100 detects a touch input to obtain a touch result value through the touch detection unit 131 of the touch screen (S1100).

터치입력 검출부(132)는 검출된 터치 입력의 이전에 입력된 터치 입력과의 시간 간격 및 터치 입력의 터치 면적을 검출할 수 있다(S1200). 또한, 터치제어회로(133)는 오류 터치를 판정하기 위해 추가적인 터치 입력의 관련 요소들, 예를 들어, 터치 강도(감압식 터치스크린), 터치 온도, 및 터치들 거리 등을 검출할 수 있다. The touch input detector 132 may detect a time interval with a previously input touch input and a touch area of the touch input of the detected touch input (S1200). In addition, the touch control circuit 133 may detect related elements of additional touch input, for example, touch intensity (pressure sensitive touch screen), touch temperature, touch distance, and the like, to determine an erroneous touch.

터치입력 검출부(132) 또는 터치 입력에 관한 데이터를 전송받은 서버(300)는 검출된 터치 입력의 이전에 입력된 터치 입력과의 시간 간격 및 상기 검출된 터치 면적에 관한 데이터를, 상기 검출된 터치 입력이 정상 터치인지 고스트 터치인지 그리고 모호 터치인지의 터치 타입을 판정하기 위해 학습된 인공지능 모델에 입력한다(S1300). 터치제어회로(133) 또는 터치 입력에 관한 데이터를 전송받은 서버(300)는 또한, 오류 터치를 판정하는 인공지능 모델을 학습시키기 위해 추가적인 터치 입력의 관련 요소들, 예를 들어, 터치 강도(감압식 터치스크린), 터치 온도, 및 터치 거리를 추가적으로, 또는 독립적으로 입력할 수 있다. The touch input detection unit 132 or the server 300 receiving the data related to the touch input transmits the detected touch input to a time interval with a previously input touch input and the data regarding the detected touch area. In order to determine whether the input is a normal touch, a ghost touch, and an ambiguous touch, the input is input to the learned artificial intelligence model (S1300). The server 300, which has received data relating to the touch control circuit 133 or the touch input, may also provide additional elements of the touch input, e.g., touch intensity (decompression), in order to learn an artificial intelligence model that determines an erroneous touch. Touch screen), touch temperature, and touch distance can be additionally or independently entered.

오류터치 판정 장치(100)의 인공지능 모델 학습부(134) 또는 터치 입력에 관한 데이터를 전송받은 서버(300)는는 입력된 데이터를 학습된 인공지능 모델에 적용한다(S1400). The artificial intelligence model learner 134 of the error touch determination apparatus 100 or the server 300 that receives the data related to the touch input applies the input data to the learned artificial intelligence model (S1400).

학습된 인공지능 모델은 검출된 터치 입력이 정상 터치인지, 오류터치인지 터치 타입을 출력한다(S1500). 다른 실시예에서, 학습된 인공지능 모델은 검출된 터치 입력이 정상 터치인지, 고스트 터치인지, 또는 모호 터치인지 3가지 분류(classification)를 출력할 수 있다. 터치 타입이 출력되면 오류 터치를 판정하는 방법은 종료된다(S1600). The learned AI model outputs a touch type whether the detected touch input is a normal touch or an error touch (S1500). In another embodiment, the learned AI model may output three classifications whether the detected touch input is a normal touch, a ghost touch, or an ambiguity touch. When the touch type is output, the method of determining an erroneous touch ends (S1600).

본 발명의 일 실시예에서, 이러한 오류터치 판정 방법을 실행하도록 프로그래밍된 프로그램이 컴퓨터 판독 가능 기록매체에 저장될 수 있다. In one embodiment of the invention, a program programmed to execute such an error touch determination method may be stored on a computer readable recording medium.

도 4b는 도 4a의 전자 장치의 터치 스크린에서 오류 터치를 판정하는 인공지능 모델을 학습시키기 위한 흐름도이다.FIG. 4B is a flowchart for training an artificial intelligence model that determines an error touch on the touch screen of the electronic device of FIG. 4A.

도 4b는 도 4a에 도시된 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법에서 사용되는 인공지능모델인 정상/오류터치분류엔진을 학습시키는 프로세스가 묘사되어 있다. 오류터치 판정 장치(100)에서 적용될, 오류터치를 판정하기 위한 인공지능 모델 학습이 시작된다(S100). 정상/오류터치분류엔진의 학습은 지도학습, 비지도학습 및 강화학습 중에서 어느 하나의 형태로 수행될 수 있다.FIG. 4B depicts a process of learning a normal / error touch classification engine, which is an artificial intelligence model used in the method of determining an error touch on the touch screen of the electronic device shown in FIG. 4A. Artificial intelligence model training for determining an error touch to be applied in the error touch determination apparatus 100 is started (S100). Learning of the normal / error touch classification engine may be performed in any one of supervised learning, unsupervised learning and reinforcement learning.

이전에 검출된 터치 입력과의 시간 간격, 터치 면적, 및 상기 터치 입력들에 레이블링된 터치 타입들을 포함하는 정상/오류터치분류엔진 학습용 데이터가 생성될 수 있다(S110). 정상/오류터치분류엔진 모델은 검출된 터치입력들의 상기 이전에 검출된 터치 입력과의 시간 간격, 상기 검출된 터치입력들의 터치 면적, 및 상기 터치 입력들에 레이블링된 터치 타입들을 학습용 데이터로 하여, 상기 검출된 터치 입력이 정상 터치인지, 오류터치(고스트 터치 및 모호 터치)인지를 추론하여 출력하도록 학습될 수 있다. 본 발명의 다른 실시예에서, 이전에 검출된 터치 입력과의 시간 간격, 터치 면적, 터치 강도, 터치 거리, 온도 중 적어도 2개 및 상기 터치 입력들에 레이블링된 터치 타입들을 포함하는 정상/오류터치분류엔진 학습용 데이터가 생성될 수 있다. 학습용 데이터의 일부를 테스트용 데이터로 분리하고, 학습용 데이터가 테스트용 데이터와 중복되지 않도록 한다. Normal / error touch classification engine learning data including a time interval with a previously detected touch input, a touch area, and touch types labeled on the touch inputs may be generated (S110). The normal / error touch classification engine model uses the time intervals of the detected touch inputs with the previously detected touch input, the touch area of the detected touch inputs, and the touch types labeled on the touch inputs as learning data. It may be learned to infer whether the detected touch input is a normal touch or an error touch (ghost touch and ambiguity touch). In another embodiment of the present invention, a normal / error touch comprising at least two of a time interval, a touch area, a touch intensity, a touch distance, a temperature with a previously detected touch input, and touch types labeled on the touch inputs. The classification engine training data may be generated. Part of the training data is separated into test data and the training data is not duplicated with the test data.

오류터치 판정 장치(100)의 인공지능 모델 학습부(134) 또는 터치 입력에 관한 데이터를 전송받은 서버(300)는 생성된 학습용 데이터를 입력하여 정상/오류터치분류엔진을 학습시킨다(S120). 인공지능 모델은 예를 들어, 기계학습의 분류(classification) 및 회귀 알고리즘이 적용될 수 있고, CNN과 같은 인공 신경망 모델이 적용될 수 있다. 본 발명의 일 실시 예에서, 예를 들어 인공지능 프로그래밍에 사용되는 인공지능 언어 라이브러리인 TensorFlow 또는 Keras를 이용하여 인공지능 학습 모델을 튜닝하여 사용할 수 있다. The artificial intelligence model learning unit 134 of the error touch determination apparatus 100 or the server 300 that has received data regarding the touch input input the generated training data to train the normal / error touch classification engine (S120). As an artificial intelligence model, for example, a classification and regression algorithm of machine learning may be applied, and an artificial neural network model such as CNN may be applied. In an embodiment of the present invention, for example, an AI learning model may be tuned using TensorFlow or Keras, which is an AI language library used for AI programming.

학습된 정상/오류터치분류엔진의 평가(S130)를 통해 인공지능 모델이 생성된다(S140). 학습된 정상/오류터치분류엔진의 평가(S130)는 테스트용 데이터를 사용하여 수행된다. 인공지능 모델이 생성되면 터치 타입을 판정하기 위해 학습된 인공지능 모델을 생성하는 프로세스는 종료된다(S150). 학본 발명 전체에서 학습된 인공지능 모델은 학습용 데이터를 학습시키고 생성된 특별한 언급이 없어도 테스트용 데이터를 통해 테스트한 후 학습된 모델을 결정한 것을 의미한다. 이하, 오류터치를 판정하는 인공지능 모델에 대해 추가적으로 설명하기로 한다. An artificial intelligence model is generated through evaluation of the trained normal / error touch classification engine (S130) (S140). Evaluation of the learned normal / error touch classification engine (S130) is performed using the test data. When the artificial intelligence model is generated, the process of generating the learned artificial intelligence model to determine the touch type is terminated (S150). The AI model learned throughout the present invention means learning the training data and determining the trained model after testing through the test data even without special mention of the generated data. Hereinafter, the artificial intelligence model for determining the error touch will be further described.

인공 지능(artificial intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다. Artificial intelligence (AI) is a field of computer science and information technology that studies how to enable computers to do thinking, learning, and self-development that human intelligence can do. It means to be able to imitate behavior.

또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.In addition, artificial intelligence does not exist by itself, but is directly or indirectly related to other fields of computer science. Particularly in modern times, attempts are being actively made to introduce artificial intelligence elements in various fields of information technology and use them to solve problems in those fields.

기계 학습(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야이다.Machine learning is a branch of artificial intelligence, a field of research that gives computers the ability to learn without explicit programming.

구체적으로 인공지능 학습은, 경험적 데이터를 기반으로, 학습용 데이터(트레이닝 데이터) 및/또는 테스트용 데이터를 생성하여 학습을 하여 학습된 인공지능 모델을 결정하고, 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 인공지능 학습의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 화면 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다. Specifically, AI learning, based on empirical data, generates training data (training data) and / or test data to learn and determine a learned AI model, performs prediction, and improves its own performance. It is a technology to research and build a system and algorithms for it. Algorithms for AI learning can take the form of building specific models to derive predictions or decisions based on screen data, rather than performing strictly fixed program instructions.

용어 '기계 학습'은 용어 '기계 학습'과 혼용되어 사용될 수 있다.The term 'machine learning' can be used interchangeably with the term 'machine learning'.

기계 학습에서 데이터를 어떻게 분류할 것인가를 놓고, 많은 기계 학습 알고리즘이 개발되었다. 의사결정나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트벡터머신(SVM: support vector machine), 그리고 인공 신경망(ANN: Artificial Neural Network) 등이 대표적이다.Many machine learning algorithms have been developed on how to classify data in machine learning. Decision trees, Bayesian networks, support vector machines (SVMs), and artificial neural networks (ANNs) are typical.

의사결정나무는 의사결정규칙(Decision Rule)을 나무구조로 도표화하여 분류와 추론을 수행하는 분석방법이다.Decision trees are analytical methods that perform classification and inference by charting decision rules in a tree structure.

베이지안 망은 다수의 변수들 사이의 확률적 관계(조건부독립성: conditional independence)를 그래프 구조로 표현하는 모델이다. 베이지안 망은 비지도 학습(unsupervised learning)을 통한 데이터마이닝(data mining)에 적합하다. Bayesian networks are models that represent probabilistic relationships (conditional independence) between multiple variables in a graphical structure. Bayesian networks are well suited for data mining through unsupervised learning.

서포트벡터머신은 패턴인식과 자료분석을 위한 지도 학습(supervised learning)의 모델이며, 주로 분류와 회귀분석을 위해 사용한다.The support vector machine is a model of supervised learning for pattern recognition and data analysis, and is mainly used for classification and regression analysis.

인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다.The artificial neural network is a model of the connection between the neurons and the operating principle of biological neurons is an information processing system in which a plurality of neurons, called nodes or processing elements, are connected in the form of a layer structure.

인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다.Artificial neural networks are models used in machine learning and are statistical learning algorithms inspired by biological neural networks (especially the brain of the animal's central nervous system) in machine learning and cognitive science.

구체적으로 인공신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.Specifically, the artificial neural network may refer to an overall model having a problem-solving ability by artificial neurons (nodes) that form a network by combining synapses, by changing the strength of synapses through learning.

용어 인공신경망은 용어 뉴럴 네트워크(Neural Network)와 혼용되어 사용될 수 있다.The term artificial neural network may be used interchangeably with the term neural network.

인공신경망은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다.The neural network may include a plurality of layers, and each of the layers may include a plurality of neurons. Artificial neural networks may also include synapses that connect neurons to neurons.

인공 신경망은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어의 뉴런들 사이의 연결 패턴 (2) 연결의 가중치를 갱신하는 학습 과정 (3) 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.Artificial Neural Networks generally use the following three factors: (1) the connection pattern between neurons in different layers, (2) the learning process of updating the weight of the connection, and (3) the output value from the weighted sum of the inputs received from the previous layer. Can be defined by the activation function it generates.

인공 신경망은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.Artificial neural networks may include network models such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Bidirectional Recurrent Deep Neural Network (BRDNN), Multilayer Perceptron (MLP), and Convolutional Neural Network (CNN). It is not limited to this.

본 명세서에서 용어 '레이어'는 용어 '계층'과 혼용되어 사용될 수 있다.In the present specification, the term 'layer' may be used interchangeably with the term 'layer'.

인공신경망은 계층 수에 따라 단층 신경망(Single-Layer Neural Networks)과 다층 신경망(Multi-Layer Neural Networks)으로 구분된다.Artificial neural networks are classified into single-layer neural networks and multi-layer neural networks according to the number of layers.

일반적인 단층 신경망은, 입력층과 출력층으로 구성된다.A general single layer neural network is composed of an input layer and an output layer.

또한 일반적인 다층 신경망은 입력층(Input Layer)과 하나 이상의 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성된다.In addition, a general multilayer neural network includes an input layer, one or more hidden layers, and an output layer.

입력층은 외부의 자료들을 받아들이는 층으로서, 입력층의 뉴런 수는 입력되는 변수의 수와 동일하며, 은닉층은 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달한다. 출력층은 은닉층으로부터 신호를 받고, 수신한 신호에 기반한 출력 값을 출력한다. 뉴런간의 입력신호는 각각의 연결강도(가중치)와 곱해진 후 합산되며 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 수신한 출력값을 출력한다. The input layer is a layer that accepts external data. The number of neurons in the input layer is the same as the number of input variables. The hidden layer is located between the input layer and the output layer, receives signals from the input layer, and extracts the characteristics to pass to the output layer. do. The output layer receives a signal from the hidden layer and outputs an output value based on the received signal. The input signal between neurons is multiplied by each connection strength (weighted value) and summed up. If this sum is greater than the neuron threshold, the neuron is activated and outputs the output value received through the activation function.

한편 입력층과 출력 층 사이에 복수의 은닉층을 포함하는 심층 신경망은, 기계 학습 기술의 한 종류인 딥 러닝을 구현하는 대표적인 인공 신경망일 수 있다.Meanwhile, the deep neural network including a plurality of hidden layers between the input layer and the output layer may be a representative artificial neural network implementing deep learning, which is a kind of machine learning technology.

한편 용어 '딥 러닝'은 용어 '심층 학습'과 혼용되어 사용될 수 있다.The term 'deep learning' may be used interchangeably with the term 'deep learning'.

인공 신경망은 훈련 데이터(training data)를 이용하여 학습(training)될 수 있다. 여기서 학습이란, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화(clustering)하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다. 인공 신경망의 파라미터의 대표적인 예시로써, 시냅스에 부여되는 가중치(weight)나 뉴런에 적용되는 편향(bias)을 들 수 있다.Artificial neural networks can be trained using training data. Here, learning means a process of determining the parameters of the artificial neural network using the training data in order to achieve the purpose of classifying, regression, clustering the input data, and the like. Can be. Representative examples of artificial neural network parameters include weights applied to synapses and biases applied to neurons.

훈련 데이터에 의하여 학습된 인공 신경망은, 입력 데이터를 입력 데이터가 가지는 패턴에 따라 분류하거나 군집화 할 수 있다.The artificial neural network learned by the training data may classify or cluster the input data according to a pattern of the input data.

한편 훈련 데이터를 이용하여 학습된 인공 신경망을, 본 명세서에서는 학습 모델(a trained model)이라 명칭 할 수 있다.Meanwhile, the artificial neural network trained using the training data may be referred to as a trained model in the present specification.

다음은 인공 신경망의 학습 방식에 대하여 설명한다.The following describes the learning method of artificial neural networks.

인공 신경망의 학습 방식은 크게, 지도 학습, 비지도 학습, 준지도 학습(Semi-Supervised Learning), 강화 학습(Reinforcement Learning)으로 분류될 수 있다.The learning methods of artificial neural networks can be broadly classified into supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning.

지도 학습은 훈련 데이터로부터 하나의 함수를 유추해내기 위한 기계 학습의 한 방법이다. Supervised learning is a method of machine learning to infer a function from training data.

그리고 이렇게 유추되는 함수 중, 연속 적인 값을 출력하는 것을 회귀분석(Regression)이라 하고, 입력 벡터의 클래스(class)를 추론하여 출력하는 것을 분류(Classification)라고 할 수 있다.Among the functions inferred, a continuous output is called regression, and a deduction and output of a class of an input vector can be called classification.

지도 학습에서는, 훈련 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시킨다.In supervised learning, an artificial neural network is trained with a label for training data.

여기서 레이블이란, 훈련 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다.Here, the label may mean a correct answer (or result value) that the artificial neural network should infer when the training data is input to the artificial neural network.

본 명세서에서는 훈련 데이터가 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과값)을 레이블 또는 레이블링 데이터(labeling data)이라 명칭 한다.In the present specification, when training data is input, the correct answer (or result value) that the artificial neural network should infer is called labeling or labeling data.

또한 본 명세서에서는, 인공 신경망의 학습을 위하여 훈련 데이터에 레이블을 설정하는 것을, 훈련 데이터에 레이블링 데이터를 레이블링(labeling) 한다고 명칭 한다.In addition, in the present specification, labeling the training data for training the artificial neural network is called labeling the training data.

이 경우 훈련 데이터와 훈련 데이터에 대응하는 레이블은 하나의 트레이닝 셋(training set)을 구성하고, 인공 신경망에는 트레이닝 셋의 형태로 입력될 수 있다.In this case, the training data and the labels corresponding to the training data constitute one training set, and the artificial neural network may be input in the form of a training set.

한편 훈련 데이터는 복수의 특징(feature)을 나타내고, 훈련 데이터에 레이블이 레이블링 된다는 것은 훈련 데이터가 나타내는 특징에 레이블이 달린다는 것을 의미할 수 있다. 이 경우 훈련 데이터는 입력 객체의 특징을 벡터 형태로 나타낼 수 있다.Meanwhile, the training data represents a plurality of features, and the labeling of the training data may mean that the training data is labeled. In this case, the training data may represent the characteristics of the input object in a vector form.

인공 신경망은 훈련 데이터와 레이블링 데이터를 이용하여, 훈련 데이터와 레이블링 데이터의 연관 관계에 대한 함수를 유추할 수 있다. 그리고, 인공 신경망에서 유추된 함수에 대한 평가를 통해 인공 신경망의 파라미터가 결정(최적화)될 수 있다.The artificial neural network may use the training data and the labeling data to infer a function of the correlation between the training data and the labeling data. In addition, parameters of the artificial neural network may be determined (optimized) by evaluating functions inferred from the artificial neural network.

비지도 학습은 기계 학습의 일종으로, 훈련 데이터에 대한 레이블이 주어지지 않는다.Unsupervised learning is a type of machine learning that is not labeled with training data.

구체적으로, 비지도 학습은, 훈련 데이터 및 훈련 데이터에 대응하는 레이블의 연관 관계 보다는, 훈련 데이터 자체에서 패턴을 찾아 분류하도록 인공 신경망을 학습시키는 학습 방법일 수 있다.Specifically, the unsupervised learning may be a learning method for training the artificial neural network to find and classify patterns in the training data itself, rather than the correlation between the training data and the labels corresponding to the training data.

비지도 학습의 예로는, 군집화 또는 독립 성분 분석(Independent Component Analysis)을 들 수 있다.Examples of unsupervised learning include clustering or independent component analysis.

본 명세서에서 용어 '군집화'는 용어 '클러스터링'과 혼용되어 사용될 수 있다.As used herein, the term clustering may be used interchangeably with the term clustering.

비지도 학습을 이용하는 인공 신경망의 일례로 생성적 적대 신경망(GAN: Generative Adversarial Network), 오토 인코더(AE: Autoencoder)를 들 수 있다.Examples of artificial neural networks using unsupervised learning include Generative Adversarial Network (GAN) and Autoencoder (AE).

생성적 적대 신경망이란, 생성기(generator)와 판별기(discriminator), 두 개의 서로 다른 인공지능이 경쟁하며 성능을 개선하는 기계 학습 방법이다.A generative antagonist network is a machine learning method in which two different artificial intelligences, a generator and a discriminator, compete and improve performance.

이 경우 생성기는 새로운 데이터를 창조하는 모형으로, 원본 데이터를 기반으로 새로운 데이터를 생성할 수 있다.In this case, the generator is a model for creating new data, and can generate new data based on the original data.

또한 판별기는 데이터의 패턴을 인식하는 모형으로, 입력된 데이터가 원본 데이터인지 또는 생성기에서 생성한 새로운 데이터인지 여부를 감별하는 역할을 수행할 수 있다.In addition, the discriminator is a model for recognizing a pattern of data, and may discriminate whether the input data is original data or new data generated by the generator.

그리고 생성기는 판별기를 속이지 못한 데이터를 입력 받아 학습하며, 판별기는 생성기로부터 속은 데이터를 입력 받아 학습할 수 있다. 이에 따라 생성기는 판별기를 최대한 잘 속이도록 진화할 수 있고, 판별기는 원본 데이터와 생성기에 의해 생성된 데이터를 잘 구분하도록 진화할 수 있다.The generator receives input data that does not deceive the discriminator, and the discriminator inputs and learns data deceived from the generator. The generator can thus evolve to fool the discriminator as best as possible, and the discriminator can evolve to distinguish between the original data and the data generated by the generator.

오토 인코더는 입력 자체를 출력으로 재현하는 것을 목표로 하는 신경망이다.The auto encoder is a neural network that aims to reproduce the input itself as an output.

오토 인코더는 입력층, 적어도 하나의 은닉층 및 출력층을 포함한다. The auto encoder includes an input layer, at least one hidden layer and an output layer.

이 경우 은닉 계층의 노드 수가 입력 계층의 노드 수보다 적으므로 데이터의 차원이 줄어들게 되며, 이에 따라 압축 또는 인코딩이 수행되게 된다.In this case, since the number of nodes in the hidden layer is smaller than the number of nodes in the input layer, the dimension of the data is reduced, and thus compression or encoding is performed.

또한 은닉 계층에서 출력한 데이터는 출력 계층으로 들어간다. 이 경우 출력 계층의 노드 수는 은닉 계층의 노드 수보다 많으므로, 데이터의 차원이 늘어나게 되며, 이에 따라 압축 해제 또는 디코딩이 수행되게 된다.Data output from the hidden layer also enters the output layer. In this case, since the number of nodes in the output layer is larger than the number of nodes in the hidden layer, the dimension of the data increases, and thus decompression or decoding is performed.

한편 오토 인코더는 학습을 통해 뉴런의 연결 강도를 조절함으로써 입력 데이터가 은닉층 데이터로 표현된다. 은닉층에서는 입력층보다 적은 수의 뉴런으로 정보를 표현하는데 입력 데이터를 출력으로 재현할 수 있다는 것은, 은닉층이 입력 데이터로부터 숨은 패턴을 발견하여 표현했다는 것을 의미할 수 있다.On the other hand, the auto encoder adjusts the connection strength of neurons through learning so that input data is represented as hidden layer data. In the hidden layer, information is represented by fewer neurons than the input layer, and the input data can be reproduced as an output, which may mean that the hidden layer has found and expressed a hidden pattern from the input data.

준지도 학습은 기계 학습의 일종으로, 레이블이 주어진 훈련 데이터와 레이블이 주어지지 않은 훈련 데이터를 모두 사용하는 학습 방법을 의미할 수 있다.Semi-supervised learning is a type of machine learning, which can mean a learning method that uses both labeled and unlabeled training data.

준지도 학습의 기법 중 하나로, 레이블이 주어지지 않은 훈련 데이터의 레이블을 추론한 후 추론된 라벨을 이용하여 학습을 수행하는 기법이 있으며, 이러한 기법은 레이블링에 소요되는 비용이 큰 경우에 유용하게 사용될 수 있다.One of the techniques of semi-supervised learning is to deduce the label of unlabeled training data and then perform the learning using the inferred label, which is useful when the labeling cost is high. Can be.

강화 학습은, 에이전트(Agent)가 매 순간 어떤 행동을 해야 좋을지 판정할 수 있는 환경이 주어진다면, 데이터 없이 경험으로 가장 좋을 길을 찾을 수 있다는 이론이다. Reinforcement learning is a theory that given the environment in which an agent can determine what to do at any given moment, it can find the best way through experience without data.

강화 학습은 주로 마르코프 결정 과정(MDP: Markov Decision Process)에 의하여 수행될 수 있다.Reinforcement learning can be performed primarily by the Markov Decision Process (MDP).

마르코프 결정 과정을 설명하면, 첫 번째로 에이전트가 다음 행동을 하기 위해 필요한 정보들이 구성된 환경이 주어지며, 두 번째로 그 환경에서 에이전트가 어떻게 행동할지 정의하고, 세 번째로 에이전트가 무엇을 잘하면 보상(reward)을 주고 무엇을 못하면 벌점(penalty)을 줄지 정의하며, 네 번째로 미래의 보상이 최고점에 이를 때까지 반복 경험하여 최적의 정책(policy)을 도출하게 된다.Describing the Markov decision process, we first give an environment with the information the agent needs to do the next action, secondly define how the agent behaves in that environment, and thirdly reward what the agent does well ( The reward is given, and if it fails, the penalty will be defined. Fourth, the future policy will be repeated until the maximum is reached to derive the optimal policy.

인공 신경망은 모델의 구성, 활성 함수(Activation Function), 손실 함수(Loss Function) 또는 비용 함수(Cost Function), 학습 알고리즘, 최적화 알고리즘 등에 의해 그 구조가 특정되며, 학습 전에 하이퍼파라미터(Hyperparameter)가 미리 설정되고, 이후에 학습을 통해 모델 파라미터(Model Parameter)가 설정되어 내용이 특정될 수 있다.The artificial neural network has its structure specified by model composition, activation function, loss function or cost function, learning algorithm, optimization algorithm, etc., and before the hyperparameter After setting, a model parameter may be set through learning, and contents may be specified.

예컨대, 인공 신경망의 구조를 결정하는 요소에는 은닉층의 개수, 각 은닉층에 포함된 은닉 노드의 개수, 입력 특징 벡터(Input Feature Vector), 대상 특징 벡터(Target Feature Vector) 등이 포함될 수 있다.For example, elements for determining the structure of the artificial neural network may include the number of hidden layers, the number of hidden nodes included in each hidden layer, an input feature vector, a target feature vector, and the like.

하이퍼파라미터는 모델 파라미터의 초기값 등과 같이 학습을 위하여 초기에 설정하여야 하는 여러 파라미터들을 포함한다. 그리고, 모델 파라미터는 학습을 통하여 결정하고자 하는 여러 파라미터들을 포함한다.The hyperparameter includes several parameters that must be set initially for learning, such as an initial value of a model parameter. In addition, the model parameter includes various parameters to be determined through learning.

예컨대, 하이퍼파라미터에는 노드 간 가중치 초기값, 노드 간 편향 초기값, 미니 배치(Mini-batch) 크기, 학습 반복 횟수, 학습률(Learning Rate) 등이 포함될 수 있다. 그리고, 모델 파라미터에는 노드 간 가중치, 노드 간 편향 등이 포함될 수 있다.For example, the hyperparameter may include an initial weight between nodes, an initial bias between nodes, a mini-batch size, a number of learning repetitions, a learning rate, and the like. The model parameter may include inter-node weights, inter-node deflections, and the like.

손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표(기준)로 이용될 수 있다. 인공 신경망에서 학습은 손실 함수를 줄이기 위하여 모델 파라미터들을 조작하는 과정을 의미하며, 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다.The loss function may be used as an index (reference) for determining an optimal model parameter in the learning process of an artificial neural network. In artificial neural networks, learning refers to the process of manipulating model parameters to reduce the loss function, and the purpose of learning can be seen as determining the model parameter that minimizes the loss function.

손실 함수는 주로 평균 제곱 오차(MSE: Mean Squared Error) 또는 교차 엔트로피 오차(CEE, Cross Entropy Error)를 사용할 수 있으며, 본 발명이 이에 한정되지는 않는다. The loss function may mainly use Mean Squared Error (MSE) or Cross Entropy Error (CEE), but the present invention is not limited thereto.

교차 엔트로피 오차는 정답 레이블이 원 핫 인코딩(one-hot encoding)된 경우에 사용될 수 있다. 원 핫 인코딩은 정답에 해당하는 뉴런에 대하여만 정답 레이블 값을 1로, 정답이 아닌 뉴런은 정답 레이블 값이 0으로 설정하는 인코딩 방법이다.The cross entropy error may be used when the answer label is one-hot encoded. One hot encoding is an encoding method in which the correct label value is set to 1 only for neurons corresponding to the correct answer and the correct label value is set to 0 for non-correct neurons.

기계 학습 또는 딥 러닝에서는 손실 함수를 최소화하기 위하여 학습 최적화 알고리즘을 이용할 수 있으며, 학습 최적화 알고리즘에는 경사 하강법(GD: Gradient Descent), 확률적 경사 하강법(SGD: Stochastic Gradient Descent), 모멘텀(Momentum), NAG(Nesterov Accelerate Gradient), Adagrad, AdaDelta, RMSProp, Adam, Nadam 등이 있다.In machine learning or deep learning, learning optimization algorithms can be used to minimize the loss function, and learning optimization algorithms include Gradient Descent (GD), Stochastic Gradient Descent (SGD), and Momentum. ), NAG (Nesterov Accelerate Gradient), Adagrad, AdaDelta, RMSProp, Adam, Nadam.

경사 하강법은 현재 상태에서 손실 함수의 기울기를 고려하여 손실 함수값을 줄이는 방향으로 모델 파라미터를 조정하는 기법이다. Gradient descent is a technique to adjust the model parameters in the direction of decreasing the loss function in consideration of the slope of the loss function in the current state.

모델 파라미터를 조정하는 방향은 스텝(step) 방향, 조정하는 크기는 스텝 사이즈(size)라고 칭한다.The direction for adjusting the model parameters is called a step direction, and the size for adjusting is called a step size.

이때, 스텝 사이즈는 학습률을 의미할 수 있다.In this case, the step size may mean a learning rate.

경사 하강법은 손실 함수를 각 모델 파라미터들로 편미분하여 기울기를 획득하고, 모델 파라미터들을 획득한 기울기 방향으로 학습률만큼 변경하여 갱신할 수 있다.Gradient descent method may obtain a slope by differentiating the loss function to each model parameters, and update by changing the learning parameters by the learning rate in the obtained gradient direction.

확률적 경사 하강법은 학습 데이터를 미니 배치로 나누고, 각 미니 배치마다 경사 하강법을 수행하여 경사 하강의 빈도를 높인 기법이다.Probabilistic gradient descent is a technique that divides the training data into mini batches and increases the frequency of gradient descent by performing gradient descent for each mini batch.

Adagrad, AdaDelta 및 RMSProp는 SGD에서 스텝 사이즈를 조절하여 최적화 정확도를 높이는 기법이다. SGD에서 모멘텀 및 NAG는 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다. Adam은 모멘텀과 RMSProp를 조합하여 스텝 사이즈와 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다. Nadam은 NAG와 RMSProp를 조합하여 스텝 사이즈와 스텝 방향을 조절하여 최적화 정확도를 높이는 기법이다.Adagrad, AdaDelta, and RMSProp are techniques for optimizing accuracy by adjusting the step size in SGD. In SGD, momentum and NAG are techniques that improve optimization accuracy by adjusting the step direction. Adam uses a combination of momentum and RMSProp to improve optimization accuracy by adjusting step size and step direction. Nadam is a combination of NAG and RMSProp that improves optimization accuracy by adjusting the step size and step direction.

인공 신경망의 학습 속도와 정확도는 인공 신경망의 구조와 학습 최적화 알고리즘의 종류뿐만 아니라, 하이퍼파라미터에 크게 좌우되는 특징이 있다. 따라서, 좋은 학습 모델을 획득하기 위하여는 적당한 인공 신경망의 구조와 학습 알고리즘을 결정하는 것뿐만 아니라, 적당한 하이퍼파라미터를 설정하는 것이 중요하다.The learning speed and accuracy of the artificial neural network are highly dependent on the hyperparameter as well as the structure of the artificial neural network and the type of learning optimization algorithm. Therefore, in order to obtain a good learning model, it is important not only to determine the structure of the artificial neural network and the learning algorithm, but also to set the proper hyperparameters.

통상적으로 하이퍼파라미터는 실험적으로 다양한 값으로 설정해가며 인공 신경망을 학습시켜보고, 학습 결과 안정적인 학습 속도와 정확도를 제공하는 최적의 값으로 설정한다.In general, hyperparameters are experimentally set to various values, and the artificial neural network is trained, and the optimal values are provided to provide stable learning speed and accuracy.

도 5a는 본 발명의 일 실시예에 따른 터치 스크린의 오류 터치를 판정하기 위한 인공지능 모델의 지도학습을 위한 학습용 데이터이다.5A is learning data for supervised learning of an artificial intelligence model for determining an error touch of a touch screen according to an embodiment of the present invention.

도 5a의 학습용 데이터는 터치 입력 검출부(132)에서 검출된 터치 입력의 이전에 입력된 터치 입력과의 시간 간격(Interval Time), 터치 입력의 터치 면적(Area), 및 온도(Temperature)의 데이터와 터치타입을 포함한다. 터치 타입은 실험자가 의도하여 정해질 수 있으며, 비전 센서를 이용하여 실험자가 터치스크린에 터치하는 부분을 비전 인식으로 구분하여 자동으로 레이블링할 수 있다. 터치 입력의 상태들인 도 5a의 학습용 데이터는 터치 타입인, 정상터치, 모호터치, 고스트터치에 관해 수집된 89개의 데이터 세트를 포함하지만, 이에 국한 되지 않으며, 훨씬 더 많은 학습용 데이터를 수집하여 정상/오류터치분류엔진을 학습시킬 수 있다. 또한, 터치 결과값은 정상터치 및 에러 터치의 2개의 터치 타입으로 분류될 수도 있다. 본 발명의 다른 실시예에서, 터치 간격, 터치 거리, 및 터치시 온도의 데이터는 각각 터치 입력 검출부(132)을 통해 미리 결정된 기준 터치 간격(α:1ms), 기준 터치 면적(Φ:1cm2), 및 기준 터치시 온도(ε:1℃)와 상대적인 값으로 표시된 데이터들일 수 있다. The training data of FIG. 5A includes data of a time interval (Interval Time), a touch area (Area), and a temperature (Temperature) of a touch input previously inputted by the touch input detected by the touch input detector 132. It includes a touch type. The touch type may be determined by the experimenter, and the vision sensor may automatically label the part touched by the experimenter by vision recognition. The training data of FIG. 5A, which are the states of the touch input, includes 89 data sets collected for the touch type, normal touch, obscure touch, and ghost touch, but is not limited to this. You can train the error touch classification engine. Also, the touch result value may be classified into two touch types, a normal touch and an error touch. In another embodiment of the present invention, the data of the touch interval, the touch distance, and the temperature at the touch are respectively determined by the touch input detection unit 132 in predetermined reference touch interval (α: 1 ms) and reference touch area (Φ: 1 cm 2 ). , And data expressed as a value relative to a temperature (ε: 1 ° C.) at the reference touch.

학습데이터의 수집 및 저장은 서버(300)에서 비디오 및 이미지를 취합하여 저장할 수 있다. 정상/오류터치분류엔진 학습용 데이터는 정확한 학습결과를 얻기 위해 데이터 전처리 및 데이터 증강 과정을 거칠 수 있다. Collection and storage of learning data may collect and store videos and images in the server 300. Normal / error touch classification engine training data can be subjected to data preprocessing and data augmentation process to obtain accurate learning results.

도 5b는 본 발명의 일 실시예에 따른 인공지능 모델의 지도학습을 위한 테스트용 데이터이다. 5B is test data for supervised learning of an artificial intelligence model according to an embodiment of the present invention.

테스트용 데이터는 학습용 데이터와 중복되지 않도록 테스트용 데이터 중 무작위로 추출하여 학습용 데이터와 별도로 구성한다.터치 입력에 도 5a의 테스트용 데이터는 터치 타입인, 정상터치, 모호터치, 고스트터치에 관해 수집된 46개의 데이터 세트를 포함하지만, 이에 국한되지 않으며, 학습용 데이터의 크기에 따라 더 많은 테스트용 데이터를 수집하여 정상/오류터치분류엔진을 검증하는데 사용할 수 있다. 학습용 데이터 및 테스트용 데이터의 비율은 데이터 양에 따라 다를 수 있으며, 일반적으로 7:3의 비율로 정할 수 있다. 학습용 데이터의 수집 및 저장은 터치스크린를 탑재한 전자장치의 제조 과정에서 미리 실행될 수 있다. The test data is randomly extracted from the test data so as not to overlap with the training data and configured separately from the training data. The test data of FIG. 5A at the touch input is collected for normal touch, obscure touch, and ghost touch. Including but not limited to 46 data sets, more test data can be collected and used to verify normal / error touch classification engines depending on the size of the training data. The ratio of the training data and the test data may vary depending on the amount of data, and can be generally defined as a ratio of 7: 3. Collection and storage of the training data may be performed in advance in the manufacturing process of the electronic device equipped with the touch screen.

도 5c는 도 5a의 학습용 데이터에 따른 결정트리(Decision Tree)를 생성하기 위해 학습용 데이터를 CART 알고리즘에 따라 출력한 결과이다. FIG. 5C illustrates a result of outputting training data according to a CART algorithm to generate a decision tree according to the training data of FIG. 5A.

기계학습에서 이용되는 결정 트리는 의사 결정 규칙과 그에 대한 결과들을 트리 구조로 도식화한 의사 결정 지원 도구의 일종로서, 분류(classification)와 회귀(regression) 문제에 널리 사용되는 모델이다. 기본적으로 결정 트리는 최종적인 결정에 도달하기 위하여 예/아니오의 이진 분류에 대한 질문을 이어나가면서 학습한다. CART(Classification And Regression Tree) 알고리즘은 지니 지수(Gini Index) 또는 분산의 감소량을 사용하여 나무의 가지를 이진(Binary)으로 분리한다. CART 기법은 전체 데이터셋을 갖고 시작하여 반복해서 두 개의 자식 노드(Child Node)를 생성하기 위해, 모든 예측 변수(Predictor variables)를 사용하여 데이터 셋의 부분집합을 쪼갬으로써 의사결정트리를 생성한다.The decision tree used in machine learning is a decision support tool that maps decision rules and their results into a tree structure. It is a widely used model for classification and regression problems. Basically, the decision tree learns by continuing the question of yes / no binary classification to arrive at the final decision. The Classification and Regression Tree (CART) algorithm splits the branches of a tree into binaries using either the Gini Index or the reduction in variance. The CART technique creates a decision tree by splitting a subset of the data set using all the predictor variables, starting with the entire data set and repeatedly creating two child nodes.

도 5c는 지니 불순도(Gini Impurity )를 기준으로 CART 알고리즘을 통해 분류한 결과이다. 도 5c는 루트 노드가 면적≤3.935이며, 터미널 노드가 면적≤1.065, 및 온도≤29.8인 결과를 도시한다. FIG. 5C illustrates a result of classifying through a CART algorithm based on Gini Impurity. Fig. 5C shows the result of the root node having an area ≤ 3.535, the terminal node having an area ≤ 1.065, and the temperature ≤ 29.8.

도 5d는 도 5a의 학습용 데이터를 입력하여 도 5c의 CART 알고리즘을 적용하고 출력한 결과에 따라 작성된 결정트리이다. FIG. 5D is a decision tree prepared according to a result of applying and outputting the training data of FIG. 5A by applying the CART algorithm of FIG. 5C.

도 5c의 의사결정트리는 노드 깊이가 깊기 때문에, 오버피팅의 위험이 크다.도 5d는 오버피팅의 위험을 줄이기 위해, 루프노드로부터 3번째 로드로 가지치기(pruning)하여 온도 노드를 제거한 결과이다. 도 5d는 면적과 시간 간격으로 고스트 터치, 모호 터치, 정상 터치를 분류하였다. 본 발명의 다른 실시예에서, 고스트 터치와 모호 터치는 오류 터치에 속하므로, 터치 타입을 정상 터치 및 오류 터치로 분류할 수 있다. Since the decision tree of FIG. 5C has a deep node depth, the risk of overfitting is high. FIG. 5D is a result of removing a temperature node by pruning from a loop node to a third load in order to reduce the risk of overfitting. 5D classifies ghost touch, ambiguous touch, and normal touch by area and time interval. In another embodiment of the present invention, since the ghost touch and the ambiguity touch belong to the error touch, the touch type may be classified into a normal touch and an error touch.

도 5d의 결정트리 결과에 따르면, 3.935(cm2)<면적이거나, 또는 시간 간격≤206.85(cm2)이면 고스트 터치이고, 206.85(ms)<시간 간격이며 면적≤2.255(cm2)이면 모호 터치이고, 그리고 206.85(ms)<시간 간격이며 2.255(cm2)≤ 면적 ≤3.935(cm2)이면 정상 터치이다. 이러한 기계학습 알고리즘에 따라, 오류터치 판정 장치(10)의 터치타입 분류부(136)는 터치 타입을 분류하여 판정할 수 있다. According to the decision tree result of FIG. 5D, if 3.935 (cm 2 ) <area or time interval ≤206.85 (cm 2 ), it is a ghost touch, and if 206.85 (ms) <time interval and area≤2.255 (cm 2 ) And 206.85 (ms) < time interval and 2.255 (cm 2 ) &lt; area &lt; = 3.935 (cm 2 ). According to such a machine learning algorithm, the touch type classification unit 136 of the error touch determination apparatus 10 may classify and determine the touch types.

도 5d는 터치 입력의 면적 및 터치 시간 간격의 결정 트리 구조만을 도시하지만, 터치 입력의 면적, 시간 간격이외에, 터치 강도, 터치 거리, 및 터치시 온도를 정상/오류터치분류엔진의 입력으로 학습시킬 경우, 이들에 대한 학습용 데이터를 수집하여 도 5c의 CART 알고리즘에 의해 결정트리 분석 결과를 얻고, 의사결정트리를 얻을 수 있다. Although FIG. 5D shows only the decision tree structure of the area of the touch input and the touch time interval, in addition to the area and time interval of the touch input, the touch intensity, the touch distance, and the temperature at the touch can be learned by the input of the normal / error touch classification engine. In this case, data for learning may be collected to obtain a decision tree analysis result by the CART algorithm of FIG. 5C, and a decision tree may be obtained.

도 5e는 도 5a의 학습용 데이터를 학습시키기 위한 심층 신경망 구조와 도 5b의 테스트용 데이터로 검증한 학습 정확도 및 손실 함수의 그래프이다. FIG. 5E is a graph of a deep neural network structure for learning the training data of FIG. 5A and a learning accuracy and loss function verified with the test data of FIG. 5B.

도 5e는 도 5a의 학습용 데이터를 정상/오류터치분류엔진의 심층 신경망 구조를 학습시키고, 5b의 테스트용 데이터로 검증한 결과이다. 도 5e는 터치시간간격 및 터치 면적인 2개의 입력 레이어, 3개의 히든 레이어[10, 20, 10], 그리고 정상 터치, 모호 터치 및 고스트 터치인 3개의 출력 레이어로 구성된 인공신경망을 학습시킨 결과, 학습 정확도(Train Acc)가 0.98이고, 검증 정확도(val acc)가 0.87인 것을 도시한다. 95% 이상의 검증 정확도(accuracy)를 얻기 위해, 피처 중요도 평가에 이용되는 F-score 프로그램 등을 이용하여, 오류터치 판정을 위해 검출된 터치 입력의 학습용 데이터를 인공지능 모델에 학습시키기 전에 데이터 전처리할 수 있다. FIG. 5E shows the learning data of FIG. 5A learning the deep neural network structure of the normal / error touch classification engine and verifying it with the test data of 5B. FIG. 5E shows a result of learning an artificial neural network consisting of two input layers of touch time interval and touch area, three hidden layers [10, 20, 10], and three output layers of normal touch, ambiguous touch, and ghost touch. It shows that the training accuracy (Train Acc) is 0.98 and the verification accuracy (val acc) is 0.87. In order to obtain 95% or more verification accuracy, the F-score program, which is used to evaluate the importance of features, can be used to preprocess the data before the AI model trains the training data of the detected touch input for error touch determination. Can be.

도 6은 본 발명의 일 실시예에 따른 감압식 터치 스크린의 오류 터치를 판정하기 위해 작성된 결정트리이다. 6 is a decision tree prepared for determining an error touch of a pressure sensitive touch screen according to an embodiment of the present invention.

도 6은 감압식 터치 스크린의 터치 입력의 면적, 시간 간격 및 터치 강도 및 터치 입력의 터치타입을 학습용 데이터로 하여 정상/오류터치분류엔진을 학습시키기 위해, 이들에 대한 학습용 데이터를 수집하여, 도 5c의 CART 알고리즘과 유사하게 결정트리 구조를 분석하고 얻은 결정트리이다. FIG. 6 collects data for learning about the normal / error touch classification engine using the area, time interval and touch intensity of the touch input of the pressure-sensitive touch screen and the touch type of the touch input as learning data, and FIG. 5C. Similar to the CART algorithm, the decision tree is analyzed and obtained.

도 6의 결정트리에 따르면, 시간간격≤209.35이거나, 209.35<시간간격≤263.0이며 강도≤55.7인 경우 고스트 터치이고, 263.0<시간간격이며 강도≤55.7, 또는 209.35<시간간격이며 55.7<강도이며 면적≤1.32(cm2)인 경우 모호 터치이고, 그리고 209.35<시간간격이며 55.7<강도이며 1.32(cm2)<면적인 경우 정상 터치로 판정된다. 이러한 기계학습 알고리즘에 따라, 오류터치 판정 장치(10)의 터치타입 분류부(136)는 터치 타입을 분류하여 판정할 수 있다. 타치 타입을 정상터치 및 오류 터치의 2분류로 학습된 인공지능 모델의 경우 도 6의 결정트리에서 고스트 터치 및 모호터치 모두를 오류 터치로 간주하여 정상 터치 및 오류 터치를 분류할 수 있다.According to the decision tree of FIG. 6, when the time interval ≤ 209.35 or 209.35 <time interval ≤ 263.0 and the intensity ≤ 55.7, the ghost touch, 263.0 <time interval, the intensity ≤ 55.7, or 209.35 <time interval, 55.7 <the intensity and the area If ≦ 1.32 (cm 2 ), it is an ambiguous touch, and if it is 209.35 <time interval, 55.7 <intensity, and 1.32 (cm 2 ) <area, it is determined as normal touch. According to such a machine learning algorithm, the touch type classification unit 136 of the error touch determination apparatus 10 may classify and determine the touch types. In the case of the AI model trained as the touch type as the normal touch and the error touch, the normal touch and the error touch can be classified by considering both the ghost touch and the ambigu touch as the error touch in the decision tree of FIG. 6.

도 7a는 본 발명의 일 실시예에 따른 강화학습 기반 신경망모델의 개념도이다. 7A is a conceptual diagram of a reinforcement learning-based neural network model according to an embodiment of the present invention.

도 5a 내지 도 6에서 설명한 바와 같이, 오류 터치를 판정하기 위한 분류 지도학습은 정상/오류터치분류엔진을 학습시키기 위해 터치 입력의 상태에 관한 각 종류의 레이블링된 데이터를 필요로 한다. As described with reference to FIGS. 5A through 6, classification supervised learning for determining an error touch requires each type of labeled data regarding the state of the touch input in order to learn a normal / error touch classification engine.

또한, 학습 데이터는 실험자가 직접 터치 후, 입력된 터치 입력 위치를 확인하여 그것이 어떤 종류의 터치 타입(Ghost, Obscure, Normal)이었는지 수작업으로 라벨링하거나, 카메라와 같은 비전 센서를 설치하여 입력된 터치 입력 위치를 확인하여야 한다. In addition, the training data can be manually labeled by the experimenter after confirming the touch input location and manually identifying what kind of touch type (Ghost, Obscure, or Normal), or by installing a vision sensor such as a camera. You must check the location.

인접한 두 개 이상의 터치가 동시에 입력되거나, 이물질 등에 의해 신호가 약하게 전달된 모호 터치(Obscure touch)의 경우, 사용자가 의도한 터치를 정확히 분류하기 위해서는 별도의 학습이 추가로 필요하다. In the case of an obscure touch in which two or more adjacent touches are simultaneously input or a signal is weakly transmitted by a foreign material, a separate learning is additionally required to accurately classify the intended touch.

반면, 강화학습을 통한 학습은 과거의 결과가 충분하지 않은 상태에서 의사결정(Action)에 의한 그 결과(reward)를 근거로 미래의 가치(Value)를 극대화하는 의사결정을 스스로 학습하는 것으로, 학습용 데이터를 위한 터치 타입의 레이블링을 요구하지 않는다.On the other hand, learning through reinforcement learning is self-learning of decision-making that maximizes future value based on the result of action when there is not enough past result. It does not require touch type labeling for the data.

고스트 터치와 모호 터치의 발생 조건을 미리 예측하여 모두 오류터치 판정 알고리즘으로 프로그래밍하는 것은 불가능하다. 전기 레인지 및 화구 등의 경우 열에 의해, 그리고 식기 세척기 및 냉장고 등의 경우 물에 의해 터치 스크린이 영향을 받기 때문에, 어떠한 조건에서 고스트 터치 및 모호 터치가 발생하는지 명백한 룰(explicit rule) 베이스로 프로그래밍할 수 없다. 하지만 지속적인 학습을 통해 고스트 터치 및 모호 터치의 오류 터치를 맞추었다면 보상(reward)을 주어 오류터치 판정을 위한 강화학습이 가능할 수 있다.It is impossible to program the error touch determination algorithm by predicting the occurrence condition of the ghost touch and the ambiguity touch in advance. Since the touch screen is affected by heat in electric ranges and craters and by water in dishwashers and refrigerators, it is possible to program an explicit rule base under which conditions ghost touches and ambiguous touches occur. Can't. However, if the error touches of the ghost touch and the ambiguity touch are matched through continuous learning, reinforcement learning for error touch determination may be possible by giving a reward.

오류터치 판정을 위한 강화학습은 일정 시간 안에 입력되는 터치 입력의 특정 시퀀스를 가정하고 (고스트 터치 상황을 가정한 무입력 포함) 터치 입력의 실제 설정값과 해당 시퀀스가 목표하는 의도된 터치 입력의 목표 설정값을 비교하여 보상(reward) 설정하고, 목표 설정값 & 터치 입력 후 실제 설정값 차이에 비례해 패널티(penalty)를 부여하여 학습시킬 수 있다. Reinforcement learning for error touch determination assumes a specific sequence of touch inputs inputted within a certain time period (including no input assuming a ghost touch situation), and the actual set values of the touch inputs and the intended touch input targets that the sequence targets. Comparing the setting value and setting the reward, and after learning the target setting value and touch input can be given a penalty in proportion to the difference between the actual setting value and learning.

본 발명의 일 실시예에 따른 오류터치를 판정하기 위한 강화학습 기반 신경망 모델은 터치 입력이 정상터치인지 오류 터치인지의 터치 타입을 판정하는 에이전트(Agent)가 터치 입력의 시간 간격, 터치 입력의 터치 면적, 터치 입력의 터치 강도, 또는 터치 입력의 온도 중 적어도 2개가 주어진 상태(state)에 대해 터치 타입을 결정하는 행동(Action)을 수행하고, 그리고 에이전트가 결정한 터치 타입이 의도했던 터치 타입이면 에이전트가 보상(Reward)을 받도록 구성된다. 에이전트의 상기 주어진 상태 및 상기 행동(입력)을 취득하여 상기 보상 및 다음 상태(출력)를 반환하는 터치 타입 판정 환경(environment)에서, 에이전트는 최대 보상을 받도록 상기 주어진 상태에서 행동을 수행하고 오류 터치 판정 성능을 업데이트하도록 구성될 수 있다. 환경은 에이전트를 제외한 나머지로서, 환경은 에이전트의 현재 상태 및 행동(입력)을 취하여 보상과 다음 상태(출력)를 반환한다. In the reinforcement learning-based neural network model for determining an error touch according to an embodiment of the present invention, an agent for determining a touch type of whether the touch input is a normal touch or an error touch has a time interval of the touch input and a touch of the touch input. At least two of the area, the touch intensity of the touch input, or the temperature of the touch input performs an action of determining the touch type for a given state, and if the touch type determined by the agent is the intended touch type, the agent Is configured to receive a reward. In a touch type determination environment that obtains the given state and the action (input) of an agent and returns the reward and the next state (output), an agent performs an action and gives an error touch in the given state to receive the maximum reward. It can be configured to update the decision performance. The environment is the exception of the agent, which takes the agent's current state and action (input) and returns the reward and the next state (output).

오류터치 판정을 위한 강화학습의 실습에서 사용하는 환경은 OpenAI Gym의 gym 패키지 환경을 이용할 수 있다. OpenAI Gym은 강화학습을 도와주고, 좀 더 일반적인 상황에서 강화학습을 할 수 있게 해주는 라이브러리이다. 이밖에 TensorFlow와 같은 오류터치 판정을 위한 인공신경망 기반 강화학습에 적합한 다른 라이브러리들이 사용될 수 있다. The environment used in the reinforcement learning practice for error touch determination can use the gym package environment of the OpenAI Gym. OpenAI Gym is a library that helps with reinforcement learning and allows for reinforcement learning in more general situations. In addition, other libraries suitable for artificial neural network-based reinforcement learning for error touch determination such as TensorFlow can be used.

도 7b는 본 발명의 일 실시 에에 따라 강화학습 기반 신경망모델을 학습시키는 예시도이다. Figure 7b is an exemplary diagram for learning reinforcement learning-based neural network model according to an embodiment of the present invention.

서버(300) 또는 NPU칩을 탑재한 전자장치의 시뮬레이터에서 오류터치 판정을 위한 강화학습 기반 신경망모델이 학습될 수 있다. 강화학습 기반 신경망모델의 오류터치 판정 에이전트(210a)는 전기 레인지로부터 터치 입력의 터치시간 간격, 터치 면적, 터치 강도 또는 터치 온도 중 적어도 2개(230)가 주어진 상태에서 정상 터치, 오류터치(고스트 터치 또는 모호터치)(240)를 판정(decide)하고, 오류터치 판정 환경(220)으로부터 보상 및 다음 상태(state)를 반환받는다. The reinforcement learning-based neural network model for error touch determination may be learned in a simulator of an electronic device equipped with the server 300 or the NPU chip. The error touch determination agent 210a of the reinforcement learning-based neural network model has a normal touch and error touch (ghost) in a state in which at least two 230 of a touch time interval, a touch area, a touch intensity, or a touch temperature of a touch input are given from an electric range. Touch or ambiguous touch) 240, and a reward and the next state are returned from the error touch determination environment 220.

전기 레인지와 같은 HMI(Human Machine Interface)는 연속 터치가 이루어지는 터치 시퀀스로 입력하는 경우가 많기 때문에, 오류터치를 판정하기 위한 강화학습 기반 신경망 모델이 시뮬레이션 시나리오들을 작성하여 보상이 최대가 되는 보상 정책에 의해 학습되도록 구성될 수 있다. Human machine interfaces (HMIs), such as electric ranges, are often entered as touch sequences with continuous touches, so reinforcement learning-based neural network models to determine error touches are created in simulation scenarios to compensate for the maximum compensation. Can be configured to be learned.

표 1은 본 발명의 실시예에 따라, 오류터치 판정 강화학습을 위한 시뮬레이션 시나리오들 및 각 시나리오에 따라 각 상태에서 오류터치 판정 에이전트가 행동한 결과를 예시한다. Table 1 illustrates the simulation scenarios for error touch determination reinforcement learning and the result of the error touch determination agent in each state according to each scenario according to an embodiment of the present invention.

에피소드 1Episode 1 에피소드 2Episode 2 에피소드 3Episode 3 기기 현재 설정값Instrument current settings 1번 화구 ON (온도 level 4, timer OFF), 2번, 3번 화구 OFFCrater 1 ON (temperature level 4, timer OFF), Crater 2, 3 OFF 1번 화구 ON (온도 level 2, timer 10분), 2, 3번 화구 OFFCrater 1 ON (temperature level 2, timer 10 minutes), Crater 2 and 3 OFF 1번 화구 ON (온도 level 2, timer 10분), 2, 3번 화구 OFFCrater 1 ON (temperature level 2, timer 10 minutes), Crater 2 and 3 OFF 터치 입력의 목표값 Goal value for touch input 1번 화구 ON(온도 level 6, timer 20분), 2번 화구 ON(온도 level 3, timer 10분), 3번 화구 OFFCrater 1 (temperature level 6, timer 20 minutes), Crater 2 (temperature level 3, timer 10 minutes), crater 3 OFF 1번 화구 ON(온도 level 2, timer 10분), 2번 화구 ON, 3번 화구 OFFCrater 1 ON (temperature level 2, timer 10 minutes), Crater 2 ON, Crater 3 OFF 1번 화구 ON (온도 level 2, timer 10분), 2, 3번 화구 OFFCrater 1 ON (temperature level 2, timer 10 minutes), Crater 2 and 3 OFF 터치입력 시퀀스 시나리오Touch input sequence scenario 시나라오 1(복수 시퀀스): 1번 화구 선택 (N) → 온도 level 6 (N)→ 타이머 설정 20분 (N)→ 2번 화구 선택 (N)→ 온도 level 3 (N)→타이머 설정 10분 (N)Scenario 1 (Multiple Sequences): Select No.1 Crater (N) → Temperature Level 6 (N) → Set Timer 20 minutes (N) → Select No.2 Crater (N) → Temperature Level 3 (N) → Timer Setting 10 minutes (N) 시나리오 2(단일 시퀀스):2번 화구 선택Scenario 2 (single sequence): Select crater 2 시나리오 3 (무입력, 고스트 터치 환경): 무입력 (고스트 터치가 발생 할 수 있는 환경 조성, 예 도 5a의 고스트 데이터)Scenario 3 (No input, ghost touch environment): No input (environment creation where ghost touch can occur, eg ghost data in FIG. 5A) State (Action) 갯수State (Action) Number 6개[1번 화구 선택 (N, G, O) → 온도 level 6 (N, G, O)→ 타이머 설정 20분 (N, G, O)→ 2번 화구 선택 (N, G, O)→ 온도 level 3 (N, G, O)→타이머 설정 10분 (N, G, O)]6 [Choose No. 1 (N, G, O) → Temperature level 6 (N, G, O) → Timer setting 20 minutes (N, G, O) → No. 2 crater selection (N, G, O) → Temperature level 3 (N, G, O) → Timer setting 10 minutes (N, G, O)] 1개[2번 화구 선택(N, G, O)]1 [Select Crater 2 (N, G, O)] 1개[무입력 (N, G, O)]1 unit [No input (N, G, O)] 에이전트 ActionAgent Action 1번 화구 선택 (N) → 온도 level 6 (N)→ 타이머 설정 20분 (N)→ 2번 화구 선택 (N)→ 온도 level 3 (N)→타이머 설정 10분 (N)Crater 1 (N) → Temperature level 6 (N) → Timer setting 20 minutes (N) → Crater 2 (N) → Temperature level 3 (N) → Timer setting 10 minutes (N) 1번 화구 선택 (N) → 온도 level 6 (N)→ 타이머 설정 20분 (N)→ 2번 화구 선택 (N)→ 온도 level 3 ( O )→타이머 설정 10분 (N)Crater 1 (N) → Temperature level 6 (N) → Timer setting 20 minutes (N) → Crater 2 (N) → Temperature level 3 ( O ) → Timer setting 10 minutes (N) 2번 화구 선택 (N)Crater No. 2 (N) 2번 화구 선택 ( O ) 또는 2번 화구 선택 ( G )Select crater 2 ( O ) or select crater 2 ( G ) 무입력(G)No input (G) 무입력( O ) 또는 무입력( N )No input ( O ) or no input ( N ) RewardReward 성공
(+1)
success
(+1)
패널티
(-100)
penalty
(-100)
성공
(+1)
success
(+1)
패널티(-100)Penalty (-100) 성공
(+1)
success
(+1)
패널티
(-100)
penalty
(-100)

[N: 정상(Normal) 터치, G: 고스트(Ghost) 터치, O: 모호(Obscure) 터치][N: Normal touch, G: Ghost touch, O: Obscure touch]

표 1에서 '기기 현재 설정값'은 오류터치 판정 강화학습모델을 시뮬레이션(실습)시킬 때 현재 기기에 설정되어 있는 기기 설정값이다. 예를 들어, 에피소드 1은 전기 레인지의 1번 화구가 온도 level 4, timer OFF 상태로 ON되어 있고, 2번, 3번 화구는 OFF된 상태에서 시뮬레이션을 시작하는 것이다. In Table 1, 'device current settings' is the device settings currently set in the device when simulating the error touch reinforcement learning model. For example, in episode 1, the crater 1 of the electric range is turned on with the temperature level 4 and the timer OFF, and the craters 2 and 3 start to simulate.

표 1에서 '터치 입력의 목표값'은 시뮬레이터가 의도한 전기 레인지에서의 터치 시퀀스의 목표값이다. 여기서 시뮬레이터는 실습자이거나 실습을 위해 프로그래밍된 프로그램일 수 있다. 따라서, 시뮬레이터는 에피소드 1의 현재 설정값[1번 화구 ON (온도 level 4, timer OFF), 2번, 3번 화구 OFF]에서 목표 설정값 [1번 화구 ON(온도 level 6, timer 20분), 2번 화구 ON(온도 level 3, timer 10분), 3번 화구 OFF]으로 상태를 변경하기 위해 터치 입력 시나리오 1 대로 오류터치 판정 에이전트를 시뮬레이션하여 학습시킬 것이다. 즉, 시뮬레이터는 1번 화구를 선택하여 온도를 level 4에서 level 6으로 조정하고, 타이머를 20분으로 조정하며, 2번 화구를 선택하여 온도를 level 3으로 조정하고, 타이머를 10분으로 조정할 것이다. 이때 오류터치 판정 에이전트는 시나라오 1의 6개 state를 거치면서 각 상태마다, 터치 입력(1번 화구선택 터치입력)의 터치 시간 간격, 터치 면적, 터치 강도, 터치 온도, 또는 터치 거리 중 적어도 2개를 기초로 정상터치인지, 고스트터치인지, 모호터치인지 분류할 수 있다. 예를 들어 1번 화구선택 터치입력의 시간 간격 295.2, 면적 2.6 (도 5a의 데이터 23번)일 때 오류터치 판정 에이전트는 정상터치, 고스트터치, 및 모호터치 중 하나의 터치 타입을 선택하는 행동을 할 수 있다. 만약 에이전트가 N을 선택한다면 터치입력의 목표 설정값과 터치 설정값이 일치하게 되므로 보상(+1)을 받을 것이고, 그렇지 않고, G또는 O를 선택하였다면 패널티(-100)을 받을 것이다. In Table 1, the 'target value of the touch input' is the target value of the touch sequence in the electric range intended by the simulator. Here, the simulator may be a practitioner or a program programmed for practice. Therefore, the simulator is set to the target setting value [1 crater ON (temperature level 6, timer 20 minutes) from the current setting value [1 crater ON (temperature level 4, timer OFF), 2, 3 crater OFF] of episode 1. In order to change the state to crater 2 (temperature level 3, timer 10 minutes) and crater 3 [OFF], we will simulate and train the error touch determination agent according to the touch input scenario 1. That is, the simulator will select crater 1 to adjust the temperature from level 4 to level 6, adjust the timer to 20 minutes, select crater 2 to adjust the temperature to level 3, and adjust the timer to 10 minutes. . At this time, the error touch determination agent passes at least six of the touch time interval, touch area, touch intensity, touch temperature, or touch distance for each state while passing through six states of the scenario 1. Based on the dog, it can be classified as normal touch, ghost touch, or ambiguous touch. For example, when the time interval 295.2 and area 2.6 (data 23 in FIG. 5A) of the first crater selection touch input are performed, the error touch determination agent selects one of the touch types such as normal touch, ghost touch, and ambigu touch. can do. If the agent selects N, the target setting value of the touch input and the touch setting value are matched, and thus rewards (+1). Otherwise, if the agent selects G or O, the agent receives a penalty (-100).

오류터치 판정 강화학습에서 action (정상터치, 고스트터치, 모호터치)을 선택하는 것은 random noise 방식, 또는 E-Greedy 방식을 사용할 수 있다. random noise 방식, 또는 E-Greedy 방식은 모두 exploit & exporation 방법을 구현한 것으로 볼 수 있다. random noise 방식이란 현재 state에서 가능한 action에 따른 Q값에 random noise를 주어서, 이것이 최대값이 되는 action을 action으로 선택하게 된다. E-Greedy 방식은 어떠한 확률값 e를 주어, e의 확률로 exploration한다. 예를 들어 e=0.99 이면 99%의 확률로 exploration 하고, 1%의 확률로 exploit해서 새로운 길을 찾게 된다. Selecting action (normal touch, ghost touch, obscure touch) in error touch reinforcement learning can use random noise method or E-Greedy method. The random noise method or the E-Greedy method can be considered to implement the exploit & exporation method. The random noise method gives random noise to the Q value according to the action possible in the current state, and selects the action whose maximum value is the action. The E-Greedy method gives a probability value e and exploration with the probability of e. For example, if e = 0.99, there is a 99% chance of exploration, and a 1% chance of exploiting new paths.

표 1의 에피소드 1에서 에이전트 행동이 1번 화구 선택 (N) → 온도 level 6 (N)→ 타이머 설정 20분 (N)→ 2번 화구 선택 (N)→ 온도 level 3 (N)→타이머 설정 10분 (N)으로 모두 정상터치(N)을 선택하였다면, 에이전트 행동은 보상으로 (+1)을 받을 것이다. 만약, 에이전트 행동이 1번 화구 선택 (N) → 온도 level 6 (N)→ 타이머 설정 20분 (N)→ 2번 화구 선택 (N)→ 온도 level 3 (O)→타이머 설정 10분 (N)으로 터치 타입 결정이 하나의 상태라도 목표 설정값과 다르게 결정되었다면 에이전트 행동은 패널티로 (-100)을 받을 것이다. 이러한 방식으로 에이전트는 6개의 각각의 상태에서 3개의 행동이 가능하므로, 에이전트의 행동은 3*3*3*3*3*3=729 개의 경우의 수가 존재하며, 이중 전부 N인경우만을 선택했을 때 보상(+1)을 받고 나머지 728개를 선택한 경우 패널티(-100)을 받을 것이다. In episode 1 of Table 1, the agent action selects crater 1 (N) → temperature level 6 (N) → timer setting 20 minutes (N) → selects crater 2 (N) → temperature level 3 (N) → timer setting 10 If you have selected normal touch (N) for both minutes (N), agent action will be rewarded with (+1). If the agent's action is: Select crater 1 (N) → Temperature level 6 (N) → Set timer 20 minutes (N) → Select 2 craters (N) → Temperature level 3 (O) → Set timer 10 minutes (N) Therefore, if the touch type determination is determined differently from the target setting value even in one state, the agent action will be penalized (-100). In this way, the agent has three actions in each of the six states, so the agent's action has 3 * 3 * 3 * 3 * 3 * 3 = 729 cases, of which only N cases would be selected. If you receive a reward (+1) and choose the remaining 728, you will receive a penalty (-100).

표 1의 에피소드 2는 단일 시퀀스를 갖는 시나리오이고, 1개의 상태가 존재하므로, 에이전트는 3개의 경우의 수 중 하나를 선택할 수 있고, 긱기 현재 설정값 [1번 화구 ON (온도 level 2, timer 10분), 2, 3번 화구 OFF]에서 터치 입력의 목표값 [1번 화구 ON(온도 level 2, timer 10분), 2번 화구 ON, 3번 화구 OFF]을 달성하기 위해 단일 시퀀스 2번 화구 선택만이 필요하므로, 에이전트는 1개의 상태에서 3개의 터치타입 중 하나를 선택하는 행동을 선택할 수 있다. 이 때, 터치 입력의 시간 간격이 189.6, 면적 1.19(도 5a의 데이터 29번)인 경우 N을 선택하면 보상(+1)을 G 또는 O를 선택하면 패널티(-100)을 받을 것이다. Episode 2 in Table 1 is a scenario with a single sequence, and because there is one state, the agent can choose one of three cases, and the Giggi current set value [1 crater ON (temperature level 2, timer 10). Min), 2, 3 crater OFF], single sequence 2 crater to achieve the target value of touch input [1 crater ON (temperature level 2, timer 10 min), 2 crater ON, 3 crater OFF] Since only selection is required, the agent can choose to choose one of three touch types in one state. At this time, if the time interval of the touch input is 189.6 and the area 1.19 (data number 29 in FIG. 5A), selecting N will receive a penalty (-100) if G or O is selected.

포 1의 에피소드 3은 무입력의 시퀀스임에도 터치 결과값이 표시되는 경우의 학습니다. 여기서 무입력은 실습자의 손가락에 의한 무입력을 의미하며, 물방울 또는 기름에 의한 입력도 무입력으로 간주될 수 있다. 에피소드 3은 기기 현재 설정값 [1번 화구 ON (온도 level 2, timer 10분), 2, 3번 화구 OFF]이 목표 설정값[1번 화구 ON (온도 level 2, timer 10분), 2, 3번 화구 OFF]과 동일한 state에서 물방울 또는 기름, 또는 자기력을 갖는 기기에 의해 영향을 받아 터치 결과값을 출력하는 경우일 수 있다. 이 경우 에이전트는 1개의 상태에서 3개의 터치타입 중 하나를 선택하는 행동을 선택할 수 있다. 이 때, 터치 입력의 시간 간격이 150, 면적 0.89(도 5a의 데이터 84번)인 경우 G를 선택하면 보상(+1)을 N 또는 O를 선택하면 패널티(-100)을 받을 것이다. Episode 3 of Poe 1 is when the touch result is displayed even though it is a sequence of no input. Here, the no input means no input by the practitioner's finger, and input by water droplets or oil may also be regarded as no input. In episode 3, the current set value of the device [1 crater ON (temperature level 2, timer 10 minutes), 2, 3 crater OFF] is set to the target set value [1 crater ON (temperature level 2, timer 10 minutes), 2, It may be the case that touch result is outputted by influenced by water droplet, oil, or a device having magnetic force in the same state as the crater 3]. In this case, the agent may select an action of selecting one of three touch types in one state. At this time, if the time interval of the touch input is 150 and the area 0.89 (data 84 in FIG. 5A), if G is selected, compensation (+1) is selected, and if N or O is selected, a penalty (-100) will be received.

에이전트가 현재 어떤 상태에서 어떤 행동을 했을 때, 미래에 얻을 수 있는 기대 보상을 행동값 함수(action value function), 혹은 Q 함수, Q(s,a)라고 부른다. 오류터치 판정을 위한 강화학습은 모델 없이 학습하는 강화 학습 기법 가운데 하나인 Q 러닝(Q-learning)에 의해 달성될 수 있다. Q 러닝은 주어진 유한 마르코프 결정 과정의 최적의 정책을 찾기 위해 사용할 수 있다. Q 러닝은 주어진 상태에서 주어진 행동을 수행하는 것이 가져다줄 효용의 기대값을 예측하는 함수인 Q 함수를 학습함으로써 최적의 정책을 학습한다. When an agent is doing something in a certain state, the expected reward that can be obtained in the future is called the action value function, or Q function, Q (s, a). Reinforcement learning for error touch determination can be achieved by Q-learning, one of the reinforcement learning techniques for learning without model. Q learning can be used to find the optimal policy for a given finite Markov decision process. Q-learning learns the best policy by learning the Q function, a function that predicts the expected value of utility for performing a given action in a given state.

Q는 주어진 state에서 어떤 action을 취할 것인가에 대한 길잡이이다. 이 문제에서 Q라는 2차원 배열에는 현재 state에서 action을 취할 때 얻을 수 있는 reward를 저장하고 있다. 이 Q 2차원 배열에서 argmax 함수를 이용하면 어떤 action을 취할지를 얻어낼 수 있다. 이 문제에서 state는 전자기기에서 터치가 이루어질 수 있는 경우의 수가 된다. 예를 들어, 표 1의 에피소드 1에서 전기 레인지를 1번 화구 ON(온도 레벨 2, 타이머 10분)을 설정하기 위해 필요한 터치 입력이 6개인 하나의 시퀀스를 구성하면 state는 6개이다. ation은 정상/오류터치의 경우 2개, 정상/고스트/모호터치(N/G/O)의 경우 3개이다. 표 1의 에피소드 2에서 state는 단일 시퀀스이기 때문에 1개이고, 에피소드 3도 시퀀스가 없는 무입력에서 터치 결과값이 산출된 경우이므로, state는 1개이다. Q is a guide to what action to take in a given state. In this problem, a two-dimensional array called Q stores the rewards that can be obtained by taking action in the current state. You can use the argmax function on this Q two-dimensional array to find out what action to take. In this problem, the state is the number of cases where a touch can be made in the electronic device. For example, in episode 1 of Table 1, if you configure a sequence with six touch inputs required to set the electric range # 1 ON (temperature level 2, timer 10 minutes), the state is six. ation is 2 for normal / error touch and 3 for normal / ghost / ambigu touch (N / G / O). In episode 2 of Table 1, the state is one because it is a single sequence, and since the touch result value is calculated in the no input without the episode 3, the state is one.

Q-learning 알고리즘에서 Q를 업데이트하는 것은 Q(state, action) = R + max(Q(new state))을 사용할 수 있다. R은 reward로 게임 내부에서 지정되는 값이다. 현재 state에서의 어떤 action을 취할 때의 Q 값은 그 action을 통해 얻어지는 reward와 action으로 변화된 state에서 얻을 수 있는 reward의 최댓값을 더한 것이다. 즉 의미는 현재 리워드와 미래에 가능한 리워드의 최대치를 더하는 것이다. Updating Q in the Q-learning algorithm can use Q (state, action) = R + max (Q (new state)). R is the value assigned inside the game as a reward. The Q value for taking an action in the current state is the sum of the reward from that action and the maximum value of the reward from the state changed to the action. In other words, the meaning is to add the maximum of current and future rewards.

그런데 이때, Q(state, action) = R + discount * max(Q(new state)) 로 미래 가능한 리워드에 1 미만의 discount factor를 곱해주어(예를 들어, 실습에서는 0.99) 미래 리워드에 약간의 패널티를 주기도 하는데 이런 방식을 통해 Q가 조금 더 optimal한 방법으로 learning 될 수 있다. 이 때 discount는 하이퍼 파라미터(hyperparameter)로 여러번 시도하면서 좋은 값을 찾을 수 있다.However, at this point, Q (state, action) = R + discount * max (Q (new state)) multiplies the future possible rewards by a discount factor of less than 1 (for example, 0.99 in the lab), so there is a small penalty for future rewards. In this way, Q can be learned in a more optimal way. The discount can then be found with good value by trying several times with hyperparameters.

종래의 Q-러닝 기술은 한정된 수의 상태 내에서 움직이는 환경 내에서는 왕성한 학습을 진행할 수 있다. 하지만, 상태 공간이 증가하게 되면 Q값을 저장하는데 문제가 생긴다. Q 값은 상태에 대한 가치 함수의 측정값을 말한다. 예컨대, 각 단말의 위치와 분포가 무한하게 바뀔 수 있고, 아주 큰 수의 조합이 존재하므로 각각의 상황에 대해서 Q값을 저장하는 것은 효율적이지 못하다.Conventional Q-learning techniques are capable of vigorous learning in environments that move within a limited number of states. However, if the state space increases, there is a problem in storing the Q value. The Q value is a measure of the value function for the state. For example, the position and distribution of each terminal can be changed indefinitely, and since there is a very large number of combinations, it is not efficient to store the Q value for each situation.

DQN은 개별 Q값을 저장하는 것이 아닌, Q값을 결정하는 함수를 추정하여 위 문제를 해결한다. 종래의 Q 학습기술이 상태를 각 표에 저장하고 룩업(lookup)을 통해 Q값을 확인하였다면, DQN은 가치 네트워크에 현재 상태를 입력으로 주고 Q값을 결과값으로 추출한다. DQN은 세 개 레이어(layer) 이상의 가치 네트워크를 사용하여 Q값을 결정하는 함수를 근사할 수 있다.DQN solves this problem by estimating a function that determines the Q value, rather than storing individual Q values. If the conventional Q learning technique stores the state in each table and checks the Q value through a lookup, the DQN inputs the current state to the value network and extracts the Q value as a result value. The DQN can approximate a function of determining the Q value using a value network of three or more layers.

DQN의 첫 컨볼루션 계층는 터치 입력의 시간 간격, 면적, 강도, 및 온도 중 적어도 2개의 데이터들의 2차원 분포를 입력으로 받는다. 이 layer는 5*5의 컨볼루션 마스크를 사용하여 낮은 수준의 특징(low level feature)들을 찾아낸다. 낮은 수준의 특징은 예를 들어 어떤 두 터치 입력의 시간 간격 및 면적 사이의 간단한 특징들을 뜻한다. 이후의 두 계층은 3*3의 컨볼루션 마스크를 사용하여 높은 수준의 특징(high level feature)들을 찾아낸다. 높은 수준의 특징은 앞에서 찾은 낮은 수준의 특징에서 추론할 수 있는 특징들로써, 시간 간격 및 면적 데이터들의 공간적 분포 등을 뜻한다.The first convolutional layer of the DQN receives as input the two-dimensional distribution of at least two data of time interval, area, intensity, and temperature of the touch input. This layer uses a 5 * 5 convolution mask to find low level features. Low level features mean simple features between the time interval and area of any two touch inputs, for example. The next two layers use a 3 * 3 convolution mask to find high level features. The high level features can be inferred from the low level features found above, and represent the spatial distribution of time intervals and area data.

마지막 계층에서는 2*2 최대 풀링을 진행한다. 최대 풀링은 n*n 마스크 내에서 최대값 하나만을 남기는 작업인데, 이는 데이터를 줄여 정확도를 낮추는 작업으로 보일 수 있다. 이 계층 이후에는 모든 출력 값을 완전연결 계층에 입력하게 된다. 완전연결 계층은 첫 계층의 차원이 1000, 이후 100 그리고 10개의 차원을 가질 수 있다. 이는 점진적으로 뉴런의 출력 값의 개수를 줄여서 중요한 특징만을 남기기 위함이다. 마지막에는 10개의 출력값을 하나의 뉴런에 모아 Q값을 도출하게 된다. 본 발명의 다른 실시예에서 DQN은 다른 구조의 가치 네트워크를 이용할 수도 있다.In the last layer, 2 * 2 maximum pooling is performed. Maximum pooling is the task of leaving only one maximum within an n * n mask, which can be seen as reducing the accuracy by reducing data. After this layer, all output values are entered into the fully connected layer. A fully connected layer can have dimensions of 1000, then 100 and 10 dimensions of the first layer. This is to gradually reduce the number of neuron outputs to leave only important features. Finally, 10 outputs are collected in one neuron to derive the Q value. In another embodiment of the present invention, the DQN may use another structure of value network.

도 7c는 본 발명의 일 실시 에에 따라 강화학습 기반 신경망모델을 학습시키는 흐름도이다. Figure 7c is a flow chart for learning reinforcement learning-based neural network model according to an embodiment of the present invention.

표 1에서와 같은 시나라오들을 갖는 에피소드가 시작된다(S2000).An episode with scenarios as in Table 1 begins (S2000).

오류터치 강화학습 기반 신경망모델은 표 1에서와 같은 시나리오의 터치 시퀀스를 입력받고(S2100), 실험자 또는 시물레이터로부터 터치 입력의 시간 간격, 터치 면적, 터치 강도, 또는 터치 온도 중 적어도 2개를 입력받는다(S2200). The error touch reinforcement learning-based neural network model receives a touch sequence of a scenario as shown in Table 1 (S2100), and receives at least two of a time interval, touch area, touch intensity, or touch temperature of a touch input from an experimenter or a simulator. (S2200).

오류터치 판정 환경은 입력된 터치 신호를 분석하고(S2300), 오류터치 판정 에이전트(230a)로부터 입력 받은 현재 상태(터치 입력의 시간 간격, 터치 면적, 터치 강도, 또는 터치 온도 중 적어도 2개의 값) 및 행동(N, G, O 중 하나)로부터 다음 상태(터치 입력의 시간 간격, 터치 면적, 터치 강도, 또는 터치 온도 중 적어도 2개의 값) 및 보상을 오류터치 판정 에이전트(230a)에 반환한다(S2400). The error touch determination environment analyzes the input touch signal (S2300), and the current state received from the error touch determination agent 230a (at least two values of time interval of touch input, touch area, touch intensity, or touch temperature). And return the next state (at least two values of time interval of touch input, touch area, touch intensity, or touch temperature) and compensation from the action (one of N, G, O) to the error touch determination agent 230a ( S2400).

강화학습 기반 신경망모델은 강화학습 정책(policy)에 따라 오류터치 판정 성능이 향상되었는지 평가하고 성능이 향상되었으면 상기 인공신경망 모델을 업데이트한다(S2500). 본 발명의 일 실시예에서, 보상은 하나의 에피소드인 각 시나리오의 시퀀스 입력이 종료될 때 계산될 수 있다. The reinforcement learning-based neural network model evaluates whether the error touch determination performance is improved according to the reinforcement learning policy and updates the artificial neural network model if the performance is improved (S2500). In one embodiment of the invention, the reward may be calculated when the sequence input of each scenario, which is one episode, is finished.

입력된 시나리오의 터치 시퀀스가 끝날 때까지 S2200, S2300, S2400, S2500단계를 반복하고, 입력된 시나리오의 터치 시퀀스들이 끝나면 에피소드를 종료한다(S2600).  Steps S2200, S2300, S2400, and S2500 are repeated until the touch sequence of the input scenario is finished, and the episode ends when the touch sequence of the input scenario is finished (S2600).

강화학습 기반 인공신경망 모델은 복수의 시나리오들을 시뮬레이션하고, 오류터치 장치의 터치타입 분류부(136)에 탑재될 수 있다. 서버(300) 또는 NPU칩을 탑재한 전자장치(200)에서 오류터치 강화학습 기반 신경망모델이 학습되어 일정한 성능이 확보되면 터치 타이 분류부에서 오류터치를 판정할 수 있다. The reinforcement learning-based artificial neural network model simulates a plurality of scenarios and may be mounted in the touch type classification unit 136 of the error touch device. If the neural network model based on the error touch reinforcement learning is learned in the electronic device 200 equipped with the server 300 or the NPU chip, the touch tie classification unit may determine the error touch.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, such a computer program may be recorded in a computer-readable medium. At this time, the media may be magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs. Hardware devices specifically configured to store and execute program instructions, such as memory, RAM, flash memory, and the like.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.On the other hand, the computer program may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of computer programs may include not only machine code generated by a compiler, but also high-level language code executable by a computer using an interpreter or the like.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. In the specification (particularly in the claims) of the present invention, the use of the term “above” and the similar indicating term may be used in the singular and the plural. In addition, in the present invention, when the range is described, it includes the invention to which the individual values belonging to the range are applied (if not stated to the contrary), and each individual value constituting the range is described in the detailed description of the invention. Same as

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.If the steps constituting the method according to the invention are not explicitly stated or contrary to the steps, the steps may be performed in a suitable order. The present invention is not necessarily limited to the description order of the above steps. The use of all examples or exemplary terms (eg, etc.) in the present invention is merely for the purpose of describing the present invention in detail, and the scope of the present invention is limited by the examples or exemplary terms unless defined by the claims. It doesn't happen. In addition, one of ordinary skill in the art appreciates that various modifications, combinations and changes can be made depending on design conditions and factors within the scope of the appended claims or equivalents thereof.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiment, and all the scope equivalent to or equivalent to the scope of the claims as well as the claims to be described below are within the scope of the spirit of the present invention. Will belong to.

100: 오류터치 판정장치 110: 터치스크린
111: 터치부 130: 터치구동회로
131: 터치감지부 132: 터치입력 검출부
133:터치제어회로 134: 인공지능 모델 학습부
135: 메모리 136: 터치 타입 분류부
137: 통신부 138:오류터치 처리부
139: 입력/출력 인터페이스 210a: 에이전트 220: 환경 200: 전자 장치
300: 서버 400: 네트워크
100: error touch determination device 110: touch screen
111: touch unit 130: touch driving circuit
131: touch detection unit 132: touch input detection unit
133: touch control circuit 134: AI model learning unit
135: memory 136: touch type classification unit
137: communication unit 138: error touch processing unit
139: input / output interface 210a: agent 220: environment 200: electronic device
300: server 400: network

Claims (20)

전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법으로서,
상기 터치 스크린을 통해 터치 결과값을 얻기 위해 터치 입력을 검출하는 단계;
상기 검출된 터치 입력의 이전에 입력된 터치 입력과의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개를 검출하는 단계;
상기 검출된 시간 간격, 상기 터치 면적, 상기 터치 강도, 또는 상기 온도 중 적어도 2개에 관한 데이터를, 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 판정하기 위해 학습된 인공지능 모델에 입력하는 단계;
상기 입력된 데이터를 상기 학습된 인공지능 모델에 적용하는 단계; 및
상기 학습된 인공지능 모델로부터 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지를 출력하는 단계;를 포함하고,
상기 정상 터치는 의도했던 터치 입력의 목표 설정값과 상기 검출된 터치 입력의 터치 결과값이 서로 일치하는 터치이고, 상기 오류 터치는 터치 입력이 없음에도 불구하고 의도하지 않은 터치 결과값을 검출하거나, 목표 설정값과 상기 검출된 터치 입력의 터치 결과값이 서로 불일치하는 터치인,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
A method of determining an error touch on a touch screen of an electronic device,
Detecting a touch input to obtain a touch result value through the touch screen;
Detecting at least two of a time interval with a previously input touch input of the detected touch input, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input;
The artificial intelligence model trained to determine the touch type of the detected time input, the touch area, the touch intensity, or the temperature, to determine whether the detected touch input is a normal touch or an error touch. Inputting to;
Applying the input data to the learned artificial intelligence model; And
And outputting whether the detected touch input is a normal touch or an error touch from the learned artificial intelligence model.
The normal touch is a touch where a target set value of an intended touch input and a touch result value of the detected touch input coincide with each other, and the error touch detects an unintended touch result value even though there is no touch input, A target set value and a touch result value of the detected touch input are inconsistent touches,
A method of determining an erroneous touch on a touch screen of an electronic device.
제 1 항에 있어서,
상기 학습된 인공지능 모델은
복수 개의 상기 검출된 터치입력의 상기 검출된 시간 간격, 상기 터치 면적, 상기 터치 강도, 또는 상기 온도 중 적어도 2개, 및 복수 개의 상기 터치 입력에 레이블링된 터치 타입들을 학습용 데이터로 하여, 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지를 분류하여 출력하도록 학습된 정상/오류터치분류엔진인,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
The method of claim 1,
The learned AI model
At least two of the detected time interval, the touch area, the touch intensity, or the temperature of the plurality of detected touch inputs, and the touch types labeled on the plurality of touch inputs as learning data, the detected A normal / error touch classification engine trained to classify and output whether a touch input is a normal touch or an error touch.
A method of determining an erroneous touch on a touch screen of an electronic device.
제 1 항에 있어서,
상기 오류 터치는 고스트 터치 및 모호 터치를 포함하고,
상기 고스트 터치는 터치 입력이 없음에도 불구하고 의도하지 않은 터치 결과값을 검출하는 오류 터치이고, 상기 모호 터치는 목표 설정값과 상기 검출된 터치 입력의 터치 결과값이 서로 불일치하는 오류 터치이고,
상기 학습된 인공지능 모델은
복수 개의 상기 검출된 터치입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개, 및 복수 개의 상기 터치 입력에 레이블링된 터치 타입들을 학습용 데이터로 하여, 상기 검출된 터치 입력이 정상 터치인지, 고스트 터치인지, 모호 터치인지를 분류하여 출력하도록 학습된 정상/고스트/모호터치분류엔진인,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
The method of claim 1,
The error touch includes a ghost touch and an ambiguous touch,
The ghost touch is an error touch that detects an unintended touch result value even when there is no touch input, the ambiguity touch is an error touch where a target setting value and a touch result value of the detected touch input are inconsistent with each other,
The learned AI model
Data for learning at least two of time intervals of the detected touch inputs, touch areas of the touch inputs, touch intensities of the touch inputs, or temperatures of the touch inputs, and touch types labeled in the plurality of touch inputs. In this case, the detected touch input is a normal touch, a ghost touch or an ambiguous touch.
A method of determining an erroneous touch on a touch screen of an electronic device.
제 1 항에 있어서,
상기 검출된 터치 타입이 오류 터치인 경우 터치 입력을 제거하거나, 교정(calibration)하는 단계를 더 포함하고,
상기 오류 터치 입력의 교정은 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 어느 하나인 것을 포함하는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
The method of claim 1,
The method may further include removing or calibrating the touch input when the detected touch type is an error touch.
The correction of the error touch input includes at least one of a noise reduction filter adding method, a touch sensitivity adjusting method, and a touch frequency changing method.
A method of determining an erroneous touch on a touch screen of an electronic device.
제 3 항에 있어서,
상기 검출된 터치 타입이 오류 터치인 경우 터치 입력을 제거하거나 터치 입력을 교정하는 단계를 더 포함하고,
상기 검출된 터치 타입이 오류 터치인 경우 터치 입력을 제거하거나 터치 입력을 교정하는 단계는 상기 검출된 터치 타입이 고스트 터치인 경우 터치 입력을 제거하고, 모호 터치인 경우 터치 입력을 교정하는 것을 포함하는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
The method of claim 3, wherein
Removing the touch input or correcting the touch input when the detected touch type is an error touch;
Removing the touch input or correcting the touch input when the detected touch type is an erroneous touch includes removing the touch input when the detected touch type is a ghost touch and correcting the touch input when the touch is ambiguous. ,
A method of determining an erroneous touch on a touch screen of an electronic device.
제 5 항에 있어서,
상기 모호 터치 입력의 교정은 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 어느 하나인 것을 포함하는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
The method of claim 5,
The correction of the ambiguity touch input includes at least one of a noise reduction filter adding method, a touch sensitivity adjusting method, and a touch frequency changing method.
A method of determining an erroneous touch on a touch screen of an electronic device.
제 2 항에 있어서,
상기 학습된 인공지능 모델은
복수 개의 상기 검출된 터치입력의 상기 검출된 시간 간격, 상기 터치 면적, 상기 터치 강도, 또는 상기 온도 중 적어도 2개, 및 복수 개의 상기 터치 입력에 레이블링된 터치 타입들을 학습용 데이터로 하여, 분류(classification) 분석에 의해 학습된 정상/오류터치분류엔진인,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법
The method of claim 2,
The learned AI model
Classifying at least two of the detected time interval, the touch area, the touch intensity, or the temperature of the plurality of detected touch inputs, and the touch types labeled on the plurality of touch inputs as learning data. ) Is the normal / error touch classification engine trained by the analysis,
How to determine an error touch on a touch screen of an electronic device
제 1 항에 있어서,
상기 학습된 인공지능 모델은
상기 터치 입력이 정상터치인지 오류 터치인지의 터치 타입을 판정하는 오류터치 판정 에이전트(Agent)가 상기 터치 입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개가 주어진 상태(state)에 대해 상기 터치 타입을 결정하는 행동(Action)을 수행하고, 그리고 상기 에이전트가 결정한 터치 타입이 의도했던 터치 타입이면 상기 에이전트가 보상(Reward)을 받도록 구성되고,
상기 에이전트의 상기 주어진 상태 및 상기 행동을 입력받아 상기 보상 및 다음 상태(state)를 반환하는 오류터치 판정 환경(environment)에서, 상기 에이전트는 최대 보상을 받도록 상기 주어진 상태에서 행동을 수행하고 오류 터치 판정 성능을 업데이트하도록 구성된 강화학습 기반의 신경망모델인,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
The method of claim 1,
The learned AI model
The error touch determination agent for determining a touch type of whether the touch input is a normal touch or an error touch is performed by a time interval of the touch input, the touch area of the touch input, the touch intensity of the touch input, or the touch input. At least two of the temperatures perform an action of determining the touch type for a given state, and if the touch type determined by the agent is the intended touch type, the agent is rewarded; ,
In an error touch determination environment that receives the given state and the action of the agent and returns the reward and the next state, the agent performs an action in the given state and receives an error touch to receive the maximum reward. Reinforcement learning-based neural network model configured to update performance,
A method of determining an erroneous touch on a touch screen of an electronic device.
제 8 항에 있어서,
상기 강화학습 기반의 신경망모델은
상기 의도했던 터치 입력의 목표 설정값을 시퀀스로 갖는 시뮬레이션 시나리오들에 대해 학습하도록 구성하되, 각 시뮬레이션 시나리오를 수행하여 업데이트되도록 학습되고,
상기 보상은 각 시나리오의 시퀀스가 종료될 때 계산되는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
The method of claim 8,
The neural network model based on reinforcement learning
It is configured to learn about the simulation scenarios having a sequence of the target set value of the intended touch input, it is learned to be updated by performing each simulation scenario,
The reward is calculated at the end of each scenario sequence,
A method of determining an erroneous touch on a touch screen of an electronic device.
제 9 항에 있어서,
상기 강화학습 기반의 신경망은 DQN(Deep Q-network)인 강화학습 기반의 신경망을 이용하는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법.
The method of claim 9,
The reinforcement learning based neural network uses a reinforcement learning based neural network, which is a deep Q-network (DQN),
A method of determining an erroneous touch on a touch screen of an electronic device.
컴퓨터를 이용하여 제 1 항 내지 제 10 항 중 어느 한 항에 따른 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법을 수행하도록 프로그래밍된 프로그램을 저장한
컴퓨터 판독 가능한 기록매체.
A program programmed to perform a method of determining an erroneous touch on a touch screen of an electronic device according to any one of claims 1 to 10 using a computer is stored.
Computer-readable recording medium.
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치로서,
상기 터치 스크린을 통해 터치 결과값을 얻기 위해 터치 입력을 검출하고, 상기 검출된 터치 입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개을 검출하는 터치 입력 검출부;
상기 검출된 터치 입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개에 관한 데이터를, 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 판정하기 위해 학습된 인공지능 모델에 적용하여 상기 학습된 인공지능 모델로부터 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지를 출력하는 터치타입 분류부;를 포함하는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치.
An error touch determination device for determining an error touch on a touch screen of an electronic device,
The touch input is detected to obtain a touch result value through the touch screen, and at least two of a time interval of the detected touch input, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input is detected. A touch input detector for detecting;
Whether the detected touch input is a normal touch or an error touch, data relating to at least two of a time interval of the detected touch input, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input; And a touch type classification unit configured to output the detected touch input from the learned artificial intelligence model to a normal touch or an error touch by applying the learned artificial intelligence model to determine a touch type of the touch type.
An error touch determination device that determines an error touch on a touch screen of an electronic device.
제 12 항에 있어서,
상기 학습된 인공지능 모델은
복수 개의 상기 검출된 터치입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개, 및 복수 개의 상기 터치 입력에 레이블링된 터치 타입들을 학습용 데이터로 하여, 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지를 추론하여 출력하도록 학습된 정상/오류터치분류엔진인,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치.
The method of claim 12,
The learned AI model
Data for learning at least two of time intervals of the detected touch inputs, touch areas of the touch inputs, touch intensities of the touch inputs, or temperatures of the touch inputs, and touch types labeled in the plurality of touch inputs. A normal / error touch classification engine trained to infer and output whether the detected touch input is a normal touch or an error touch.
An error touch determination device that determines an error touch on a touch screen of an electronic device.
제 12 항에 있어서,
상기 오류 터치는 고스트 터치 및 모호 터치를 포함하고,
상기 고스트 터치는 터치 입력이 없음에도 불구하고 의도하지 않은 터치 결과값을 검출하는 오류 터치이고, 상기 모호 터치는 터치 입력에 대해 잘못된 결과값을 검출하는 오류 터치이고,
상기 학습된 인공지능 모델은
복수 개의 상기 검출된 터치입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개, 및 복수 개의 상기 터치 입력에 레이블링된 터치 타입들을 학습용 데이터로 하여, 상기 검출된 터치 입력이 정상 터치인지, 고스트 터치인지, 모호 터치인지를 분류하여 출력하도록 학습된 정상/고스트/모호터치분류엔진인,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치.
The method of claim 12,
The error touch includes a ghost touch and an ambiguous touch,
The ghost touch is an error touch for detecting an unintended touch result value even though there is no touch input, the ambiguity touch is an error touch for detecting an incorrect result value for the touch input,
The learned AI model
Data for learning at least two of time intervals of the detected touch inputs, touch areas of the touch inputs, touch intensities of the touch inputs, or temperatures of the touch inputs, and touch types labeled in the plurality of touch inputs. In this case, the detected touch input is a normal touch, a ghost touch or an ambiguous touch.
An error touch determination device that determines an error touch on a touch screen of an electronic device.
제 12 항에 있어서,
상기 검출된 터치 타입이 오류 터치인 경우 오류 터치를 제거하거나 교정하는 오류 터치 처리부를 더 포함하고,
상기 오류 터치 입력의 교정은 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 어느 하나인 것을 포함하는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치.
The method of claim 12,
If the detected touch type is an error touch further includes an error touch processing unit for removing or correcting the error touch,
The correction of the error touch input includes at least one of a noise reduction filter adding method, a touch sensitivity adjusting method, and a touch frequency changing method.
An error touch determination device that determines an error touch on a touch screen of an electronic device.
제 14 항에 있어서,
상기 검출된 터치 타입이 오류 터치인 경우 오류 터치를 제거하거나 교정하는 오류 터치 처리부를 더 포함하고,
상기 오류 터치 처리부는 상기 검출된 터치 타입이 고스트 터치인 경우 터치 입력을 제거하고, 모호 터치인 경우 터치 입력을 교정하고,
상기 모호 터치 입력의 교정은 잡음 저감 필터 추가 방식, 터치 감도 조절 방식 또는 터치 주파수 변경 방식 중 적어도 어느 하나인 것을 포함하는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치.
The method of claim 14,
If the detected touch type is an error touch further includes an error touch processing unit for removing or correcting the error touch,
The error touch processor removes the touch input when the detected touch type is a ghost touch, corrects the touch input when the ambiguity touch is performed,
The correction of the ambiguity touch input includes at least one of a noise reduction filter adding method, a touch sensitivity adjusting method, and a touch frequency changing method.
An error touch determination device that determines an error touch on a touch screen of an electronic device.
제 12 항에 있어서,
상기 학습된 인공지능 모델은
상기 터치 입력이 정상터치인지 오류 터치인지의 터치 타입을 판정하는 에이전트(Agent)가 상기 터치 입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개가 주어진 상태(state)에 대해 상기 터치 타입을 결정하는 행동(Action)을 수행하고, 그리고 상기 에이전트가 결정한 터치 타입이 의도했던 터치 타입이면 상기 에이전트가 보상(Reward)을 받도록 구성되고,
상기 에이전트의 상기 주어진 상태 및 상기 행동을 취득하여 상기 보상 및 다음 상태(state)를 반환하는 환경(environment)에서, 상기 에이전트는 최대 보상을 받도록 상기 주어진 상태에서 행동을 수행하고 오류 터치 판정 성능을 업데이트하도록 구성된 강화학습 기반의 신경망모델인,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치.
The method of claim 12,
The learned AI model
An agent for determining a touch type of whether the touch input is a normal touch or an error touch includes at least one of a time interval of the touch input, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input. Two are configured to perform an action of determining the touch type for a given state, and if the touch type determined by the agent is the intended touch type, the agent is rewarded;
In an environment that acquires the given state and behavior of the agent and returns the reward and the next state, the agent performs the action in the given state and updates the error touch determination performance to receive the maximum reward. Reinforcement learning based neural network model,
An error touch determination device that determines an error touch on a touch screen of an electronic device.
제 17 항에 있어서,
상기 강화학습 기반의 신경망모델은
상기 의도했던 목표 터치의 설정값을 시퀀스로 갖는 강화학습을 위한 시뮬레이션 시나리오들에 대해 학습하도록 구성하되, 각 시뮬레이션 시나리오를 하나의 에피소드로 하여 업데이트되도록 학습되고,
상기 보상은 하나의 에피소드인 각 시나리오의 시퀀스 입력이 종료될 때 계산되는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치.
The method of claim 17,
The neural network model based on reinforcement learning
It is configured to learn about the simulation scenarios for reinforcement learning having a sequence of the set value of the intended target touch, each learning scenario to be updated to one episode,
The reward is calculated when the sequence input of each scenario that is one episode is finished,
An error touch determination device that determines an error touch on a touch screen of an electronic device.
제 18 항에 있어서,
상기 강화학습 기반의 신경망은 DQN(Deep Q-network)인 강화학습 기반의 신경망을 이용하는,
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치.
The method of claim 18,
The reinforcement learning based neural network uses a reinforcement learning based neural network, which is a deep Q-network (DQN),
An error touch determination device that determines an error touch on a touch screen of an electronic device.
전자 장치의 터치 스크린에서 오류 터치를 판정하는 오류터치 판정 장치 및 서버를 포함하는 터치 스크린 시스템으로서,
상기 터치 스크린을 통해 터치 결과값을 얻기 위해 터치 입력을 검출하고, 상기 검출된 터치 입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개를 검출하는 터치 입력 검출부;
상기 검출된 터치 입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개에 관한 데이터를, 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 판정하기 위해 학습된 인공지능 모델에 적용하여 상기 학습된 인공지능 모델로부터 상기 검출된 터치 입력이 정상 터치인지 오류 터치인지를 출력하는 터치타입 분류부; 및
상기 터치 입력 검출부에서 검출한 복수 개의 상기 터치 입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개, 및 복수 개의 상기 터치 입력에 레이블링된 터치 타입들을 서버로 전송하는, 서버와 통신하는 통신부;를 포함하고,
상기 서버는 수신된 복수 개의 상기 터치 입력의 시간 간격, 상기 터치 입력의 터치 면적, 상기 터치 입력의 터치 강도, 또는 상기 터치 입력의 온도 중 적어도 2개, 및 복수 개의 상기 터치 입력에 레이블링된 터치 타입들을, 심층신경망을 통해 학습시킨 학습된 인공지능 모델을 생성하는 인공지능 모델 학습부를 포함하고,
상기 서버는 상기 인공지능 모델 학습부를 통해 학습시킨 학습된 인공지능 모델을 오류터치 판정 장치로 전송하도록 구성되고,
상기 오류터치 판정 장치의 터치타입 분류부는 상기 서버에서 전송받은 학습된 인공지능 모델을 통해 검출된 터치 입력이 정상 터치인지 오류 터치인지의 터치 타입을 추론하도록 구성된,
터치 스크린 시스템.
A touch screen system comprising an error touch determination device and a server for determining an error touch on a touch screen of an electronic device,
A touch input is detected to obtain a touch result value through the touch screen, and at least two of a time interval of the detected touch input, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input. A touch input detector detecting a touch input;
Whether the detected touch input is a normal touch or an error touch, data relating to at least two of a time interval of the detected touch input, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input; A touch type classification unit for outputting whether the detected touch input is a normal touch or an error touch from the learned AI model by applying the trained AI model to determine a touch type of the touch type; And
At least two of a time interval of the plurality of touch inputs detected by the touch input detector, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input, and a plurality of the touch inputs And a communication unit for communicating with the server, transmitting the touch types to the server.
The server may include at least two of a received time interval of the plurality of touch inputs, a touch area of the touch input, a touch intensity of the touch input, or a temperature of the touch input, and a touch type labeled on the plurality of touch inputs. Including an artificial intelligence model learning unit for generating a learned artificial intelligence model trained through a deep neural network,
The server is configured to transmit the learned artificial intelligence model trained through the artificial intelligence model learning unit to the error touch determination device,
The touch type classification unit of the error touch determination device is configured to infer the touch type of whether the detected touch input is a normal touch or an error touch through the learned artificial intelligence model received from the server.
Touch screen system.
KR1020190101019A 2019-08-19 2019-08-19 Method, device, and system for determining a false touch on a touch screen of an electronic device KR20190104101A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190101019A KR20190104101A (en) 2019-08-19 2019-08-19 Method, device, and system for determining a false touch on a touch screen of an electronic device
US16/571,745 US10949022B2 (en) 2019-08-19 2019-09-16 Method, device, and system for determining a false touch on a touch screen of an electronic device using an AI model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190101019A KR20190104101A (en) 2019-08-19 2019-08-19 Method, device, and system for determining a false touch on a touch screen of an electronic device

Publications (1)

Publication Number Publication Date
KR20190104101A true KR20190104101A (en) 2019-09-06

Family

ID=67949913

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101019A KR20190104101A (en) 2019-08-19 2019-08-19 Method, device, and system for determining a false touch on a touch screen of an electronic device

Country Status (2)

Country Link
US (1) US10949022B2 (en)
KR (1) KR20190104101A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016656B1 (en) 2020-02-14 2021-05-25 International Business Machines Corporation Fault recognition self-learning graphical user interface
EP3839708A1 (en) * 2019-12-17 2021-06-23 BSH Hausgeräte GmbH Method and device for operating a touch sensor
WO2022039366A1 (en) * 2020-08-21 2022-02-24 삼성전자주식회사 Electronic device and control method thereof
KR102432014B1 (en) * 2022-03-14 2022-08-16 베이직스 주식회사 Laptop with built-in input control and input error prevention device through input device pressure value
WO2022225150A1 (en) * 2021-04-19 2022-10-27 삼성전자 주식회사 Electronic device and operating method thereof
WO2023018223A1 (en) * 2021-08-10 2023-02-16 삼성전자 주식회사 Electronic device comprising touch screen panel, and method for operating electronic device
US11829557B2 (en) 2021-08-10 2023-11-28 Samsung Electronics Co., Ltd. Electronic device and operation method of touch screen panel to change input type
US11847278B2 (en) 2021-11-03 2023-12-19 Samsung Electronics Co., Ltd. Display device predicting noise for touch sensor and computing system
WO2024039219A1 (en) * 2022-08-19 2024-02-22 삼성전자 주식회사 Electronic device and method of determining learning model for training of electronic device
WO2024080814A1 (en) * 2022-10-13 2024-04-18 주식회사 엘엑스세미콘 Touch-sensing circuit and touch-sensing method thereof
US11977699B2 (en) 2021-04-19 2024-05-07 Samsung Electronics Co., Ltd. Electronic device and operating method of the same

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2591764A (en) * 2020-02-04 2021-08-11 Peratech Holdco Ltd Classifying pressure inputs
US11748656B1 (en) * 2020-02-19 2023-09-05 American Express Travel Related Services Company, Inc. Decision tree learning with missing data
US20220226994A1 (en) * 2020-07-20 2022-07-21 Georgia Tech Research Corporation Heterogeneous graph attention networks for scalable multi-robot scheduling
CN111964821A (en) * 2020-08-05 2020-11-20 清华大学深圳国际研究生院 Pressure touch prediction method and pressure touch prediction model for electronic skin
US11620021B1 (en) 2020-09-14 2023-04-04 Apple Inc. Methods and apparatus for cross-coupling correction on a touch sensor panel
CN112230779B (en) * 2020-11-03 2024-04-05 Oppo广东移动通信有限公司 Operation response method, device, equipment and storage medium
KR20220102042A (en) * 2021-01-12 2022-07-19 삼성전자주식회사 Customized electronic device to infer user input and Controlling method for thereof
WO2022164979A1 (en) * 2021-01-28 2022-08-04 Wood Mackenzie, Inc. Systems and methods for improved machine learning using data completeness and collaborative learning techniques
US11740726B2 (en) 2021-03-08 2023-08-29 International Business Machines Corporation Touch sensitivity management
CA3223999A1 (en) 2021-06-24 2022-12-29 Icu Medical, Inc. Infusion pump touchscreen with false touch rejection
US11826644B2 (en) * 2021-10-05 2023-11-28 Sony Interactive Entertainment Inc. Bifurcation of gameplay between mobile and non-mobile play with intelligent game state saving, and startups
KR20230099940A (en) * 2021-12-28 2023-07-05 주식회사 엘엑스세미콘 Apparatus for Sensing Touch and Device for Driving Touch Display Including the same
US11989369B1 (en) 2023-03-30 2024-05-21 Microsoft Technology Licensing, Llc Neural network-based touch input classification
CN117687533B (en) * 2024-02-04 2024-04-26 广东省旭晟半导体股份有限公司 Anti-interference data processing method of infrared touch control transmitting and receiving device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036927A (en) 2014-09-26 2016-04-05 삼성전자주식회사 Method for reducing ghost touch and electronic device thereof
KR20180116812A (en) 2017-04-18 2018-10-26 주식회사 지2터치 Touch screen and method for cancelling ghost touch thereof

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558455B2 (en) * 2014-07-11 2017-01-31 Microsoft Technology Licensing, Llc Touch classification
CN205318353U (en) * 2015-03-06 2016-06-15 意法半导体股份有限公司 A device for operating equipment and correspondence of capacitive touch screen curtain
US9904409B2 (en) * 2015-04-15 2018-02-27 Samsung Electronics Co., Ltd. Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
US10019109B2 (en) * 2016-06-28 2018-07-10 Google Llc Enhancing touch-sensitive device precision
US10261685B2 (en) * 2016-12-29 2019-04-16 Google Llc Multi-task machine learning for predicted touch interpretations
CA3049120A1 (en) * 2017-01-03 2018-07-12 Brilliant Home Technology, Inc. Home device controller with a touch control groove
KR102016208B1 (en) * 2017-01-09 2019-08-29 세종대학교산학협력단 Method for using materials having no regular pattern as sensor and sensing system
US11170320B2 (en) * 2018-07-19 2021-11-09 Adobe Inc. Updating machine learning models on edge servers
US11009989B2 (en) * 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10719230B2 (en) * 2018-09-27 2020-07-21 Atlassian Pty Ltd Recognition and processing of gestures in a graphical user interface using machine learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036927A (en) 2014-09-26 2016-04-05 삼성전자주식회사 Method for reducing ghost touch and electronic device thereof
KR20180116812A (en) 2017-04-18 2018-10-26 주식회사 지2터치 Touch screen and method for cancelling ghost touch thereof

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3839708A1 (en) * 2019-12-17 2021-06-23 BSH Hausgeräte GmbH Method and device for operating a touch sensor
US11016656B1 (en) 2020-02-14 2021-05-25 International Business Machines Corporation Fault recognition self-learning graphical user interface
WO2022039366A1 (en) * 2020-08-21 2022-02-24 삼성전자주식회사 Electronic device and control method thereof
WO2022225150A1 (en) * 2021-04-19 2022-10-27 삼성전자 주식회사 Electronic device and operating method thereof
US11977699B2 (en) 2021-04-19 2024-05-07 Samsung Electronics Co., Ltd. Electronic device and operating method of the same
WO2023018223A1 (en) * 2021-08-10 2023-02-16 삼성전자 주식회사 Electronic device comprising touch screen panel, and method for operating electronic device
US11829557B2 (en) 2021-08-10 2023-11-28 Samsung Electronics Co., Ltd. Electronic device and operation method of touch screen panel to change input type
US11847278B2 (en) 2021-11-03 2023-12-19 Samsung Electronics Co., Ltd. Display device predicting noise for touch sensor and computing system
KR102432014B1 (en) * 2022-03-14 2022-08-16 베이직스 주식회사 Laptop with built-in input control and input error prevention device through input device pressure value
WO2024039219A1 (en) * 2022-08-19 2024-02-22 삼성전자 주식회사 Electronic device and method of determining learning model for training of electronic device
WO2024080814A1 (en) * 2022-10-13 2024-04-18 주식회사 엘엑스세미콘 Touch-sensing circuit and touch-sensing method thereof

Also Published As

Publication number Publication date
US10949022B2 (en) 2021-03-16
US20200012382A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
US10949022B2 (en) Method, device, and system for determining a false touch on a touch screen of an electronic device using an AI model
KR20210074648A (en) Cooking apparatus and control method thereof
EP3785581A1 (en) Artificial intelligence cooking apparatus
KR20190101327A (en) Method and apparatus for assessing price for subscription products
KR20190096851A (en) Vision recognition based method and device for controlling cooker
US20190297381A1 (en) Artificial intelligence device and operating method thereof
US11270565B2 (en) Electronic device and control method therefor
CN110447232A (en) For determining the electronic equipment and its control method of user emotion
US11409997B2 (en) Artificial intelligence server
US11303977B2 (en) Server for managing home network and control method therefor
US20240095143A1 (en) Electronic device and method for controlling same
US20210209465A1 (en) Artificial intelligence cooking device
Wang et al. Mixing memory and desire: How memory reactivation supports deliberative decision‐making
Molano-Mazón et al. Recurrent networks endowed with structural priors explain suboptimal animal behavior
US11586942B2 (en) Granular binarization for extended reality
KR102573023B1 (en) sleep induction device
US20200234085A1 (en) Electronic device and feedback information acquisition method therefor
KR20200010061A (en) Learning method of electronic apparatus and electronic apparatus
Ring Representing knowledge as predictions (and state as knowledge)
WO2023167817A1 (en) Systems and methods of uncertainty-aware self-supervised-learning for malware and threat detection
KR20210090714A (en) artificial intelligence device
US20210125068A1 (en) Method for training neural network
Chen An optimal control approach to testing theories of human information processing constraints
CN113302630A (en) Apparatus and method for improving robustness against &#34;confrontation examples
KR100788922B1 (en) Method and system for offering intelligent home service

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal