KR102247521B1 - Apparatus and method for providing a texture signal - Google Patents

Apparatus and method for providing a texture signal Download PDF

Info

Publication number
KR102247521B1
KR102247521B1 KR1020180135458A KR20180135458A KR102247521B1 KR 102247521 B1 KR102247521 B1 KR 102247521B1 KR 1020180135458 A KR1020180135458 A KR 1020180135458A KR 20180135458 A KR20180135458 A KR 20180135458A KR 102247521 B1 KR102247521 B1 KR 102247521B1
Authority
KR
South Korea
Prior art keywords
basic data
neural network
artificial neural
touch pen
signal
Prior art date
Application number
KR1020180135458A
Other languages
Korean (ko)
Other versions
KR20200055168A (en
Inventor
최승문
하지지 오스고위 레자
신성환
조성원
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020180135458A priority Critical patent/KR102247521B1/en
Publication of KR20200055168A publication Critical patent/KR20200055168A/en
Application granted granted Critical
Publication of KR102247521B1 publication Critical patent/KR102247521B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

상기 질감 신호 제공 장치 및 방법이 개시된다. 상기 질감 신호 제공 장치 및 방법은 인공신경망을 이용한 제2 기초 데이터의 학습에 의해 역 동적 모델을 생성하고, 상기 역 동적 모델을 기초로, 대상 물체에 대한 종류, 수직항력 및 속력의 조건에서 실측된 조건별 제1 기초 데이터를 개별 인공신경망에 의해 추가 학습하여 학습 모델을 생성함으로써, 학습 모델로부터 추출된 입력 신호를 정전기 마찰 디스플레이 장치로 송신하여 사용자에게 대상 물체에 대한 정밀한 가상 질감을 제공하는 고정밀, 고성능 및 고신뢰성의 질감 신호 제공 장치 및 방법이 제공될 수 있다.Disclosed is an apparatus and method for providing the texture signal. The apparatus and method for providing a texture signal generates a dynamic model by learning second basic data using an artificial neural network, and based on the dynamic model, the actual measurement is performed under conditions of the type, normal drag, and speed of the target object. By creating a learning model by additionally learning the first basic data for each condition by an individual artificial neural network, the input signal extracted from the learning model is transmitted to the electrostatic friction display device to provide the user with a precise virtual texture for the target object. An apparatus and method for providing a texture signal with high performance and high reliability can be provided.

Description

질감 신호 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING A TEXTURE SIGNAL}Apparatus and method for providing texture signal {APPARATUS AND METHOD FOR PROVIDING A TEXTURE SIGNAL}

본 발명은 질감 신호 제공 장치 및 방법에 관한 것으로, 보다 자세하게는 인공 신경망을 이용하여 질감 신호를 생성하는 질감 신호 제공 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for providing a texture signal, and more particularly, to an apparatus and method for providing a texture signal for generating a texture signal using an artificial neural network.

컴퓨터 및 정보통신 기술의 발달으로, 오늘날, 가상 현실(Virtual reality)에서 시각 및 청각 등의 감각 정보를 제공하는 장치가 증가하고 있다. 그러나, 상대적으로 촉각 정보를 제공하는 종래의 장치는 진동에 의해 간단한 상태 정보만을 제공하고 있다. 이에 최근에는 햅틱(Haptic) 기술을 이용한 물체의 재질감 정보를 재현하는 연구가 활발히 진행 중에 있다.With the development of computers and information and communication technologies, devices that provide sensory information such as visual and auditory information in virtual reality are increasing. However, a conventional apparatus that provides relatively tactile information only provides simple status information by vibration. Accordingly, research on reproducing the texture information of an object using haptic technology is actively underway.

햅틱(Haptic) 기술은 물체와 손가락의 접촉시, 손가락을 통해 사용자에게 촉각 정보를 제공하는 기술이다.Haptic technology is a technology that provides tactile information to a user through a finger when an object and a finger are in contact.

햅틱(Haptic) 기술을 제공하는 종래의 장치로는 정전기 마찰 디스플레이 장치가 있다. 정전기 마찰 디스플레이 장치는 물체의 촉각적인 특징 정보를 물체의 질감으로 표현함으로써, 사용자에게 현실적인 경험을 제공할 수 있다. As a conventional device that provides haptic technology, there is an electrostatic friction display device. The electrostatic friction display device may provide a realistic experience to a user by expressing the tactile characteristic information of the object as the texture of the object.

그러나 종래의 정전기 마찰 디스플레이 장치는 비선형적인 동적 모델(Dynamic model)을 제공함으로써, 사용자가 원하는 촉각 효과를 전달하기 위한 신호 생성이 어려운 단점이 있다. However, since the conventional electrostatic friction display device provides a nonlinear dynamic model, it is difficult to generate a signal for delivering a tactile effect desired by a user.

또한, 역감 신호를 재현하는 종래의 질감 신호 제공 장치는 표면이 거친 물체를 표현하는 데 적합하다. 그러나, 물체와의 접촉 시 느껴지는 재질의 감촉은 제공하지 못하는 단점이 있다.In addition, a conventional texture signal providing apparatus that reproduces an inverse signal is suitable for expressing an object having a rough surface. However, there is a disadvantage in that it does not provide the texture of a material that is felt upon contact with an object.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 고성능, 고정밀 및 고신뢰성의 질감 신호 제공 장치를 제공하는 데 있다.An object of the present invention for solving the above problems is to provide an apparatus for providing a texture signal having high performance, high precision and high reliability.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 고성능, 고정밀 및 고신뢰성의 질감 신호 제공 방법을 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide a method for providing a texture signal with high performance, high precision and high reliability.

상기와 같은 문제점을 해결하기 위한 본 발명의 또다른 목적은 고성능, 고정밀 및 고신뢰성의 마찰력 실측 장치를 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide a frictional force measurement device having high performance, high precision and high reliability.

상기와 같은 문제점을 해결하기 위한 본 발명의 또다른 목적은 고성능, 고정밀 및 고신뢰성의 질감 신호 제공 시스템을 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide a system for providing a texture signal having high performance, high precision and high reliability.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 질감 신호 제공 방법은 대상 물체로부터 실측된 마찰력 데이터인 제1 기초 데이터를 수집하는 단계, PRBS(Pseudo-Random Binary Signal) 신호에 따라 생성된 상기 대상 물체에 대한 가상의 마찰력 데이터인 제2 기초 데이터를 수집하는 단계, 제1 인공신경망을 이용하여, 상기 제2 기초 데이터로부터 상기 PRBS 신호를 추출하는 역 동적 모델(Inverse dynamic model)을 생성하는 단계, 제2 인공신경망을 이용하여, 상기 역 동적 모델을 기초로 상기 제1 기초 데이터를 추가 학습하여 학습 모델을 생성하는 단계 및 상기 학습 모델로부터 획득한 입력 신호를 정전기 마찰 디스플레이 장치로 송신하는 단계를 포함한다.A method for providing a texture signal according to an embodiment of the present invention for achieving the above object includes the steps of collecting first basic data, which is friction force data measured from a target object, the generated according to a Pseudo-Random Binary Signal (PRBS) signal. Collecting second basic data that is virtual frictional force data on a target object, generating an inverse dynamic model for extracting the PRBS signal from the second basic data using a first artificial neural network , Using a second artificial neural network, further learning the first basic data based on the inverse dynamic model to generate a learning model, and transmitting an input signal obtained from the learning model to an electrostatic friction display device. Includes.

상기 제1 기초 데이터는 힘 센서가 장착된 터치펜을 이용하여, 수평 방향으로 움직일 때 발생하는 대상 물체의 마찰력을 측정하는 마찰력 실측 장치로부터 제공될 수 있다.The first basic data may be provided from a friction force measurement device that measures a friction force of a target object generated when moving in a horizontal direction using a touch pen equipped with a force sensor.

이때, 상기 제1 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용될 수 있다.In this case, the first artificial neural network may be individually applied to the first basic data according to at least one condition of a type of a target object, an intensity of a vertical drag applied to the touch pen, and a movement speed of the touch pen.

또한, 상기 제1 및 제2 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망일 수 있다.In addition, the first and second artificial neural networks may be NARX (Nonlinear Auto Regressive with External Input) artificial neural networks.

상기 제2 기초 데이터는 상기 정전기 마찰 디스플레이 장치로부터 수집될 수 있다.The second basic data may be collected from the electrostatic friction display device.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 질감 신호 제공 장치는 프로세서 및 상기 프로세서에 의해 동작되는 적어도 하나의 명령을 포함하는 메모리를 포함하되, 상기 적어도 하나의 명령은 대상 물체로부터 실측된 마찰력 데이터인 제1 기초 데이터를 수집하도록 하는 명령, PRBS(Pseudo-Random Binary Signal) 신호에 따라 생성된 상기 대상 물체에 대한 가상의 마찰력 데이터인 제2 기초 데이터를 수집하도록 하는 명령, 제1 인공신경망을 이용하여, 상기 제2 기초 데이터로부터 상기 PRBS 신호를 추출하는 역 동적 모델(Inverse dynamic model)을 생성하도록 하는 명령, 제2 인공신경망을 이용하여, 상기 역 동적 모델을 기초로 상기 제1 기초 데이터를 추가 학습하여 학습 모델을 생성하도록 하는 명령 및 상기 학습 모델로부터 획득한 입력 신호를 정전기 마찰 디스플레이 장치로 송신하도록 하는 명령을 포함을 포함한다.A texture signal providing apparatus according to another embodiment of the present invention for achieving the above object includes a processor and a memory including at least one instruction operated by the processor, wherein the at least one instruction is actually measured from a target object. A command to collect first basic data that is friction force data, a command to collect second basic data that is virtual friction force data for the target object generated according to a Pseudo-Random Binary Signal (PRBS) signal, and a first artificial neural network Using a command to generate an inverse dynamic model for extracting the PRBS signal from the second basic data, the first basic data based on the inverse dynamic model using a second artificial neural network And an instruction for generating a learning model by further learning and an instruction for transmitting an input signal obtained from the learning model to an electrostatic friction display device.

여기서, 상기 제1 기초 데이터는 힘 센서가 장착된 터치펜을 이용하여, 수평 방향으로 움직일 때 발생하는 대상 물체의 마찰력을 측정하는 마찰력 실측 장치로부터 제공될 수 있다.Here, the first basic data may be provided from a friction force measurement device that measures a friction force of a target object generated when moving in a horizontal direction using a touch pen equipped with a force sensor.

이때, 상기 제1 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용될 수 있다.In this case, the first artificial neural network may be individually applied to the first basic data according to at least one condition of a type of a target object, an intensity of a vertical drag applied to the touch pen, and a movement speed of the touch pen.

또한, 상기 제1 및 제2 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망일 수 있다.In addition, the first and second artificial neural networks may be NARX (Nonlinear Auto Regressive with External Input) artificial neural networks.

상기 제2 기초 데이터는 상기 정전기 마찰 디스플레이 장치로부터 수집될 수 있다.The second basic data may be collected from the electrostatic friction display device.

상기 목적을 달성하기 위한 본 발명의 또다른 실시예에 따른 마찰력 실측 장치는 대상 물체의 적어도 일부분에 타단이 접촉된 터치펜, 상기 터치펜의 일단에 위치되어, 상기 터치펜에 가해지는 상기 대상 물체의 마찰력을 측정하는 힘 센서, 상기 터치펜의 이동 속력을 조정하는 모터 및 상기 터치펜에 가해지는 수직항력의 크기를 조정하는 무게추를 포함한다.A friction force measurement device according to another embodiment of the present invention for achieving the above object includes a touch pen in which the other end is in contact with at least a portion of a target object, and the target object is placed at one end of the touch pen and applied to the touch pen. And a force sensor that measures a friction force of the touch pen, a motor that adjusts a moving speed of the touch pen, and a weight that adjusts a magnitude of a normal force applied to the touch pen.

상기 목적을 달성하기 위한 본 발명의 또다른 실시예에 따른 질감 신호 제공 시스템은 대상 물체의 적어도 일부분에 타단이 접촉된 터치펜, 상기 터치펜의 이동 속력을 조정하는 모터 및 상기 터치펜에 가해지는 수직항력의 크기를 조정하는 무게추 및 상기 터치펜의 일단에 위치되어 상기 터치펜에 가해지는 상기 대상 물체의 마찰력인 제1 기초 데이터를 측정하는 힘 센서를 포함하는 마찰력 실측 장치, PRBS(Pseudo-Random Binary Signal) 신호에 따른 가상의 마찰 데이터인 제2 기초 데이터를 측정하는 정전기 마찰 디스플레이 장치 및 제1 인공신경망을 이용하여 상기 제2 기초 데이터로부터 역 동적 모델을 생성하고, 제2 인공신경망을 이용하여, 상기 역 동적 모델을 기초로 상기 제1 기초 데이터를 추가 학습하여 학습 모델을 생성하며, 상기 학습 모델로부터 추출된 입력 신호를 상기 정전기 마찰 디스플레이 장치로 송신하는 질감 신호 제공 장치를 포함한다.A texture signal providing system according to another embodiment of the present invention for achieving the above object includes a touch pen in which the other end is in contact with at least a part of a target object, a motor for adjusting the moving speed of the touch pen, and the touch pen applied to the touch pen. A friction force measurement device, PRBS (Pseudo- Random Binary Signal) generates a dynamic model from the second basic data using an electrostatic friction display device that measures second basic data, which is virtual friction data according to a signal, and a first artificial neural network, and uses a second artificial neural network. Thus, based on the inverse dynamic model, the learning model is generated by additionally learning the first basic data, and a texture signal providing device configured to transmit an input signal extracted from the learning model to the electrostatic friction display device.

이때, 상기 제1 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용될 수 있다.In this case, the first artificial neural network may be individually applied to the first basic data according to at least one condition of a type of a target object, an intensity of a vertical drag applied to the touch pen, and a movement speed of the touch pen.

또한, 상기 제1 및 제2 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망일 수 있다.In addition, the first and second artificial neural networks may be NARX (Nonlinear Auto Regressive with External Input) artificial neural networks.

본 발명의 실시예에 따른 질감 신호 제공 장치 및 방법은 인공신경망에 의해 제2 기초 데이터를 학습하여 역 동적 모델을 생성하고, 상기 역 동적 모델을 기초로, 대상 물체에 대한 종류, 수직항력 및 속력의 조건에서 각각 실측된 제1 기초 데이터를 개별 인공신경망에 의해 추가 학습하여 학습 모델을 생성함으로써, 학습 모델로부터 추출된 입력 신호를 정전기 마찰 디스플레이 장치로 송신하여 사용자에게 대상 물체에 대한 정밀한 가상 질감을 제공할 수 있다.In the apparatus and method for providing a texture signal according to an embodiment of the present invention, a dynamic model is generated by learning second basic data by an artificial neural network, and based on the dynamic model, the type, normal force and speed of a target object The first basic data measured under the condition of are additionally learned by an individual artificial neural network to generate a learning model, and the input signal extracted from the learning model is transmitted to the electrostatic friction display device to provide the user with a precise virtual texture of the target object. Can provide.

도 1은 본 발명의 실시예에 따른 질감 신호 제공 장치의 블록구성도이다.
도 2는 본 발명의 실시예에 따른 질감 신호 제공 방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 마찰력 실측 장치의 이미지이다.
도 4는 본 발명의 실시예에 따른 정전기 마찰 디스플레이 장치에 의해 측정된 PRBS(Pseudo-Random Binary Signal) 신호에 따른 제2 기초 데이터이다.
도 5는 본 발명의 실시예에 따른 질감 신호 제공 장치의 학습 모델에 의해 측정된 PRBS 신호 그래프이다.
도 6은 본 발명의 실험예에 따라 정전기 마찰 디스플레이 장치로부터 출력된 가상의 마찰력 데이터 및 동일 조건에서 실측한 마찰력 데이터를 주파수 영역에서 비교한 그래프이다.1 is a block diagram of an apparatus for providing a texture signal according to an embodiment of the present invention.
2 is a flow chart of a method for providing a texture signal according to an embodiment of the present invention.
3 is an image of an apparatus for measuring frictional force according to an embodiment of the present invention.
4 is a second basic data according to a Pseudo-Random Binary Signal (PRBS) signal measured by the electrostatic friction display device according to an embodiment of the present invention.
5 is a graph of a PRBS signal measured by a learning model of an apparatus for providing a texture signal according to an embodiment of the present invention.
6 is a graph comparing virtual friction force data output from an electrostatic friction display device and friction force data measured under the same conditions in a frequency domain according to an experimental example of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term “and/or” includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In describing the present invention, in order to facilitate an overall understanding, the same reference numerals are used for the same elements in the drawings, and duplicate descriptions for the same elements are omitted.

도 1은 본 발명의 실시예에 따른 질감 신호 제공 장치의 블록구성도이다.1 is a block diagram of an apparatus for providing a texture signal according to an embodiment of the present invention.

도 1을 참조하면, 질감 신호 제공 장치(S)는 정전기 마찰 디스플레이 장치(D)와 연동하여, 정전기 마찰 디스플레이 장치(D)를 사용하는 사용자에게 햅틱 효과를 제공할 수 있다. 다시 말하면, 질감 신호 제공 장치(S)는 햅틱 효과를 제공하는 정전기 마찰 디스플레이 장치(D)에 조건별 입력 신호를 제공함으로써, 사용자로 하여금 정밀한 햅틱 효과를 제공할 수 있다.Referring to FIG. 1, the texture signal providing apparatus S may provide a haptic effect to a user who uses the electrostatic friction display apparatus D in conjunction with the electrostatic friction display apparatus D. In other words, the texture signal providing device S may provide a precise haptic effect to the user by providing an input signal for each condition to the electrostatic friction display device D providing a haptic effect.

실시예에 따르면, 정전기 마찰 디스플레이 장치(D)는 유리 기판 상에 투명 전도층 및 절연층이 얇게 코팅된 정전식 터치 패널(Capacitive Touch Panel)을 포함할 수 있다. 정전식 터치 패널 상에 사용자의 손가락이 촉지된 상태로 전압을 인가될 경우, 촉지된 손가락과 절연체 및 전도층이 축전기 형태를 이뤄 유도 전하가 발생할 수 있다. 여기서, 촉지된 손가락을 일방향으로 이동할 경우, 정전기 마찰 디스플레이 장치(D)는 질감 신호 제공 장치로부터 수신된 입력 신호를 바탕으로 유도 전하를 변화시켜, 촉지된 손가락에 마찰력을 제공할 수 있다. 이에 따라, 사용자는 상기 마찰력에 의해 질감 효과를 경험할 수 있다. According to an embodiment, the electrostatic friction display device D may include a capacitive touch panel in which a transparent conductive layer and an insulating layer are thinly coated on a glass substrate. When a voltage is applied on the capacitive touch panel while the user's finger is touched, the touched finger, the insulator, and the conductive layer form a capacitor, so that induced electric charges may be generated. Here, when the touched finger is moved in one direction, the electrostatic friction display device D may provide a friction force to the touched finger by changing the induced electric charge based on an input signal received from the texture signal providing device. Accordingly, the user can experience the texture effect by the frictional force.

다시 말하면, 질감 신호 제공 장치(S)는 사용자에게 고정밀한 햅틱 효과를 제공하기 위해, 학습 모델에 의해 학습된 입력 신호를 종래의 정전기 마찰 디스플레이 장치(D)에 제공할 수 있다.In other words, the texture signal providing device S may provide the input signal learned by the learning model to the conventional electrostatic friction display device D in order to provide a high-precision haptic effect to the user.

보다 구체적으로 설명하면, 질감 신호 제공 장치(S)는 메모리(1000) 및 프로세서(5000)를 포함할 수 있다. 메모리(1000)는 후술될 프로세서(5000)에 의해 실행되는 적어도 하나의 명령을 포함할 수 있다. 실시예에 따르면, 적어도 하나의 명령은 학습 모델을 생성하도록 하는 명령, 학습 모델에 의해 입력 신호를 생성하도록 하는 명령 및 생성된 입력 신호를 정전기 마찰 디스플레이 장치(D)로 송신하도록 하는 명령을 포함할 수 있다.More specifically, the texture signal providing apparatus S may include a memory 1000 and a processor 5000. The memory 1000 may include at least one instruction executed by the processor 5000 to be described later. According to an embodiment, the at least one instruction may include an instruction to generate a learning model, an instruction to generate an input signal by the learning model, and an instruction to transmit the generated input signal to the electrostatic friction display device (D). I can.

프로세서(5000)는 앞서 설명된 바와 같이, 상기 메모리(1000) 내 적어도 하나의 명령을 수행할 수 있다. 적어도 하나의 명령을 수행하는 상기 프로세서(5000)의 동작은 하기 질감 신호 제공 방법의 설명시 보다 자세히 설명하겠다.As described above, the processor 5000 may execute at least one command in the memory 1000. The operation of the processor 5000 that executes at least one command will be described in more detail in the following description of the texture signal providing method.

도 2는 본 발명의 실시예에 따른 질감 신호 제공 방법의 순서도이다.2 is a flow chart of a method for providing a texture signal according to an embodiment of the present invention.

도 2를 참조하면, 질감 신호 제공 장치 내 프로세서(5000)는 학습 모델을 생성할 수 있다(S1000). 여기서, 학습 모델은 입력 신호를 생성하기 위해, 마찰 정보를 포함하는 기초 데이터들로부터 사전 학습된 모델일 수 있다. Referring to FIG. 2, the processor 5000 in the apparatus for providing a texture signal may generate a learning model (S1000). Here, the learning model may be a model pre-trained from basic data including friction information to generate an input signal.

보다 구체적으로 설명하면, 프로세서(5000)는 제1 기초 데이터를 수집할 수 있다(S1100). 실시예에 따르면, 제1 기초 데이터는 적어도 하나의 대상 물체에 있어서, 수직항력 및 속도 중 적어도 하나의 조건 변화에 따른 상기 대상 물체의 마찰력을 실측한 데이터일 수 있다. 예를 들어, 제1 기초 데이터는 마찰력 실측 장치를 이용하여 측정할 수 있다. 제1 기초 데이터를 측정하는 방법은 하기 도 2를 참조하여 보다 구체적으로 설명하겠다. In more detail, the processor 5000 may collect the first basic data (S1100). According to an embodiment, the first basic data may be data obtained by actually measuring the frictional force of the target object according to a change in at least one condition of normal drag and speed in at least one target object. For example, the first basic data may be measured using a friction force measurement device. A method of measuring the first basic data will be described in more detail with reference to FIG. 2 below.

도 3은 본 발명의 실시예에 따른 마찰력 실측 장치의 이미지이다.3 is an image of an apparatus for measuring frictional force according to an embodiment of the present invention.

도 3을 참조하면, 제1 기초 데이터는 앞서 설명된 바와 같이, 마찰력 실측 장치에 의해 측정될 수 있다. Referring to FIG. 3, the first basic data may be measured by a friction force measurement device, as described above.

실시예에 따르면, 마찰력 실측 장치는 터치펜(100), 모터(300) 및 무게추(500) 및 힘 센서(700)를 포함함으로써, 대상 물체(P)의 제1 기초 데이터를 측정할 수 있다.According to an embodiment, the device for measuring frictional force may measure first basic data of the target object P by including the touch pen 100, the motor 300, the weight 500, and the force sensor 700. .

보다 구체적으로 설명하면, 터치펜(100)은 사용자의 손가락을 대체하는 구성으로써, 마찰력 데이터인 제1 기초 데이터의 측정시, 사용자별 피부 속성에 따른 오차 발생을 방지하기 위해 사용될 수 있다. More specifically, the touch pen 100 is a component that replaces the user's finger, and may be used to prevent occurrence of an error according to skin properties for each user when the first basic data, which is friction force data, is measured.

터치펜(100)은 대상 물체(P)의 적어도 일부 표면과 접촉될 수 있다. 이에 따라, 터치펜(100)은 후술될 모터(300)에 의한 이동 시, 대상 물체(P)와의 마찰이 발생할 수 있다.The touch pen 100 may contact at least a portion of the surface of the target object P. Accordingly, when the touch pen 100 moves by the motor 300 to be described later, friction with the target object P may occur.

모터(300)는 앞서 설명한 바와 같이, 대상 물체(P)와 접촉된 터치펜(100)을 수평 방향으로 직선 이동시킬 수 있다. 이때, 모터(500)는 터치펜(100)의 속력을 제어할 수 있다. 이에 따라, 마찰력 실측 장치는 터치펜(100)의 이동 속력의 크기에 따른 제1 기초 데이터를 측정할 수 있다.As described above, the motor 300 may linearly move the touch pen 100 in contact with the target object P in the horizontal direction. In this case, the motor 500 may control the speed of the touch pen 100. Accordingly, the device for measuring the friction force may measure first basic data according to the magnitude of the moving speed of the touch pen 100.

무게추(500)는 터치펜(100)에 하중을 부여할 수 있다. 이에 따라, 사용자는 무게추(500)를 이용하여 터치펜(100)에 가해지는 수직항력의 세기를 조절할 수 있다. 이에 따라, 마찰력 실측 장치는 터치펜(100)의 이동 시, 무게추(500)의 중량에 의해 수직항력의 조건을 변화시켜 제1 기초 데이터를 측정할 수 있다. The weight 500 may apply a load to the touch pen 100. Accordingly, the user may adjust the strength of the vertical drag applied to the touch pen 100 by using the weight 500. Accordingly, when the touch pen 100 is moved, the friction force measurement device may measure the first basic data by changing the condition of the normal force by the weight of the weight 500.

힘 센서(700)는 터치펜(100)의 상단에 장착되어, 터치펜(300)에 가해지는 제1 기초 데이터를 측정할 수 있다.The force sensor 700 may be mounted on the top of the touch pen 100 to measure first basic data applied to the touch pen 300.

다시 말하면, 마찰력 실측 장치는 대상 물체(P) 위에서의 터치펜(300)의 이동 시, 무게추(500)를 사용해 중량에 의한 수직항력의 세기를 조정하거나 또는 모터(300)에 의해 이동 속력의 크기를 조정함으로써, 다양한 수직항력 및 속력 조건에 대한 제1 기초 데이터를 측정할 수 있다.In other words, when the touch pen 300 moves on the target object P, the friction force measurement device adjusts the strength of the vertical drag force due to the weight using the weight 500, or the movement speed is increased by the motor 300. By adjusting the size, first basic data for various normal force and speed conditions can be measured.

다시 도 2를 참조하면, 프로세서(5000)는 제2 기초 데이터를 수집할 수 있다(S1300). 제2 기초 데이터를 수집하는 방법에 대해서는 하기 도 3을 참조하여 보다 구체적으로 설명하겠다.Referring back to FIG. 2, the processor 5000 may collect second basic data (S1300 ). A method of collecting the second basic data will be described in more detail with reference to FIG. 3 below.

도 4는 본 발명의 실시예에 따른 정전기 마찰 디스플레이 장치에 의해 측정된 PRBS(Pseudo-Random Binary Signal) 신호에 따른 제2 기초 데이터이다.4 is a second basic data according to a Pseudo-Random Binary Signal (PRBS) signal measured by the electrostatic friction display device according to an embodiment of the present invention.

도 4를 참조하면, 프로세서(5000)는 정전기 마찰 디스플레이 장치(D)로부터 제2 기초 데이터를 수신하여 수집할 수 있다(S1300). 이때, 제2 기초 데이터는 정전기 마찰 디스플레이 장치(D)에 입력 신호를 주었을 때 발생하는 마찰력 데이터일 수 있다. Referring to FIG. 4, the processor 5000 may receive and collect second basic data from the electrostatic friction display device D (S1300 ). In this case, the second basic data may be data of frictional force generated when an input signal is supplied to the electrostatic friction display device D.

실시예에 따르면, 입력 신호는 PRBS(Pseudo-Random Binary Signal) 신호일 수 있다. PRBS 신호는 백색 잡음(White noise)과 유사한 성질을 갖는 신호로, 주파수 영역에서 평탄한 스펙트럼을 보여, 선형 또는 일부 비선형 모델의 식별(Model Identification)시 사용되는 신호일 수 있다.According to an embodiment, the input signal may be a pseudo-random binary signal (PRBS) signal. The PRBS signal is a signal having properties similar to white noise, showing a flat spectrum in a frequency domain, and thus may be a signal used for model identification of a linear or some nonlinear model.

다시 도 2를 참조하면, 프로세서(5000)는 수집된 제2 기초 데이터를 바탕으로 역 동적 모델을 생성할 수 있다(S1500).Referring back to FIG. 2, the processor 5000 may generate a dynamic dynamic model based on the collected second basic data (S1500 ).

보다 구체적으로 설명하면, 프로세서(5000)는 인공신경망을 이용하여, 제2 기초 데이터에 기반한 역 동적 모델(Inverse Dynamic Model)을 생성할 수 있다. 다시 말하면, 역 동적 모델은 마찰력 데이터인 제2 기초 데이터를 추출하기 위한 입력 신호를 생성하는 모델일 수 있다. More specifically, the processor 5000 may generate an inverse dynamic model based on the second basic data using an artificial neural network. In other words, the inverse dynamic model may be a model that generates an input signal for extracting second basic data, which is friction force data.

실시예에 따르면, 프로세서(5000)는 NARX(Nonlinear Auto Regressive with External input) 인공신경망에 의해 제2 기초 데이터를 학습하여 역 동적 모델을 생성할 수 있다.According to an embodiment, the processor 5000 may generate an inverse dynamic model by learning second basic data using a nonlinear auto regressive with external input (NAX) artificial neural network.

이후, 프로세서(5000)는 제2 기초 데이터를 바탕으로 생성된 역 동적 모델을 보정할 수 있다. 역 동적 모델을 보정하여 학습 모델을 생성하는 방법은 하기 도 4를 참조하여 설명하겠다.Thereafter, the processor 5000 may correct the inverse dynamic model generated based on the second basic data. A method of generating a learning model by correcting an inverse dynamic model will be described with reference to FIG. 4 below.

도 5는 본 발명의 실시예에 따른 질감 신호 제공 장치의 학습 모델에 의해 측정된 PRBS 신호 그래프이다. 여기서, 파란 실선은 기준이 되는 PRBS 신호이며, 빨간 점선은 학습 모델을 통해 도출된 신호이다.5 is a graph of a PRBS signal measured by a learning model of an apparatus for providing a texture signal according to an embodiment of the present invention. Here, the blue solid line is the reference PRBS signal, and the red dotted line is the signal derived through the learning model.

도 5를 참조하면, 프로세서(5000)는 제1 기초 데이터를 이용하여, 제2 기초 데이터에 의해 학습된 역 동적 모델을 보정하여 학습 모델을 생성할 수 있다(S1700). 다시 말하면, 프로세서(5000)는 마찰력 실측 장치에 의해 실측된 대상 물체의 제1 기초 데이터를 역 동적 모델에 반영하여 추가 학습할 수 있다. 이에 따라, 프로세서(5000)는 실측 데이터인 제1 기초 데이터가 반영된 학습 모델을 생성할 수 있다.Referring to FIG. 5, the processor 5000 may generate a learning model by correcting the inverse dynamic model learned by the second basic data by using the first basic data (S1700 ). In other words, the processor 5000 may perform additional learning by reflecting the first basic data of the target object measured by the frictional force measurement device to the dynamic dynamic model. Accordingly, the processor 5000 may generate a learning model in which the first basic data, which is actually measured data, is reflected.

실시예에 따르면, 프로세서(5000)는 인공신경망을 이용하여, 상기 학습 모델을 기초로, 제1 기초 데이터를 추가 학습할 수 있다. 이때, 제1 기초 데이터는 앞서 설명한 바와 같이, 대상 물체의 종류, 수직항력의 세기 및 속력의 크기 중 적어도 하나의 조건 변화에 따른 마찰력 데이터를 포함할 수 있다. 이에 따라, 프로세서(5000)는 제1 기초 데이터의 조건별로 인공신경망을 개별 적용하여 학습할 수 있다. 따라서, 본 발명의 실시예에 따른 질감 신호 제공 장치는 조건별 실측 마찰력 데이터가 반영된 정밀한 입력 신호 추출이 가능함으로써, 고정밀 및 고신뢰성 질감 신호 제공 장치를 제공할 수 있다.According to an embodiment, the processor 5000 may additionally learn first basic data based on the learning model using an artificial neural network. In this case, as described above, the first basic data may include frictional force data according to a change in at least one condition among the type of the target object, the strength of the normal force, and the magnitude of the speed. Accordingly, the processor 5000 may learn by individually applying the artificial neural network for each condition of the first basic data. Accordingly, the apparatus for providing a texture signal according to an embodiment of the present invention can provide an apparatus for providing a high-precision and high-reliability texture signal by enabling precise input signal extraction in which the measured friction force data for each condition is reflected.

다시 도 2를 참조하면, 프로세서(5000)는 학습 모델을 이용하여, 입력 신호를 추출할 수 있다(S3000). Referring back to FIG. 2, the processor 5000 may extract an input signal using the learning model (S3000).

이후, 프로세서(5000)는 추출된 입력 신호를 정전기 마찰 디스플레이 장치(D)로 송신할 수 있다(S5000). Thereafter, the processor 5000 may transmit the extracted input signal to the electrostatic friction display device D (S5000).

정전기 마찰 디스플레이 장치(D)는 수신된 입력 신호에 따른 마찰력 데이터를 생성함으로써, 사용자에게 대상 물체에 대한 정밀한 질감을 제공할 수 있다.The electrostatic friction display device D may provide a user with a precise texture of a target object by generating friction force data according to the received input signal.

이상, 본 발명의 실시예에 따른 질감 신호 제공 장치 내 프로세서에 의한 질감 신호 제공 방법을 설명하였다.In the above, a method of providing a texture signal by a processor in a texture signal providing apparatus according to an embodiment of the present invention has been described.

이하에서는 본 발명의 실험예에 따른 질감 신호 제공 장치를 설명하겠다.Hereinafter, an apparatus for providing a texture signal according to an experimental example of the present invention will be described.

본 발명의 실험예에 따른 질감 신호 제공 장치Texture signal providing apparatus according to an experimental example of the present invention

사용자에게 캔버스(canvas)의 질감을 제공하기 위해, 마찰력 실측 장치를 이용하여, 실제 캔버스를 대상으로 무게가 60, 85, 110g 이고, 이동 속력이 3, 4, 5cm/s일 때의 제1 기초 데이터를 수집하였다. In order to provide the texture of the canvas to the user, the first basis when the weight of the actual canvas is 60, 85, 110g, and the moving speed is 3, 4, 5cm/s, using a frictional force measurement device. Data was collected.

또한, 정전기 마찰 디스플레이 장치에 PRBS 신호를 입력하여, 촉지된 손가락의 이동에 의해 발생된 제2 기초 데이터를 측정하였다. In addition, by inputting a PRBS signal to the electrostatic friction display device, second basic data generated by the movement of the touched finger was measured.

이후, NARX(Nonlinear Auto Regressive with External input) 인공 신경망에 의해 제2 기초 데이터를 학습하여 역 동적 모델을 생성하였다.Thereafter, a nonlinear auto regressive with external input (NARX) artificial neural network was used to learn the second basic data to generate an inverse dynamic model.

또한, NARX 인공 신경망에 의해, 생성된 역 동적 모델을 바탕으로 제1 기초 데이터를 추가 학습하여 학습 모델을 생성하였다. In addition, a learning model was created by additionally learning first basic data based on the inverse dynamic model generated by the NARX artificial neural network.

이후, 학습 모델에 의해 추출된 PRBS 신호를 정전기 마찰 디스플레이 장치로 송신하여 마찰력 데이터를 추출하였다.Thereafter, the PRBS signal extracted by the learning model was transmitted to the electrostatic friction display device to extract friction force data.

도 6은 본 발명의 실험예에 따라 정전기 마찰 디스플레이 장치로부터 출력된 가상의 마찰력 데이터 및 동일 조건에서 실측한 마찰력 데이터를 주파수 영역에서 비교한 그래프이다.6 is a graph comparing virtual friction force data output from an electrostatic friction display device and friction force data measured under the same conditions in a frequency domain according to an experimental example of the present invention.

도 6을 참조하면, 학습 모델로부터 추출된 PRBS 신호를 인가하여 획득한 정전기 마찰 디스플레이 장치의 가상 마찰력 데이터(검은색 점선)는 마찰력 실측 장치에 의해 동일 조건에서 실측된 실제 마찰력 데이터(초록색 실선)와 유사한 주파수 영역을 갖는 것을 확인할 수 있다. 6, the virtual friction data (black dotted line) of the electrostatic friction display device obtained by applying the PRBS signal extracted from the learning model is the actual friction data (green solid line) measured under the same condition by the friction force measurement device. It can be seen that it has a similar frequency range.

따라서, 본 발명의 실시예에 따른 질감 신호 제공 장치는 학습 모델을 생성하여, 실제 마찰력과 유사한 마찰력 데이터를 생성하는 입력 신호를 정전기 마찰 디스플레이 장치에 제공함으로써, 사용자에게 실제 재질과 유사한 재질감을 제공하는 고정밀 및 고신뢰성의 질감 신호 제공 장치를 제공할 수 있다.Accordingly, the apparatus for providing a texture signal according to an embodiment of the present invention generates a learning model and provides an input signal for generating friction force data similar to the actual friction force to the electrostatic friction display device, thereby providing a user with a texture similar to the actual material. A high-precision and high-reliability texture signal providing apparatus can be provided.

이상, 본 발명의 실시예에 따른 질감 신호 제공 장치 및 방법을 살펴보았다. 상기 질감 신호 제공 장치 및 방법은 인공신경망을 이용한 제2 기초 데이터의 학습에 의해 역 동적 모델을 생성하고, 상기 역 동적 모델을 기초로, 대상 물체에 대한 종류, 수직항력 및 속력의 조건에서 실측된 조건별 제1 기초 데이터를 개별 인공신경망에 의해 추가 학습하여 학습 모델을 생성함으로써, 학습 모델로부터 추출된 입력 신호를 정전기 마찰 디스플레이 장치로 송신하여 사용자에게 대상 물체에 대한 정밀한 가상 질감을 제공하는 고정밀, 고성능 및 고신뢰성의 질감 신호 제공 장치 및 방법이 제공될 수 있다.In the above, an apparatus and method for providing a texture signal according to an embodiment of the present invention have been described. The apparatus and method for providing a texture signal generates a dynamic model by learning second basic data using an artificial neural network, and based on the dynamic model, the actual measurement is performed under conditions of the type, normal drag, and speed of the target object. By creating a learning model by additionally learning the first basic data for each condition by an individual artificial neural network, the input signal extracted from the learning model is transmitted to the electrostatic friction display device to provide the user with a precise virtual texture for the target object. An apparatus and method for providing a texture signal with high performance and high reliability can be provided.

본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다. The operation of the method according to the embodiment of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. In addition, a computer-readable recording medium may be distributed over a network-connected computer system to store and execute a computer-readable program or code in a distributed manner.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Further, the computer-readable recording medium may include a hardware device specially configured to store and execute program commands, such as ROM, RAM, and flash memory. The program instructions may include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다. While some aspects of the invention have been described in the context of an apparatus, it may also represent a description according to a corresponding method, where a block or apparatus corresponds to a method step or characteristic of a method step. Similarly, aspects described in the context of a method can also be represented by a corresponding block or item or a feature of a corresponding device. Some or all of the method steps may be performed by (or using) a hardware device such as, for example, a microprocessor, a programmable computer or electronic circuit. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.In embodiments, a programmable logic device (eg, a field programmable gate array) may be used to perform some or all of the functionality of the methods described herein. In embodiments, the field programmable gate array may work with a microprocessor to perform one of the methods described herein. In general, the methods are preferably performed by some hardware device.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will be able to variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can.

100: 터치펜 300: 모터
500: 무게추 700: 힘센서
1000: 메모리 5000: 프로세서
S: 질감 신호 제공 장치 D: 정전기 마찰 디스플레이 장치
P: 대상 물체100: touch pen 300: motor
500: weight 700: force sensor
1000: memory 5000: processor
S: Texture signal providing device D: Electrostatic friction display device
P: target object

Claims (14)

대상 물체로부터 실측된 마찰력 데이터인 제1 기초 데이터를 수집하는 단계;
PRBS(Pseudo-Random Binary Signal) 신호에 따라 생성된 상기 대상 물체에 대한 가상의 마찰력 데이터인 제2 기초 데이터를 수집하는 단계;
인공신경망을 이용하여, 상기 제2 기초 데이터로부터 상기 PRBS 신호를 추출하는 역 동적 모델(Inverse dynamic model)을 생성하는 단계;
상기 역 동적 모델을 기초로, 상기 인공신경망을 이용하여 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하는 단계; 및
상기 학습 모델로부터 획득한 입력 신호를 정전기 마찰 디스플레이 장치로 송신하는 단계를 포함하는 질감 신호 제공 방법.Collecting first basic data, which is data of frictional force measured from the target object;
Collecting second basic data, which is virtual frictional force data for the target object generated according to a Pseudo-Random Binary Signal (PRBS) signal;
Generating an inverse dynamic model for extracting the PRBS signal from the second basic data using an artificial neural network;
Generating a learning model by additionally learning the first basic data using the artificial neural network based on the inverse dynamic model; And
And transmitting the input signal obtained from the learning model to an electrostatic friction display device. 제1 항에 있어서,
상기 제1 기초 데이터는 힘 센서가 장착된 터치펜을 이용하여, 수평 방향으로 움직일 때 발생하는 대상 물체의 마찰력을 측정하는 마찰력 실측 장치로부터 제공되는 질감 신호 제공 방법.The method of claim 1,
The first basic data is a method of providing a texture signal provided from a friction force measurement device that measures a friction force of a target object generated when moving in a horizontal direction using a touch pen equipped with a force sensor. 제2 항에 있어서,
상기 역 동적 모델을 기초로, 상기 인공신경망을 이용하여 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하는 단계에서,
상기 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용되는 질감 신호 제공 방법.The method of claim 2,
In the step of generating a learning model by additionally learning the first basic data using the artificial neural network based on the inverse dynamic model,
The artificial neural network is a method for providing a texture signal individually applied to the first basic data according to at least one condition of a type of a target object, an intensity of a vertical drag applied to the touch pen, and a movement speed of the touch pen. 제1 항에 있어서,
상기 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망인 질감 신호 제공 방법.The method of claim 1,
The artificial neural network is a NARX (Nonlinear Auto Regressive with External Input) artificial neural network, a method for providing a texture signal. 제1 항에 있어서,
상기 제2 기초 데이터는 상기 정전기 마찰 디스플레이 장치로부터 수집되는 질감 신호 제공 방법.The method of claim 1,
The second basic data is a method for providing a texture signal collected from the electrostatic friction display device. 프로세서; 및
상기 프로세서에 의해 동작되는 적어도 하나의 명령을 포함하는 메모리를 포함하되,
상기 적어도 하나의 명령은
대상 물체로부터 실측된 마찰력 데이터인 제1 기초 데이터를 수집하도록 하는 명령,
PRBS(Pseudo-Random Binary Signal) 신호에 따라 생성된 상기 대상 물체에 대한 가상의 마찰력 데이터인 제2 기초 데이터를 수집하도록 하는 명령,
인공신경망을 이용하여, 상기 제2 기초 데이터로부터 상기 PRBS 신호를 추출하는 역 동적 모델(Inverse dynamic model)을 생성하도록 하는 명령,
상기 역 동적 모델을 기초로, 상기 인공신경망을 이용하여, 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하도록 하는 명령 및
상기 학습 모델로부터 획득한 입력 신호를 정전기 마찰 디스플레이 장치로 송신하도록 하는 명령을 포함하는 질감 신호 제공 장치.Processor; And
Including a memory containing at least one instruction operated by the processor,
The at least one command is
An instruction to collect first basic data, which is the friction force data measured from the target object,
A command to collect second basic data, which is virtual frictional force data for the target object generated according to a Pseudo-Random Binary Signal (PRBS) signal,
Using an artificial neural network, a command to generate an inverse dynamic model for extracting the PRBS signal from the second basic data,
An instruction for generating a learning model by additionally learning the first basic data based on the inverse dynamic model, using the artificial neural network, and
Texture signal providing apparatus comprising a command to transmit the input signal obtained from the learning model to the electrostatic friction display device. 제6 항에 있어서,
상기 제1 기초 데이터는, 마찰력 실측 장치에 의해 측정되는 질감 신호 제공 장치.The method of claim 6,
The first basic data is a texture signal providing device measured by a friction force measurement device. 제7 항에 있어서,
상기 역 동적 모델을 기초로, 상기 인공신경망을 이용하여, 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하도록 하는 명령에서는,
상기 인공신경망은 대상 물체의 종류, 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용되는 질감 신호 제공 장치.The method of claim 7,
In the instruction for generating a learning model by additionally learning the first basic data based on the inverse dynamic model, using the artificial neural network,
The artificial neural network is a texture signal providing apparatus that is individually applied to the first basic data according to at least one condition of a type of a target object, an intensity of a vertical drag applied to the touch pen, and a movement speed of the touch pen. 제6 항에 있어서,
상기 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망인 질감 신호 제공 장치.The method of claim 6,
The artificial neural network is a nonlinear auto regressive with external input (NARX) artificial neural network, which provides a texture signal. 제6 항에 있어서,
상기 제2 기초 데이터는 상기 정전기 마찰 디스플레이 장치로부터 수집되는 질감 신호 제공 장치. The method of claim 6,
The second basic data is a texture signal providing device collected from the electrostatic friction display device. 제 7항에 있어서,
상기 마찰력 실측 장치는,
대상 물체의 적어도 일부분에 일단이 접촉된 터치펜;
상기 터치펜의 타단에 위치되어, 상기 터치펜이 수평 방향으로 움직일 때 상기 터치펜에 가해지는 상기 대상 물체와의 마찰력을 측정하는 힘 센서;
상기 터치펜의 이동 속력을 조정하는 모터; 및
상기 터치펜에 가해지는 수직항력의 크기를 조정하는 무게추를 포함하는, 질감 신호 제공 장치.The method of claim 7,
The friction force measurement device,
A touch pen having one end in contact with at least a portion of the target object;
A force sensor positioned at the other end of the touch pen to measure a friction force with the target object applied to the touch pen when the touch pen moves in a horizontal direction;
A motor that adjusts a moving speed of the touch pen; And
A texture signal providing apparatus comprising a weight for adjusting the magnitude of the vertical drag applied to the touch pen. 대상 물체의 적어도 일부분에 일단이 접촉된 터치펜, 상기 터치펜의 이동 속력을 조정하는 모터 및 상기 터치펜에 가해지는 수직항력의 크기를 조정하는 무게추 및 상기 터치펜의 타단에 위치되어 상기 터치펜에 가해지는 상기 대상 물체의 마찰력인 제1 기초 데이터를 측정하는 힘 센서를 포함하는 마찰력 실측 장치;
PRBS(Pseudo-Random Binary Signal) 신호에 따른 가상의 마찰 데이터인 제2 기초 데이터를 측정하는 정전기 마찰 디스플레이 장치; 및
인공신경망을 이용하여 상기 제2 기초 데이터로부터 역 동적 모델을 생성하고, 상기 역 동적 모델을 기초로 상기 인공신경망을 이용하여 상기 제1 기초 데이터를 추가 학습함으로써 학습 모델을 생성하며, 상기 학습 모델로부터 추출된 입력 신호를 상기 정전기 마찰 디스플레이 장치로 송신하는 질감 신호 제공 장치를 포함하는 질감 신호 제공 시스템.A touch pen having one end in contact with at least a portion of a target object, a motor that adjusts the moving speed of the touch pen, a weight that adjusts the amount of vertical drag applied to the touch pen, and the touch pen positioned at the other end of the touch pen A friction force measurement device including a force sensor that measures first basic data, which is the friction force of the target object applied to the pen;
An electrostatic friction display device that measures second basic data, which is virtual friction data according to a Pseudo-Random Binary Signal (PRBS) signal; And
An inverse dynamic model is generated from the second basic data using an artificial neural network, and a learning model is generated by additionally learning the first basic data using the artificial neural network based on the inverse dynamic model, and from the learning model A texture signal providing system comprising a texture signal providing device for transmitting the extracted input signal to the electrostatic friction display device. 제12 항에 있어서,
상기 인공신경망은 대상 물체의 종류, 상기 터치펜에 가해지는 수직항력의 세기 및 상기 터치펜의 이동 속력의 크기 중 적어도 하나의 조건에 따라 상기 제1 기초 데이터에 개별 적용되는 질감 신호 제공 시스템.The method of claim 12,
The artificial neural network is a system for providing a texture signal that is individually applied to the first basic data according to at least one condition of a type of a target object, an intensity of a vertical drag applied to the touch pen, and a movement speed of the touch pen. 제12 항에 있어서,
상기 인공신경망은 NARX(Nonlinear Auto Regressive with External input) 인공신경망인 질감 신호 제공 시스템.The method of claim 12,
The artificial neural network is a NARX (Nonlinear Auto Regressive with External Input) artificial neural network, a texture signal providing system.
KR1020180135458A 2018-11-06 2018-11-06 Apparatus and method for providing a texture signal KR102247521B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180135458A KR102247521B1 (en) 2018-11-06 2018-11-06 Apparatus and method for providing a texture signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180135458A KR102247521B1 (en) 2018-11-06 2018-11-06 Apparatus and method for providing a texture signal

Publications (2)

Publication Number Publication Date
KR20200055168A KR20200055168A (en) 2020-05-21
KR102247521B1 true KR102247521B1 (en) 2021-05-03

Family

ID=70910323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180135458A KR102247521B1 (en) 2018-11-06 2018-11-06 Apparatus and method for providing a texture signal

Country Status (1)

Country Link
KR (1) KR102247521B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416722B1 (en) 2013-07-16 2014-07-14 한국표준과학연구원 Haptic feedback generating apparatus using electrostatic force, the method for controlling and the method for manufacturing thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010105001A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for providing features in a friction display
KR20180055070A (en) * 2016-11-16 2018-05-25 삼성전자주식회사 Method and device to perform to train and recognize material

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416722B1 (en) 2013-07-16 2014-07-14 한국표준과학연구원 Haptic feedback generating apparatus using electrostatic force, the method for controlling and the method for manufacturing thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REZA HAGHIGHI OSGOUEI 외 2명. ‘Identification of Primitive Geometrical Shapes Rendered Using Electrostatic Friction Display.’ 2016 IEEE Haptics Symposium (HAPTICS). 2016.04. 198-204 Pages. 1부.*

Also Published As

Publication number Publication date
KR20200055168A (en) 2020-05-21

Similar Documents

Publication Publication Date Title
US10514761B2 (en) Dynamic rendering of etching input
CN103631373B (en) Context-sensitive haptic confirmation system
JP2014510346A (en) Electroactive polymer actuator feedback device, system and method
CN105144072B (en) Pressure sensitivity is simulated on multi-point touch control apparatus
CN109491586B (en) Virtual object control method and device, electronic equipment and storage medium
US9804692B2 (en) System and method for generating haptic feedback in stylus
KR20130004294A (en) Haptic apparatus and techniques for quantifying capability thereof
Bi et al. Friction modeling and compensation for haptic display based on support vector machine
EP2924545A1 (en) System and method for generating haptic feedback in stylus
Osgouei et al. An inverse neural network model for data-driven texture rendering on electrovibration display
CN103576914B (en) In order to provide the System and method for of pointer sense of touch
Ilkhani et al. Data-driven texture rendering with electrostatic attraction
KR20130132441A (en) Method for detecting an object of interest in a disturbed environment, and gesture interface device implementing said method
KR102247521B1 (en) Apparatus and method for providing a texture signal
Messaoud et al. High fidelity closed loop controlled friction in SMARTTAC tactile stimulator
Moscatelli et al. A change in the fingertip contact area induces an illusory displacement of the finger
Pacchierotti et al. A data-driven approach to remote tactile interaction: from a biotac sensor to any fingertip cutaneous device
Eom et al. Data‐Driven Reconstruction of Human Locomotion Using a Single Smartphone
US10318144B2 (en) Providing force input to an application
US20150013529A1 (en) Music user interface
CN109571494A (en) Emotion identification method, apparatus and pet robot
NL2027963B1 (en) Touch-sensitive input device
Zhou et al. Interaction-based dynamic measurement of haptic characteristics of control elements
KR102272641B1 (en) Object identification apparatus and method, system comprising the same
Kimura et al. Effect of delays in softness display using contact area control: rendering of surface viscoelasticity

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant