KR20230171760A - 햅틱 텍스처 생성 장치와 시스템 및 방법 - Google Patents

햅틱 텍스처 생성 장치와 시스템 및 방법 Download PDF

Info

Publication number
KR20230171760A
KR20230171760A KR1020220072305A KR20220072305A KR20230171760A KR 20230171760 A KR20230171760 A KR 20230171760A KR 1020220072305 A KR1020220072305 A KR 1020220072305A KR 20220072305 A KR20220072305 A KR 20220072305A KR 20230171760 A KR20230171760 A KR 20230171760A
Authority
KR
South Korea
Prior art keywords
acceleration signal
texture
signal sequence
scratch
previous
Prior art date
Application number
KR1020220072305A
Other languages
English (en)
Inventor
전석희
비비 주리 줄레카
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020220072305A priority Critical patent/KR20230171760A/ko
Publication of KR20230171760A publication Critical patent/KR20230171760A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0028—Force sensors associated with force applying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Abstract

햅틱 텍스처 생성 장치와 시스템 및 방법이 개시된다. 개시되는 일 실시예에 따른 햅틱 텍스처 생성 장치는, 물체의 표면을 스크래치 하는 데이터 획득 장치로부터 물체의 표면에 대한 텍스처 관련 정보를 수집하는 데이터 수집 모듈 및 수집한 텍스처 관련 정보에 기반하여 스크래치에 따른 가속도 신호를 예측하는 데이터 예측 모듈을 포함한다.

Description

햅틱 텍스처 생성 장치와 시스템 및 방법{APPARATUS, SYSTEM, AND METHOD FOR GENERATING HAPTIC TEXTURE}
본 발명의 실시예는 햅틱 텍스처 생성 기술과 관련된다.
표면 햅틱 질감(Surface Haptic Texture)은 물체를 만질 때 물체를 식별하는데 필수적인 역할을 한다. 따라서, 햅틱 질감의 정확한 재구성은 햅틱 기술에 있어 중요한 목표 중 하나이다. 기존의 대부분의 연구는 스타일러스 기반(stylus-based) 텍스처(texture) 상호 작용을 사용하는데, 사용자가 스타일러스에 부착된 액추에이터를 통해 스타일러스를 가상 텍스쳐 위로 이동시켜 진동 촉각 피드백이 렌더링 되는 방식을 사용하였다. 그러나, 기존 연구는 햅틱 질감 모델링에 대한 딥 러닝 기반 접근 방식을 고려하지 않았다.
한국등록특허공보 제10-1658261호(2016.09.22)
본 발명의 실시예는 보다 정확한 표면 질감을 제공할 수 있는 햅틱 텍스처 생성 장치와 시스템 및 방법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 햅틱 텍스처 생성 장치는, 물체의 표면을 스크래치 하는 데이터 획득 장치로부터 상기 물체의 표면에 대한 텍스처 관련 정보를 수집하는 데이터 수집 모듈; 및 상기 수집한 텍스처 관련 정보에 기반하여 상기 스크래치에 따른 가속도 신호를 예측하는 데이터 예측 모듈을 포함한다.
상기 데이터 획득 장치는, 단부를 통해 상기 물체의 표면을 스크래치 하는 본체; 상기 본체에 장착되고 상기 본체가 상기 물체의 표면을 스크래치 하는 동안 상기 본체의 가속도를 측정하여 가속도 신호를 생성하는 가속도 센서; 상기 본체에 장착되고 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘을 측정하는 힘 센서; 및 상기 본체에 장착되고 상기 본체의 위치를 확인하도록 하는 위치 추적 마커를 포함할 수 있다.
상기 데이터 수집 모듈은, 상기 위치 추적 마커에 기반하여 상기 스크래치 하는 동안 상기 본체의 위치를 추적하며, 상기 본체의 위치에 기반하여 상기 본체의 스크래치 되는 속도 및 방향을 산출할 수 있다.
상기 텍스처 관련 정보는, 상기 스크래치에 따른 가속도 신호 및 상기 스크래치에 따른 상기 본체의 움직임 파라미터를 포함하고, 상기 움직임 파라미터는, 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘 및 상기 상기 본체의 스크래치 되는 속도와 방향을 포함할 수 있다.
상기 데이터 획득 장치는, 상기 스크래치 동작을 반복 수행하고, 상기 데이터 예측 모듈은, 상기 수집되는 가속도 신호를 순차적으로 연결하여 일정 시간 길이를 갖는 이전의 가속도 신호 시퀀스를 생성하고, 상기 이전의 가속도 신호 시퀀스 및 금번 스크래치 동작에 따른 상기 움직임 파라미터에 기반하여 금번 스크래치 동작에 대한 가속도 신호를 예측할 수 있다.
상기 데이터 예측 모듈은, 상기 이전의 가속도 신호 시퀀스를 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 특징을 추출하고, 상기 이전의 가속도 신호 시퀀스에 대한 특징과 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 인공 신경망을 포함할 수 있다.
상기 데이터 예측 모듈은, 상기 이전의 가속도 신호 시퀀스를 복수 개의 세그먼트로 분할하는 데이터 분할부; 상기 분할된 복수 개의 세그먼트들을 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징(temporal feature)을 추출하도록 마련되는 제1 특징 추출부; 상기 분할된 복수 개의 세그먼트들을 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징(spatial feature)을 추출하도록 마련되는 제2 특징 추출부; 및 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 결합부를 포함할 수 있다.
상기 제1 특징 추출부는, 상기 복수 개의 세그먼트 각각을 입력으로 하는 복수 개의 양방향 LSTM(Bi-LSTM(Long Short Term Memory))을 포함하고, 각 세그먼트에 대한 은닉 상태 벡터들을 출력하는 인코더; 상기 인코더에서 출력되는 은닉 상태 벡터들에 대한 주의 집중 가중치를 결정하는 주의 집중층; 및 상기 복수 개의 양방향 LSTM에 대응하는 복수 개의 LSTM을 포함하고, 상기 결정된 주의 집중 가중치 및 상기 은닉 상태 벡터들에 기반하여 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징을 출력하는 디코더를 포함할 수 있다.
상기 제2 특징 추출부는, 상기 복수 개의 세그먼트들을 입력 받아 컨볼루션 연산을 수행하여 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징을 추출하는 하나 이상의 컨볼루션층; 상기 컨볼루션층에서 추출된 상기 공간적 특징에 대해 다운 샘플링을 수행하여 상기 공간적 특징의 치수를 줄이는 하나 이상의 풀링층; 상기 컨볼루션 연산 및 상기 다운 샘플링 과정에서 손실되는 공간 정보를 재사용하도록 하는 잔여 연결층; 및 상기 추출된 공간적 특징들의 기여도에 따라 주의 집중 가중치를 결정하는 주의 집중층을 포함할 수 있다.
상기 결합부는, 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하기 위한 인공 신경망 모델을 포함하고, 상기 인공 신경망 모델은, 상기 예측한 가속도 신호와 상기 데이터 획득 장치로부터 수집한 금번 스크래치 동작에 따른 가속도 신호와의 차이가 최소화되도록 학습될 수 있다.
상기 햅틱 텍스처 생성 장치는, 상기 예측한 가속도 신호에 기반하여 가상 텍스처를 표현하기 위한 진동 신호를 생성하는 가상 텍스처 생성 모듈을 더 포함할 수 있다.
개시되는 일 실시예에 따른 햅틱 텍스처 생성 시스템은, 단부를 통해 물체의 표면을 스크래치 하면서, 상기 스크래치에 따른 가속도를 측정하여 가속도 신호를 생성하고, 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘을 측정하며, 위치 추적 마커가 장착되는 데이터 획득 장치; 및 상기 데이터 획득 장치로부터 상기 물체의 표면에 대한 텍스처 관련 정보를 수집하고, 상기 수집한 텍스처 관련 정보에 기반하여 상기 스크래치에 따른 가속도 신호를 예측하는 햅틱 텍스처 생성 장치를 포함한다.
개시되는 일 실시예에 따른 햅틱 텍스처 생성 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 물체의 표면을 스크래치 하는 데이터 획득 장치로부터 상기 물체의 표면에 대한 텍스처 관련 정보를 수집하는 단계; 및 상기 수집한 텍스처 관련 정보에 기반하여 상기 스크래치에 따른 가속도 신호를 예측하는 단계를 포함한다.
상기 데이터 획득 장치는, 단부를 통해 물체의 표면을 스크래치 하면서, 상기 스크래치에 따른 가속도를 측정하여 가속도 신호를 생성하고, 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘을 측정하며, 위치 추적 마커가 장착될 수 있다.
상기 텍스처 관련 정보를 수집하는 단계는, 상기 위치 추적 마커에 기반하여 상기 스크래치 하는 동안 상기 데이터 획득 장치의 위치를 추적하는 단계; 및 상기 데이터 획득 장치의 위치에 기반하여 상기 데이터 획득 장치의 스크래치 되는 속도 및 방향을 산출하는 단계를 포함할 수 있다.
상기 텍스처 관련 정보는, 상기 스크래치에 따른 가속도 신호 및 상기 스크래치에 따른 상기 본체의 움직임 파라미터를 포함하고, 상기 움직임 파라미터는, 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘 및 상기 상기 본체의 스크래치 되는 속도와 방향을 포함할 수 있다.
상기 데이터 획득 장치는, 상기 스크래치 동작을 반복 수행하고, 상기 가속도 신호를 예측하는 단계는, 상기 수집되는 가속도 신호를 순차적으로 연결하여 일정 시간 길이를 갖는 이전의 가속도 신호 시퀀스를 생성하는 단계; 및 상기 이전의 가속도 신호 시퀀스 및 금번 스크래치 동작에 따른 상기 움직임 파라미터에 기반하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 단계를 포함할 수 있다.
상기 가속도 신호를 예측하는 단계는, 상기 이전의 가속도 신호 시퀀스를 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 특징을 추출하는 단계; 및 상기 이전의 가속도 신호 시퀀스에 대한 특징과 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 단계를 포함할 수 있다.
상기 가속도 신호를 예측하는 단계는, 상기 이전의 가속도 신호 시퀀스를 복수 개의 세그먼트로 분할하는 단계; 제1 인공 신경망 모델을 통해 상기 분할된 복수 개의 세그먼트들을 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징(temporal feature)을 추출하는 단계; 제2 인공 신경망 모델을 통해 상기 분할된 복수 개의 세그먼트들을 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징(spatial feature)을 추출하는 단계; 및 제3 인공 신경망 모델을 통해 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 단계를 포함할 수 있다.
상기 햅틱 텍스처 생성 방법은, 상기 예측한 가속도 신호에 기반하여 가상 텍스처를 표현하기 위한 진동 신호를 생성하는 단계; 및 상기 진동 신호를 스타일러스 펜에 장착된 진동 작동기로 전달하는 단계를 더 포함할 수 있다.
개시되는 실시예에 의하면, 인공 신경망 모델을 통해 이전의 가속도 신호 시퀀스로부터 현재의 가속도 신호를 예측함으로써, 가상 텍스처를 보다 정확하게 렌더링 할 수 있고, 사용자가 실제 체감하는 질감을 보다 높일 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 햅틱 텍스처 생성 장치의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에서 데이터 획득 장치를 통해 물체의 표면에 대한 텍스처 관련 정보를 수집하는 상태를 나타낸 도면
도 3은 본 발명의 일 실시예에서 등방성 질감 및 비등방성 질감을 갖는 물체의 표면을 나타낸 도면
도 4는 본 발명의 일 실시예에 따른 데이터 예측 모듈이 이전의 가속도 신호 시퀀스와 현재의 움직임 파라미터를 합성하여 현재의 가속도 신호를 예측하는 상태를 개략적으로 나타낸 도면
도 5는 본 발명의 일 실시예에 따른 데이터 예측 모듈의 구성을 나타낸 도면
도 6은 본 발명의 일 실시예에서 등방성 텍스처에 대한 속도-힘 그리드를 나타낸 도면
도 7은 본 발명의 일 실시예에 따른 가상 텍스처의 평가 방법을 나타낸 도면
도 8은 본 발명의 일 실시예에 따른 햅틱 텍스처 생성 방법을 나타낸 흐름도
도 9는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 햅틱 텍스처 생성 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 햅틱 텍스처 생성 장치(100)는 데이터 수집 모듈(102), 데이터 예측 모듈(104), 및 가상 텍스처 생성 모듈(106)을 포함할 수 있다.
데이터 수집 모듈(102)은 물체의 표면에 대한 텍스처 관련 정보를 수집할 수 있다. 예시적인 실시예에서, 데이터 수집 모듈(102)은 도 2에 도시된 데이터 획득 장치(120)를 통해 물체의 표면에 대한 텍스처 관련 정보를 수집할 수 있다. 데이터 획득 장치(120)는 소정 물체의 표면을 스크래치 하면서 물체의 표면에 대한 텍스처 관련 정보를 획득하기 위한 장치일 수 있다.
도 2를 참조하면, 데이터 획득 장치(120)는 일정 길이를 갖는 막대 모양의 본체(120a), 가속도 센서(120b), 힘 센서(force sensor)(120c), 및 위치 추적 마커(120d)를 포함할 수 있다.
예시적인 실시예에서, 본체(120a)는 펜과 같은 형태로 마련될 수 있다. 사용자는 본체(120a)를 손에 쥐고 소정 물체의 표면을 스크래치 할 수 있다. 즉, 사용자는 본체(120a)를 손에 쥔 상태에서 본체(120a)의 단부를 물체의 표면에 접촉시킨 후 물체의 표면을 일정 방향으로 긁을 수 있다. 사용자는 본체(120a)로 물체의 표면을 스크래치 한 후, 본체(120a)의 단부를 물체의 표면에서 떼어내고 다시 본체(120a)의 단부를 물체의 표면에 접촉하여 스크래치 하는 동작을 반복 수행할 수 있다.
가속도 센서(120b)는 본체(120a)에 장착되고 본체(120a)가 물체의 표면을 스크래치 하는 동안 본체(120a)의 가속도(접촉 가속도)를 측정할 수 있다. 가속도 센서(120b)는 3축 가속도를 측정하는 센서일 수 있다.
힘 센서(force sensor)(120c)는 본체(120a)에 장착되고 본체(120a)가 물체의 표면을 스크래치 하는 동안 물체의 표면에 가해지는 힘을 측정할 수 있다. 위치 추적 마커(120d)는 본체(120a)에 장착되고 본체(120a)가 물체의 표면을 스크래치 하는 동안 본체(120a)의 위치를 추적하기 위한 것일 수 있다.
사용자는 데이터 획득 장치(120)의 본체(120a) 단부를 물체의 표면에 스크래치 하는 동작을 수행할 수 있다. 이때, 물체의 표면은 도 3에 도시된 바와 같이 Model Grass, Jeans, Cardboard와 같은 등방성(isotopic) 질감을 갖는 물체 및 Wood, Corduroy, Roof tile와 같은 비등방성(anisotopic) 질감을 갖는 물체의 표면일 수 있다. 여기서는, 데이터 획득 장치(120)가 사용자에 의해 스크래치 동작을 수행하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 별도의 장치를 통해 자동적으로 스크래치 동작을 수행할 수도 있다.
데이터 수집 모듈(102)은 데이터 획득 장치(120)와 전기적으로 연결될 수 있다. 데이터 수집 모듈(102)은 데이터 획득 장치(120)가 물체의 표면에 스크래치 동작을 하는 동안 실시간으로 데이터 획득 장치(120)로부터 물체의 표면에 대한 텍스처 관련 정보를 수집할 수 있다.
예를 들어, 데이터 수집 모듈(102)은 가속도 센서(120b)로부터 물체의 표면에 대한 가속도 신호를 수집할 수 있다. 데이터 수집 모듈(102)은 가속도 센서(120b)가 측정한 3축 가속도 신호를 단일 축의 가속도 신호로 변환할 수 있다. 데이터 수집 모듈(102)은 힘 센서(120c)로부터 물체의 표면에 가해지는 힘(force)을 수집할 수 있다.
데이터 수집 모듈(102)은 위치 추적 마커(120d)를 통해 물체의 표면을 스크래치 하는 동안 본체(102a)의 위치를 확인할 수 있다. 데이터 수집 모듈(102)은 본체(102a)의 위치 정보를 통해 본체(102a)의 스크래치 되는 속도(velocity)와 방향(direction)을 산출할 수 있다.
여기서, 물체의 표면에 대한 텍스처 관련 정보는 물체의 표면에 대한 가속도 신호, 물체의 표면에 가해지는 힘(force), 스크래치 되는 속도(velocity), 및 방향(direction)을 포함할 수 있다. 이때, 상기 힘, 속도, 및 방향은 "움직임 파라미터"로 지칭할 수 있다.
데이터 수집 모듈(102)은 데이터 획득 장치(120)를 이용하여 수집한 물체의 표면에 대한 텍스처 관련 정보를 데이터 예측 모듈(104)로 전달할 수 있다. 데이터 예측 모듈(104)은 데이터 수집 모듈(102)로부터 물체의 표면에 대한 가속도 신호 및 움직임 파라미터(힘, 속도, 방향)를 각각 수신할 수 있다.
구체적으로, 데이터 예측 모듈(104)은 이전의 가속도 신호 시퀀스 및 현재의 움직임 파라미터에 기반하여 현재의 가속도 신호를 복원(또는 예측)하도록 마련될 수 있다. 여기서, 이전의 가속도 신호 시퀀스는 기 설정된 횟수(또는 기 설정된 시간 동안)의 이전 스크래치 동작들에 따른 가속도 신호들의 시퀀스를 의미할 수 있다. 그리고, 현재의 움직임 파라미터는 금번 스크래치 동작에 따른 움직임 파라미터(힘, 속도, 방향)일 수 있다.
즉, 데이터 예측 모듈(104)은 이전의 가속도 신호 시퀀스와 현재의 움직임 파라미터를 합성하여 현재의 가속도 신호를 생성할 수 있다. 도 4는 본 발명의 일 실시예에 따른 데이터 예측 모듈(104)이 이전의 가속도 신호 시퀀스와 현재의 움직임 파라미터를 합성하여 현재의 가속도 신호를 예측하는 상태를 개략적으로 나타낸 도면이다.
도 4를 참조하면, 데이터 예측 모듈(104)은 A1(첫 번째 스크래치 동작에 따른 가속도 신호)부터 A479(479번째 스크래치 동작에 따른 가속도 신호)까지의 가속도 신호 시퀀스(즉, 이전의 가속도 신호 시퀀스)와 480번째 움직임 파라미터를 합성하여 480번째 가속도 신호를 예측할 수 있다. 또한, 데이터 예측 모듈(104)은 A2(2 번째 스크래치 동작에 따른 가속도 신호)부터 A480(480번째 스크래치 동작에 따른 가속도 신호)까지의 가속도 신호 시퀀스와 481번째 움직임 파라미터를 합성하여 481번째 가속도 신호를 예측할 수 있다. 이러한 과정을 통하여 데이터 예측 모듈(104)은 현재의 가속도 신호를 예측해갈 수 있다.
도 5는 본 발명의 일 실시예에 따른 데이터 예측 모듈(104)의 구성을 나타낸 도면이다. 도 5를 참조하면, 데이터 예측 모듈(104)은 데이터 분할부(111), 제1 특징 추출부(113), 제2 특징 추출부(115), 및 결합부(117)를 포함할 수 있다.
데이터 분할부(111)는 데이터 수집 모듈(102)로부터 이전의 가속도 신호 시퀀스(X(n))를 입력 받을 수 있다. 데이터 분할부(111)는 이전의 가속도 신호 시퀀스(X(n))를 복수 개의 세그먼트로 분할할 수 있다. 구체적으로, 데이터 분할부(111)는 시간 길이가 l인 이전의 가속도 신호 시퀀스(X(n))를 시간 길이가 λ인 k개의 세그먼트(p1, p2, ..., pk)들로 분할 할 수 있다. 이 경우, l = λ×k가 된다. 여기서, 각 세그먼트의 시간 길이(λ) 및 세그먼트의 총 개수(k)는 후술하는 제1 특징 추출부(113) 및 제2 특징 추출부(115)의 인공 신경망 구조, 크기, 가중치 등에 따라 적절하게 조정할 수 있다.
제1 특징 추출부(113)는 데이터 분할부(111)에 의해 분할된 복수 개의 세그먼트들을 입력 받고, 복수 개의 세그먼트들로부터 이전의 가속도 신호 시퀀스에 대한 시간적 특징(temporal feature)을 추출하도록 마련되는 제1 인공 신경망 모델을 포함할 수 있다. 즉, 제1 특징 추출부(113)는 복수 개의 세그먼트들을 입력 받고, 복수 개의 세그먼트들로부터 이전의 가속도 신호 시퀀스 내 가속도 신호들의 시간적 순서와 관련된 특징을 추출하도록 마련될 수 있다.
예시적인 실시예에서, 제1 특징 추출부(113)는 각각 순환 신경망(Recurrent Neural Network, RNN)으로 구성된 인코더(encoder)(113a)와 디코더(decoder)(113b)를 포함하는 인코더-디코더 모델을 제1 인공 신경망 모델로 할 수 있다. 또한, 제1 특징 추출부(113)는 인코더(113a)와 디코더(113b) 사이에 주의 집중층(attention layer)(113c)를 더 포함할 수 있다.
인코더(113a)는 복수 개의 세그먼트(p1, p2, ..., pk) 각각을 입력으로 하는 복수 개의 양방향 LSTM(Bi-LSTM(Long Short Term Memory))을 포함할 수 있다. 양방향 LSTM은 순방향 LSTM(forward LSTM)과 역방향 LSTM(backward LSTM)을 포함할 수 있다. 각 양방향 LSTM은 i번째 세그먼트(pi)에 대한 은닉 상태 벡터(순방향 은닉 상태 벡터와 역방향 은닉 상태 벡터가 결합된 벡터)를 출력할 수 있다.
주의 집중층(113c)은 인코더(113a)에 의해 생성된 각 은닉 상태 벡터에 대한 디코더(113b)의 현재 출력 시점에서의 주의 집중 가중치(attention weight)를 결정할 수 있다. 이때, 주의 집중 가중치는 현재 출력 시점에서 은닉 상태 벡터들 중 어떤 세그먼트에 대한 은닉 상태 벡터에 집중하여야 할지를 나타낸다.
디코더(113b)는 인코더(113a)의 복수 개의 양방향 LSTM에 대응하는 복수 개의 LSTM(Long Short Term Memory)을 포함할 수 있다. 디코더(113b)는 주의 집중층(113c)에서 결정된 주의 집중 가중치 및 인코더(113a)에서 출력되는 은닉 상태 벡터들에 기반하여 이전의 가속도 신호 시퀀스에 대한 시간적 특징(temporal feature)을 출력할 수 있다. 예를 들어, 제1 특징 추출부(113)에서 출력하는 이전의 가속도 신호 시퀀스에 대한 시간적 특징은 1×20 크기의 벡터일 수 있으나 이에 한정되는 것은 아니다.
제2 특징 추출부(115)는 데이터 분할부(111)에 의해 분할된 복수 개의 세그먼트들을 입력 받고, 복수 개의 세그먼트들로부터 이전의 가속도 신호 시퀀스에 대한 공간적 특징(spatial feature)을 추출하도록 마련되는 제2 인공 신경망 모델을 포함할 수 있다. 즉, 제2 특징 추출부(115)는 복수 개의 세그먼트들을 입력 받고, 복수 개의 세그먼트들로부터 이전의 가속도 신호 시퀀스에 대한 로컬 공간 정보(local spatial information) 즉, 진동의 스펙트럼 특징(spectral features of the vibration)(신호의 모양이 어떻게 생겼는지에 대한 특징)을 추출하도록 마련될 수 있다.
예시적인 실시예에서, 제2 특징 추출부(115)는 1D CNN(Convolutional Neural Network) 모델을 제2 인공 신경망 모델로 할 수 있다. 제2 특징 추출부(115)는 하나 이상의 컨볼루션층(convolution layer)(115a), 하나 이상의 풀링층(pooling layer)(115b), 잔여 연결층(residual layer)(115c), 및 주의 집중층(attention layer)(115d)을 포함할 수 있다.
예를 들어, 제2 특징 추출부(115)는 5개의 컨볼루션층(115a), 2개의 풀링층(115b), 1개의 잔여 연결층(115c), 및 1개의 주의 집중층(115d)을 포함할 수 있다. 5개의 컨볼루션층(115a)은 직렬로 연결될 수 있다. 2개의 풀링층(115b) 중 첫 번째 풀링층(115b)은 첫 번째와 두 번째 컨볼루션층(115a) 사이에 배치될 수 있다. 두 번째 풀링층(115b)은 마지막(즉, 다섯 번째) 컨볼루션층(115a) 다음에 배치될 수 있다. 잔여 연결층(115c)은 세 번째 컨볼루션층(115a)의 출력단과 두 번째 풀링층(115b)의 출력단 사이에 배치될 수 있다. 주의 집중층(115d)은 두 번째 풀링층(115b) 다음에 배치될 수 있다.
5개의 컨볼루션층(115a)은 입력되는 복수 개의 세그먼트들에 대해 컨볼루션 연산을 수행하여 이전의 가속도 신호 시퀀스에 대한 공간적 특징(spatial feature)을 추출할 수 있다. 2개의 풀링층(115b)은 컨볼루션층(115a)에서 추출된 공간적 특징에 대해 다운 샘플링을 수행하여 공간적 특징의 치수를 줄일 수 있다. 잔여 연결층(115c)은 컨볼루션 연산 및 다운 샘플링 등의 과정에서 잃어버린 공간 정보를 재사용하도록 할 수 있다. 주의 집중층(115d)은 두 번째 풀링층(115b)에서 출력되는 공간적 특징들의 기여도에 따라 주의 집중 가중치를 지정할 수 있다.
예를 들어, 제2 특징 추출부(115)에서 출력하는 이전의 가속도 신호 시퀀스에 대한 공간적 특징은 1×20 크기의 벡터일 수 있으나 이에 한정되는 것은 아니다. 제1 특징 추출부(113)에서 출력하는 이전의 가속도 신호 시퀀스에 대한 시간적 특징과 제2 특징 추출부(115)에서 출력하는 이전의 가속도 신호 시퀀스에 대한 공간적 특징은 동일한 크기를 가지는 벡터일 수 있다.
결합부(117)는 제1 특징 추출부(113)로부터 이전의 가속도 신호 시퀀스에 대한 시간적 특징을 입력 받을 수 있다. 결합부(117)는 제2 특징 추출부(115)로부터 이전의 가속도 신호 시퀀스에 대한 공간적 특징을 입력 받을 수 있다. 결합부(117)는 데이터 수집 모듈(102)로부터 현재의 움직임 파라미터(힘(f), 속도(v), 방향(d))를 입력 받을 수 있다.
결합부(117)는 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 현재의 움직임 파라미터를 결합하여 현재의 가속도 신호(a(n))를 예측하도록 마련되는 제3 인공 신경망 모델을 포함할 수 있다. 예시적인 실시예에서, 결합부(117)의 제3 인공 신경망 모델은 하나 이상의 완전 연결층(Fully Connected Layer)을 포함할 수 있다. 예를 들어, 결합부(117)는 2개의 완전 연결층을 포함할 수 있으나, 이에 한정되는 것은 아니다.
결합부(117)의 제3 인공 신경망 모델은 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 현재의 움직임 파라미터에 기반하여 예측한 현재의 가속도 신호와 정답 값(예를 들어, 데이터 획득 장치(120)로부터 획득하는 현재의 가속도 신호) 간의 차이가 최소화 되도록 학습될 수 있다.
한편, 여기서는 이전의 가속도 신호 시퀀스에 대한 시간적 특징 및 이전의 가속도 신호 시퀀스에 대한 공간적 특징을 모두 이용하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 그 중 어느 하나의 특징과 현재의 움직임 파라미터를 이용하여 현재의 가속도 신호를 예측할 수도 있다.
또한, 데이터 획득 장치(120)에서 처음 스크래치 동작을 수행하는 경우, 이전의 가속도 신호 시퀀스에 대한 데이터가 없으므로, 초기 가속도 신호 시퀀스를 생성할 필요가 있다. 이에, 데이터 예측 모듈(104)은 도 6에 도시된 등방성 텍스처에 대한 속도-힘 그리드에서 네 가지 인접 조건의 가속도 신호에 역 거리 가중치 보간(inverse distance weighting interpolation)을 적용하여 초기 가속도 신호 시퀀스를 생성할 수 있다.
여기서, 등방성 텍스처는 방향과 무관하기 때문에, 속도와 힘 조건만 사용되었으며, 비등방성 텍스처의 경우, 0°, 45°, 90°, 135°의 방향을 추가적으로 사용할 수 있다. 그리고, 비등방성 텍스처(도 3 참조)가 반대 방향으로 동일한 패턴의 텍스처를 가지는 경우, 그 반대 방향(즉, 180°, 235°, 270°, 315°)의 경우도 그와 동일한 가속 신호로 간주할 수 있다. 데이터 예측 모듈(104)은 초기 가속도 신호 시퀀스 및 현재의 움직임 파라미터에 기반하여 현재의 가속도 신호를 예측하게 된다.
가상 텍스처 생성 모듈(106)은 데이터 예측 모듈(104)에서 예측한 가속도 신호에 기반하여 가상 텍스처를 표현하기 위한 진동 신호를 생성할 수 있다. 가상 텍스처 생성 모듈(106)은 스타일러스 펜에 부착된 진동 작동기와 전기적으로 연결될 수 있다. 가상 텍스처 생성 모듈(106)은 생성한 진동 신호를 상기 진동 작동기로 전달할 수 있다.
여기서, 스타일러스 펜은 태블릿과 같은 디스플레이 장치의 화면에 접촉되고 사용자의 조작에 의해 디스플레이 장치의 화면 상에서 스크래치 동작될 수 있다. 도 7은 본 발명의 일 실시예에 따른 가상 텍스처의 평가 방법을 나타낸 도면이다.
도 7을 참조하면, 태블릿과 같은 디스플레이 장치(150)의 화면에 물체의 표면 이미지가 표시될 수 있다. 예를 들어, 도 3에 도시된 물체의 표면 이미지가 디스플레이 장치(150)에 표시될 수 있다. 사용자는 스타일러스 펜(160)을 들고 디스플레이 장치(150)의 물체의 표면 이미지 부분에 스크래치 동작을 할 수 있다. 이때, 가상 텍스처 생성 모듈(106)은 스타일러스 펜(160)에 장착된 진동 작동기(161)에 가상 텍스처를 표현하기 위한 진동 신호를 전달할 수 있다.
여기서, 진동 작동기(161)는 진동 신호에 따라 동작되어 진동함으로써, 사용자가 스타일러스 펜(160)을 들고 스크래치 동작을 할 때, 디스플레이 장치(150)에 표시된 물체의 표면에 대한 가상 텍스처를 표현하게 된다.
개시되는 실시예에 의하면, 인공 신경망 모델을 통해 이전의 가속도 신호 시퀀스로부터 현재의 가속도 신호를 예측함으로써, 가상 텍스처를 보다 정확하게 렌더링 할 수 있고, 사용자가 실제 체감하는 질감을 보다 높일 수 있게 된다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
도 8은 본 발명의 일 실시예에 따른 햅틱 텍스처 생성 방법을 나타낸 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 8을 참조하면, 햅틱 텍스처 생성 장치(100)는 데이터 획득 장치(120)를 통해 물체의 표면에 대한 텍스처 관련 정보를 수집할 수 있다(S 101). 여기서, 물체의 표면에 대한 텍스처 관련 정보는 물체의 표면에 대한 가속도 신호 및 데이터 획득 장치(120)에 대한 움직임 파라미터를 포함할 수 있다. 움직임 파라미터는 데이터 획득 장치(120)의 스크래치 동작 시 물체의 표면에 가해지는 힘(force), 스크래치 되는 속도(velocity), 및 방향(direction)을 포함할 수 있다.
다음으로, 햅틱 텍스처 생성 장치(100)는 수집된 가속도 신호에 기반하여 일정 시간 길이를 갖는 이전의 가속도 신호 시퀀스를 생성하고, 이전의 가속도 신호 시퀀스를 복수 개의 세그먼트로 분할할 수 있다(S 103). 데이터 획득 장치(120)에서 스크래치 동작이 반복 수행될 때마다 가속도 신호가 수집되는 바, 햅틱 텍스처 생성 장치(100)는 수집되는 가속도 신호를 순차적으로 연결하여 일정 시간 길이를 갖는 이전의 가속도 신호 시퀀스를 생성할 수 있다.
다음으로, 햅틱 텍스처 생성 장치(100)는 분할된 복수 개의 세그먼트를 제1 인공 신경망 모델에 입력하여 이전의 가속도 신호 시퀀스에 대한 시간적 특징(temporal feature)을 추출할 수 있다(S 105).
다음으로, 햅틱 텍스처 생성 장치(100)는 분할된 복수 개의 세그먼트를 제2 인공 신경망 모델에 입력하여 이전의 가속도 신호 시퀀스에 대한 공간적 특징(spatial feature)을 추출할 수 있다(S 107).
다음으로, 햅틱 텍스처 생성 장치(100)는 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 현재의 움직임 파라미터를 제3 인공 신경망 모델에 입력하여 현재의 가속도 신호를 예측할 수 있다(S 109).
다음으로, 햅틱 텍스처 생성 장치(100)는 예측된 가속도 신호에 기반하여 가상 텍스처를 표현하기 위한 진동 신호를 생성할 수 있다(S 111). 햅틱 텍스처 생성 장치(100)는 생성한 진동 신호를 스타일러스 펜에 장착된 진동 작동기로 전달할 수 있다.
도 9는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 햅틱 텍스처 생성 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 햅틱 텍스처 생성 장치
102 : 데이터 수집 모듈
104 : 데이터 예측 모듈
106 : 가상 텍스처 생성 모듈
111 : 데이터 분할부
113 : 제1 특징 추출부
113a : 인코더
113b : 디코더
113c : 주의 집중층
115 : 제2 특징 추출부
115a : 컨볼루션층
115b : 풀링층
115c : 잔여 연결층
115d : 주의 집중층
117 : 결합부
120 : 데이터 획득 장치
120a : 본체
120b : 가속도 센서
120c : 힘 센서
120d : 위치 추적 마커
150 : 디스플레이 장치
160 : 스타일러스 펜
161 : 진동 작동기

Claims (20)

  1. 물체의 표면을 스크래치 하는 데이터 획득 장치로부터 상기 물체의 표면에 대한 텍스처 관련 정보를 수집하는 데이터 수집 모듈; 및
    상기 수집한 텍스처 관련 정보에 기반하여 상기 스크래치에 따른 가속도 신호를 예측하는 데이터 예측 모듈을 포함하는, 햅틱 텍스처 생성 장치.
  2. 청구항 1에 있어서,
    상기 데이터 획득 장치는,
    단부를 통해 상기 물체의 표면을 스크래치 하는 본체;
    상기 본체에 장착되고 상기 본체가 상기 물체의 표면을 스크래치 하는 동안 상기 본체의 가속도를 측정하여 가속도 신호를 생성하는 가속도 센서;
    상기 본체에 장착되고 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘을 측정하는 힘 센서; 및
    상기 본체에 장착되고 상기 본체의 위치를 확인하도록 하는 위치 추적 마커를 포함하는, 햅틱 텍스처 생성 장치.
  3. 청구항 2에 있어서,
    상기 데이터 수집 모듈은,
    상기 위치 추적 마커에 기반하여 상기 스크래치 하는 동안 상기 본체의 위치를 추적하며, 상기 본체의 위치에 기반하여 상기 본체의 스크래치 되는 속도 및 방향을 산출하는, 햅틱 텍스처 생성 장치.
  4. 청구항 3에 있어서,
    상기 텍스처 관련 정보는,
    상기 스크래치에 따른 가속도 신호 및 상기 스크래치에 따른 상기 본체의 움직임 파라미터를 포함하고,
    상기 움직임 파라미터는, 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘 및 상기 상기 본체의 스크래치 되는 속도와 방향을 포함하는, 햅틱 텍스처 생성 장치.
  5. 청구항 4에 있어서,
    상기 데이터 획득 장치는, 상기 스크래치 동작을 반복 수행하고,
    상기 데이터 예측 모듈은,
    상기 수집되는 가속도 신호를 순차적으로 연결하여 일정 시간 길이를 갖는 이전의 가속도 신호 시퀀스를 생성하고, 상기 이전의 가속도 신호 시퀀스 및 금번 스크래치 동작에 따른 상기 움직임 파라미터에 기반하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는, 햅틱 텍스처 생성 장치.
  6. 청구항 5에 있어서,
    상기 데이터 예측 모듈은,
    상기 이전의 가속도 신호 시퀀스를 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 특징을 추출하고, 상기 이전의 가속도 신호 시퀀스에 대한 특징과 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 인공 신경망을 포함하는, 햅틱 텍스처 생성 장치.
  7. 청구항 5에 있어서,
    상기 데이터 예측 모듈은,
    상기 이전의 가속도 신호 시퀀스를 복수 개의 세그먼트로 분할하는 데이터 분할부;
    상기 분할된 복수 개의 세그먼트들을 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징(temporal feature)을 추출하도록 마련되는 제1 특징 추출부;
    상기 분할된 복수 개의 세그먼트들을 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징(spatial feature)을 추출하도록 마련되는 제2 특징 추출부; 및
    상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 결합부를 포함하는, 햅틱 텍스처 생성 장치.
  8. 청구항 7에 있어서,
    상기 제1 특징 추출부는,
    상기 복수 개의 세그먼트 각각을 입력으로 하는 복수 개의 양방향 LSTM(Bi-LSTM(Long Short Term Memory))을 포함하고, 각 세그먼트에 대한 은닉 상태 벡터들을 출력하는 인코더;
    상기 인코더에서 출력되는 은닉 상태 벡터들에 대한 주의 집중 가중치를 결정하는 주의 집중층; 및
    상기 복수 개의 양방향 LSTM에 대응하는 복수 개의 LSTM을 포함하고, 상기 결정된 주의 집중 가중치 및 상기 은닉 상태 벡터들에 기반하여 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징을 출력하는 디코더를 포함하는, 햅틱 텍스처 생성 장치.
  9. 청구항 7에 있어서,
    상기 제2 특징 추출부는,
    상기 복수 개의 세그먼트들을 입력 받아 컨볼루션 연산을 수행하여 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징을 추출하는 하나 이상의 컨볼루션층;
    상기 컨볼루션층에서 추출된 상기 공간적 특징에 대해 다운 샘플링을 수행하여 상기 공간적 특징의 치수를 줄이는 하나 이상의 풀링층;
    상기 컨볼루션 연산 및 상기 다운 샘플링 과정에서 손실되는 공간 정보를 재사용하도록 하는 잔여 연결층; 및
    상기 추출된 공간적 특징들의 기여도에 따라 주의 집중 가중치를 결정하는 주의 집중층을 포함하는, 햅틱 텍스처 생성 장치.
  10. 청구항 7에 있어서,
    상기 결합부는,
    상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하기 위한 인공 신경망 모델을 포함하고,
    상기 인공 신경망 모델은,
    상기 예측한 가속도 신호와 상기 데이터 획득 장치로부터 수집한 금번 스크래치 동작에 따른 가속도 신호와의 차이가 최소화되도록 학습되는, 햅틱 텍스처 생성 장치.
  11. 청구항 1에 있어서,
    상기 햅틱 텍스처 생성 장치는,
    상기 예측한 가속도 신호에 기반하여 가상 텍스처를 표현하기 위한 진동 신호를 생성하는 가상 텍스처 생성 모듈을 더 포함하는, 햅틱 텍스처 생성 장치.
  12. 단부를 통해 물체의 표면을 스크래치 하면서, 상기 스크래치에 따른 가속도를 측정하여 가속도 신호를 생성하고, 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘을 측정하며, 위치 추적 마커가 장착되는 데이터 획득 장치; 및
    상기 데이터 획득 장치로부터 상기 물체의 표면에 대한 텍스처 관련 정보를 수집하고, 상기 수집한 텍스처 관련 정보에 기반하여 상기 스크래치에 따른 가속도 신호를 예측하는 햅틱 텍스처 생성 장치를 포함하는, 햅틱 텍스처 생성 시스템.
  13. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    물체의 표면을 스크래치 하는 데이터 획득 장치로부터 상기 물체의 표면에 대한 텍스처 관련 정보를 수집하는 단계; 및
    상기 수집한 텍스처 관련 정보에 기반하여 상기 스크래치에 따른 가속도 신호를 예측하는 단계를 포함하는, 햅틱 텍스처 생성 방법.
  14. 청구항 13에 있어서,
    상기 데이터 획득 장치는,
    단부를 통해 물체의 표면을 스크래치 하면서, 상기 스크래치에 따른 가속도를 측정하여 가속도 신호를 생성하고, 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘을 측정하며, 위치 추적 마커가 장착되는, 햅틱 텍스처 생성 방법.
  15. 청구항 14에 있어서,
    상기 텍스처 관련 정보를 수집하는 단계는,
    상기 위치 추적 마커에 기반하여 상기 스크래치 하는 동안 상기 데이터 획득 장치의 위치를 추적하는 단계; 및
    상기 데이터 획득 장치의 위치에 기반하여 상기 데이터 획득 장치의 스크래치 되는 속도 및 방향을 산출하는 단계를 포함하는, 햅틱 텍스처 생성 방법.
  16. 청구항 15에 있어서,
    상기 텍스처 관련 정보는,
    상기 스크래치에 따른 가속도 신호 및 상기 스크래치에 따른 상기 본체의 움직임 파라미터를 포함하고,
    상기 움직임 파라미터는, 상기 스크래치 하는 동안 상기 물체의 표면에 가해지는 힘 및 상기 상기 본체의 스크래치 되는 속도와 방향을 포함하는, 햅틱 텍스처 생성 방법.
  17. 청구항 16에 있어서,
    상기 데이터 획득 장치는, 상기 스크래치 동작을 반복 수행하고,
    상기 가속도 신호를 예측하는 단계는,
    상기 수집되는 가속도 신호를 순차적으로 연결하여 일정 시간 길이를 갖는 이전의 가속도 신호 시퀀스를 생성하는 단계; 및
    상기 이전의 가속도 신호 시퀀스 및 금번 스크래치 동작에 따른 상기 움직임 파라미터에 기반하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 단계를 포함하는, 햅틱 텍스처 생성 방법.
  18. 청구항 17에 있어서,
    상기 가속도 신호를 예측하는 단계는,
    상기 이전의 가속도 신호 시퀀스를 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 특징을 추출하는 단계; 및
    상기 이전의 가속도 신호 시퀀스에 대한 특징과 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 단계를 포함하는, 햅틱 텍스처 생성 방법.
  19. 청구항 17에 있어서,
    상기 가속도 신호를 예측하는 단계는,
    상기 이전의 가속도 신호 시퀀스를 복수 개의 세그먼트로 분할하는 단계;
    제1 인공 신경망 모델을 통해 상기 분할된 복수 개의 세그먼트들을 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징(temporal feature)을 추출하는 단계;
    제2 인공 신경망 모델을 통해 상기 분할된 복수 개의 세그먼트들을 입력 받아 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징(spatial feature)을 추출하는 단계; 및
    제3 인공 신경망 모델을 통해 상기 이전의 가속도 신호 시퀀스에 대한 시간적 특징, 상기 이전의 가속도 신호 시퀀스에 대한 공간적 특징, 및 상기 금번 스크래치 동작에 따른 움직임 파라미터를 결합하여 금번 스크래치 동작에 대한 가속도 신호를 예측하는 단계를 포함하는, 햅틱 텍스처 생성 방법.
  20. 청구항 13에 있어서,
    상기 햅틱 텍스처 생성 방법은,
    상기 예측한 가속도 신호에 기반하여 가상 텍스처를 표현하기 위한 진동 신호를 생성하는 단계; 및
    상기 진동 신호를 스타일러스 펜에 장착된 진동 작동기로 전달하는 단계를 더 포함하는, 햅틱 텍스처 생성 방법.
KR1020220072305A 2022-06-14 2022-06-14 햅틱 텍스처 생성 장치와 시스템 및 방법 KR20230171760A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220072305A KR20230171760A (ko) 2022-06-14 2022-06-14 햅틱 텍스처 생성 장치와 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220072305A KR20230171760A (ko) 2022-06-14 2022-06-14 햅틱 텍스처 생성 장치와 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230171760A true KR20230171760A (ko) 2023-12-21

Family

ID=89320901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220072305A KR20230171760A (ko) 2022-06-14 2022-06-14 햅틱 텍스처 생성 장치와 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230171760A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658261B1 (ko) 2009-03-12 2016-09-22 임머숀 코퍼레이션 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658261B1 (ko) 2009-03-12 2016-09-22 임머숀 코퍼레이션 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법

Similar Documents

Publication Publication Date Title
CN112714896B (zh) 自知视觉-文本共接地导航代理
KR102478026B1 (ko) 반복 신경망들을 통한 포즈 예측
CN109716361B (zh) 执行触摸运动预测的深度机器学习
JP5147933B2 (ja) 人−機械インターフェース装置システム及び方法
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
EP3215981B1 (en) Nonparametric model for detection of spatially diverse temporal patterns
CN103310188A (zh) 用于姿态识别的方法和设备
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
US20200286302A1 (en) Method And Apparatus For Manipulating Object In Virtual Or Augmented Reality Based On Hand Motion Capture Apparatus
KR20200120739A (ko) 공중 필기 인식을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체
CN106716317A (zh) 解决触摸不连续性的方法和装置
Sharma et al. Continuous sign language recognition using isolated signs data and deep transfer learning
Zhu et al. Control with gestures: A hand gesture recognition system using off-the-shelf smartwatch
CN107993651B (zh) 一种语音识别方法、装置、电子设备及存储介质
CN110955965A (zh) 一种考虑交互作用的行人运动预测方法及系统
CN110222730A (zh) 基于惯性传感器的用户身份识别方法及识别模型构建方法
Dong et al. Skeleton-based human motion prediction with privileged supervision
Liu et al. An accelerometer-based gesture recognition algorithm and its application for 3D interaction
CN113610212A (zh) 一种多模态传感器数据的合成方法、装置及存储介质
KR20230171760A (ko) 햅틱 텍스처 생성 장치와 시스템 및 방법
CN113516000A (zh) 波形图像的处理方法、装置、设备及存储介质
CN111753736A (zh) 基于分组卷积的人体姿态识别方法、装置、设备和介质
US20220382246A1 (en) Differentiable simulator for robotic cutting
Chu et al. WordGesture-GAN: Modeling Word-Gesture Movement with Generative Adversarial Network
CN103221912A (zh) 输入命令

Legal Events

Date Code Title Description
E902 Notification of reason for refusal