KR101836335B1 - 햅틱 인터랙션 장치 및 그 동작 방법 - Google Patents

햅틱 인터랙션 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR101836335B1
KR101836335B1 KR1020160111567A KR20160111567A KR101836335B1 KR 101836335 B1 KR101836335 B1 KR 101836335B1 KR 1020160111567 A KR1020160111567 A KR 1020160111567A KR 20160111567 A KR20160111567 A KR 20160111567A KR 101836335 B1 KR101836335 B1 KR 101836335B1
Authority
KR
South Korea
Prior art keywords
cycle
virtual environment
intensity
haptic interaction
offset value
Prior art date
Application number
KR1020160111567A
Other languages
English (en)
Other versions
KR20180016221A (ko
Inventor
유지환
하심란사인
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to US16/317,820 priority Critical patent/US20210173485A1/en
Priority to PCT/KR2017/007094 priority patent/WO2018012785A1/ko
Publication of KR20180016221A publication Critical patent/KR20180016221A/ko
Application granted granted Critical
Publication of KR101836335B1 publication Critical patent/KR101836335B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 이용하면서, 인터랙션의 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)이 향상시킬 수 있는 햅틱 인터랙션 장치 및 그 동작 방법을 제안한다.

Description

햅틱 인터랙션 장치 및 그 동작 방법{HAPTIC INTERACTION APPARATUS, AND CONTROL METHOD THEREOF}
본 발명은 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)을 향상시키기 위한 방안에 관한 것이다.
햅틱 인터랙션은 사용자(오퍼레이터)와 햅틱 디스플레이(이하, '햅틱 인터랙션 장치'라 칭함) 사이에서의 양방향 에너지 흐름을 발생시킨다.
이러한 에너지의 발생 및 흐름은 가상환경(VE: virtual environment)의 렌더링에 의존된다.
헌데, 가상환경의 경계에 해당하는 가상의 벽과의 강한 접촉이 렌더링되는 경우에는, 햅틱 인터랙션 장치에서는 예컨대, 진동 등의 불안정한 거동이 관측될 수 있다.
이러한 거동은 햅틱 인터랙션 장치를 손상시킬 수 있고, 오퍼레이터의 주의를 분산시키거나, 더 안 좋은 경우에는 인간 오퍼레이터에게 상해를 입힐 수 있다.
따라서 이와 관련된 햅틱 인터랙션에서의 안정성 분석은 간과될 수 없는 중요한 문제이다.
이에, 넓은 임피던스 범위에서 안정적인 햅틱 인터랙션을 제공하기 위한 다양한 연구들이 진행되고 있으나, 대부분의 연구에서의 접근방식들은 안정성을 확보하기 위해 강도(stiffness)를 희생하고 있는 실정이다.
이에, 안정성을 확보하면서도 고 강도의 햅틱 인터랙션을 구현할 수 있는 새로운 방안의 마련이 필요하다 할 것이다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)를 향상시키는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 변화율 경도(rate hardness)를 향상시키기 위한 햅틱 인터랙션 장치는, 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 정해지면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 처음 침투하는 최초 사이클의 프레싱 경로에서는 상기 목표강도에 따라 피드백 힘을 발생시키고, 최초 사이클의 릴리싱 경로 및 이후 사이클에서의 프레싱 경로 및 릴리싱 경로에서는 상기 목표강도보다 낮은 강도에 따라 피드백 힘이 발생하도록 설정하는 설정부; 상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인부; 및 상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정부를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 피드포워드 힘의 오프셋 값은, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며, 상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 한다.
보다 구체적으로, 상기 최초 사이클에서의 상기 피드백 힘이 상기 목표강도에 따라 설정되는 경우, 사용자가 상기 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 상기 피드백 힘이 상기 목표강도보다 낮은 강도에 따라 설정된 경우의 변화율 경도보다 향상되는 것을 특징으로 한다.
보다 구체적으로, 상기 릴리싱 경로는, 상기 가상환경의 경계인 가상 벽으로부터 상기 햅틱 인터랙션 포인트가 탈출한 경우에도 피드백 힘이 존재하도록 설정되고, 상기 가상환경 밖에서의 피드백 힘은, 상기 가상환경 안에서의 피드백 힘의 연장선상에서 연속되도록 설정되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 변화율 경도(rate hardness)를 향상시키기 위한 햅틱 인터랙션 방법은, 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 정해지면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 처음 침투하는 최초 사이클의 프레싱 경로에서는 상기 목표강도에 따라 피드백 힘을 발생시키고, 최초 사이클의 릴리싱 경로 및 이후 사이클에서의 프레싱 경로 및 릴리싱 경로에서는 상기 목표강도보다 낮은 강도에 따라 피드백 힘이 발생하도록 설정하는 설정단계; 상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인단계; 및 상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정단계를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 피드포워드 힘의 오프셋 값은, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며, 상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 한다.
보다 구체적으로, 상기 최초 사이클에서의 상기 피드백 힘이 상기 목표강도에 따라 설정되는 경우, 사용자가 상기 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 상기 피드백 힘이 상기 목표강도보다 낮은 강도에 따라 설정된 경우의 변화율 경도보다 향상되는 것을 특징으로 한다.
보다 구체적으로, 상기 릴리싱 경로는, 상기 가상환경의 경계인 가상 벽으로부터 상기 햅틱 인터랙션 포인트가 탈출한 경우에도 피드백 힘이 존재하도록 설정되고, 상기 가상환경 밖에서의 피드백 힘은, 상기 가상환경 안에서의 피드백 힘의 연장선상에서 연속되도록 설정되는 것을 특징으로 한다.
본 발명의 다른 실시예는, 변화율 경도(rate hardness)를 향상시키기 위한 상기의 햅틱 인터랙션 방법의 각 단계를 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램일 수 있다.
본 발명의 또 다른 실시예는, 변화율 경도(rate hardness)를 향상시키기 위한 상기의 햅틱 인터랙션 방법의 각 단계를 실행시키기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체일 수 있다.
이에, 본 발명에 따른 햅틱 인터랙션 장치 및 그 동작 방법에 의하면, 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로써, 인터랙션의 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)가 향상되는 효과가 성취된다.
도 1은 본 발명의 일 실시예에 따른 일 실시예에 따른 햅틱 인터랙션 시스템을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치의 개략적인 구성도.
도 3은 본 발명의 일 실시예에 따른 피드포워드 오프셋을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 연속 힘 증가(SFA) 방식을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 확장된 연속 힘 증가(Extended SFA) 방식을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서의 동작 흐름을 설명하기 위한 도면.
도 7은 햅틱 인터랙션 장치에서 강도 1N/mm의 가상 벽과의 안정적인 햅틱 인터랙션을 설명하기 위한 도면.
도 8은 햅틱 인터랙션 장치에서 강도 5N/mm의 가상 벽과의 불안정한 햅틱 인터랙션을 설명하기 위한 도면.
도 9는 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서 강도 3N/mm의 가상 벽에 대해 확장된 SFA 방식을 적용하는 경우에 대한 도면.
도 10은 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서 강도 5N/mm의 가상 벽에 대해 확장된 SFA 방식을 적용하는 경우에 대한 도면.
도 11은 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서 SFA 방식과 확장된 SFA 방식을 적용하는 경우에 변화율 경도의 비교에 대한 도면.
도 12는 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서 SFA 방식과 확장된 SFA 방식을 적용하는 경우에 디스플레이되는 강도의 비교에 대한 도면.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 햅틱 인터랙션 시스템을 도시한 도면이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 햅틱 인터랙션 시스템은 사용자에 해당하는 오퍼레이터와 가상환경 간에 햅틱 인터랙션을 제공하는 햅틱 인터랙션 장치(100)를 포함하는 구성을 가질 수 있다.
이러한, 햅틱 인터랙션 시스템의 구성에서 시스템 안정성에 대한 분석은 결코 경시되어서는 안될 중요한 기준이며, 시스템의 투명성(transparency)을 향상시키고 임피던스 범위를 확대시킨 것 역시 중요한 과제일 것이다.
그간 안전성을 보장하면서도 시스템의 투명성을 향상시키기 위한 다양한 방식들이 제안되어 왔는데, 그 중 수동성(passivity)은 시스템 파라미터와 무관하게 햅틱 인터랙션과 관련된 주요한 수학적 수단이라고 볼 수 있을 것이다.
관련하여 이러한 수동성 이론으로부터 도출되어 예컨대, 시간-도메인 수동성 방식, 에너지 제한 알고리즘, 및 힘 제한 알고리즘 등이 안정적인 햅틱 인터랙션을 보장하기 위해 제안되었다.
그러나, 안정적인 햅틱 인터랙션을 보장하는 위 방식들 대부분은 안정성을 확보하기 위해 인터랙션에서의 강도(stiffness)를 희생하고 있는 실정이다.
한편, 햅틱 인터랙션에서의 강도(stiffness)는 사용자(오퍼레이터)가 느끼는 정도를 일컫는 경도(hardness)와 동일하지 않은 것이 일반적이다.
기존 연구에서는 표면을 침투할 때의 초기 속도에 대한 초기 힘의 변화율, 즉 변화율 경도(rate hardness)에 의해서 가상벽에 대한 경도(Wall hardness)를 사용자(오퍼레이터)가 지각하게 됨을 밝힌바 있다.
관련하여, 햅틱 인터랙션에 있어서 물리적인 댐핌 에너지를 인가하는 방식을 통해서 인터랙션의 안정화를 도모할 수는 있으나, 이처럼 댐핑 에너지를 인가하는 방식은 오히려 사용자(오퍼레이터)가 가상 물체와 접촉할 때 지각하는 것과 관련된 경도를 감소시키게 되는 한계점으로서 작용할 수 있다.
이에, 본 발명의 일 실시예에서는 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도를 향상시킬 수 있는 새로운 방안을 제안하고자 하며, 이하에서는 이를 구현하기 위한 햅틱 인터랙션 장치(100)의 구성에 대해 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)의 구성을 개략적으로 보여주고 있다.
도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)는 가상환경에서의 목표강도를 지정하는 지정부(110), 피드백 힘(state dependent linear feedback force)을 설정하는 설정부(120), 강도를 확인하는 확인부(130), 및 피드백 힘과 관련하여 피드포워드 힘의 오프셋(feedforward force offset) 값을 결정하는 결정부(140)를 포함하는 구성을 가질 수 있다.
이상의 지정부(110), 설정부(120), 확인부(130), 및 결정부(140)를 포함하는 햅틱 인터랙션 장치(100)의 구성 전체 내지는 적어도 일부는, 하드웨어 모듈 형태로 구현되거나, 소프트웨어 모듈 형태로 구현될 수 있다.
여기서, 소프트웨어 모듈이란, 예컨대, 햅틱 인터랙션 장치(100) 내에서 연산을 수행하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 햅틱 인터랙션 장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.
결국, 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)는 전술한 구성을 통해 피드포워드 힘의 오프셋 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택하게 되는 데, 이하에서는 이와 관련된 햅틱 인터랙션 장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.
한편, 본 발명의 일 실시예에서 채택하고 있는 연속 힘 증가 방식은, 안정성과 고 강도를 구현하기 위한 제1방식(SFA)과, 안정성과 고 강도 그리고 변화율 경도를 함께 고려하기 위한 제2방식(Extended SFA)으로 분류될 수 있는 데, 이하에서는 이를 구분하여 설명하기로 한다.
먼저, 제1방식(SFA)에 따라 안정성과 고 강도를 구현하기 위한 햅틱 인터랙션 장치(100) 내 각 구성에 대해 설명하면 다음과 같다.
지정부(110)는 가상환경에서의 목표강도를 지정하는 기능을 처리한다.
보다 구체적으로, 지정부(110)는 가상환경에서의 햅틱 인터랙션 포인트(HIP, Haptic Interaction Point)의 침투 깊이와 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도를 지정하게 된다.
여기서, 햅틱 인터랙션 포인트란 가상 환경에서의 사용자의 손의 위치를 의미하는 것으로서, 사용자에게 햅틱 정보를 제공하는 장치의 프로브(probe)의 위치를 의미하는 것으로 이해될 수 있다.
이때, 목표강도는 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 침투 깊이에 상응하는 피드백 힘 간의 상관관계를 나타내는 목표기울기로부터 도출될 수 있다.
설정부(120)는 피드백 힘을 설정하는 기능을 처리한다.
보다 구체적으로, 설정부(120)는 가상환경에서의 목표강도가 지정되면, 햅틱 인터랙션 포인트를 가상환경 안쪽으로 침투시키기 위한 피드백 힘을 설정하게 된다.
이때, 설정되는 피드백 힘은 아래 [수식 1]에서와 같이 표현될 수 있다.
[수식 1]
Figure 112016084843895-pat00001
여기서, 'K'는 가상환경에서의 강도이고, 'x(n)'은 햅틱 인터랙션 포인트의 침투 깊이를 나타낸다.
한편, 위 [수식 1]에서 'offset'은 피드포워드 힘의 오프셋 값을 의미하는 것으로서, 시스템 상태에 대해 독립적인 속성을 가짐에 따라 인터랙션의 불안정성을 해소시킴과 동시에, 강도를 변경시키는 중요 파라미터로서 작용하게 된다.
관련하여 도 3에는 서로 다른 피드포워드 힘의 오프셋 값에 따른 3가지 경우(Case1, Case2, Case)를 보여주고 있으며 관련 설명은 다음과 같다.
Case 1: 오프셋 값은 O이다.
사용자(오퍼레이터)의 힘이 가상환경으로부터의 피드백 힘과 동일한 지점에서 수렴된다. 양자화(quantization)와 ZOH(Zero-Order Hold)로 인해서 수렴 지점에서 앞뒤로의 작은 움직임이 존재하게 되며, 해당 수렴 영역은 도 3에서 녹색 상자로 표시된다.
Case 2: 오프셋 값은 양의 값이다.
Case 1에서와 동일한 힘이 사용자(오퍼레이터)에 의해 가해진다고 가정하면, 수렴 지점은 Case 1과 비교할 때 왼쪽으로 더 이동하는 것을 확인할 수 있다. 이는 Case 1보다 작은 침투 깊이에서 피드백 힘이 사용자(오퍼레이터)의 힘과 동일해지기 때문이며, 따라서 Case 1보다 보다 더 큰 강도를 보이게 된다.
Case 3: 오프셋 값은 음의 값이다.
Case 1 및 Case 2에서와 동일한 힘이 사람(오퍼레이터)에 의해 가해질 때, 더 큰 침투 깊이에서 피드백 힘이 사람(오퍼레이터)의 힘과 동일해지게 된다. 따라서 수렴 지점은 Case 1의 경우보다 더 오른쪽으로 이동하게 되며, 이는 Case 1의 경우보다 더 낮은 강도를 보이는 것으로 이해될 수 있다.
이는 디스플레이되는 강도가 케이스 2에 대해 가장 크고, 케이스 1에서는 좀 더 낮으며, 케이스 3에 대해 가장 작다는 것을 보여준다. 한편, 설정부(120)는 각 사이클에서 피드백 힘에 의해 축적되는 에너지가 햅틱 장치 고유의 물리적 댐핑 에너지의 크기보다 작게 설정할 수도 있다.
여기서, 사이클이란 피드백 힘에 따라 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투된 이후 물리적 댐핑 에너지에 의해 햅틱 인터랙션 포인트가 릴리싱 경로를 따라 가상환경 바깥으로 탈출되는 하나의 주기를 일컫는다.
이처럼, 피드백 힘을 물리적 댐핑 에너지의 크기보다 작게 설정하는 것은, 인터랙션 과정에서 발생하는 에너지가 물리적 댐핑 에너지에 의해 상쇄되어 안정성을 확보하기 위함이다.
확인부(130)는 사이클에서의 강도를 확인하는 기능을 처리한다.
보다 구체적으로, 확인부(130)는 설정된 피드백 힘에 따라 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투된 이후 댐핑 에너지에 의해 햅틱 인터랙션 포인트가 릴리싱 경로를 따라 가상환경 바깥으로 탈출되는 각 사이클이 종료되는 경우, 해당 사이클에서의 강도를 확인하게 된다.
결정부(140)는 다음 사이클에서의 피드백 힘에 대한 피드포워드 힘의 오프셋 값을 결정하는 기능을 처리한다.
보다 구체적으로, 결정부(140)는 사이클에서 확인된 강도와 가상환경의 목표강도를 비교한 결과를 기초로, 종료된 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하게 된다.
이때, 피드포워드 힘의 오프셋 값은, 사이클에서 확인된 강도가 가상환경의 목표강도보다 임계치 이상으로 작은 경우, 이웃한 이전 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 반면 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 이전 사이클에서의 오프셋 값보다 작은 값으로 결정된다.
또한, 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 피드포워드 힘의 오프셋 값은 이웃한 이전 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정된다.
한편, 사이클이 햅틱 인터랙션 포인트를 가상환경 안쪽으로 침투시키기 위한 최초 사이클인 경우에는 제로('0') 값으로 결정된다.
결국, 본 발명의 일 실시예에 따른 피드포워드 힘의 오프셋 값은, 제로('0')로 시작하여, 인터랙션의 강도가 가상환경의 목표강도보다 크거나 같아질 때까지, 각각의 인터랙션 사이클에 걸쳐 오프셋 값을 점차적으로 증가되며, 이후에는 인터랙션의 강도가 목표강도에 도달한 이후에는 목표강도로 유지될 수 있도록 토글링되는 것이다.
이하에서는, 설명의 이해를 돕기 위해 수식 및 도면을 참조하여 제1방식(SFA)을 따르는 경우의 햅틱 인터랙션 장치(100)의 구체적인 동작을 서술하기로 한다.
먼저, 도 4에 도시된 침투 깊이 대 피드백 힘 그래프를 참조하여 한 번에 한 사이클씩 개념적으로 설명하기로 한다.
이때 생성된 에너지가 패드백 힘과 침투 깊이 사이의 선형 관계에 대한 장치의 물리적 댐핑 에너지에 의해 소멸될 수 있는 강도는 아래 [수식 2]와 같은 수동성 조건으로 주어진다.
[수식 2]
Figure 112016084843895-pat00002
여기서, bm은 물리적 댐핑이고 ΔT는 샘플링 시간이다.
햅틱 인터랙션에 대한 상태 의존적 피드백 힘은 아래 [수식 3]과 같이 주어진다.
[수식 3]
Figure 112016084843895-pat00003
여기서 f(n)은 피드백 힘, Kv는 Kv < Kvirtual 이 되도록 선택된 강도이고 x(n)은 침투 깊이이다.
제1사이클(Cycle 1)에 대한 오프셋 값은 0이다. 따라서, 제1사이클(Cycle 1)에 대한 침투 깊이 대 피드백 힘은 도 4 (a) 에 도시된 바와 같다.
제1사이클(Cycle 1), 즉 프레싱 경로와 릴리싱 경로가 끝나면, 강도는 아래 [수식 4]와 같이 주어진다.
[수식 4]
Figure 112016084843895-pat00004
강도는 매 사이클 종료 시에 목표 강도와 비교된다. 이때, 오프셋 값은 강도가 목표 강도보다 더 큰지 작은지에 따라서, [수식3]에서의 α만큼 감소되거나 또는 증가된다.
기울기 Kv 는 Kvirtual 보다 어느 정도 작게 취해지므로, [수식 2]를 고려하여 오프셋 값은 매 사이클 이후에 최대 아래 [수식 5]에서의 값만큼 증가되거나 감소될 수 있다.
[수식 5]
Figure 112016084843895-pat00005
여기서, Kv 값이 더 작을수록 매 사이클 이후에 α값이 더 커지며, Kv 값이 더 커지면 반대가 된다.
오프셋 값은 아래 [수식 6]과 관련하여 강도가 목표강도보다 크거나 같아질 때까지 제1사이클(Cycle 1)에 대해 증가를 유지하게 되는 데 이는 도 4 (b)에 도시된 바와 같다. 그 이후에는 오프셋 값은 강도를 목표강도에 가깝게 유지시키기 위하여 토글링된다.
[수식 6]
Figure 112016084843895-pat00006
햅틱 인터랙션 동안 생성된 에너지는 아래 [수식 7]과 같다.
[수식 7]
Figure 112016084843895-pat00007
여기서, f(k-1)은 마지막 샘플로부터의 피드백 힘이며,
Figure 112016084843895-pat00008
는 장치의 속도이다.
햅틱 인터랙션에 의해 소멸된 에너지는 아래 [수식 8]과 같다.
[수식 8]
Figure 112016084843895-pat00009
Kvirtual 보다 더 작은 강도를 사용하게 되면 안정적인 인터랙션을 유지할 수 있게 되는데, 이는 인터랙션 동안 생성된 모든 에너지가 물리적 댐핑에 의해 소멸될 수 있기 때문이다.
오프셋 값에 의해 생성되는 추가 에너지가 일부 존재할 수 있는 데, 이는 장치의 고유 댐핑에 의해 소멸될 수 있는 것보다 더 큰 경우가 발생할 수 있다.
그러나, 이와 같이 추가로 생성된 에너지는 다음 사이클의 프레싱 경로에서 시스템으로 다시 공급되게 되는 데, 이에 따라 시스템은 인터랙션 동안에 안정되게 유지될 수 있다.
이는 아래 [수식 9]와 관련된다.
[수식 9]
Figure 112016084843895-pat00010
이상, 제1방식(SFA)에 따르는 경우의 햅틱 인터랙션 장치(100)에 대한 설명을 마치고, 제2방식(Extended SFA)에 따라 안정성과 고 강도 그리고 변화율 경도를 함께 고려하기 위한 햅틱 인터랙션 장치(100)의 구성에 대해 설명하기로 한다.
한편, 지정부(110)와 확인부(130) 그리고, 결정부(140)의 동작은 제1방식과 동일하므로, 이하의 설명에서는 생략하기로 한다.
설정부(120)는 변화율 경도를 고려하기 위한 피드백 힘을 설정하는 기능을 처리한다.
보다 구체적으로, 설정부(120)는 가상환경에서의 목표강도가 지정되면, 햅틱 인터랙션 포인트를 가상환경 안쪽으로 침투시키기 위한 피드백 힘을 설정하게 된다.
이때, 설정부(120)는 햅틱 인터랙션 포인트를 가상환경 안쪽으로 침투시키기 위한 최초 사이클인 경우, 변화율 경도를 향상시키기 위한 목적으로 피드백 힘을 목표강도만큼 설정한다.
이처럼, 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우, 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)는 최초 사이클에서부터 피드백 힘이 목표강도보다 작게 설정된 경우의 변화율 경도보다 향상될 수 있다.
여기서, 릴리싱 경로의 경우, 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우, 그 궤적이 가상환경의 경계인 가상 벽으로부터 햅틱 인터랙션 포인트의 탈출 방향인 바깥쪽으로 설정 깊이만큼 연장된다.
이는 피드백 힘이 목표강도만큼 설정되는 경우, 햅틱 인터랙션 포인트가 가상환경 밖으로 이동하게 되는 데, 이때 갑작스런 힘의 강하가 발생되어 급작스런 진동(요동) 현상이 발생하는 것을 방지하기 위함이다.
결국, 본 발명의 일 실시예에서는 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우 릴리싱 경로의 궤적을 가상환경의 경계인 가상 벽으로부터 햅틱 인터랙션 포인트의 탈출 방향인 바깥쪽으로 설정 깊이만큼 연장시킴으로써, 가상환경의 경계를 이동시키는 것과 같은 효과가 도출되어 급작스런 진동(요동) 현상을 억제할 수 있는 것이다.
한편, 설정부(120)는 최초 사이클 이후의 사이클에선 피드백 힘을 상기 물리적 댐핑 에너지의 크기 보다 작게 설정하여 제1방식을 따름으로써, 안정성과 고 강도가 보장될 수 있도록 한다.
이하에서는, 설명의 이해를 돕기 위해 수식 및 도면을 참조하여 제2방식(Extended SFA)을 따르는 경우의 햅틱 인터랙션 장치(100)의 구체적인 동작을 서술하기로 한다.
앞서 각각의 프레싱 경로 및 릴리싱 경로를 포함하는 인터랙션 사이클의 진행에 따라 피드백 힘이 증가하여 강도를 증가시키는 연속적인 강도 증가 방식을 설명하였다.
한편, 가상환경에서의 인터랙션 시 생성되는 에너지가 장치의 고유 댐핑에 의해 소멸될 정도로 충분히 작은 경우에 시스템이 안정될 수 있다는 것은 주지된 바이다.
그러나, 변화율 경도(rate hardness)는 연속적인 강도 증가(SFA) 방식에서 작은 강도의 렌더링으로 인해서 목표한 값보다 더 작아지게 된다.
따라서 이하에서는 가상환경에서 목표한 값에 가깝게 변화율 경도(rate hardness)를 증가시키기 위한 연속 강도 증가 방식을 확장하는 방안을 제안하고자 한다.
도 5는 변화율 경도(rate-hardness)를 가상환경의 목표 변화율 경도(rate-hardness)와 동일하게 만들기 위한 개념을 보여주고 있다.
제1 프레싱 경로에 대해서, 햅틱 인터랙션은 도 5 (a)에 도시된 바와 같이 가상환경의 실제 강도를 따르게 되는 데, 이에 따라 과도 응답 동안 변화율 경도(rate-hardness)를 향상시키게 되며 감지되는 강도 또한 목표 강도와 동일하게 만들 수 있다.
단순 초기 접촉에 대한 자유 공간에서의 힘 계산 방식은 아래 [수식 10]과 같이 표현될 수 있다.
[수식 10]
Figure 112016084843895-pat00011
여기서, x(n)은 가상환경에서 햅틱 프로브(햅틱 인터랙션 포인트)의 침투 깊이이고, k 는 가상환경의 목표 강도이다.
가상환경의 지각 경도(perceptual hardness)는 가상환경의 강도 K보다는 변화율 경도(rate hardness)에 더 가깝게 관련되는 데 이는 아래 [수식 11]과 같다.
[수식 11]
Figure 112016084843895-pat00012
여기서,
Figure 112016084843895-pat00013
과
Figure 112016084843895-pat00014
은 접촉 이후 제1 프레싱 경로에서의 속도와 힘의 변화율이다.
제1 프레싱 경로의 종료 이후에 햅틱 인터랙션에 대한 상태 의존적 피드백 힘은, 낮은 강도 값, Kv를 이용하여, 앞선 [수식 3]으로 주어진다.
도 5a에서 보는 바와 같이, 제1사이클(Cycle 1), 즉 제1 프레싱 경로 및 제1 릴리싱 경로의 종료 시점 이후에 생성된 에너지는 장치의 댐핑에 의해 소멸될 수 있는 에너지보다 훨씬 커지게 되는 데 이는 아래 [수식 12]와 같이 표현될 수 있다.
[수식 12]
Figure 112016084843895-pat00015
여기서 Eg1 은 제1 사이클 이후에 생성된 에너지이고, Eb1 은 제1 사이클 (Cycle 1) 이후에 장치의 댐핑에 의해서 소멸된 에너지이다.
그러나, 이러한 추가 생성 에너지의 대부분은 도 4b 로부터 알 수 있듯이, 다음 프레싱 사이클에서 다시 시스템으로 공급된다.
프레싱 경로에 있어 원하는 강도를 사용하고 릴리싱 경로에 있어서는 낮은 강도를 사용하는 초기 접촉 패턴이 반복되면, 축적되는 다량의 활성 에너지로 인해서 가상환경의 인터랙션은 불안정하게 될 것이다.
그러나, 본 발명에서는, 햅틱 인터랙션이 제2사이클(Cycle 2)부터 연속적인 강도 증가(SFA) 방식을 따르도록 구성하였고, 이로써 인터랙션이 안정하게 유지되어 강도는 가상환경의 목표 강도에 가깝게 유지된다.
낮은 강도 릴리싱 경로로 인해서 제2사이클(Cycle 2)부터 연속 강도 증가(SFA) 방식을 사용할 수 있게 되었지만, 햅틱 인터랙션 포인트가 가상환경 밖으로 이동하게 될 때 갑작스런 힘의 강하(force drop)가 야기될 수 있다.
높은 힘의 인터랙션 동안, 도 5 (b) 에서 볼 수 있는 바와 같이 높은 크기의 푸시백(pushback) 힘으로 인해서, 햅틱 인터랙션 포인트는 쉽게 가상환경 밖으로 이동하게 된다. 즉, 릴리싱 궤적의 x 값이 xwall 보다 더 왼쪽으로 이동하게 되는 것이다.
결국, 햅틱 인터랙션 포인트가 벽 밖으로 이동하므로, 주어진 힘은 0으로 설정될 것이다. 그러나, 이는 햅틱 인터랙션을 요동치게 하는 급격한 힘의 점핑 현상을 야기하게 된다.
이러한 문제점에 대처하기 위하여, 본 발명에서는 x 절편까지 릴리싱 경로의 궤적을 연장하여 부드러운 힘 변화를 얻는데, 이는 아래 [수식 13]과 관련하여 가상환경의 경계를 이동시키는 것처럼 작용된다.
[수식 13]
Figure 112016084843895-pat00016
역기서 x1은 침투 깊이이며, f1은 초기 프레싱 경로 종료 이후의 힘이다. 이러한 이동 인터랙션 포인트 xOVE는 매 프레싱 경로의 종료시마다 피드백 힘 및 침투 깊이에 따라서 매 사이클 이후에 변화하게 된다.
이로써 가상환경의 인터랙션이 수행되거나 또는 가상환경으로부터 햅픽 인터랙션 포인트가 탈출할 때, 힘이 변화가 서서히 이루어지게 되므로, 사용자(오퍼레이터)는 갑작스런 진동을 느끼지 못하게 되며, 만약 접촉 동안에 가상환경의 경계 안과 밖으로 이동한다 하여도, 이는 마찬가지다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)의 구성에 따르면, 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로써, 인터랙션의 안정성 및 고 강도가 보장된다. 또한, 초기 사이클에서 피드백 힘을 가상환경의 목표강도만큼으로 설정하는 확장된 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로서, 인터랙션의 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)가 향상되는 효과가 성취된다.
이하에서는, 도 6을 참조하여 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)에서의 동작 흐름을 설명하기로 한다.
먼저, 지정부(110)는 단계 'S110'에 따라 가상환경에서의 햅틱 인터랙션 포인트(HIP, Haptic Interaction Point)의 침투 깊이와 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도를 지정한다.
이때, 목표강도는 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 침투 깊이에 상응하는 피드백 힘 간의 상관관계를 나타내는 목표기울기로부터 도출될 수 있다.
이어서, 설정부(120)는 가상환경에서의 목표강도가 지정된 이후 단계 'S120' 및 'S130'을 통해 안정성과 고 강도를 구현하기 위한 제1방식(SFA)을 따르며 초기 사이클의 시작이 확인되는 경우, 단계 'S140'에 따라서 초기 사이클에서 입력될 피드백 힘을 물리적 댐핑 에너지의 크기보다 작게 설정한다.
이때, 결정부(140)는 초기 사이클에서의 피드백 힘이 설정이 이루어지는 경우에는 피드포워드 힘과 관련된 피드포워드 힘의 오프셋 값을 제로('0') 값으로 결정한다.
나아가, 확인부(130)는 단계 'S150'에 따라 설정된 피드백 힘에 따라 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투된 이후 댐핑 에너지에 의해 햅틱 인터랙션 포인트가 릴리싱 경로를 따라 가상환경 바깥으로 탈출되는 사이클이 종료되는 경우, 해당 사이클에서의 강도를 확인한다.
이후, 결정부(140)는 단계 'S180'에 따라 사이클에서 확인된 강도와 가상환경의 목표강도를 비교한 결과를 기초로, 종료된 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정한다.
여기서, 피드포워드 힘의 오프셋 값은, 사이클에서 확인된 강도가 가상환경의 목표강도보다 임계치 이상으로 작은 경우, 이웃한 이전 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 반면 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 이전 사이클에서의 오프셋 값보다 작은 값으로 결정된다.
또한, 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 피드포워드 힘의 오프셋 값은 이웃한 이전 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정된다.
이때, 설정부(120)는 초기 사이클에서의 피드백 힘 설정과 마찬가지로 후속될 사이클에서의 피드백 힘을 물리적 댐핑 에너지의 크기보다 작게 설정한다.
이상의 단계 'S150' 내지 'S170'을 통해 이루어지는 햅틱 인터랙션 장치(100)의 동작은 단계 'S180'에서 가상환경과의 인터랙션의 종료가 확인되는 시점까지 반복된다.
한편, 설정부(120)는 가상환경에서의 목표강도가 지정된 이후 단계 'S120'및 'S190'을 통해 안정성과 고 강도 그리고 변화율 경도를 함께 고려하기 위한 제2방식(Extended SFA)을 따르며, 초기 사이클의 시작이 확인되는 경우, 단계 'S200'에 따라서 변화율 경도를 향상시키기 위한 목적으로 피드백 힘을 목표강도만큼 설정한다.
이처럼, 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우, 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 피드백 힘이 상기 물리적 댐핑 에너지의 크기 보다 작게 설정된 경우의 변화율 경도보다 향상될 수 있다.
여기서, 릴리싱 경로의 경우, 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우, 그 궤적이 가상환경의 경계인 가상 벽으로부터 햅틱 인터랙션 포인트의 탈출 방향인 바깥쪽으로 설정 깊이만큼 연장된다.
이는 피드백 힘이 목표강도만큼 설정되는 경우, 햅틱 인터랙션 포인트가 가상환경 밖으로 이동하게 되는 데, 이때 갑작스런 힘의 강하가 발생되어 급작스런 진동(요동) 현상이 발생하는 것을 방지하기 위함이다.
결국, 본 발명의 일 실시예에서는 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우 릴리싱 경로의 궤적을 가상환경의 경계인 가상 벽으로부터 햅틱 인터랙션 포인트의 탈출 방향인 바깥쪽으로 설정 깊이만큼 연장시킴으로써, 가상환경의 경계를 이동시키는 것과 같은 효과가 도출되어 급작스런 진동(요동) 현상을 억제할 수 있는 것이다.
한편, 설정부(120)는 최초 사이클 이후의 사이클에선 피드백 힘을 상기 물리적 댐핑 에너지의 크기 보다 작게 설정하여 제1방식을 따름으로써, 안정성과 고 강도가 보장될 수 있도록 한다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)에서의 동작 흐름에 따르면, 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로써, 인터랙션의 안정성 및 고 강도가 보장된다. 또한, 초기 사이클에서 피드백 힘을 가상환경의 목표강도만큼으로 설정하는 확장된 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로서, 인터랙션의 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)가 향상되는 효과가 성취된다. 본 발명에 의해 위와 같은 효과가 성취된다는 것은 이하의 실험 섹션에서의 연구를 통해 더 증명될 수 있다.
본 발명에 대한 실험
A. 실험 셋업
단일-DOF 임피던스 타입 햅틱 디스플레이에 대해 본 발명에서 제안한 방식의 성능을 입증하기 위하여, PHANToM Premium 1.5 를 사용하였다. 기본적인 내용은 다음과 같다: 8.5 N 의 최대 힘 출력, 1.4 N 의 연속적으로 가해질 수 있는 힘, 0.03의 인코더 해상도(encoder resolution) 및 1 kHz의 샘플링 레이트. 시스템이 안정화되는 햅틱 디스플레이의 물리적 댐핑, (bm), 은 0.00050 Ns/mm 로 선택되며, 따라서 수식 (2)에 의해서, 햅틱 인터랙션이 안정적이 되는 VE의 최대 강도는 1 N/mm 이다. 이는 도 7에도 도시되어 있다. 식(3)에 대한 Kv 는, 앞서 설명한 바와 같이, 1 N/mm 보다 작은 어떠한 값도 될 수 있으며, 0.8 N/mm 로 선택되었다.
VE 와의 햅틱 프로브의 인터랙션은 다음과 같이 단순한 가상 스프링으로서 모델링 되었다.
[수식 14]
여기서, x(n) 은 VE 의 햅틱 프로브의 침투 깊이이고, k 는 VE 의 실제 강도이다.
B. 실험 결과 평가
5 N/mm 강도의 가상 벽에 대한 실험 결과가 도 8에 도시되어 있다. 생성된 에너지는 시스템의 물리적 댐핑에 의해 소멸될 수 있는 것보다 훨씬 크기때문에, 응답이 불안정했다. 도 9 및 10은 확장된 SFA 방식을 실행하여 실험을 수행한 결과를 보여준다. 도 9d 및 10d에서, 제1 프레싱 경로 동안 큰 피드백 힘으로 인해서, 제1 릴리싱 경로 동안 위치가 초기 접촉 위치 밖으로 나간 것을 확인할 수 있다. 달성된 강도를
Figure 112016084843895-pat00018
로 계산하므로. xwall 보다 더 작은 x 값에서 아직 양의 값인 힘으로 인해, 음의 값을 가진다. VE 밖으로 이동하면, 접촉 포인트는 3 N/mm 의 VE 와 인터랙션할 때에는 0.3 mm 만큼, 5 N/mm 의 VE와 인터랙션할 때에는 0.5 mm 만큼 이동된다. 그러나, 이동된 VE 경계로 인해 유지되는 하중은 사용자에게 테스트 동안 아무런 비정상적인 영향을 미치지 않았다.
C. 대상 연구
여기서는 3 N/mm, 4 N/mm, 5 N/mm 의 강도를 가지는, 3가지 상이한 VE 에 대해 감지되는 강도를 구별하기 위한 대상 연구(subjective study)를 기술한다. 평가를 수행하기 위하여, 22세에서 28세까지 건강한 남성이 대상으로서 참가하였다. 이들 모두는 오른손잡이였고, 신경계나 근골격계에 아무런 장애가 없는 것으로 확인되었다. 대상들은 다른 강도를 가지는 3개의 VE 를 구별해야만 했었다. 대상들은 임의로 VE 에 할당되어, 경도의 오름차순으로 이들을 배열하여야 했었다. 강도 구별 과제를 수행하는 동안, 대상들이 VE 밖으로 이동하는 동안 VE 가 그 초기 접촉 포인트로부터 이동한 것을 느꼈는지에 관하여도 질문을 받았다.
결과는 모든 대상들이 임으로 할당받은 VE를 오름차순으로 정확하게 배열할 수 있었다는 것을 나타냈으며(Table 1), 이들 중 누구도 VE 가 그 초기 접촉 포인트로부터 이동했다는 것을 느끼지 못했다는 것을 나타냈다(Table 2). 이는 본 발명의 방식이, 댐핑을 주입하지 않고 시스템 안정성을 유지하면서도 목표 강도와 동일하게 감지되는 강도를 정확하게 디스플레이할 수 있다는 것을 보여준다. 종래 기술에서는, PHANToM Premium 1.5 를 이용하여 3 N/mm 또는 그보다 큰 디스플레이 강도 및 변화율 경도를 디스플레이 할 수 있는 다른 방식은 없다.
D. 변화율 경도(Rate-hardness) 와 SFA 방식의 비교
여기서는 본 발명에 따라 확장된 SFA 방식의 변화율 경도를 보여주고 이를 SFA 방식과 비교한다. SFA 방식은, VE 와의 접촉 포인트로부터 낮은 강도를 선택함으로써 상태 종속 선형 피드백 힘을 증가시키므로, 변화율 경도는 선택된 저 강도 값과 동일하다. 이는 도 11a 로부터 확인될 수 있는데, 여기서는 표면을 침투할 때의 초기 속도에 대한 힘의 초기 변화율이 0.8 N/mm 이다. 다른 한편으로, 도 11b 및 11c 는 VE의 것, 즉 3 N/mm 및 5 N/mm 와 동일한 확장된 SFA 방식에 대한 초기 힘 변화율 대 초기 속도를 보여준다. 이는 지각되는 강도가 SFA와 비교하여 확장된 SFA 에 대해 더 높다는 것을 보여준다.
E. 힘 제한 방식과의 비교
여기서는 본 발명에 따른 SFA 방식을 힘 제한 방식(Force Bounding Approach; FBA)과 비교한다. PHANToM Premium 1.5의 물리적 댐핑은 0.0005 Ns/mm 로 추정되었다. 목표 강성이 5 N/mm 였으나, FBA는 디스플레이 강성 및 변화율 경도를 약 1 N/mm 로 제한하였다 (도 12a). 그러나, 본 발명의 SFA 방식은 VE 의 값과 동일한 변화율 경도 및 5 N/mm 이하의 디스플레이 강도를 보였는데, 이는 도 12c 에서 보는 바와 같이, 목표 강도와 동일하다. 5 N/mm 강도의 VE 에 대한 FBA 에서 디스플레이 강도와 목표 강도의 평균평방근(root mean square) 에러는 84% 인 반면, 확대된 SFA 방식을 사용했을 때에는 7.52% 였다.
TDPA는 PHANToM Premium 1.5를 사용하여 그렇게 높은 강도의 VE를 안정화시킬 수 없었다는 점을 주목해야 한다.
결론
본 발명에서는 임피던스 타입의 햅틱 디스플레이의 변화율 경도와 디스플레이 강도를 향상시키기 위한 새로운 방안을 제안하였다. 제안된 방안은 변화율 경도를 디스플레이하여 그것에 대해 디스플레이 강도를 목표 강도에 가깝게 매칭시키기 위해 VE 의 목표 강도를 사용한다. 다른 방식과는 달리, 본 발명의 방식은 시스템을 안정화시키기 위하여 힘을 줄이거나 시스템 내에 댐핑을 주입하지 않는다, 따라서, 지각된 강도 및 투명성이 향상된다. 초기 프레싱 경로가 높은 에너지를 생성하므로, 햅틱 디스플레이의 고유 댐핑을 통해 생성된 에너지를 소멸시키는 렌더링에 대해 저 강도를 사용함으로써 SFA 방식은 안정성을 보장한다. 각각의 인터랙션 사이클에 대해 작은 힘 오프셋이 증대되는데, 이는 목표 강도에 도달할 때까지 달성되는 강도 값을 증가시킨다. 힘이 갑자기 변경되지 않고 점진적으로 변경되므로, 사용자는 VE 와 인터랙션할 때 급작스런 덜컥거림을 느끼지 않게 된다.
실험 및 대상 분석은 PHANToM Premium 1.5를 사용하여 수행되었고, 실험 평가 섹션에서 설명하였다. 이는 본 발명에 따른 방식이 안정성을 유지하면서도 변화율 경도 및 디스플레이 강도를 증가시킨다는 것을 증명한다. 힘 제한 방식과의 비교분석도 실행되었는데, 이는 본 발명의 방식이 더 큰 변화율 경도 및 디스플레이 강도를 얻을 수 있다는 것을 보여주었다. 본 발명의 방식은 다중-DOF 인터랙션에 대해서까지 확대될 것이며 어드미턴스(admittance)타입의 햅틱 인터랙션에도 확대될 것이다. 원격조종(teleoperation) 시스템에 대해서도 실시될 수 있다.
한편, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다.　 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.
컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서에서 "시스템"이나 "장치"라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에 일 실시예에 따른 햅틱 인터랙션 장치 및 그 동작 방법에 따르면, 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)를 향상시킬 수 있다는 점에서 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
100: 햅틱 인터랙션 장치
110: 지정부 120: 설정부
130: 확인부 140: 결정부

Claims (10)

  1. 변화율 경도(rate hardness)를 향상시키기 위한 햅틱 인터랙션 장치로서,
    가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 정해지면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 처음 침투하는 최초 사이클의 프레싱 경로에서는 상기 목표강도에 따라 피드백 힘을 발생시키고, 최초 사이클의 릴리싱 경로 및 이후 사이클에서의 프레싱 경로 및 릴리싱 경로에서는 상기 목표강도보다 낮은 강도에 따라 피드백 힘이 발생하도록 설정하는 설정부;
    상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인부; 및
    상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정부를 포함하는 것을 특징으로 하는 햅틱 인터랙션 장치.
  2. 제 1 항에 있어서,
    상기 피드포워드 힘의 오프셋 값은,
    상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며,
    상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며,
    상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 하는 햅틱 인터랙션 장치.
  3. 제 1 항에 있어서,
    상기 최초 사이클에서의 상기 피드백 힘이 상기 목표강도에 따라 설정되는 경우, 사용자가 상기 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 상기 피드백 힘이 상기 목표강도보다 낮은 강도에 따라 설정된 경우의 변화율 경도보다 향상되는 것을 특징으로 하는 햅틱 인터랙션 장치.
  4. 제 1 항에 있어서,
    상기 릴리싱 경로는,
    상기 햅틱 인터랙션 포인트가 상기 가상환경의 경계인 가상 벽을 통과하여 상기 가상환경 안쪽으로 침투하는 경로인 상기 프레싱 경로와는 반대 방향으로 상기 가상환경의 경계인 가상 벽을 통과하여 상기 가상환경 바깥쪽으로 탈출하는 경로이며,
    상기 햅틱 인터랙션 포인트가 상기 가상환경의 경계인 가상 벽을 통과하여 상기 가상환경 바깥쪽으로 탈출한 경우에도 피드백 힘이 존재하도록 설정되며,
    상기 가상환경 밖에서의 피드백 힘은, 상기 가상환경 안에서의 피드백 힘의 연장선상에서 연속되도록 설정되는 것을 특징으로 하는 햅틱 인터랙션 장치.
  5. 변화율 경도(rate hardness)를 향상시키기 위한 햅틱 인터랙션 방법으로서,
    가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 정해지면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 처음 침투하는 최초 사이클의 프레싱 경로에서는 상기 목표강도에 따라 피드백 힘을 발생시키고, 최초 사이클의 릴리싱 경로 및 이후 사이클에서의 프레싱 경로 및 릴리싱 경로에서는 상기 목표강도보다 낮은 강도에 따라 피드백 힘이 발생하도록 설정하는 설정단계;
    상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인단계; 및
    상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정단계를 포함하는 것을 특징으로 하는 햅틱 인터랙션 방법.
  6. 제 5 항에 있어서,
    상기 피드포워드 힘의 오프셋 값은,
    상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며,
    상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며,
    상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 하는 햅틱 인터랙션 방법.
  7. 제 5 항에 있어서,
    상기 최초 사이클에서의 상기 피드백 힘이 상기 목표강도에 따라 설정되는 경우, 사용자가 상기 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 상기 피드백 힘이 상기 목표강도보다 낮은 강도에 따라 설정된 경우의 변화율 경도보다 향상되는 것을 특징으로 하는 햅틱 인터랙션 방법.
  8. 제 5 항에 있어서,
    상기 릴리싱 경로는,
    상기 햅틱 인터랙션 포인트가 상기 가상환경의 경계인 가상 벽을 통과하여 상기 가상환경 안쪽으로 침투하는 경로인 상기 프레싱 경로와는 반대 방향으로 상기 가상환경의 경계인 가상 벽을 통과하여 상기 가상환경 바깥쪽으로 탈출하는 경로이며,
    상기 햅틱 인터랙션 포인트가 상기 가상환경의 경계인 가상 벽을 통과하여 상기 가상환경 바깥쪽으로 탈출한 경우에도 피드백 힘이 존재하도록 설정되며,
    상기 가상환경 밖에서의 피드백 힘은, 상기 가상환경 안에서의 피드백 힘의 연장선상에서 연속되도록 설정되는 것을 특징으로 하는 햅틱 인터랙션 방법.
  9. 제 5 항 내지 제 8 항 중 어느 한 항의 각 단계를 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  10. 제 5 항 내지 제 8 항 중 어느 한 항의 각 단계를 실행시키기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.
KR1020160111567A 2016-07-12 2016-08-31 햅틱 인터랙션 장치 및 그 동작 방법 KR101836335B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/317,820 US20210173485A1 (en) 2016-07-12 2017-07-04 Haptic interaction device and control method therefor
PCT/KR2017/007094 WO2018012785A1 (ko) 2016-07-12 2017-07-04 햅틱 인터랙션 장치 및 그 제어 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662370725P 2016-08-04 2016-08-04
US62/370,725 2016-08-04

Publications (2)

Publication Number Publication Date
KR20180016221A KR20180016221A (ko) 2018-02-14
KR101836335B1 true KR101836335B1 (ko) 2018-03-08

Family

ID=61229931

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160111567A KR101836335B1 (ko) 2016-07-12 2016-08-31 햅틱 인터랙션 장치 및 그 동작 방법
KR1020160157634A KR101861157B1 (ko) 2016-07-12 2016-11-24 햅틱 인터랙션 장치 및 그 동작 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020160157634A KR101861157B1 (ko) 2016-07-12 2016-11-24 햅틱 인터랙션 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (2) KR101836335B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200033388A (ko) * 2018-09-20 2020-03-30 (주)리얼감 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126766A (ja) 2014-12-29 2016-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 仮想環境における仮想センサ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100992567B1 (ko) * 2008-12-10 2010-11-05 포항공과대학교 산학협력단 햅틱 증강현실 제공 장치 및 방법
KR101268604B1 (ko) * 2011-05-31 2013-06-04 한국기술교육대학교 산학협력단 햅틱 인터페이스 장치 및 방법, 그리고 원격조종로봇 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126766A (ja) 2014-12-29 2016-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 仮想環境における仮想センサ

Also Published As

Publication number Publication date
KR101861157B1 (ko) 2018-06-29
KR20180016227A (ko) 2018-02-14
KR20180016221A (ko) 2018-02-14

Similar Documents

Publication Publication Date Title
JP4242400B2 (ja) 触覚情報を効率的に提供するための方法及び装置
US9652040B2 (en) Sculpted waveforms with no or reduced unforced response
Ja¨ ger A new principle in contact mechanics
JP6170117B2 (ja) 付加製造パラメータの決定方法および付加製造機械
JP6436067B2 (ja) 制御装置、制御方法、情報処理プログラム、および記録媒体
CN110995079B (zh) 电机振动信号的生成方法、装置、终端及存储介质
KR101791518B1 (ko) 사용자 인증 방법 및 장치
KR20180109619A (ko) 컨볼루션 신경망 처리 방법 및 장치
CN104875203A (zh) 生成机器人的动作路径的机器人仿真装置
KR101836335B1 (ko) 햅틱 인터랙션 장치 및 그 동작 방법
WO2009047235A3 (fr) Procédé de commande d&#39;un dispositif de commande à surface tactile et dispositif de commande électrique à surface tactile comportant des moyens de mise en œuvre dudit procédé
EP2942699A1 (en) Dynamic haptic effect modification
EP3966817B1 (en) Noise reduction in robot human communication
Deshmukh et al. LQR control of wind excited benchmark building using variable stiffness tuned mass damper
CN111552379A (zh) 振动系统快速停止的方法、装置、计算机设备及存储介质
KR101021797B1 (ko) 적응함수 근사화를 이용한 무인항공기의 개선제어방법
Sichani et al. Non-elliptic wheel-rail contact modelling in vehicle dynamics simulation
Choi et al. Perceived instability of virtual haptic texture: III. Effect of update rate
US20210173485A1 (en) Haptic interaction device and control method therefor
JP7344057B2 (ja) 制御装置、制御方法、及びプログラム
JP2018202018A (ja) 衝突感覚提示システム及びプログラム
JP6636285B2 (ja) 構造体をシミュレーションする方法、装置及びプログラム、並びに、タイヤをシミュレーションする方法、装置及びプログラム
KR20160124528A (ko) 클러치를 제어하기 위한 장치 및 방법
JP2019021086A (ja) 制御装置、制御装置の制御方法、情報処理プログラム、および記録媒体
JP6607097B2 (ja) 制御装置、制御方法、情報処理プログラム、および記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant