WO2018012785A1 - 햅틱 인터랙션 장치 및 그 제어 방법 - Google Patents
햅틱 인터랙션 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- WO2018012785A1 WO2018012785A1 PCT/KR2017/007094 KR2017007094W WO2018012785A1 WO 2018012785 A1 WO2018012785 A1 WO 2018012785A1 KR 2017007094 W KR2017007094 W KR 2017007094W WO 2018012785 A1 WO2018012785 A1 WO 2018012785A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cycle
- force
- virtual environment
- haptic
- feedback force
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
Abstract
햅틱 인터랙션 장치가 개시된다. 본 장치는 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 지정되면, 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 경우 발생할 피드백 힘을 설정하는 설정부, 설정된 피드백 힘에 따라, 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 사이클에서의 강도를 확인하는 확인부 및 사이클에서 확인된 강도와 목표강도를 비교한 결과를 기초로, 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정부를 포함할 수 있다. 이에 따라, 고 강도(stiffness)의 가상환경과의 햅틱 인터랙션이 구현될 수 있다.
Description
본 개시는 햅틱 인터랙션 장치 및 그 제어 방법에 관한 것이다.
햅틱(haptic) 인터랙션(interaction)은 햅틱 효과가 발생되는 햅틱 인터랙션장치와 햅틱 인터랙션 장치를 구동하는 오퍼레이터(operator)인 사용자 간의 양방향 에너지 흐름을 발생시킨다. 햅틱 효과는 촉각과 힘, 운동감 등을 느끼게 하는 효과를 포함한다. 이러한 에너지의 발생 및 흐름은 가상환경(VE: virtual environment)의 렌더링(rendering)에 의존된다.
가상환경의 경계에 해당하는 가상의 벽과의 강한 접촉이 렌더링되는 경우에는, 햅틱 인터랙션 장치에서는 예컨대, 진동 등의 불안정한 거동이 관측될 수 있다.
이러한 거동은 햅틱 인터랙션 장치를 손상시킬 수 있고, 오퍼레이터의 주의를 분산시키거나, 더 안 좋은 경우에는 오퍼레이터에게 상해를 입힐 수 있다.
따라서 이와 관련된 햅틱 인터랙션에서의 안정성 분석은 간과될 수 없는 중요한 문제이다.
이에, 넓은 임피던스 범위에서 안정적인 햅틱 인터랙션을 제공하기 위한 다양한 연구들이 진행되고 있으나, 대부분의 연구에서의 접근방식들은 안정성을 확보하기 위해 강도(stiffness)를 희생하고 있는 실정이다.
이에, 안정성을 확보하면서도 고 강도의 햅틱 인터랙션을 구현할 수 있는 새로운 방안의 마련이 필요하다 할 것이다.
본 발명의 일 실시 예는 햅틱 인터랙션 장치를 통해 햅틱 증강현실을 제공하기 위한 방법 및 시스템을 제안한다. 구체적으로, 본 발명의 일 실시 예는 임피던스 타입 햅틱 인터페이스들의 표출되는 강도(stiffness)의 범위를 더 넓히기 위한 발명으로서, 안정적이면서도 고강도인 햅틱 상호작용을 제공하기 위한 방법 및 시스템을 제안한다.
본 발명의 일 실시 예는 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)을 향상시키기 위한 방법을 제안한다.
본 발명의 일 실시 예는 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도(stiffness)의 가상환경과의 햅틱 인터랙션을 구현하기 위한 방법을 제안한다.
본 발명의 일 실시 예에 따른 햅틱 디바이스를 통해 햅틱 증강현실을 제공하기 위한 방법은 햅틱 디바이스의 제어기에 의해 가상환경의 목표강도를 설정하는 단계 - 상기 목표강도에서 가상환경 내로의 침투거리에 대응하여 발생하도록 목표되는 피드백 힘은 침투거리 대 피드백 힘의 목표 기울기에 따라서 정의되고, 상기 침투거리는 상기 햅틱 디바이스의 일단이 가상환경 내로 진입하는 거리임 -; 상기 햅틱 디바이스의 일단이 상기 가상환경 내로의 침투거리가 증가하는 프레싱 경로 및 침투거리가 감소하는 릴리싱 경로를 따라 움직이는 사이클을 반복하는 동안 상기 햅틱 디바이스의 구동기에 의해 상기 목표강도보다 낮은 강도에 따라 피드백 힘을 발생시키는 단계; 및 상기 햅틱 디바이스의 제어기에 의해 상기 사이클의 반복에 따라 상기 햅틱 디바이스의 일단의 침투거리는 일정 위치로 수렴하고, 수렴되는 위치의 침투거리 대 상기 수렴되는 위치에서 발생하는 피드백 힘의 기울기가 상기 목표 기울기에 도달하는 단계를 포함한다.
여기서, 프레싱 경로에서 발생하는 피드백 힘은 아래 수학식 a 로 정의되며,
<수학식 a>
상기 수학식 a 에서 Ks 는 프레싱 경로에서 침투거리 대 피드백 힘의 제 1 기울기이고, x는 침투거리이며, Fr은 첫번째 사이클에서는 0이고, 이후에는 직전 사이클의 릴리싱 경로를 따른 움직임에서 마지막 위치에서의 피드백 힘의 값일 수 있다.
또한, 릴리싱 경로에서 발생하는 피드백 힘은 아래 수학식 b 로 정의되며,
<수학식 b>
상기 수학식 b에서 μ는 릴리싱 경로에서 침투거리 대 피드백 힘의 제 2 기울기이고, x는 침투거리이며, Ff는 침투거리가 0일 때에 발생하도록 설정된 0보다 큰 힘의 값으로 사이클 횟수에 따라 증가할 수 있다.
여기서, 상기 제 1 기울기 또는 상기 제 2 기울기는 침투거리의 함수일 수 있다.
본 발명의 일 실시 예에 따른 햅틱 디바이스를 통해 햅틱 증강현실을 제공하는 시스템은 가상환경의 목표강도를 설정하고, 햅틱 디바이스의 일단이 상기 가상환경 내로의 침투거리가 증가하는 프레싱 경로 및 침투거리가 감소하는 릴리싱 경로를 따라 움직이는 사이클을 반복하는 동안 발생될 힘을 상기 목표강도보다 낮은 강도를 따라 결정하도록 구성되는 제어기 - 상기 침투거리는 상기 햅틱 디바이스의 일단이 가상환경 내로 진입하는 거리임 -; 및 상기 제어기에 의해 결정된 힘으로 햅틱 디바이스에 피드백 힘을 구동시키는 구동기를 포함하고, 상기 목표강도에서 가상환경에의 침투거리에 대응하여 발생하도록 목표되는 피드백 힘은 침투거리 대 피드백 힘의 목표기울기에 따라서 정의되고, 상기 목표강도보다 낮은 강도에 따라 가상환경에의 침투거리에 대응하여 발생되는 피드백 힘은 침투거리 대 피드백 힘의 기울기에 따라 발생되고, 상기 기울기는 상기 목표기울기보다 작으며, 상기 사이클의 반복에 따라 상기 햅틱 디바이스의 일단의 침투거리는 일정 위치로 수렴하고, 수렴되는 위치의 침투거리 대 상기 수렴되는 위치에서 발생하는 피드백 힘의 기울기가 상기 목표 기울기에 도달할 수 있다.
여기서, 프레싱 경로에서 발생하는 피드백 힘은 아래 수학식 a 로 정의되며,
<수학식 a>
상기 수학식 a 에서 Ks 는 프레싱 경로에서 침투거리 대 피드백 힘의 제 1 기울기이고, x는 침투거리이며, Fr은 첫번째 사이클에서는 0이고, 이후에는 직전 사이클의 릴리싱 경로를 따른 움직임에서 마지막 위치에서의 피드백 힘의 값일 수 있다.
또한, 릴리싱 경로에서 발생하는 피드백 힘은 아래 수학식 b 로 정의되며,
<수학식 b>
상기 수학식 b에서 μ는 릴리싱 경로에서 침투거리 대 피드백 힘의 제 2 기울기이고, x는 침투거리이며, Ff는 침투거리가 0일때에 발생하도록 설정된 0보다 큰 힘의 값으로 사이클 횟수에 따라 증가할 수 있다.
본 발명의 일 실시 예에 따른 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 저장 매체에 있어서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행될 때, 컴퓨터로 하여금 상기의 방법을 실행할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치는, 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 지정되면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 경우 발생할 피드백 힘을 설정하는 설정부; 상기 설정된 피드백 힘에 따라, 상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인부; 및 상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정부를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 피드포워드 힘의 오프셋 값은, 상기 사이클이 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 최초 사이클인 경우에는 제로('0') 값으로 결정되는 것을 특징으로 한다.
보다 구체적으로, 상기 피드포워드 힘의 오프셋 값은, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며, 상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 한다.
보다 구체적으로, 상기 설정부는, 상기 햅틱 인터랙션 포인트의 가상환경 안쪽으로의 침투거리에 따라 발생하는 피드백 힘을 상기 목표강도에 의해 발생해야 할 피드백 힘보다 작게 설정하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 햅틱 인터랙션 방법은, 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 지정되면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 경우 발생할 피드백 힘을 설정하는 설정단계; 상기 설정된 피드백 힘에 따라, 상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인단계; 및 상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정단계를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 피드포워드 힘의 오프셋 값은, 상기 사이클이 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 최초 사이클인 경우에는 제로('0') 값으로 결정되는 것을 특징으로 한다.
보다 구체적으로, 상기 피드포워드 힘의 오프셋 값은, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며, 상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 한다.
보다 구체적으로, 상기 설정단계는, 상기 햅틱 인터랙션 포인트의 가상환경 안쪽으로의 침투거리에 따라 발생하는 피드백 힘을 상기 목표강도에 의해 발생해야 할 피드백 힘보다 작게 설정하는 것을 특징으로 한다.
본 발명의 다른 실시예는, 상기의 햅틱 인터랙션 방법의 각 단계를 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램일 수 있다.
본 발명의 또 다른 실시예는, 상기의 햅틱 인터랙션 방법의 각 단계를 실행시키기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 변화율 경도(rate hardness)를 향상시키기 위한 햅틱 인터랙션 장치는, 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 정해지면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 처음 침투하는 최초 사이클의 프레싱 경로에서는 상기 목표강도에 따라 피드백 힘을 발생시키고, 최초 사이클의 릴리싱 경로 및 이후 사이클에서의 프레싱 경로 및 릴리싱 경로에서는 상기 목표강도보다 낮은 강도에 따라 피드백 힘이 발생하도록 설정하는 설정부; 상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인부; 및 상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정부를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 피드포워드 힘의 오프셋 값은, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며, 상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 한다.
보다 구체적으로, 상기 최초 사이클에서의 상기 피드백 힘이 상기 목표강도에 따라 설정되는 경우, 사용자가 상기 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 상기 피드백 힘이 상기 목표강도보다 낮은 강도에 따라 설정된 경우의 변화율 경도보다 향상되는 것을 특징으로 한다.
보다 구체적으로, 상기 릴리싱 경로는, 상기 가상환경의 경계인 가상 벽으로부터 상기 햅틱 인터랙션 포인트가 탈출한 경우에도 피드백 힘이 존재하도록 설정되고, 상기 가상환경 밖에서의 피드백 힘은, 상기 가상환경 안에서의 피드백 힘의 연장선상에서 연속되도록 설정되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 변화율 경도(rate hardness)를 향상시키기 위한 햅틱 인터랙션 방법은, 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 정해지면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 처음 침투하는 최초 사이클의 프레싱 경로에서는 상기 목표강도에 따라 피드백 힘을 발생시키고, 최초 사이클의 릴리싱 경로 및 이후 사이클에서의 프레싱 경로 및 릴리싱 경로에서는 상기 목표강도보다 낮은 강도에 따라 피드백 힘이 발생하도록 설정하는 설정단계; 상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인단계; 및 상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정단계를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 피드포워드 힘의 오프셋 값은, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며, 상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 한다.
보다 구체적으로, 상기 최초 사이클에서의 상기 피드백 힘이 상기 목표강도에 따라 설정되는 경우, 사용자가 상기 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 상기 피드백 힘이 상기 목표강도보다 낮은 강도에 따라 설정된 경우의 변화율 경도보다 향상되는 것을 특징으로 한다.
보다 구체적으로, 상기 릴리싱 경로는, 상기 가상환경의 경계인 가상 벽으로부터 상기 햅틱 인터랙션 포인트가 탈출한 경우에도 피드백 힘이 존재하도록 설정되고, 상기 가상환경 밖에서의 피드백 힘은, 상기 가상환경 안에서의 피드백 힘의 연장선상에서 연속되도록 설정되는 것을 특징으로 한다.
본 발명의 다른 실시예는, 변화율 경도(rate hardness)를 향상시키기 위한 상기의 햅틱 인터랙션 방법의 각 단계를 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램일 수 있다.
본 발명의 또 다른 실시예는, 변화율 경도(rate hardness)를 향상시키기 위한 상기의 햅틱 인터랙션 방법의 각 단계를 실행시키기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체일 수 있다.
이에, 본 발명에 따른 햅틱 인터랙션 장치 및 그 동작 방법에 의하면, 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로써, 인터랙션의 안정성이 보장됨을 전제로 가상환경과의 고 강도(stiffness)의 햅틱 인터랙션이 구현되는 효과가 성취될 수 있다.
또한, 인터랙션의 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)가 향상되는 효과가 성취될 수 있다.
도 1은 본 발명에 따른 SSI 방식의 개념을 설명하는 위치 대 힘 그래프이다.
도 2는 본 발명에 따라 제안된 SSI 방식에 대한 제어 구조를 도시한다.
도 3은 본 발명에 따른 로컬 기울기 u의 계산을 개략적으로 보여주는 도면이다.
도 4 및 5는 5 N/mm 의 강도를 가지는 가상 벽에 대한 불안정한 햅틱 인터랙션을 도시한다.
도 6 내지 9는 도 4와 동일한 실험 조건에서 본 발명에 따른 SSI 방식을 구현함으로써 나타나는 결과들을 도시한다.
도 10 내지 12는 본 발명에 따른 SSI 방식과 힘 제한 방식(FBA: Force Bounding Approach)의 비교를 도시한다.
도 13은 본 발명의 일 실시예에 따른 일 실시예에 따른 햅틱 인터랙션 시스템을 도시한 도면.
도 14는 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치의 개략적인 구성도.
도 15은 본 발명의 일 실시예에 따른 피드포워드 오프셋을 설명하기 위한 도면.
도 16 및 17은 본 발명의 일 실시예에 따른 연속 힘 증가(SFA) 방식을 설명하기 위한 도면.
도 18은 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서의 동작 흐름을 설명하기 위한 도면.
도 19 및 20은 햅틱 인터랙션 장치에서 강도 5N/mm의 가상 벽과의 불안정한 햅틱 인터랙션을 설명하기 위한 도면.
도 21 내지 24는 햅틱 인터랙션 장치에서 강도 5N/mm의 가상 벽과의 안정적인 햅틱 인터랙션을 설명하기 위한 도면.
도 25 내지 도 27은 본 발명의 일 실시예에 따른 연속 힘 증가(SFA) 방식과 힘 제한 방식(Force Bounding Approach; FBA)에서의 햅틱 인터랙션을 비교 설명하기 위한 도면.
도 28 및 29는 본 발명의 일 실시예에 따른 확장된 연속 힘 증가(Extended SFA) 방식을 설명하기 위한 도면.
도 30은 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서의 동작 흐름을 설명하기 위한 도면.
도 31 및 32는 햅틱 인터랙션 장치에서 강도 1N/mm의 가상 벽과의 안정적인 햅틱 인터랙션을 설명하기 위한 도면.
도 33 및 34는 햅틱 인터랙션 장치에서 강도 5N/mm의 가상 벽과의 불안정한 햅틱 인터랙션을 설명하기 위한 도면.
도 35 내지 38은 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서 강도 3N/mm의 가상 벽에 대해 확장된 SFA 방식을 적용하는 경우에 대한 도면.
도 39 내지 42는 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서 강도 5N/mm의 가상 벽에 대해 확장된 SFA 방식을 적용하는 경우에 대한 도면.
도 43 내지 45는 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서 SFA 방식과 확장된 SFA 방식을 적용하는 경우에 변화율 경도의 비교에 대한 도면.
도 46 내지 48은 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치에서 SFA 방식과 확장된 SFA 방식을 적용하는 경우에 디스플레이되는 강도의 비교에 대한 도면.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '햅틱 디바이스를 통해 햅틱 증강현실을 제공하기 위한 방법 및 시스템'을 상세하게 설명한다. 설명하는 실시예들은 본 발명의 기술 사상을 통상의 기술자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시예들을 쉽게 설명하기 위한 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 어떤 구성요소들을 '포함'한다는 표현은, 개방형의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
또한, '제 1, 제 2' 등과 같은 표현은, 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.
또한, 본 교시들이 다양한 실시예들과 관련하여 기술되지만, 본 교시들이 그러한 실시예들로 한정되도록 의도되지 않는다. 오히려, 본 기술분야의 통상의 기술자들에 의해 이해되는 바와 같이, 본 교시들은 다양한 대안들, 수정들, 및 동등물들을 포함한다.
1. 개요
종래의 기술에서 시스템 불안정성에 책임이 있는 2개의 특정 양상들은 이산화(discretization)와 영차 샘플 및 홀드(zero order sample and hold)이다. 연속적인 도메인을 위해 설계된 제어기가 이산 도메인으로 구현되는 경우, 성능이 하락하게 되는 것은 확실하다. 실제의 인터랙션과 가상 세계의 인터랙션은 완전히 상이한 것으로, 후자는 실제 세계의 근사화(approximation) 모델이다. 이러한 근사화는 샘플링 레이트에 의존하며, 샘플링 레이트가 클수록 근사화는 더 양호해진다. 그러나, 아주 작은 에러들도 누적될 수 있고 실제적으로는 심대한 영향을 미칠 수 있다. 햅틱 인터랙션은 불안정성 및 제한주기진동으로 인해 발산할 수 있으며, 불안정성 및 제한주기진동은 모두 비-수동성에 의한 결과이다. 인간의 촉각이 100 Hz 내지 1 kHz 의 범위에서의 진동들에 매우 민감하므로, 작은 제한 주기들도 투명성 또는 가상환경에 대한 느낌을 왜곡할 수 있다.
안정적 햅틱 인터랙션을 달성하기 위해 다수의 연구들이 진행되었는데, 대부분의 연구들은 수동성 제약에 기초를 두고 있다. 수동성 기준은 몇가지 가치 있는 속성들을 가지고 있는데, 예를 들어, 수동성 기준은 시스템 파라미터들로부터 독립적으로 입력/출력 정보만을 사용하고, 그 자체로 안정성에 대한 충분 조건이며, 선형 및 비선형 시스템들 모두에 일반적으로 적용가능하다. 수동성 이론으로부터 도출되어, 몇 가지 다른 방식들이 안정적 햅틱 인터랙션을 위해 제안되었는데, 예를 들어, 시간-도메인 수동성 방식, 에너지 제한 알고리즘, 힘 제한 알고리즘 및 파 변수(wave variable) 방식이 제안되었다. 이와 같은 방식들이 햅틱 인터페이스들의 안정성을 보장하기 위해 제안되어 왔지만, 대부분의 방식들이 제한된 범위의 강도만을 커버하거나, 안정성을 위한 비용으로 실제 디스플레이되는 강도를 희생시킨다.
본 개시에서는 달성가능한 강도 범위를 더 확장시키면서 안정성이 보장될 수 있는 방식을 설명할 것이다. 본 개시의 발명은, 안정성을 유지하면서 고강도의 햅틱 인터랙션을 제공하기 위한 방법으로서, 인터랙션 사이클의 수가 증가하면서, 연속적으로 강도를 증가시키는 신규한 방법이 제안된다. 여기서, 하나의 사이클은 한 번의 프레싱 경로 및 한 번의 릴리싱 경로에 따른 햅틱 디바이스의 프로브의 움직임으로 이루어질 수 있다. 본 개시의 방법에 따르면, 안정성을 유지하면서, 낮은 값에서 높은 값으로 강도가 순차적으로 모듈레이팅되어 목적하는 강도에 가깝게 도달할 수 있게 된다. 본 개시에서 제안하는 방법이 침투거리의 수렴을 보장하고, 매번의 연속적인 인터랙션 사이클마다 피드백 힘을 증가시키기 때문에 이러한 순차적인 강도의 증가가 가능하게 된다. 햅틱 인터랙션은 작은 강도값을 디스플레이함으로써 시작되고, 이후에 몇 번의 사이클들을 거쳐 강도값은 목표하는 값에 가까워지도록 증가하게 된다. 이러한 증가는 매번의 연속적인 사이클마다 피드백 힘을 점진적으로 증가시킴으로써 달성된다. 종래 방식에 비해 여기에서 제안되는 방식의 주요 이점은 시간-도메인 수동성 접근법, 힘 제한(force bounding) 방식 및 에너지 제한 방식과 같은 다른 방식에 비해 더 큰 실제 디스플레이되는 강도를 가능하게 해 준다는 것이다.
본 개시에서는 먼저, 저강도 및 고강도 가상환경에서의 햅틱 인터랙션에 대한 일반적인 개념을 설명하고, 본 발명인 연속적인 강도 증가(SSI; Successive Stiffness Increment)에 대해 설명하고, 프레싱(pressing) 경로와 릴리싱(releasing) 경로에서의 힘을 계산하기 위해 사용되는 함수들에 대해서 자세히 설명할 것이다. 또한, 본 개시의 말미에서는 ToM 프리미엄 1.5를 이용한 실험들을 통해 본 개시에서 제안된 방식의 성능을 평가하고, 다른 방식들과 실제 디스플레이되는 강도를 비교할 것이다.
2. 저강도 및 고강도 가상환경에서의
햅틱
인터랙션
고강도 가상환경에서의 인터랙션에서 생성되는 에너지는 햅틱 디바이스의 고유한 마찰에 의해 방출될 수 있는 에너지보다 더 크게 된다. 따라서, 제 1 사이클 이후에 잔류 에너지는 제 2 사이클에 대해 초기 저장된 에너지로 동작하게 된다. 이에 따라, 햅틱 프로브는 동일한 강도 이득(stiffness gain)을 가지는 가상환경으로 침투하는데 더 많은 에너지를 가지게 된다. 결과적으로, 시스템은 더 크게 진동하고 시간이 갈수록 위치 응답은 발산하게 된다.
반대로, 생성된 에너지가 시스템의 물리적 댐핑(damping)에 의해 방출되는 에너지보다 더 작은 경우에, 인터랙션은 안정성을 유지한다. 햅틱 프로브가 가상환경을 침투한 이후에, 햅틱 프로브는 몇 사이클동안 앞뒤로 이동하면서 인간 오퍼레이터의 힘이 가상환경으로부터의 힘과 거의 동일하게 되는 지점으로 수렴하게 된다. 수렴 이후에도 샘플링 및 영차홀드로 인해 수렴 지점 주변으로 작은 진동이 있을 수는 있다.
3. 연속적 힘 증가 방식(
SSI
: Successive Stiffness
Icrement
)
안정성을 유지하면서 디스플레이되는 강도를 증가시키기 위해서, 본 개시에서는 연속적인 사이클동안 강도가 작은 값에서부터 시작하여 점진적으로 증가하는 방식을 제안한다. 이러한 방식에서 강도는 각각의 사이클에서 생성되는 에너지가 작을 수 있도록 낮은 값에서부터 시작하여 순차적으로 모듈레이팅되므로, SSI(Successive Stiffness Increment) 방식이라고 지칭될 수 있다. 더욱이, 제안된 SSI 방식은 침투거리의 수렴을 보장하고 각각의 연속적인 인터랙션 사이클에서 피드백 힘을 증가시키기 때문에, 몇 번의 사이클을 거치면서, 각각의 사이클에서 생성되는 에너지는 결국 햅틱 디스플레이의 고유한 물리적 댐핑에 의해 방출될 수 있는 작은 값으로 수렴한다.
3.1
SSI
방식의 개관
이하에서는, 직관적인 이해를 위해, SSI 방식이 위치 대 힘 그래프를 이용하여 한 사이클씩 개념적으로 설명된다. 도 1은 본 발명에 따른 SSI 방식의 개념을 설명하는 위치 대 힘 그래프이다. 도 1에서는 목표되는 가상환경의 본래 강도(original Stiffness of VE)가 표시되어 있고, 이러한 강도는 가상환경에의 침투거리에 대응하여 발생하도록 목표되는 피드백 힘에 대한 침투거리 대 피드백 힘의 기울기에 따라 정의될 수 있다. 즉, 도 1에서 도시된 바와 같이 침투거리 대 피드백 힘의 기울기가 클수록 가상환경의 강성이 커지고, 기울기가 작을수록 가상환경의 강성이 작아진다. 여기서, 목표되는 가상환경의 강성이 가지는 침투거리 대 피드백 힘의 기울기를 목표 기울기라고 칭할 수 있다. 본 개시에서 제안된 방식은 2개의 섹션들, 프레싱 경로와 릴리싱 경로로 나누어질 수 있다. 도 1에서는 2번의 사이클만을 예시적으로 도시하고, 각각의 사이클마다 프레싱 경로와 릴리싱 경로에서의 침투거리 대 피드백 힘의 대응관계가 표시되어 있다. 프레싱 경로에서의 힘은 본래 목표되는 가상환경의 강도보다 더 작은 강도의 함수이고, 여기서 강도는 생성되는 에너지가 햅틱 디바이스 고유의 댐핑에 의해 방출되는 에너지보다 더 작도록 선택된다. 도 1에서 도시된 바와 같이 프레싱 경로에서 가상환경에의 침투거리에 대응하여 발생되는 피드백 힘은 침투거리 대 피드백 힘의 경로 기울기에 따라 발생하는데, 경로 기울기는 목표 기울기보다 작은 값을 가진다. 햅틱 프로브의 가상환경과의 인터랙션이 단순한 가상 스프링으로 모델링될 수 있음을 고려할 때, 프레싱 경로에서의 힘은 수학식 1과 같이 설정될 수 있다.
[수학식 1]
여기서, Ks는 선택된 작은 강도이고, x(n)은 침투거리이며, Fr은 이전 사이클의 릴리싱 경로의 마지막 힘의 값이다. 이전 사이클의 릴리싱 경로가 끝난 지점에서 프레싱 경로가 시작된다는 것이 유의되어야 한다. 제 1 사이클에서 Fr은 0일 수 있다. 여기서, 침투거리 x(n)은 햅틱 디바이스의 일단이 가상환경 내로 진입한 거리를 나타냅니다. n은 침투거리에 대응되는 f 값이 계단 모양을 형성하는 포인트를 나타냅니다. 또한, 프레싱 경로는 침투거리가 증가하는 경로, 릴리싱 경로는 침투거리가 감소하는 경로일 수 있다.
여기서, 프레싱 경로에서 발생하는 피드백 힘은 아래 수학식 a 로도 정의될 수 있다.
<수학식 a>
상기 수학식 a 에서 Ks 는 프레싱 경로에서 침투거리 대 피드백 힘의 제 1 기울기이고, x는 침투거리이며, Fr은 첫번째 사이클에서는 0이고, 이후에는 직전 사이클의 릴리싱 경로를 따른 움직임에서 마지막 위치에서의 피드백 힘의 값일 수 있다.
또한, 릴리싱 경로에서의 힘은 수학식 1을 따라 결정되지 않는다. 릴리싱 경로에 대한 함수는 힘의 값이 침투거리가 0일 때에도 0이 아닌 임의의 유한 값을 가지도록 선택된다. 이러한 것은 제 1 및 제 2 사이클 이후에 침투거리 0에서의 유한한 힘 값들인 Ff1 및 Ff2 로 각각 도 1에서 도시된다. 따라서, 릴리싱 경로에 대한 함수는 수학식 2와 같이 표현된다.
[수학식 2]
여기서, u는 릴리싱 경로에서의 기울기이고, x(n)은 침투거리이며, Ff는 침투거리가 0인 경우의 힘의 선택된 유한 값이다. 수학식 1에서, 프레싱 경로가 이전 사이클의 릴리싱 경로가 끝난 지점에서 시작된다는 것이 보이며, 제 1 릴리싱 경로 이후에 Ff는 제 2 프레싱 경로를 위한 Fr이 될 것이다.
또한, 상기 수학식 2 대신 아래 수학식 b가 이용될 수도 있다.
<수학식 b>
상기 수학식 b에서 μ 는 릴리싱 경로에서 침투거리 대 피드백 힘의 제 2 기울기이고, x는 침투거리이며, Ff는 침투거리가 0일때에 발생하도록 설정된 0보다 큰 힘의 값으로 사이클 횟수에 따라 증가될 수 있다.
제 1 사이클이 끝난 이후에, 시스템 내에서 총 출력 에너지는 수학식 3과 같다.
[수학식 3]
여기서, Eb1은 제 1 사이클 동안 햅틱 디스플레이의 물리적 댐핑에 의해 방출되는 에너지이고, 
의 식에 의해 계산될 수 있다.
이러한 출력 에너지는 햅틱에서는 관심 주파수의 범위 내에서 수동적인 인간 오퍼레이터에게 전달되고, 시스템으로 다시 전달된다. 따라서, 제 1 사이클의 끝에서의 출력 에너지는 제 2 사이클에서의 입력 에너지가 된다. 제 2 사이클에 대한 프레싱 경로는 Fr이 제 1 사이클의 릴리싱 경로식에서의 Ff 와 동일하다는 조건에서의 수학식 1을 따른다. 햅틱 프로브는 제 2 사이클에 대한 입력 에너지가 제 1 사이클에서의 출력 에너지 이상이 될때까지 가상환경을 침투해야 한다. 따라서, 다음 수학식 4가 만족되어야 한다.
[수학식 4]
제 1 사이클 이후에는, 프레싱 사이클이 0이 아닌 유한 값, Fr에서 시작하기 때문에, 수학식 4에 기초하여 제 2 사이클에 대한 침투거리가 제 1 사이클에 대한 침투거리보다 더 작을 것임을 유추할 수 있다. 또한, 수학식 1로부터 제 2 프레싱 경로의 끝에서의 힘(fp2)이 제 1 프레싱 경로의 끝에서의 힘(fp1)보다 더 클 것임을 알 수 있다. 더욱이, Fr 값이 커질수록, 제 2 사이클에 대한 침투거리는 더 작아지고 힘은 더 커질 것이다.
따라서, 시스템이 에너지를 생성함에도 불구하고, 침투거리는 수렴하고, 힘은 매 사이클 이후마다 증가한다. 또한, 매 사이클마다 침투거리가 줄어들면서, 각각의 사이클 이후에 생성되는 에너지도 이전 사이클보다 작아진다. 이러한 현상에 의해 디스플레이되는 강도가 매번의 연속적인 사이클에 따라 증가하면서도 시스템은 안정하게 유지될 수 있다.
도 2는 본 발명에 따라 제안된 SSI 방식에 대한 제어 구조를 도시한다. 도 2 에서 도시된 바와 같은 제어 구조의 햅틱 시스템을 통해 상술된 SSI 방식이 구현될 수 있다.
3.2 연속적인 강도 증가
방식에 대한 상세한 설명
위에서는 제안되는 아이디어가 개념적으로 설명되고, 인터랙션 사이클의 수가 증가할수록 침투거리는 더 작아지고, 인터랙션 힘은 더 커졌다. 하지만, 수학식 1 및 수학식 2는 가상환경에서 목표로 하는 강도에 대해 고려하지 않는다. 목표 강도의 가상환경에 기초하여 상술된 개념을 실현하기 위해서는, 프레싱 경로와 릴리싱 경로에 대한 힘을 계산하기 위해 2개의 상이한 함수가 정의되어야 한다.
<프레싱 경로에서의 함수>
프레싱 경로 동안의 힘을 계산하기 위한 함수는 수학식 5와 같다.
[수학식 5]
여기서, fe(k)는 가상환경으로부터의 힘이고, fp(k)는 f(k)의 이전 사이클에서의 값이며, α는 프레싱 경로가 얼마나 급격하게 증가하는지를 결정하는 값이다. α 값이 클수록 더 기울기가 큰 프레싱 경로를 나타낸다.
<릴리싱 경로에서의 함수>
릴리싱 경로는 프레싱 경로가 완료된 후에 시작된다. 도 3은 본 발명에 따른 로컬 기울기 u의 계산을 개략적으로 보여주는 도면이다. 로컬 기울기 u는 도 3에서 도시되는 바와 같이 프레싱 경로의 마지막 힘과 위치 값들(xTop, fTop)에서부터 가상환경의 바운더리까지 이어지는 선으로 계산된다. 이러한 로컬 기울기는 매 사이클마다 오직 한 번씩 프레싱 경로의 완료 이후에 계산된다. 로컬 기울기 u는 수학식 6과 같이 계산된다.
[수학식 6]
여기서, fTop는 프레싱 경로 상에서 f의 마지막 값이고, xTop는 프레싱 경로 상에서 x의 마지막 값이다.
릴리싱 경로에서 힘은 이러한 로컬 기울기 u를 따르게 된다. 섹션 3.1에서 설명된 바와 같이, 릴리싱 경로의 완료 이후에 힘은 유한 값을 가져야 한다. 릴리싱 경로 동안 힘은 수학식 7의 함수로 정의된다.
[수학식 7]
여기서, β는 릴리싱 경로가 얼마나 급격할 것인지 결정하고, β 값이 더 크다는 것은 릴리싱 경로의 완료에서 힘의 값이 더 크다는 것을 의미한다. 또한, fr(k)는 수학식 8과 같이 정의된다.
[수학식 8]
<α 및 β의 선택>
힘과 위치의 선형 관계에 대해, 생성되는 에너지가 햅틱 디스플레이의 물리적 댐핑에 의해 방출되기 위한 강도의 값은 수동성 조건에 의해 다음과 같이 수학식 9로 주어진다.
[수학식 9]
여기서, bm은 햅틱 디스플레이의 물리적 댐핑이고, △T는 샘플링 시간이다.
섹션 2에서 설명된 바와 같이, 몇 번의 사이클들 이후에 시스템이 수렴하는 경우, 샘플링 및 영차 홀드로 인해 수렴 지점 근처에서의 작은 앞뒤로의 움직임이 존재할 수 있다. 이러한 앞뒤로의 움직임은 일정한 에너지를 생성하며, 이 에너지는 지터링(jittering) 없이 부드러운 햅틱 인터랙션을 위해 햅틱 디스플레이의 물리적 댐핑에 의해 방출되어야만 한다.
각각의 프레싱 경로의 시작에서 제 1 샘플을 위한 피드백 힘은 수학식 8의 조건을 따라야 하며, 수학식 10과 같이 주어진다.
[수학식 10]
여기서, x(k)는 현재 침투거리이고, fp는 이전 피드백 힘의 값이며, xp(k)는 이전 침투거리이다.
α 값은 수학식 5 및 10에 의해 다음의 수학식 11과 같이 유도된다.
[수학식 11]
이와 유사하게, 각각의 릴리싱 경로의 시작에서 제 1 샘플에 대한 피드백 힘은 수학식 10과 동일하게 되어야 하며, β 값은 수학식 7과 수학식 10에 의해 다음의 수학식 12와 같이 유도된다.
[수학식 12]
도 3에서 도시된 바와 같이, 하나의 프레싱 경로 또는 릴리싱 경로에서도 침투거리 대 피드백 힘의 기울기는 침투거리에 따라 변경될 수도 있다. 즉, 하나의 프레싱 경로 또는 릴리싱 경로에서도 침투거리 대 피드백 힘의 기울기가 침투거리의 함수일 수 있다.
3.3.
SSI
방식에 대한 실험들
3.3.1 실험 설정
본 개시에서 제안된 방식의 성능을 입증하기 위해, 싱글-DOF 임피던스 타입 햅틱 디스플레이 상에서, 상용 햅틱 장비인 PHANToM 프리미엄 1.5을 이용하여 실험을 수행하였다. 기본적인 사항은 다음과 같다: 최대 힘 출력은 8.5N, 연속적 인가가능한 힘은 1.4N, 물리적 댐핑(bm)은 0.0002 Ns/mm, 이에 따라 수학식 9에 의해 Kv는 0.4 N/mm이고, 인코더 해상도는 0.03 mm이고, 샘플링 레이트는 1 kHz이다.
햅틱 프로브의 가상환경과의 인터랙션은 다음과 같은 수학식 13에 의해 단순한 가상 스프링으로 모델링된다.
[수학식 13]
여기서, x(n)은 햅틱 프로브의 가상환경 내로의 침투거리이고, k는 가상환경의 강도이다.
3.3.2 실험 평가
실험들은 제어 법칙을 가지거나 가지지 않으면서 다양한 강도의 가상 벽에 대해 수행되었다. 도 4 및 5는 5 N/mm 의 강도를 가지는 가상 벽에 대한 불안정한 햅틱 인터랙션을 도시한다. 생성된 에너지가 시스템의 물리적 댐핑에 의해 방출될 수 있는 양보다 일정 정도 이상으로 더 크게 되어, 응답들이 불안정한 거동을 보여준다.
도 6 내지 9는 도 4와 동일한 실험 조건에서 본 발명에 따른 SSI 방식을 구현함으로써 나타나는 결과들을 도시한다. 도 6 및 7에서 도시된 바와 같이 위치 및 힘 응답이 안정적이고, 오퍼레이터는 어떠한 진동도 느끼지 못하게 된다. 생성된 에너지가 햅틱 디스플레이에 의해 방출될 수 있는 에너지보다 크기는 했지만, 침투거리가 수렴하고 몇 번의 사이클들 이후에 생성되는 에너지가 시스템의 물리적 댐핑에 의해 방출되기에 충분할 정도로 작아지면서 햅틱 인터랙션이 안정성을 유지하였다. 도 9는 가상 벽의 목적하는 강도에 가깝게 된 디스플레이된 강도를 도시한다.
3.3.3 힘 제한 방식과의 비교
목적하는 강도를 디스플레이하기 위해 본 개시에서 제안된 SSI 방식과 힘 제한 방식이 비교되었다. 둘 모두의 방식에 대해 PHANToM 프리미엄 1.5를 이용하여 실험들이 수행되었고, 물리적 댐핑 bm의 값은 0.0002 Ns/mm로 선택되었다. 도 10 내지 12는 본 발명에 따른 SSI 방식과 힘 제한 방식(FBA: Force Bounding Approach)의 비교를 도시한다. 도 10에서 가상환경의 강도가 5 N/mm인 경우 FBA의 최대 디스플레이되는 강도는 약 0.4 N/mm임을 알 수 있다. 반면에, 도 11를 참조하면, SSI 방식의 디스플레이되는 강도는 약 3 N/mm로 FBA보다 훨씬 큰 강도를 달성하는 것을 알 수 있다. 또한, 도 12에서 도시된 바와 같이, 가상환경의 강도를 100 N/mm 로 증가시키는 경우, 디스플레이되는 강도는 약 10 N/mm 로 증가한다. 한편, 힘이 몇 번의 사이클들 이후에 증가하여 침투거리에서 소규모의 변화도 디스플레이되는 강도의 값에서 시프트를 야기하기 때문에 디스플레이되는 강도에서 약간의 오르내림이 있다. 참고로, 시간-도메인 수동성 방식(TDPA: Time-Domain Passivity Approach)으로는 고강도 가상환경을 안정화시키지 못했다.
3.4. 결론
본 개시에서는 임피던스 타입 햅틱 디스플레이들에서 달성가능한 강도 범위를 더 확장하기 위한 안정적인 햅틱 인터랙션 방법의 새로운 개념이 제안되었다. 디스플레이되는 강도를 연속적으로 증가시키기 위해, 각각의 프레싱 영역 및 릴리싱 영역에 대한 2개의 별도의 함수들이, 생성된 에너지가 디바이스의 내재적 물리적 댐핑에 의해 방출될 수 있으면서도 디스플레이되는 강도가 목적하는 값에 가능한 근접하도록 점진적으로 증가할 수 있는 방식으로 정의되었다. 제안된 방식이 힘의 급작스러운 변화 없이 인터랙션의 연속한 사이클에서 디스플레이되는 힘을 연속적으로 증가시키기 때문에, 오퍼레이터는 강도의 변화를 인지하지 못한다. 종래 기술과 비교하여 본 개시에서 제안된 방식의 가장 큰 이점은 TDPA, FBA 및 EBA(Energy Bounding Approach)와 같은 다른 방식들보다 훨씬 큰 실제 디스플레이되는 강도를 SSI 방식을 통해 구현할 수 있다는 것이다. PHANToM 을 이용한 실험들을 통해 본 개시에서 제안된 방식이 다른 방식에 비해 확장된 강도 범위 및 고강도의 실제 디스플레이되는 강도를 제공할 수 있다는 것이 증명되었다. 한편, 본 개시에서 제시된 개념은 원격 시스템들 및 멀티-DOF 인터랙션에도 적용될 수 있다.
상술한 내용은 아래의 청구항들에 포함될 수 있다.
ㄱ. 청구항 1 : 햅틱 디바이스를 통해 햅틱 증강현실을 제공하기 위한 방법으로서,
상기 햅틱 디바이스의 제어기에 의해, 가상환경의 목표강도를 설정하는 단계 - 상기 목표강도에서 가상환경 내로의 침투거리에 대응하여 발생하도록 목표되는 피드백 힘은 침투거리 대 피드백 힘의 목표기울기에 따라서 정의되고, 상기 침투거리는 상기 햅틱 디바이스의 일단이 가상환경 내로 진입하는 거리임 -;
상기 햅틱 디바이스의 일단이 상기 가상환경 내로의 침투거리가 증가하는 프레싱 경로 및 침투거리가 감소하는 릴리싱 경로를 따라 움직이는 사이클을 반복하는 동안 상기 햅틱 디바이스의 구동기에 의해 상기 목표강도보다 낮은 강도에 따라 피드백 힘을 발생시키는 단계; 및
상기 햅틱 디바이스의 제어기에 의해, 각각의 사이클마다 침투거리에 따른 피드백 힘이 이전 사이클에서의 피드백 힘보다 증가하고, 상기 사이클의 반복에 따라 상기 햅틱 디바이스의 일단의 침투거리는 일정 위치로 수렴하여, 수렴되는 위치의 침투거리 대 상기 수렴되는 위치에서 발생하는 피드백 힘의 기울기가 상기 목표기울기에 도달하는 단계를 포함하며,
햅틱 디바이스를 통해 햅틱 증강현실을 제공하기 위한 방법.
ㄴ. 청구항 2: 제 1 항에 있어서,
프레싱 경로에서 발생하는 피드백 힘은 아래 수학식 a 로 정의되며,
<수학식 a>
상기 수학식 a 에서 Ks 는 프레싱 경로에서 침투거리 대 피드백 힘의 제 1 기울기이고, x는 침투거리이며, Fr은 첫번째 사이클에서는 0이고, 이후에는 직전 사이클의 릴리싱 경로를 따른 움직임에서 마지막 위치에서의 피드백 힘의 값인,
햅틱 디바이스를 통해 햅틱 증강현실을 제공하기 위한 방법.
ㄷ. 청구항 3: 제 1 항에 있어서,
릴리싱 경로에서 발생하는 피드백 힘은 아래 수학식 b 로 정의되며,
<수학식 b>
상기 수학식 b에서 μ 는 릴리싱 경로에서 침투거리 대 피드백 힘의 제 2 기울기이고, x는 침투거리이며, Ff는 침투거리가 0일때에 발생하도록 설정된 0보다 큰 힘의 값으로 사이클 횟수에 따라 증가하는,
햅틱 디바이스를 통해 햅틱 증강현실을 제공하기 위한 방법.
ㄹ. 청구항 4: 제 2 항 또는 제 3 항에 있어서,
상기 제 1 기울기 또는 상기 제 2 기울기는 침투거리의 함수인,
햅틱 디바이스를 통해 햅틱 증강현실을 제공하기 위한 방법.
ㅁ. 청구항 5: 햅틱 디바이스를 통해 햅틱 증강현실을 제공하는 시스템으로서,
가상환경의 목표강도를 설정하고, 햅틱 디바이스의 일단이 상기 가상환경 내로의 침투거리가 증가하는 프레싱 경로 및 침투거리가 감소하는 릴리싱 경로를 따라 움직이는 사이클을 반복하는 동안 발생될 피드백 힘을 상기 목표강도보다 낮은 강도를 따라 결정하도록 구성되는 제어기 - 상기 침투거리는 상기 햅틱 디바이스의 일단이 가상환경 내로 진입하는 거리임 -; 및
상기 제어기에 의해 결정된 힘으로 햅틱 디바이스에 피드백 힘을 구동시키는 구동기를 포함하고,
상기 목표강도에서 가상환경에의 침투거리에 대응하여 발생하도록 목표되는 피드백 힘은 침투거리 대 피드백 힘의 목표기울기에 따라서 정의되고,
상기 목표강도보다 낮은 강도에 따라 발생되는 침투거리 대 피드백 힘의 기울기는 상기 목표기울기보다 작으며,
상기 제어기에 의해, 각각의 사이클마다 침투거리에 따른 피드백 힘이 이전 사이클에서의 피드백 힘보다 증가되고, 상기 사이클의 반복에 따라 상기 햅틱 디바이스의 일단의 침투거리는 일정 위치로 수렴하여, 수렴되는 위치의 침투거리 대 상기 수렴되는 위치에서 발생하는 피드백 힘의 기울기가 상기 목표기울기에 도달하는,
햅틱 디바이스를 통해 햅틱 증강현실을 제공하는 시스템.
ㅂ. 청구항 6: 제 5 항에 있어서,
프레싱 경로에서 발생하는 피드백 힘은 아래 수학식 a 로 정의되며,
<수학식 a>
상기 수학식 a 에서 Ks 는 프레싱 경로에서 침투거리 대 피드백 힘의 제 1 기울기이고, x는 침투거리이며, Fr은 첫번째 사이클에서는 0이고, 이후에는 직전 사이클의 릴리싱 경로를 따른 움직임에서 마지막 위치에서의 피드백 힘의 값인,
햅틱 디바이스를 통해 햅틱 증강현실을 제공하는 시스템.
ㅅ. 청구항 7: 제 5 항에 있어서,
릴리싱 경로에서 발생하는 피드백 힘은 아래 수학식 b 로 정의되며,
<수학식 b>
상기 수학식 b에서 μ 는 릴리싱 경로에서 침투거리 대 피드백 힘의 제 2 기울기이고, x는 침투거리이며, Ff는 침투거리가 0일때에 발생하도록 설정된 0보다 큰 힘의 값으로 사이클 횟수에 따라 증가하는,
햅틱 디바이스를 통해 햅틱 증강현실을 제공하는 시스템.
ㅇ. 청구항 8: 제 6 항 또는 제 7 항에 있어서,
상기 제 1 기울기 또는 상기 제 2 기울기는 침투거리의 함수인,
햅틱 디바이스를 통해 햅틱 증강현실을 제공하는 시스템.
ㅈ. 청구항 9: 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행될 때, 컴퓨터로 하여금 제1항 내지 제3항 중 어느 한 항에 따른 방법을 실행하도록 하는,
컴퓨터 판독가능 저장 매체.
4. 연속 힘 증가(
SFA
, Successive Force Augment) 방식
이하, 첨부된 도면을 참조하여 본 발명의 다른 실시예에 대하여 설명한다.
도 13은 본 발명의 다른 실시예에 따른 햅틱 인터랙션 시스템을 도시한 도면이다.
도 13에 도시된 바와 같이 본 발명의 다른 실시예에 따른 햅틱 인터랙션 시스템은 사용자에 해당하는 오퍼레이터와 가상환경 간에 햅틱 인터랙션을 제공하는 햅틱 인터랙션 장치(100)를 포함하는 구성을 가질 수 있다.
이러한, 햅틱 인터랙션 시스템의 구성에서 시스템 안정성에 대한 분석은 결코 경시되어서는 안될 중요한 기준이며, 시스템의 투명성(transparency)을 향상시키고 임피던스 범위를 확대시킨 것 역시 중요한 과제일 것이다.
그간 안전성을 보장하면서도 시스템의 투명성을 향상시키기 위한 다양한 방식들이 제안되어 왔는데, 그 중 수동성(passivity)은 시스템 파라미터와 무관하게 햅틱 인터랙션과 관련된 주요한 수학적 수단이라고 볼 수 있을 것이다.
관련하여 이러한 수동성 이론으로부터 도출되어 예컨대, 시간-도메인 수동성 방식, 에너지 제한 알고리즘, 및 힘 제한 알고리즘 등이 안정적인 햅틱 인터랙션을 보장하기 위해 제안되었다.
그러나, 안정적인 햅틱 인터랙션을 보장하는 위 방식들 대부분은 안정성을 확보하기 위해 인터랙션에서의 강도(stiffness)를 희생하고 있는 실정이다.
이에, 본 발명의 다른 실시예에서는 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도의 햅틱 인터랙션을 구현하기 위한 새로운 방안을 제안하고자 하며, 이하에서는 이를 구현하기 위한 햅틱 인터랙션 장치(100)의 구성에 대해 보다 구체적으로 설명하기로 한다.
도 14는 본 발명의 다른 실시예에 따른 햅틱 인터랙션 장치(100)의 구성을 개략적으로 보여주고 있다.
도 14에 도시된 바와 같이 본 발명의 다른 실시예에 따른 햅틱 인터랙션 장치(100)는 가상환경에서의 목표강도를 지정하는 지정부(110), 피드백 힘(state dependent linear feedback force)을 설정하는 설정부(120), 강도를 확인하는 확인부(130), 및 피드백 힘과 관련하여 피드포워드 힘의 오프셋(feedforward force offset) 값을 결정하는 결정부(140)를 포함하는 구성을 가질 수 있다.
이상의 지정부(110), 설정부(120), 확인부(130), 및 결정부(140)를 포함하는 햅틱 인터랙션 장치(100)의 구성 전체 내지는 적어도 일부는, 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로 구현될 수 있다.
여기서, 소프트웨어 모듈이란, 예컨대, 햅틱 인터랙션 장치(100) 내에서 연산을 수행하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 햅틱 인터랙션 장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.
전술한 구성을 가지는 본 발명의 다른 실시예에 따른 햅틱 인터랙션 장치(100)는 햅틱 인터랙션의 안정성 보장과, 고 강도를 구현하기 위한 수단으로서 피드포워드 힘의 오프셋 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택하게 되는 데, 이하에서는 이와 관련된 햅틱 인터랙션 장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.
지정부(110)는 가상환경에서의 목표강도를 지정하는 기능을 처리한다.
보다 구체적으로, 지정부(110)는 가상환경에서의 햅틱 인터랙션 포인트(HIP, Haptic Interaction Point)의 침투 깊이와 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도를 지정하게 된다.
여기서, 햅틱 인터랙션 포인트란 가상환경에서의 사용자의 손의 위치를 의미하는 것으로서, 사용자에게 햅틱 정보를 제공하는 장치의 프로브(probe)의 위치를 의미하는 것으로 이해될 수 있다.
이때, 목표강도는 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 침투 깊이에 상응하는 피드백 힘 간의 상관관계를 나타내는 목표기울기로부터 도출될 수 있다.
설정부(120)는 피드백 힘을 설정하는 기능을 처리한다.
보다 구체적으로, 설정부(120)는 가상환경에서의 목표강도가 지정되면, 햅틱 인터랙션 포인트를 가상환경 안쪽으로 침투시키기 위한 피드백 힘을 설정하게 된다.
이때, 설정되는 피드백 힘은 아래 [수식 1]에서와 같이 표현될 수 있다.
[수학식 14]
여기서, 'K'는 가상환경에서의 강도이고, 'x(n)'은 햅틱 인터랙션 포인트의 침투 깊이를 나타낸다.
한편, 위 [수학식 14]에서 'offset'은 피드포워드 힘의 오프셋 값을 의미하는 것으로서, 시스템 상태에 대해 독립적인 속성을 가짐에 따라 인터랙션의 불안정성을 해소시킴과 동시에, 강도를 변경시키는 중요 파라미터로서 작용하게 된다.
관련하여 도 15에는 서로 다른 피드포워드 힘의 오프셋 값에 따른 3가지 경우(Case1, Case2, Case)를 보여주고 있으며 관련 설명은 다음과 같다.
Case 1: 오프셋 값은 O이다.
사용자(오퍼레이터)의 힘이 가상환경으로부터의 피드백 힘과 동일한 지점에서 수렴된다. 양자화(quantization)와 ZOH(Zero-Order Hold)로 인해서 수렴 지점에서 앞뒤로의 작은 움직임이 존재하게 되며, 해당 수렴 영역은 도 15에서 녹색 상자로 표시된다.
Case 2: 오프셋 값은 양의 값이다.
Case 1에서와 동일한 힘이 사용자(오퍼레이터)에 의해 가해진다고 가정하면, 수렴 지점은 Case 1과 비교할 때 왼쪽으로 더 이동하는 것을 확인할 수 있다. 이는 Case 1보다 작은 침투 깊이에서 피드백 힘이 사용자(오퍼레이터)의 힘과 동일해지기 때문이며, 따라서 Case 1보다 보다 더 큰 강도를 보이게 된다.
Case 3: 오프셋 값은 음의 값이다.
Case 1 및 Case 2에서와 동일한 힘이 사람(오퍼레이터)에 의해 가해질 때, 더 큰 침투 깊이에서 피드백 힘이 사람(오퍼레이터)의 힘과 동일해지게 된다. 따라서 수렴 지점은 Case 1의 경우보다 더 오른쪽으로 이동하게 되며, 이는 Case 1의 경우보다 더 낮은 강도를 보이는 것으로 이해될 수 있다.
이는 디스플레이되는 강도가 케이스 2에 대해 가장 크고, 케이스 1에서는 좀 더 낮으며, 케이스 3에 대해 가장 작다는 것을 보여준다. 한편, 설정부(120)는 각 사이클에서 피드백 힘에 의해 축적되는 에너지가 햅틱 장치 고유의 물리적 댐핑 에너지의 크기보다 작게 설정할 수도 있다.
여기서, 사이클이란 피드백 힘에 따라 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투된 이후 물리적 댐핑 에너지에 의해 햅틱 인터랙션 포인트가 릴리싱 경로를 따라 가상환경 바깥으로 탈출되는 하나의 주기를 일컫는다.
이처럼, 피드백 힘을 물리적 댐핑 에너지의 크기보다 작게 설정하는 것은, 인터랙션 과정에서 발생하는 에너지를 물리적 댐핑 에너지로 상쇄시킴으로써, 햅틱 인터랙션의 안정성을 확보하기 위함이다.
확인부(130)는 사이클에서의 강도를 확인하는 기능을 처리한다.
보다 구체적으로, 확인부(130)는 설정된 피드백 힘에 따라 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투된 이후 댐핑 에너지에 의해 햅틱 인터랙션 포인트가 릴리싱 경로를 따라 가상환경 바깥으로 탈출되는 각 사이클이 종료되는 경우, 해당 사이클에서의 강도를 확인하게 된다.
결정부(140)는 다음 사이클에서의 피드백 힘에 대한 피드포워드 힘의 오프셋 값을 결정하는 기능을 처리한다.
보다 구체적으로, 결정부(140)는 사이클에서 확인된 강도와 가상환경의 목표강도를 비교한 결과를 기초로, 종료된 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하게 된다.
이때, 피드포워드 힘의 오프셋 값은, 사이클에서 확인된 강도가 가상환경의 목표강도보다 임계치 이상으로 작은 경우, 이웃한 이전 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 반면 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 이전 사이클에서의 오프셋 값보다 작은 값으로 결정된다.
또한, 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 피드포워드 힘의 오프셋 값은 이웃한 이전 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정된다.
한편, 사이클이 햅틱 인터랙션 포인트를 가상환경 안쪽으로 침투시키기 위한 최초 사이클인 경우에는 제로('0') 값으로 결정된다.
결국, 본 발명의 다른 실시예에 따른 피드포워드 힘의 오프셋 값은, 제로('0')로 시작하여, 인터랙션의 강도가 가상환경의 목표강도보다 크거나 같아질 때까지, 각각의 인터랙션 사이클에 걸쳐 점차적으로 증가하게 되며, 이후 인터랙션의 강도가 목표강도에 도달한 이후에는 목표강도로 유지될 수 있도록 토글링되는 것이다.
이하에서는, 설명의 이해를 돕기 위해 수학식 및 도면을 참조하여 햅틱 인터랙션 장치(100)의 구체적인 동작을 서술하기로 한다.
먼저, 도 16 및 도 17에 도시된 침투 깊이 대 피드백 힘 그래프를 참조하여 한 번에 한 사이클씩 개념적으로 설명하기로 한다.
이때 생성된 에너지가 패드백 힘과 침투 깊이 사이의 선형 관계에 대한 장치의 물리적 댐핑 에너지에 의해 소멸될 수 있는 강도는 아래 [수학식 15]와 같은 수동성 조건으로 주어진다.
[수학식 15]
여기서, bm은 물리적 댐핑이고 ΔT는 샘플링 시간이다.
햅틱 인터랙션에 대한 상태 의존적 피드백 힘은 아래 [수식 16]과 같이 주어진다.
[수학식 16]
여기서 f(n)은 피드백 힘, Kv는 Kv < Kvirtual 이 되도록 선택된 강도이고 x(n)은 침투 깊이이다.
제1사이클(Cycle 1)에 대한 오프셋 값은 0이다. 따라서, 제1사이클(Cycle 1)에 대한 침투 깊이 대 피드백 힘은 도 16에 도시된 바와 같다.
제1사이클(Cycle 1), 즉 프레싱 경로와 릴리싱 경로가 끝나면, 강도는 아래 [수학식 17]와 같이 주어진다.
[수학식 17]
강도는 매 사이클 종료 시에 목표 강도와 비교된다. 이때, 오프셋 값은 강도가 목표 강도보다 더 큰지 작은지에 따라서, [수학식 16]에서의 α만큼 감소되거나 또는 증가된다.
기울기 Kv 는 Kvirtual 보다 어느 정도 작게 취해지므로, [수학식 15]를 고려하여 오프셋 값은 매 사이클 이후에 최대 아래 [수학식 18]에서의 값만큼 증가되거나 감소될 수 있다.
[수학식 18]
여기서, Kv 값이 더 작을수록 매 사이클 이후에 α 값이 더 커지며, Kv 값이 더 커지면 반대가 된다.
오프셋 값은 아래 [수학식 19]과 관련하여 강도가 목표강도보다 크거나 같아질 때까지 제1사이클(Cycle 1)에 대해 증가를 유지하게 되는 데 이는 도 17에 도시된 바와 같다. 그 이후에는 오프셋 값은 강도를 목표강도에 가깝게 유지시키기 위하여 토글링된다.
[수학식 19]
햅틱 인터랙션 동안 생성된 에너지는 아래 [수학식 20]과 같다.
[수학식 20]
여기서, f(k-1)은 마지막 샘플로부터의 피드백 힘이며, 
는 장치의 속도이다.
햅틱 인터랙션에 의해 소멸된 에너지는 아래 [수학식 21]과 같다.
[수학식 21]
Kvirtual 보다 더 작은 강도를 사용하게 되면 안정적인 인터랙션을 유지할 수 있게 되는데, 이는 인터랙션 동안 생성된 모든 에너지가 물리적 댐핑에 의해 소멸될 수 있기 때문이다.
오프셋 값에 의해 생성되는 추가 에너지가 일부 존재할 수 있는 데, 이는 장치의 고유 댐핑에 의해 소멸될 수 있는 것보다 더 큰 경우가 발생할 수 있다.
그러나, 이와 같이 추가로 생성된 에너지는 다음 사이클의 프레싱 경로에서 시스템으로 다시 공급되게 되는 데, 이에 따라 시스템은 인터랙션 동안에 안정되게 유지될 수 있다.
이는 아래 [수학식 22]와 관련된다.
[수학식 22]
이상에서 살펴본 바와 같이, 본 발명의 다른 실시예에 따른 햅틱 인터랙션 장치(100)의 구성에 따르면, 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로써, 인터랙션의 안정성 및 고 강도를 보장할 수 있는 것이다.
이상 본 발명의 다른 실시예에 따른 햅틱 인터랙션 장치(100)의 구성에 대한 설명을 마치고, 이하에서는, 도 18를 참조하여 본 발명의 다른 실시예에 따른 햅틱 인터랙션 장치(100)에서의 동작 흐름을 설명하기로 한다.
먼저, 지정부(110)는 단계 'S110'에 따라 가상환경에서의 햅틱 인터랙션 포인트(HIP, Haptic Interaction Point)의 침투 깊이와 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도를 지정한다.
이때, 목표강도는 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 침투 깊이에 상응하는 피드백 힘 간의 상관관계를 나타내는 목표기울기로부터 도출될 수 있다.
이어서, 설정부(120)는 가상환경에서의 목표강도가 지정된 이후 단계 'S120'을 통해 초기 사이클의 시작이 확인되는 경우, 단계 'S130'에 따라서 초기 사이클에서 입력될 피드백 힘을 물리적 댐핑 에너지의 크기보다 작게 설정한다.
이때, 결정부(140)는 초기 사이클에서의 피드백 힘이 설정이 이루어지는 경우에는 피드포워드 힘과 관련된 피드포워드 힘의 오프셋 값을 제로('0') 값으로 결정한다.
나아가, 확인부(130)는 단계 'S140'을 통해, 설정된 피드백 힘에 따라 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투된 이후 댐핑 에너지에 의해 햅틱 인터랙션 포인트가 릴리싱 경로를 따라 가상환경 바깥으로 탈출되는 사이클이 종료가 확인되는 경우, 단계 'S150'에 따라 해당 사이클에서의 강도를 확인한다.
이후, 결정부(140)는 단계 'S170'에 따라 사이클에서 확인된 강도와 가상환경의 목표강도를 비교한 결과를 기초로, 종료된 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정한다.
여기서, 피드포워드 힘의 오프셋 값은, 사이클에서 확인된 강도가 가상환경의 목표강도보다 임계치 이상으로 작은 경우, 이웃한 이전 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 반면 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 이전 사이클에서의 오프셋 값보다 작은 값으로 결정된다.
또한, 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 피드포워드 힘의 오프셋 값은 이웃한 이전 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정된다.
이때, 설정부(120)는 초기 사이클에서의 피드백 힘 설정과 마찬가지로 후속될 사이클에서의 피드백 힘을 물리적 댐핑 에너지의 크기보다 작게 설정한다.
이상의 단계 'S140' 내지 'S160'을 통해 이루어지는 햅틱 인터랙션 장치(100)의 동작은 단계 'S170'에서 가상환경과의 인터랙션의 종료가 확인되는 시점까지 반복된다.
이상에서 살펴본 바와 같이, 본 발명의 다른 실시예에 따른 햅틱 인터랙션 장치(100)에서의 동작 흐름에 따르면, 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로써, 햅틱 인터랙션의 안정성 및 고 강도가 보장되는 효과가 성취되고 있음을 알 수 있다.
본 발명에 의해 위와 같은 효과가 성취된다는 것은 이하의 실험 섹션에서의 연구를 통해 더 증명될 수 있다.
SFA
방식에 대한 실험
A. 실험 셋업
단일-DOF 임피던스 타입 햅틱 디스플레이에 대해 본 발명에서 제안한 방식의 성능을 입증하기 위하여, PHANToM Premium 1.5 를 사용하였다. 기본적인 내용은 다음과 같다: 8.5 N 의 최대 힘 출력, 1.4 N 의 연속적으로 가해질 수 있는 힘, 0.03의 인코더 해상도(encoder resolution) 및 1 kHz의 샘플링 레이트. 시스템이 안정화되는 햅틱 디스플레이의 물리적 댐핑, (bm), 은 0.00050 Ns/mm 로 선택되며, 따라서 [수학식 15]에 의해서, 햅틱 인터랙션이 안정적이 되는 VE의 최대 강도는 1 N/mm 이다. [수학식 16]에 대한 Kv 는, 앞서 설명한 바와 같이, 1 N/mm 보다 작은 어떠한 값도 될 수 있으며, 0.8 N/mm 로 선택되었다.
VE 와의 햅틱 프로브의 인터랙션은 아래 [수학식 23]과 같이 단순한 가상 스프링으로서 모델링 되었다.
[수학식 23]
여기서, x(n) 은 VE 의 햅틱 프로브의 침투 깊이이고, k 는 VE 의 실제 강도이다.
B. 실험 결과 평가
5 N/mm 강도의 가상 벽에 대한 실험 결과가 도 19 및 도 20에 도시되어 있다. 생성된 에너지는 시스템의 물리적 댐핑에 의해 소멸될 수 있는 것보다 훨씬 크기 때문에, 응답이 불안정했다. 도 21 내지 24는 SFA 방식을 실행하여 실험을 수행한 결과를 보여준다. 도 21 및 도 22는 햅틱 인터랙션에서의 위치 및 힘이 시간에 대해 안정적임을 보여주고 있다. 도 24에서는 불과 몇 밀리 세컨드 이내로 가상 벽의 목적하는 강도에 가깝게 된 디스플레이 강도를 관찰할 수 있다. 이때 위치 및 힘 그래프로부터는 안정적인 햅틱 인터랙션이 이루어지고 있으며, 따라서 오퍼레이터는 가상환경과의 인터랙션 과정에서 어떠한 진동도 느끼지 못하게 된다. 한편, 종래 기술에서는, PHANToM Premium 1.5 를 이용하여 3 N/mm 또는 그보다 큰 디스플레이 강도 및 변화율 경도를 디스플레이 할 수 있는 다른 방식은 없다.
C. 힘 제한 방식과의 비교
여기서는 본 발명에 따른 SFA 방식을 힘 제한 방식(Force Bounding Approach; FBA)과 비교한다. PHANToM Premium 1.5의 물리적 댐핑은 0.0005 Ns/mm 로 추정되었다. 목표 강도가 5 N/mm 였으나, FBA는 디스플레이 강도를 약 1 N/mm 로 제한하는 것을 확인할 수 있다(도 25). 반면, 본 발명의 SFA 방식은 목표 강도와 동일한 5 N/mm 강도를 보이게 된다(도 27). 한편, 힘이 몇 번의 사이클들 이후에 증가하여 침투거리에서 소규모의 변화도 디스플레이되는 강도의 값에서 시프트를 야기하기 때문에 디스플레이되는 강도에서 약간의 오르내림이 있다.
D.
결론
본 발명에서는 임피던스 타입의 햅틱 디스플레이의 디스플레이 강도를 향상시키기 위한 새로운 방안을 제안하였다. 다른 접근 방안과는 다르게 제안된 방안은 점진적으로 증가되는 피드포워드 힘의 오프셋 값을 이용함으로써, 성능과 안정성 간의 상충 관계가 회피되며, 이에 따라 목표 값에 가까운 임피던스를 보이는 것을 가능하게 한다. SFA 방식은 피드백 힘에 상태 종속적인 렌더링에 대해 저 강도를 사용함으로써 안정성을 보장하며, 이에 따라, 생성된 에너지는 댐핑에 의해 소멸될 수 있다. 상태 독립적인 피드포워드 힘의 작은 오프셋 값은 각각의 인터랙션 사이클에서 증대되어, 달성되는 강도 값을 목표 강도에까지 도달시킬 수 있는 반면, 시스템의 안정성을 깨트리지는 않는다. 이처럼 힘이 점진적으로 변경됨에 따라 사용자는 VE과의 인터랙션 과정에서 급작스런 덜컥거림을 느끼지 못하게 된다. 뿐만 아니라 SFA 방식은 햅틱 프루브의 침투 깊이 또한 최소화한다.
실험 및 대상 분석은 PHANToM Premium 1.5를 사용하여 수행되었고, 실험 평가 섹션에서 설명하였다. 이는 본 발명에 따른 방식이 안정성을 유지하면서도 디스플레이 강도를 증가시키며, 햅틱 트로브의 침투 깊이도 최소화할 수 있다는 것을 증명한다. 힘 제한 방식과의 비교분석도 실행되었는데, SFA 방식은 목표 강도에 가까운 디스플레이 강도를 달성할 수 있는 반면, 힘 제한 방식은 안정성을 보장하기 위해 강도를 희생하고 있다는 것을 보여주었다. 본 발명의 방식은 다중-DOF 인터랙션에 대해서까지 확대될 것이며 어드미턴스(admittance)타입의 햅틱 인터랙션에도 확대될 것이다. 원격조종(teleoperation) 시스템에 대해서도 실시될 수 있다.
본 발명의 다른 실시 예는 아래와 같은 산업상 이용가능성을 가진다.
본 발명에 다른 실시예에 따른 햅틱 인터랙션 장치 및 그 동작 방법에 따르면, 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도(stiffness)의 햅틱 인터랙션을 구현할 수 있다는 점에서 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
5. 확장된 연속 힘 증가(Extended SFA , Extended Successive Force Augment) 방식
한편, 햅틱 인터랙션에서의 강도(stiffness)는 사용자(오퍼레이터)가 느끼는 정도를 일컫는 경도(hardness)와 동일하지 않은 것이 일반적이다.
기존 연구에서는 표면을 침투할 때의 초기 속도에 대한 초기 힘의 변화율, 즉 변화율 경도(rate hardness)에 의해서 가상벽에 대한 경도(Wall hardness)를 사용자(오퍼레이터)가 지각하게 됨을 밝힌바 있다.
관련하여, 햅틱 인터랙션에 있어서 물리적인 댐핌 에너지를 인가하는 방식을 통해서 인터랙션의 안정화를 도모할 수는 있으나, 이처럼 댐핑 에너지를 인가하는 방식은 오히려 사용자(오퍼레이터)가 가상 물체와 접촉할 때 지각하는 것과 관련된 경도를 감소시키게 되는 한계점으로서 작용할 수 있다.
이에, 본 발명의 또 다른 실시예에서는 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도를 향상시킬 수 있는 새로운 방안을 제안하고자 하며, 이하에서는 이를 구현하기 위한 햅틱 인터랙션 장치(100)의 구성에 대해 보다 구체적으로 설명하기로 한다.
한편, 본 발명의 다른 실시예에서 채택하고 있는 연속 힘 증가 방식은, 안정성과 고 강도를 구현하기 위한 제1방식(SFA)일 수 있고,, 본 발명의 또 다른 실시예에서는 안정성과 고강도 그리고 변화율 경도를 함께 고려하기 위한 제2방식(Extended SFA)으로 분류될 수 있다.
먼저, 제1방식(SFA)은 주로 안정성과 고강도를 구현하기 위한 것이다.
본 발명의 다른 실시예에 따른 제1방식(SFA)의 햅틱 인터랙션 장치(100)에 대한 설명은 이미 상술되었고, 이하에서는 제2방식(Extended SFA)에 따라 안정성과 고 강도 그리고 변화율 경도를 함께 고려하기 위한 햅틱 인터랙션 장치(100)의 구성에 대해 설명하기로 한다.
한편, 지정부(110)와 확인부(130) 그리고, 결정부(140)의 동작은 제1방식과 동일하므로, 이하의 설명에서는 생략하기로 한다.
설정부(120)는 변화율 경도를 고려하기 위한 피드백 힘을 설정하는 기능을 처리한다.
보다 구체적으로, 설정부(120)는 가상환경에서의 목표강도가 지정되면, 햅틱 인터랙션 포인트를 가상환경 안쪽으로 침투시키기 위한 피드백 힘을 설정하게 된다.
이때, 설정부(120)는 햅틱 인터랙션 포인트를 가상환경 안쪽으로 침투시키기 위한 최초 사이클인 경우, 변화율 경도를 향상시키기 위한 목적으로 피드백 힘을 목표강도만큼 설정한다.
이처럼, 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우, 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)는 최초 사이클에서부터 피드백 힘이 목표강도보다 작게 설정된 경우의 변화율 경도보다 향상될 수 있다.
여기서, 릴리싱 경로의 경우, 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우, 그 궤적이 가상환경의 경계인 가상 벽으로부터 햅틱 인터랙션 포인트의 탈출 방향인 바깥쪽으로 설정 깊이만큼 연장된다.
이는 피드백 힘이 목표강도만큼 설정되는 경우, 햅틱 인터랙션 포인트가 가상환경 밖으로 이동하게 되는 데, 이때 갑작스런 힘의 강하가 발생되어 급작스런 진동(요동) 현상이 발생하는 것을 방지하기 위함이다.
결국, 본 발명의 일 실시예에서는 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우 릴리싱 경로의 궤적을 가상환경의 경계인 가상 벽으로부터 햅틱 인터랙션 포인트의 탈출 방향인 바깥쪽으로 설정 깊이만큼 연장시킴으로써, 가상환경의 경계를 이동시키는 것과 같은 효과가 도출되어 급작스런 진동(요동) 현상을 억제할 수 있는 것이다.
한편, 설정부(120)는 최초 사이클 이후의 사이클에선 피드백 힘을 상기 물리적 댐핑 에너지의 크기 보다 작게 설정하여 제1방식을 따름으로써, 안정성과 고 강도가 보장될 수 있도록 한다.
이하에서는, 설명의 이해를 돕기 위해 수학식 및 도면을 참조하여 제2방식(Extended SFA)을 따르는 경우의 햅틱 인터랙션 장치(100)의 구체적인 동작을 서술하기로 한다.
앞서 각각의 프레싱 경로 및 릴리싱 경로를 포함하는 인터랙션 사이클의 진행에 따라 피드백 힘이 증가하여 강도를 증가시키는 연속적인 강도 증가 방식을 설명하였다.
한편, 가상환경에서의 인터랙션 시 생성되는 에너지가 장치의 고유 댐핑에 의해 소멸될 정도로 충분히 작은 경우에 시스템이 안정될 수 있다는 것은 주지된 바이다.
그러나, 변화율 경도(rate hardness)는 연속적인 강도 증가(SFA) 방식에서 작은 강도의 렌더링으로 인해서 목표한 값보다 더 작아지게 된다.
따라서 이하에서는 가상환경에서 목표한 값에 가깝게 변화율 경도(rate hardness)를 증가시키기 위한 연속 강도 증가 방식을 확장하는 방안을 제안하고자 한다.
도 28 및 도 29는 변화율 경도(rate-hardness)를 가상환경의 목표 변화율 경도(rate-hardness)와 동일하게 만들기 위한 개념을 보여주고 있다.
제1 프레싱 경로에 대해서, 햅틱 인터랙션은 도 5 (a)에 도시된 바와 같이 가상환경의 실제 강도를 따르게 되는 데, 이에 따라 과도 응답 동안 변화율 경도(rate-hardness)를 향상시키게 되며 감지되는 강도 또한 목표 강도와 동일하게 만들 수 있다.
단순 초기 접촉에 대한 자유 공간에서의 힘 계산 방식은 아래 [수학식 24]과 같이 표현될 수 있다.
[수학식 24]
여기서, x(n)은 가상환경에서 햅틱 프로브(햅틱 인터랙션 포인트)의 침투 깊이이고, k 는 가상환경의 목표 강도이다.
가상환경의 지각 경도(perceptual hardness)는 가상환경의 강도 K보다는 변화율 경도(rate hardness)에 더 가깝게 관련되는 데 이는 아래 [수학식 25]과 같다.
[수학식 25]
여기서, 
과 
은 접촉 이후 제1 프레싱 경로에서의 속도와 힘의 변화율이다.
제1 프레싱 경로의 종료 이후에 햅틱 인터랙션에 대한 상태 의존적 피드백 힘은, 낮은 강도 값, Kv를 이용하여, 앞선 [수학식 26]으로 주어진다.
도 28에서 보는 바와 같이, 제1사이클(Cycle 1), 즉 제1 프레싱 경로 및 제1 릴리싱 경로의 종료 시점 이후에 생성된 에너지는 장치의 댐핑에 의해 소멸될 수 있는 에너지보다 훨씬 커지게 되는 데 이는 아래 [수학식 26]와 같이 표현될 수 있다.
[수학식 26]
여기서 Eg1 은 제1 사이클 이후에 생성된 에너지이고, Eb1 은 제1 사이클 (Cycle 1) 이후에 장치의 댐핑에 의해서 소멸된 에너지이다.
그러나, 이러한 추가 생성 에너지의 대부분은 도 17 로부터 알 수 있듯이, 다음 프레싱 사이클에서 다시 시스템으로 공급된다.
프레싱 경로에 있어 원하는 강도를 사용하고 릴리싱 경로에 있어서는 낮은 강도를 사용하는 초기 접촉 패턴이 반복되면, 축적되는 다량의 활성 에너지로 인해서 가상환경의 인터랙션은 불안정하게 될 것이다.
그러나, 본 발명에서는, 햅틱 인터랙션이 제2사이클(Cycle 2)부터 연속적인 강도 증가(SFA) 방식을 따르도록 구성하였고, 이로써 인터랙션이 안정하게 유지되어 강도는 가상환경의 목표 강도에 가깝게 유지된다.
낮은 강도 릴리싱 경로로 인해서 제2사이클(Cycle 2)부터 연속 강도 증가(SFA) 방식을 사용할 수 있게 되었지만, 햅틱 인터랙션 포인트가 가상환경 밖으로 이동하게 될 때 갑작스런 힘의 강하(force drop)가 야기될 수 있다.
높은 힘의 인터랙션 동안, 도 29에서 볼 수 있는 바와 같이 높은 크기의 푸시백(pushback) 힘으로 인해서, 햅틱 인터랙션 포인트는 쉽게 가상환경 밖으로 이동하게 된다. 즉, 릴리싱 궤적의 x 값이 xwall 보다 더 왼쪽으로 이동하게 되는 것이다.
결국, 햅틱 인터랙션 포인트가 벽 밖으로 이동하므로, 주어진 힘은 0으로 설정될 것이다. 그러나, 이는 햅틱 인터랙션을 요동치게 하는 급격한 힘의 점핑 현상을 야기하게 된다.
이러한 문제점에 대처하기 위하여, 본 발명에서는 x 절편까지 릴리싱 경로의 궤적을 연장하여 부드러운 힘 변화를 얻는데, 이는 아래 [수학식 27]과 관련하여 가상환경의 경계를 이동시키는 것처럼 작용된다.
[수학식 27]
역기서 x1은 침투 깊이이며, f1은 초기 프레싱 경로 종료 이후의 힘이다. 이러한 이동 인터랙션 포인트 xOVE는 매 프레싱 경로의 종료시마다 피드백 힘 및 침투 깊이에 따라서 매 사이클 이후에 변화하게 된다.
이로써 가상환경의 인터랙션이 수행되거나 또는 가상환경으로부터 햅픽 인터랙션 포인트가 탈출할 때, 힘이 변화가 서서히 이루어지게 되므로, 사용자(오퍼레이터)는 갑작스런 진동을 느끼지 못하게 되며, 만약 접촉 동안에 가상환경의 경계 안과 밖으로 이동한다 하여도, 이는 마찬가지다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)의 구성에 따르면, 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로써, 인터랙션의 안정성 및 고 강도가 보장된다. 또한, 초기 사이클에서 피드백 힘을 가상환경의 목표강도만큼으로 설정하는 확장된 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로서, 인터랙션의 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)가 향상되는 효과가 성취된다.
이하에서는, 도 30을 참조하여 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)에서의 동작 흐름을 설명하기로 한다.
먼저, 지정부(110)는 단계 'S110'에 따라 가상환경에서의 햅틱 인터랙션 포인트(HIP, Haptic Interaction Point)의 침투 깊이와 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도를 지정한다.
이때, 목표강도는 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 침투 깊이에 상응하는 피드백 힘 간의 상관관계를 나타내는 목표기울기로부터 도출될 수 있다.
이어서, 설정부(120)는 가상환경에서의 목표강도가 지정된 이후 단계 'S120' 및 'S130'을 통해 안정성과 고 강도를 구현하기 위한 제1방식(SFA)을 따르며 초기 사이클의 시작이 확인되는 경우, 단계 'S140'에 따라서 초기 사이클에서 입력될 피드백 힘을 물리적 댐핑 에너지의 크기보다 작게 설정한다.
이때, 결정부(140)는 초기 사이클에서의 피드백 힘이 설정이 이루어지는 경우에는 피드포워드 힘과 관련된 피드포워드 힘의 오프셋 값을 제로('0') 값으로 결정한다.
나아가, 확인부(130)는 단계 'S150'에 따라 설정된 피드백 힘에 따라 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투된 이후 댐핑 에너지에 의해 햅틱 인터랙션 포인트가 릴리싱 경로를 따라 가상환경 바깥으로 탈출되는 사이클이 종료되는 경우, 해당 사이클에서의 강도를 확인한다.
이후, 결정부(140)는 단계 'S180'에 따라 사이클에서 확인된 강도와 가상환경의 목표강도를 비교한 결과를 기초로, 종료된 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정한다.
여기서, 피드포워드 힘의 오프셋 값은, 사이클에서 확인된 강도가 가상환경의 목표강도보다 임계치 이상으로 작은 경우, 이웃한 이전 사이클에서의 오프셋 값보다 큰 값으로 결정되며, 반면 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 이전 사이클에서의 오프셋 값보다 작은 값으로 결정된다.
또한, 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 피드포워드 힘의 오프셋 값은 이웃한 이전 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정된다.
이때, 설정부(120)는 초기 사이클에서의 피드백 힘 설정과 마찬가지로 후속될 사이클에서의 피드백 힘을 물리적 댐핑 에너지의 크기보다 작게 설정한다.
이상의 단계 'S150' 내지 'S170'을 통해 이루어지는 햅틱 인터랙션 장치(100)의 동작은 단계 'S180'에서 가상환경과의 인터랙션의 종료가 확인되는 시점까지 반복된다.
한편, 설정부(120)는 가상환경에서의 목표강도가 지정된 이후 단계 'S120'및 'S190'을 통해 안정성과 고 강도 그리고 변화율 경도를 함께 고려하기 위한 제2방식(Extended SFA)을 따르며, 초기 사이클의 시작이 확인되는 경우, 단계 'S200'에 따라서 변화율 경도를 향상시키기 위한 목적으로 피드백 힘을 목표강도만큼 설정한다.
이처럼, 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우, 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 피드백 힘이 상기 물리적 댐핑 에너지의 크기 보다 작게 설정된 경우의 변화율 경도보다 향상될 수 있다.
여기서, 릴리싱 경로의 경우, 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우, 그 궤적이 가상환경의 경계인 가상 벽으로부터 햅틱 인터랙션 포인트의 탈출 방향인 바깥쪽으로 설정 깊이만큼 연장된다.
이는 피드백 힘이 목표강도만큼 설정되는 경우, 햅틱 인터랙션 포인트가 가상환경 밖으로 이동하게 되는 데, 이때 갑작스런 힘의 강하가 발생되어 급작스런 진동(요동) 현상이 발생하는 것을 방지하기 위함이다.
결국, 본 발명의 일 실시예에서는 최초 사이클에서의 피드백 힘이 목표강도만큼 설정되는 경우 릴리싱 경로의 궤적을 가상환경의 경계인 가상 벽으로부터 햅틱 인터랙션 포인트의 탈출 방향인 바깥쪽으로 설정 깊이만큼 연장시킴으로써, 가상환경의 경계를 이동시키는 것과 같은 효과가 도출되어 급작스런 진동(요동) 현상을 억제할 수 있는 것이다.
한편, 설정부(120)는 최초 사이클 이후의 사이클에선 피드백 힘을 상기 물리적 댐핑 에너지의 크기 보다 작게 설정하여 제1방식을 따름으로써, 안정성과 고 강도가 보장될 수 있도록 한다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 햅틱 인터랙션 장치(100)에서의 동작 흐름에 따르면, 피드포워드 힘의 오프셋(feedforward force offset) 값을 이용하는 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로써, 인터랙션의 안정성 및 고 강도가 보장된다. 또한, 초기 사이클에서 피드백 힘을 가상환경의 목표강도만큼으로 설정하는 확장된 연속 힘 증가(SFA, Successive Force Augment) 방식을 채택함으로서, 인터랙션의 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)가 향상되는 효과가 성취된다. 본 발명에 의해 위와 같은 효과가 성취된다는 것은 이하의 실험 섹션에서의 연구를 통해 더 증명될 수 있다.
Extended
SFA
방식에 대한 실험
A. 실험
셋업
단일-DOF 임피던스 타입 햅틱 디스플레이에 대해 본 발명에서 제안한 방식의 성능을 입증하기 위하여, PHANToM Premium 1.5 를 사용하였다. 기본적인 내용은 다음과 같다: 8.5 N 의 최대 힘 출력, 1.4 N 의 연속적으로 가해질 수 있는 힘, 0.03의 인코더 해상도(encoder resolution) 및 1 kHz의 샘플링 레이트. 시스템이 안정화되는 햅틱 디스플레이의 물리적 댐핑, (bm), 은 0.00050 Ns/mm 로 선택되며, 따라서 수학식 (15)에 의해서, 햅틱 인터랙션이 안정적이 되는 VE의 최대 강도는 1 N/mm 이다. 이는 도 31 및 32에도 도시되어 있다. 식(3)에 대한 Kv 는, 앞서 설명한 바와 같이, 1 N/mm 보다 작은 어떠한 값도 될 수 있으며, 0.8 N/mm 로 선택되었다.
VE 와의 햅틱 프로브의 인터랙션은 다음과 같이 단순한 가상 스프링으로서 모델링 되었다.
[수학식 28]
여기서, x(n) 은 VE 의 햅틱 프로브의 침투 깊이이고, k 는 VE 의 실제 강도이다.
B. 실험 결과 평가
5 N/mm 강도의 가상 벽에 대한 실험 결과가 도 33 및 34에 도시되어 있다. 생성된 에너지는 시스템의 물리적 댐핑에 의해 소멸될 수 있는 것보다 훨씬 크기때문에, 응답이 불안정했다. 도 35 내지 42는 확장된 SFA 방식을 실행하여 실험을 수행한 결과를 보여준다. 도 38 및 42에서, 제1 프레싱 경로 동안 큰 피드백 힘으로 인해서, 제1 릴리싱 경로 동안 위치가 초기 접촉 위치 밖으로 나간 것을 확인할 수 있다. 달성된 강도를 
로 계산하므로. xwall 보다 더 작은 x 값에서 아직 양의 값인 힘으로 인해, 음의 값을 가진다. VE 밖으로 이동하면, 접촉 포인트는 3 N/mm 의 VE 와 인터랙션할 때에는 0.3 mm 만큼, 5 N/mm 의 VE와 인터랙션할 때에는 0.5 mm 만큼 이동된다. 그러나, 이동된 VE 경계로 인해 유지되는 하중은 사용자에게 테스트 동안 아무런 비정상적인 영향을 미치지 않았다.
C. 대상 연구
여기서는 3 N/mm, 4 N/mm, 5 N/mm 의 강도를 가지는, 3가지 상이한 VE 에 대해 감지되는 강도를 구별하기 위한 대상 연구(subjective study)를 기술한다. 평가를 수행하기 위하여, 22세에서 28세까지 건강한 남성이 대상으로서 참가하였다. 이들 모두는 오른손잡이였고, 신경계나 근골격계에 아무런 장애가 없는 것으로 확인되었다. 대상들은 다른 강도를 가지는 3개의 VE 를 구별해야만 했었다. 대상들은 임의로 VE 에 할당되어, 경도의 오름차순으로 이들을 배열하여야 했었다. 강도 구별 과제를 수행하는 동안, 대상들이 VE 밖으로 이동하는 동안 VE 가 그 초기 접촉 포인트로부터 이동한 것을 느꼈는지에 관하여도 질문을 받았다.
결과는 모든 대상들이 임으로 할당받은 VE를 오름차순으로 정확하게 배열할 수 있었다는 것을 나타냈으며(Table 1), 이들 중 누구도 VE 가 그 초기 접촉 포인트로부터 이동했다는 것을 느끼지 못했다는 것을 나타냈다(Table 2). 이는 본 발명의 방식이, 댐핑을 주입하지 않고 시스템 안정성을 유지하면서도 목표 강도와 동일하게 감지되는 강도를 정확하게 디스플레이할 수 있다는 것을 보여준다. 종래 기술에서는, PHANToM Premium 1.5 를 이용하여 3 N/mm 또는 그보다 큰 디스플레이 강도 및 변화율 경도를 디스플레이 할 수 있는 다른 방식은 없다.
D. 변화율 경도(Rate-hardness) 와
SFA
방식의 비교
여기서는 본 발명에 따라 확장된 SFA 방식의 변화율 경도를 보여주고 이를 SFA 방식과 비교한다. SFA 방식은, VE 와의 접촉 포인트로부터 낮은 강도를 선택함으로써 상태 종속 선형 피드백 힘을 증가시키므로, 변화율 경도는 선택된 저 강도 값과 동일하다. 이는 도 44 및 45로부터 확인될 수 있는데, 여기서는 표면을 침투할 때의 초기 속도에 대한 힘의 초기 변화율이 0.8 N/mm 이다. 다른 한편으로, 도 11b 및 11c 는 VE의 것, 즉 3 N/mm 및 5 N/mm 와 동일한 확장된 SFA 방식에 대한 초기 힘 변화율 대 초기 속도를 보여준다. 이는 지각되는 강도가 SFA와 비교하여 확장된 SFA 에 대해 더 높다는 것을 보여준다.
E. 힘 제한 방식과의 비교
여기서는 본 발명에 따른 SFA 방식을 힘 제한 방식(Force Bounding Approach; FBA)과 비교한다. PHANToM Premium 1.5의 물리적 댐핑은 0.0005 Ns/mm 로 추정되었다. 목표 강성이 5 N/mm 였으나, FBA는 디스플레이 강성 및 변화율 경도를 약 1 N/mm 로 제한하였다 (도 12a). 그러나, 본 발명의 SFA 방식은 VE 의 값과 동일한 변화율 경도 및 5 N/mm 이하의 디스플레이 강도를 보였는데, 이는 도 12c 에서 보는 바와 같이, 목표 강도와 동일하다. 5 N/mm 강도의 VE 에 대한 FBA 에서 디스플레이 강도와 목표 강도의 평균평방근(root mean square) 에러는 84% 인 반면, 확대된 SFA 방식을 사용했을 때에는 7.52% 였다.
TDPA는 PHANToM Premium 1.5를 사용하여 그렇게 높은 강도의 VE를 안정화시킬 수 없었다는 점을 주목해야 한다.
결론
본 발명에서는 임피던스 타입의 햅틱 디스플레이의 변화율 경도와 디스플레이 강도를 향상시키기 위한 새로운 방안을 제안하였다. 제안된 방안은 변화율 경도를 디스플레이하여 그것에 대해 디스플레이 강도를 목표 강도에 가깝게 매칭시키기 위해 VE 의 목표 강도를 사용한다. 다른 방식과는 달리, 본 발명의 방식은 시스템을 안정화시키기 위하여 힘을 줄이거나 시스템 내에 댐핑을 주입하지 않는다, 따라서, 지각된 강도 및 투명성이 향상된다. 초기 프레싱 경로가 높은 에너지를 생성하므로, 햅틱 디스플레이의 고유 댐핑을 통해 생성된 에너지를 소멸시키는 렌더링에 대해 저 강도를 사용함으로써 SFA 방식은 안정성을 보장한다. 각각의 인터랙션 사이클에 대해 작은 힘 오프셋이 증대되는데, 이는 목표 강도에 도달할 때까지 달성되는 강도 값을 증가시킨다. 힘이 갑자기 변경되지 않고 점진적으로 변경되므로, 사용자는 VE 와 인터랙션할 때 급작스런 덜컥거림을 느끼지 않게 된다.
실험 및 대상 분석은 PHANToM Premium 1.5를 사용하여 수행되었고, 실험 평가 섹션에서 설명하였다. 이는 본 발명에 따른 방식이 안정성을 유지하면서도 변화율 경도 및 디스플레이 강도를 증가시킨다는 것을 증명한다. 힘 제한 방식과의 비교분석도 실행되었는데, 이는 본 발명의 방식이 더 큰 변화율 경도 및 디스플레이 강도를 얻을 수 있다는 것을 보여주었다. 본 발명의 방식은 다중-DOF 인터랙션에 대해서까지 확대될 것이며 어드미턴스(admittance)타입의 햅틱 인터랙션에도 확대될 것이다. 원격조종(teleoperation) 시스템에 대해서도 실시될 수 있다.
한편, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.
컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서에서 "시스템"이나 "장치"라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
당업자는 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 둘의 조합으로서 구현될 수도 있음을 또한 이해할 것이다. 하드웨어 및 소프트웨어의 상호 호환성을 명확하 게 설명하기 위해, 다양한 예시적인 소자들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 이들의 기능적 관점에서 설명되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지는 특정 애플리 케이션 및 전체 시스템에 대해 부가된 설계 제한들에 의존한다. 당업자는 설명된 기능들을 각각의 특정 애 플리케이션에 대해 다양한 방식으로 구현할 수 있지만, 이러한 구현 결정은 본 발명의 영역을 벗어나는 것으 로 해석되어서는 안 된다.
본 발명과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들이 범용 프로세서, 디지털 신호 처리기(DSP), 주문형 집적회로(ASIC), 필드 프로그램가능한 게이트 어레이(FPGA) 또는 다른 프로그램가능한 논리 장치(PLD), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들 또는 설명된 기능들을 구현하도록 설계된 이들의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로 프로세서 일 수 있지만, 대안적으로, 프로세서는 상용 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 예를 들어, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 관련한 하나 이상의 마이크로 프로세서, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다.
본원 발명과 관련하여 설명되는 방법 또는 알고리즘의 단계들은 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이 둘의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래쉬 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드디스크, 휴 대용 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체에 상주할 수 있다. 예시적인 저장매체는 , 프로세서가 저장매체로부터 정보를 판독하고, 저장매체에 정보를 기록할 수 있도록 프로세서에 연결된다. 대안적으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장매체는 ASIC에 위치할 수도 있다 . ASIC는 사용자 단말에 위치할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말에서 개별 컴포넌트들로서 존재할 수 있다.
하나 이상의 예시적인 실시예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 통해 구현될 수 있다. 컴퓨터 프로그램 물건으로서 소 프트웨어로 구현되는 경우, 상기 기능들은 컴퓨터 판독가능한 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나, 또는 이들을 통해 전송될 수 있다. 컴퓨터 판독가능한 매체는 컴퓨터 저장 매체 및 일 장소에 서 다른 장소로 컴퓨터 프로그램의 이전을 용이하게 하기 위한 임의의 매체를 포함하는 통신 매체를 포함한 다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 예를 들어, 이러한 컴퓨 터 판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 장치들, 또는 명령 또는 데이터 구조의 형태로 요구되는 프로그램 코드 수단을 저장 또는 전 달하는데 사용될 수 있고, 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되 는 것은 아니다. 또한, 임의의 연결 수단이 컴퓨터 판독가능한 매체로 간주될 수 있다. 예를 들어, 소프트 웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 꼬임 쌍성, 디지털 가입자 라인(DSL), 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들을 통해 전송되는 경우, 동축 케이 블, 광섬유 케이블, 꼬임 쌍선, DSL, 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들이 이러한 매체의 정의에 포함될 수 있다. 여기서 사용되는 disk 및 disc은 컴팩트 disc(CD), 레이저 disc , 광 disc , DVD, 플로피 disk, 및 블루-레이 disc를 포함하며, 여기서 disk는 데이터를 자기적으로 재생하지만, disc 은 레이저를 통해 광학적으로 데이터를 재생한다. 상기 조합들 역시 컴퓨터 판독가능한 매체의 범위 내에 포함되어야 한다.
위에서 설명된 본 발명의 실시 예들은 예시의 목적을 위해 개시된 것이며, 이들에 의하여 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 대한 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 사상과 범위 안에서 다양한 수정 및 변경을 가할 수 있을 것이며, 이러한 수정 및 변 경은 본 발명의 범위에 속하는 것으로 보아야 할 것이다.
이하에서는 본 발명의 산업상 이용가능성에 대해 기술한다.
본 발명에 일 실시예에 따른 햅틱 인터랙션 장치 및 그 동작 방법에 따르면, 가상환경 기반한 햅틱 인터랙션과 관련하여 안정성이 보장됨을 전제로 고 강도(stiffness)이면서 사용자가 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate hardness)를 향상시킬 수 있다는 점에서 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
이하에서는 본 발명의 일 실시 예에 따른 청구항들을 기술한다.
ㄱ. 청구항 1
변화율 경도(rate hardness)를 향상시키기 위한 햅틱 인터랙션 장치로서,
가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 정해지면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 처음 침투하는 최초 사이클의 프레싱 경로에서는 상기 목표강도에 따라 피드백 힘을 발생시키고, 최초 사이클의 릴리싱 경로 및 이후 사이클에서의 프레싱 경로 및 릴리싱 경로에서는 상기 목표강도보다 낮은 강도에 따라 피드백 힘이 발생하도록 설정하는 설정부;
상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인부; 및
상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정부를 포함하는 것을 특징으로 하는 햅틱 인터랙션 장치.
ㄴ. 청구항 2
제 1 항에 있어서,
상기 피드포워드 힘의 오프셋 값은,
상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며,
상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며,
상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 하는 햅틱 인터랙션 장치.
ㄷ. 청구항 3
제 1 항에 있어서,
상기 최초 사이클에서의 상기 피드백 힘이 상기 목표강도에 따라 설정되는 경우, 사용자가 상기 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 상기 피드백 힘이 상기 목표강도보다 낮은 강도에 따라 설정된 경우의 변화율 경도보다 향상되는 것을 특징으로 하는 햅틱 인터랙션 장치.
ㄹ. 청구항 4
제 1 항에 있어서,
상기 릴리싱 경로는,
상기 가상환경의 경계인 가상 벽으로부터 상기 햅틱 인터랙션 포인트가 탈출한 경우에도 피드백 힘이 존재하도록 설정되고, 상기 가상환경 밖에서의 피드백 힘은, 상기 가상환경 안에서의 피드백 힘의 연장선상에서 연속되도록 설정되는 것을 특징으로 하는 햅틱 인터랙션 장치.
ㅁ. 청구항 5
변화율 경도(rate hardness)를 향상시키기 위한 햅틱 인터랙션 방법으로서,
가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 정해지면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 처음 침투하는 최초 사이클의 프레싱 경로에서는 상기 목표강도에 따라 피드백 힘을 발생시키고, 최초 사이클의 릴리싱 경로 및 이후 사이클에서의 프레싱 경로 및 릴리싱 경로에서는 상기 목표강도보다 낮은 강도에 따라 피드백 힘이 발생하도록 설정하는 설정단계;
상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인단계; 및
상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정단계를 포함하는 것을 특징으로 하는 햅틱 인터랙션 방법.
ㅂ. 청구항 6
제 5 항에 있어서,
상기 피드포워드 힘의 오프셋 값은,
상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며,
상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며,
상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 하는 햅틱 인터랙션 방법.
ㅅ. 청구항 7
제 5 항에 있어서,
상기 최초 사이클에서의 상기 피드백 힘이 상기 목표강도에 따라 설정되는 경우, 사용자가 상기 가상환경에서의 접촉을 인지하는 것과 관련된 변화율 경도(rate-hardness)가 상기 피드백 힘이 상기 목표강도보다 낮은 강도에 따라 설정된 경우의 변화율 경도보다 향상되는 것을 특징으로 하는 햅틱 인터랙션 방법.
ㅇ. 청구항 8
제 5 항에 있어서,
상기 릴리싱 경로는,
상기 가상환경의 경계인 가상 벽으로부터 상기 햅틱 인터랙션 포인트가 탈출한 경우에도 피드백 힘이 존재하도록 설정되고, 상기 가상환경 밖에서의 피드백 힘은, 상기 가상환경 안에서의 피드백 힘의 연장선상에서 연속되도록 설정되는 것을 특징으로 하는 햅틱 인터랙션 방법.
ㅈ. 청구항 9
제 5 항 내지 제 8 항 중 어느 한 항의 각 단계를 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
ㅊ. 청구항 10
제 5 항 내지 제 8 항 중 어느 한 항의 각 단계를 실행시키기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.
Claims (9)
- 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 지정되면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 경우 발생할 피드백 힘을 설정하는 설정부;상기 설정된 피드백 힘에 따라, 상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인부; 및상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정부를 포함하는 것을 특징으로 하는 햅틱 인터랙션 장치.
- 제 1 항에 있어서,상기 피드포워드 힘의 오프셋 값은,상기 사이클이 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 최초 사이클인 경우에는 제로('0') 값으로 결정되는 것을 특징으로 하는 햅틱 인터랙션 장치.
- 제 1 항에 있어서,상기 피드포워드 힘의 오프셋 값은,상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며,상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며,상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 하는 햅틱 인터랙션 장치.
- 제 1 항에 있어서,상기 설정부는,상기 햅틱 인터랙션 포인트의 가상환경 안쪽으로의 침투거리에 따라 발생하는 피드백 힘을 상기 목표강도에 의해 발생해야 할 피드백 힘보다 작게 설정하는 것을 특징으로 하는 햅틱 인터랙션 장치.
- 가상환경에서의 햅틱 인터랙션 포인트의 침투 깊이와 상기 침투 깊이에 상응하는 피드백 힘과 관련된 목표강도가 지정되면, 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 경우 발생할 피드백 힘을 설정하는 설정단계;상기 설정된 피드백 힘에 따라, 상기 햅틱 인터랙션 포인트가 프레싱 경로를 따라 가상환경 안쪽으로 침투하고 릴리싱 경로를 따라 침투시와는 반대 방향으로 이동하는 하나의 사이클이 종료되는 경우, 상기 사이클에서의 강도를 확인하는 확인단계; 및상기 사이클에서 확인된 강도와 상기 목표강도를 비교한 결과를 기초로, 상기 사이클과 이웃한 다음 사이클에서의 피드백 힘과 관련된 피드포워드 힘의 오프셋 값을 결정하는 결정단계를 포함하는 것을 특징으로 하는 햅틱 인터랙션 장치의 동작 방법.
- 제 5 항에 있어서,상기 피드포워드 힘의 오프셋 값은,상기 사이클이 상기 햅틱 인터랙션 포인트가 가상환경 안쪽으로 침투하는 최초 사이클인 경우에는 제로('0') 값으로 결정되는 것을 특징으로 하는 햅틱 인터랙션 장치의 동작 방법.
- 제 5 항에 있어서,상기 피드포워드 힘의 오프셋 값은,상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 작은 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 큰 값으로 결정되며,상기 사이클에서 확인된 강도가 상기 목표강도보다 임계치 이상으로 큰 경우, 이웃한 다음 사이클에서의 오프셋 값은 상기 사이클에서의 오프셋 값보다 작은 값으로 결정되며,상기 사이클에서 확인된 강도와 상기 목표강도와의 차이가 임계치 이내인 경우에는, 상기 사이클에서의 오프셋 값을 기준으로 토글링(Toggling)되도록 결정되는 것을 특징으로 하는 햅틱 인터랙션 장치의 동작 방법.
- 제 5 항에 있어서,상기 설정단계는,상기 햅틱 인터랙션 포인트의 가상환경 안쪽으로의 침투거리에 따라 발생하는 피드백 힘을 상기 목표강도에 의해 발생해야 할 피드백 힘보다 작게 설정하는 것을 특징으로 하는 햅틱 인터랙션 장치의 동작 방법.
- 제 5 항의 각 단계를 실행시키기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/317,820 US20210173485A1 (en) | 2016-07-12 | 2017-07-04 | Haptic interaction device and control method therefor |
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160088238A KR101880910B1 (ko) | 2016-07-12 | 2016-07-12 | 햅틱 디바이스를 통해 햅틱 증강현실을 제공하기 위한 방법 및 시스템 |
| KR10-2016-0088238 | 2016-07-12 | ||
| US201662370725P | 2016-08-04 | 2016-08-04 | |
| US62/370,725 | 2016-08-04 | ||
| KR10-2016-0111567 | 2016-08-31 | ||
| KR1020160111567A KR101836335B1 (ko) | 2016-08-04 | 2016-08-31 | 햅틱 인터랙션 장치 및 그 동작 방법 |
| KR1020160157634A KR101861157B1 (ko) | 2016-08-04 | 2016-11-24 | 햅틱 인터랙션 장치 및 그 동작 방법 |
| KR10-2016-0157634 | 2016-11-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018012785A1 true WO2018012785A1 (ko) | 2018-01-18 |
Family
ID=60952624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2017/007094 WO2018012785A1 (ko) | 2016-07-12 | 2017-07-04 | 햅틱 인터랙션 장치 및 그 제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2018012785A1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100067005A (ko) * | 2008-12-10 | 2010-06-18 | 포항공과대학교 산학협력단 | 햅틱 증강현실 제공 장치 및 방법 |
| KR20120133450A (ko) * | 2011-05-31 | 2012-12-11 | 한국기술교육대학교 산학협력단 | 햅틱 인터페이스 장치 및 방법, 그리고 원격조종로봇 시스템 |
| KR101458192B1 (ko) * | 2013-06-11 | 2014-11-05 | 재단법인 실감교류인체감응솔루션연구단 | 햅틱 피드백 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| KR20150028730A (ko) * | 2013-09-06 | 2015-03-16 | 임머숀 코퍼레이션 | 햅틱 신호를 진동촉각 햅틱 효과 패턴의 컬렉션으로 변환하는 햅틱 와핑 시스템 |
| WO2015126095A1 (ko) * | 2014-02-21 | 2015-08-27 | 삼성전자 주식회사 | 전자 장치 |
-
2017
- 2017-07-04 WO PCT/KR2017/007094 patent/WO2018012785A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100067005A (ko) * | 2008-12-10 | 2010-06-18 | 포항공과대학교 산학협력단 | 햅틱 증강현실 제공 장치 및 방법 |
| KR20120133450A (ko) * | 2011-05-31 | 2012-12-11 | 한국기술교육대학교 산학협력단 | 햅틱 인터페이스 장치 및 방법, 그리고 원격조종로봇 시스템 |
| KR101458192B1 (ko) * | 2013-06-11 | 2014-11-05 | 재단법인 실감교류인체감응솔루션연구단 | 햅틱 피드백 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| KR20150028730A (ko) * | 2013-09-06 | 2015-03-16 | 임머숀 코퍼레이션 | 햅틱 신호를 진동촉각 햅틱 효과 패턴의 컬렉션으로 변환하는 햅틱 와핑 시스템 |
| WO2015126095A1 (ko) * | 2014-02-21 | 2015-08-27 | 삼성전자 주식회사 | 전자 장치 |
Non-Patent Citations (1)
| Title |
|---|
| KOSUKE HIGASHI: "Haptics: Perception, Devices, Control, and Applications", 10TH INTERNATIONAL CONFERENCE, vol. 1-534, 4 July 2016 (2016-07-04), pages 327 - 337 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017155341A1 (en) | Apparatus and method for controlling auto focus of camera module | |
| WO2020138844A1 (en) | Home appliance and method for voice recognition thereof | |
| WO2010151070A2 (ko) | 가상 세계 처리 장치 및 방법 | |
| WO2020145718A1 (ko) | 디스플레이용 기판 | |
| WO2015102438A1 (en) | Display apparatus | |
| WO2014035146A2 (ko) | 환 동형 사상을 이용한 동형 암호화 방법과 복호화 방법 및 이를 이용한 장치 | |
| WO2022010061A1 (ko) | 디스플레이 지지 장치 | |
| EP3058561A1 (en) | Display apparatus | |
| WO2012150755A1 (ko) | 터치 게임을 제공하는 방법, 장치 및 기록매체 | |
| WO2015093665A1 (ko) | 전자기기 및 전자기기의 제어방법 | |
| WO2015122664A1 (ko) | 엄지손가락을 이용한 터치 실행 장치 | |
| WO2015183050A1 (ko) | 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법 | |
| WO2021210713A1 (ko) | 차량 도어용 플러시 핸들 | |
| WO2022164302A1 (ko) | 플렉서블 디스플레이용 듀얼 디지타이저 | |
| WO2019164106A1 (ko) | 손 착용형 장치 및 이의 제조 방법 | |
| WO2016126050A2 (en) | Cooking apparatus and touch sensor assembly for cooking apparatus | |
| WO2017039264A1 (ko) | 사용자 단말기 및 수면 관리 방법 | |
| EP3200668A1 (en) | Dish washing machine | |
| WO2018012785A1 (ko) | 햅틱 인터랙션 장치 및 그 제어 방법 | |
| EP4014196A1 (en) | Electronic device and method for operating screen capturing by electronic device | |
| WO2022265272A1 (ko) | 휠 어셈블리 인터페이스를 갖는 게임장치의 플레이어 보상 방법 | |
| WO2019132553A1 (en) | Sound output system and voice processing method | |
| WO2020141702A1 (ko) | 잠금 장치 | |
| WO2022025433A1 (ko) | 돌출형 기반 스마트 태블릿 | |
| WO2017135657A1 (ko) | 풍력터빈의 정격출력 유지를 위한 토크모드스위치 제어방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17827859 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17827859 Country of ref document: EP Kind code of ref document: A1 |