KR20050054731A - 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감지원 방법 - Google Patents

Abstract

본 발명은 시뮬레이션의 진행 도중 아바타와 주변 가상물체 간의 충돌에 따른 효과를 햅틱 인터페이스를 통해 실시간적인 촉감 형태로 느낄 수 있도록 하는 햅틱 시뮬레이션 시스템 및 그 방법에 관한 것이다.

본 발명은 시뮬레이션의 진행 중 사용자 움직임에 따라 가상 환경에서 아바타를 동작시키는 제 1단계; 아바타와 가상 물체간의 충돌 정보를 인지하는 제 2단계; 물리역학에 기반하여 상기 충돌 정보에 대한 힘/토크를 계산하는 제 3단계; 제 3단계의 처리 시간이 규정 시간을 초과할 경우, 물리역학 기반 프로세싱을 대신하여 보간법을 이용하여 상기 충돌 정보에 대한 힘/토크를 계산하는 제 4단계; 제 3단계 및 제 4단계에서 산출된 힘/토크 값을 사용자 햅틱 디바이스로 전달하여 촉감을 제공하는 단계;로 이루어진다.

Description

햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감 지원 방법{Haptic simulation System and Method for Providing Real-Time Haptic Interaction in Virtual Simulation}

본 발명은 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감 지원 방법에 관한 것이며, 보다 상세히는 사용자(아바타)가 컴퓨터 시뮬레이션을 진행하는 중 아바타(Avatar)와 주변 가상물체 간의 충돌에 따른 효과를 햅틱 인터페이스 디바이스를 통해 실시간적인 촉감(Haptic) 형태로 느낄 수 있도록 하는 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감 지원 방법에 관한 것이다.

일반적으로 햅틱 인터페이스 기술은, 사용자에게 기존의 시각 및 청각에 의존하는 상호작용 방법을 보완하여 새로운 차원의 몰입감을 제공하는 직관적인 인간 중심의 상호작용 기술로서, 가상의료/가상제조/가상전투 등의 가상훈련과, 가상 엔터테인먼트, 원격 미세 조정 등 다양한 분야에서 응용되고 있다.

하지만, 햅틱 인터페이스를 위한 매개체인 햅틱 하드웨어 장치 제작에 있어서의 기술적인 문제, 그리고 이를 효율적으로 구동하는 소프트웨어 및 가상 시뮬레이션 환경에서의 실시간 촉감지원을 위한 소프트웨어 구현 기술의 부족으로 인하여, 국내·외적으로 아직까지 제한적인 감각의 촉각 상호작용 기술만이 제공되고 있다.

이와 같은 실재감 있는 촉각 제공에 따른 기술적 어려움으로 인하여, 햅틱 인터페이스가 역감·반력(Force Feedback) 형태로 컴퓨터 게임 분야에서 충돌 상황에 적합한 진동 상황을 재현하는데 적용되어 상용화되어 있으며, 또한 위험 환경에서 역감(Force Feedback)을 통한 원격 조정에 사용되고 있는 등 제한적인 응용을 가지고 있는 실정이다.

한편, 주어진 햅틱 하드웨어 장치를 사용하여 가상 시뮬레이션 환경에서 실재감 있는 촉각 제공을 위해서는 촉감 생성을 위한 효율적인 소프트웨어 구현이 필요한데, 이는 실시간에 의한 정확한 충돌 감지, 접촉면(점)의 상태에 따른 정확한 물리역학에 의한 힘/토크의 계산 및 계산된 값의 햅틱 디바이스로의 전달, 그리고 가상 환경의 실시간 그래픽 디스플레이 등을 포함하는 햅틱 순환 과정을 컴퓨터 상에서 효율적으로 실행할 수 있는 방법에 직접적으로 의존한다.

하지만, 기존에는 실재감 있는 촉감 형성을 위한 이러한 소프트웨어 인터페이스 구축 방법을 다룬 연구나 기술 개발이 거의 전무할 정도이다.

한편, 관련 종래 기술로서, 한국특허 "미디파일 재생장치 및 방법"(등록번호 2002-0066446호)은 표준화된 음악 저장/재생 포맷 형태를 취하는 미디(Midi)파일 재생장치 및 방법에 관한 것으로, 미디파일에 담긴 음의 정보를 입력받아 그 음의 정보를 해당 높이와 강약에 대응하는 빛 또는 진동으로 독립적으로 변환하여 재생함으로써 사용자에게 청각적 효과뿐만 아니라 시각적 혹은 촉각적 효과도 동시에 제공하도록 하는 방법론에 관한 것이다. 이는 주로, 체감형 진동 장치를 착용한 사용자에게 엔터테인먼트 응용 목적으로 촉감에 해당되는 감각을 단순 진동으로 전달될 수 있도록 하는 제한적 의미에서의 촉감 재현 기술에 관한 것으로써, 본 발명에서 추구하는 미세한 촉감을 실현하는 방법과는 엄밀히 다른 기술이다.

또한, 종래의 미국특허 "웹 페이지 상에서의 반력감 제공(Force Feedback Provided in Web Pages)"(등록번호; US006353850B1)는, 웹(Web) 상에서 서브로부터 제공되는 반력효과 (Force Feedback Effect) 발생 명령어가 내재된 HTML 화일을 클라이언트에서 다운로드 받아, 클라이언트에 연결된 반력감 생성용 반력 장치 (Force Feedback Device)를 통해 반력감 효과를 적절히 재생하는 방법론에 대한 기술로써, 특수한 자체 포맷의 반력효과 파일을 해석하여 반력장치의 하드웨어 구조에 특화된 반력 신호를 생성해 내는 것이 핵심이다. 이 기술은 인터넷상의 컨텐츠에 촉감을 제공하는 웹 애플리케이션 등에 활용되고 있을 뿐만 아니라, Force Feedback 게임에 응용되어 진동 효과를 발생시키는 기술로 사용된다.

또한, 종래의 미국특허 "반력을 이용한 시뮬레이션 물체 간의 상호작용 제공 방법"(등록번호 US006366272B1)은, 일반적인 시뮬레이션 환경에서 사용자로 대변되는 아바타와 또 다른 가상 물체사이의 접촉에 따른 촉감을, 햅틱 디바이스 장치를 통하여 사용자에게 전달하는 방법론을 하드웨어 및 소프트웨어 기술적인 측면에서 다룬 것으로써, 다양한 충돌 상황에 따른 미세한 촉감 생성 방법론을 다루지 않았다. 실제로, 시뮬레이션 환경에서의 다양한 촉감 생성은 정확한 충돌 인지 후에, 충돌 상황의 물리역학에 적합한 반발력을 생성하여 햅틱 디바이스 장치에 전달하는 기술의 핵심이 되는 것으로, 이러한 제반 과정을 효과적으로 구현할 수 있는 소프트웨어적인 기술이 필수적으로 요구된다.

따라서, 본 발명은 상술한 종래의 문제점 및 필요성을 해결하기 위한 것으로서, 본 발명의 목적은 기존의 촉각 지원 기술들과는 달리 실시간 충돌 처리, 물리역학 및 보간법에 기반한 반력 생성 등과 같이 실감 있는 촉각 효과를 다루는데 필요한 제반 과정에서 프로세서들간의 동기화에 역점을 둠으로써 시뮬레이션 환경에서 사용자에게 다양한 촉감을 실시간으로 실재감 있게 전달하고 향 후 일반화될 가상 시뮬레이션 환경에서 효율적인 촉각 지원(Haptic interface)을 제공할 수 있는 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감 지원 방법을 제공하는데 있다.

상기 본 발명의 목적을 달성하기 위한 햅틱 시뮬레이션 시스템은, 사용자에게 실제적인 촉감을 제공하는 햅틱 디바이스; 시뮬레이션을 진행하면서 사용자의 움직임에 따른 아바타와 가상 환경을 출력 표시하는 그래픽 디스플레이 모듈; 시뮬레이션 환경에서 아바타와 가상 물체간의 실시간 충돌 정보를 인지하는 충돌인지 모듈; 상기 충돌 정보를 제공받아 물리역학에 기반하여 힘/토크를 계산하고 이를 상기 햅틱 디바이스에 전달하는 물리역학 기반 힘/토크 산출 모듈; 및 햅틱 순환과정 중 상기 그래픽 디스플레이 모듈, 상기 충돌인지 모듈, 및 상기 물리역학 기반 힘/토크 산출 모듈간의 분산 컴퓨팅 및 동기화를 담당하는 분산 컴퓨팅 모듈;로 구성된다.

또한, 상기 본 발명의 목적을 달성하기 위한 햅틱 시뮬레이션 시스템에서의 실시간 촉감 지원 방법은, 햅틱 시뮬레이션을 진행하면서, 햅틱 디바이스에서의 사용자 움직임에 따라 가상 환경내의 아바타를 동작시키는 제 1단계; 사용자의 아바타가 가상 환경의 다른 물체와의 접촉 시 그 충돌 정보를 인지하는 제 2단계; 물리역학에 기반하여 상기 충돌 정보에 대한 힘/토크를 계산하는 제 3단계; 상기 제 3단계의 프로세싱 시간이 규정 시간을 초과할 경우, 상기 물리역학 기반 힘/토크 산출 프로세싱을 대신하여 보간법을 이용하여 상기 충돌 정보에 대한 힘/토크를 계산하는 제 4단계; 상기 제 3단계 및 상기 제 4단계에서 산출된 힘/토크 값을 사용자 햅틱 디바이스로 전달하여 사용자에게 촉감을 제공하는 단계;로 이루어진다.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에 따른 촉각 인터페이스가 지원되는 햅틱 시뮬레이션 시스템을 개략적으로 도시한 것이다.

도 1을 참조하면, 본 발명의 햅틱 시뮬레이션 시스템은, 촉각을 Force-Feedback 형태로 사용자에게 직접 전달하는 햅틱 디바이스(10), 아바타(21-1)와 가상 환경(21-2)을 출력하는 그래픽 디스플레이 모듈(21), 보간법 기반 힘/토크 산출 모듈(23), 물리역학 기반의 힘/토크 계산을 담당하는 물리역학 기반 힘/토크 산출 모듈(31), 아바타와 가상 환경(물체)간의 실시간 충돌 처리를 담당하는 충돌인지 모듈(22), 물리역학에 기반한 힘/토크의 계산 결과와 반력(Force Feedback) 출력간의 동기화를 담당하는 분산 컴퓨팅 모듈(40), 및 물리역학 기반에 의한 힘/토크 계산의 실행 시간을 재는 타미어(24) 등으로 이루어진다.

상기 햅틱 디바이스(10)은, 아바타가 가상환경 상에서 다른 물체와 충돌 또는 접촉을 하는 상황에서 발생하는 충격에 해당되는 힘을 반발력의 형태로 사용자에게 전달하여 촉감을 제공하는 기능을 가진, 사용자와 가상 시뮬레이션 환경간의 물리적인 매개체이다. 특히, 이러한 햅틱 장치는 미세한 서버 모터로 작동되어 3차원 공간에서 6의 자유도를 가지며 움직이는 점 접촉점에 대한 고해상도의 촉각을 제공할 수 있다.

상기 아바타는(21-1)는 그래픽으로 디스플레이 되는 시뮬레이션 상의 가상 환경 중에서 사용자의 접촉점을 나타내는 것으로, 다관절체의 고해상도의 햅틱 장치에 의해 위치 조정이 되어 가상공간에서 6 자유도를 가지면서 움직일 수 있다. 사용자의 움직임에 따라 아바타가 움직이는 도중 가상 환경에서의 다른 물체와 충돌 또는 접촉하게 되는데, 이때 발생되는 충격량을 물리역학적인 이론에 근거하여 힘/토크 형태로 계산하여 상기 햅틱 디바이스(10)에 실시간으로 전달함으로써 사용자는 실재감 있는 촉감을 느낄 수 있게 된다.

또한, 상기 가상 환경(21-2)은, 시뮬레이션 상의 그래픽에서 아바타를 제외한 여타의 물체들을 말하는 것으로, 사용자가 햅틱 디바이스(10)를 조작함에 따라 움직이는 아바타(21-1)와 시뮬레이션 진행 중에 충돌/접촉을 하게 된다.

또한, 상기 충돌인지 모듈(22)은, 아바타(21-1)와 가상 환경(21-2)에 속한 물체 사이에 충돌/접촉이 있을 시에 정확한 충돌 정보를 파악하여, 해당 정보를 상기 물리역학 기반 힘/토크 산출 모듈(31)로 전달하는 역할을 담당한다.

상기 물리역학 기반 힘/토크 산출 모듈(31)은, 상기 충돌인지 모듈(22)로부터 전달받은 충돌 및 접촉에 대한 정보를 사용하여 해당 충돌 상황에 맞는 충격량을 물리역학의 이론에 기반하여 힘/토크 형태로 계산하는 모듈로서, 다양한 충돌 상황에 따라 다르게 계산된 충격량을 상기 햅틱 디바이스(10)로 전달하여 사용자에게 촉감을 전달하게 된다.

이러한 물리역학 기반 힘/토크 산출 모듈(31)은 햅틱 순환의 전 과정 중에서 가장 많은 계산 시간이 요구되므로 별도의 CPU 또는 쓰레드(Thread)로 구현되는 것이 바람직하다.

상기 보간법 기반 힘/토크 산출 모듈(23)은, 촉감 형성을 위해 사용자에게 실시간으로 전달되는 물리역학 기반의 힘/토크 계산 담당 모듈(31)의 프로세싱 시간이 규정된 시간보다 지연(overtime)되었을 경우에, 해당 모듈(31)이 무시되고 대신 호출되어 실행되는 부분으로서, 보간법(interpolation)에 의하여 다음 단계의 힘/토크를 계산하게 되며 실제적인 촉감 생성을 하는데 있어서 필수적인 실시간 햅틱 순환과정 실행에 매우 중요한 역할을 담당한다.

또한, 타이머(24)는, 상기 충돌인지 모듈(22)이 충돌정보를 물리역학 기반 힘/토크 산출 모듈(31)로 전달한 후 해당 계산 모듈의 프로세싱 시간을 체크한다. 이때, 규정된 시간을 초과하게 되면 보간법으로 힘/토크를 계산하여 그 결과를 햅틱 디바이스(10)에 전달하도록 한다.

한편, 도 1에서 분산 컴퓨팅 모듈(40)은, 아바타를 포함하는 시뮬레이션 환경에 대한 그래픽 디스플레이를 담당하는 프로세서(20)와 물리역학 기반의 힘/토크 생성을 담당하는 프로세서(30)간의 동기화를 담당하는 부분으로서, 각각 네트워크(TCP/IP) 상에서 별도의 CPU에서 실행되거나 또는 단일 CPU 상에서의 서로 다른 두 쓰레드(Thread)로 실행될 수 있다.

본 발명의 햅틱 시뮬레이션 시스템의 핵심되는 특징은, 햅틱 순환 과정에서 가장 긴 실행시간이 요구되는 물리역학 기반 힘/토크 모듈(31)의 분산화이다. 또 다른 한 가지는, 실시간 햅틱 순환과정의 실행을 위하여 필요할 경우 물리역학 기반의 힘/토크 계산에 의존하지 않고 상대적으로 훨씬 단순한 보간법을 이용한 힘/토크를 계산함으로써 사용자에게 효율적이면서도 안정적인 촉감을 제공한다.

본 발명에 적용되는 보간법은 기본적으로, 전 단계와 현 단계에서의 힘/토크 계산 값으로 다음 단계에서 햅틱 디바이스(10)에 전달되어져야 할 힘/토크 값을 계산하는 기법으로서, 물리역학에 기반한 정확한 방법에 비해서는 상대적으로 정확하지 못한 촉감을 제공하지만, 실시간적인 제약하에서 차선책으로 채택되어 미세한 촉감을 제공할 수 있게 한다.

도 2는 상기 햅틱 시뮬레이션 시스템에서 사용자에게 실재감 있는 촉감을 전달하기 위해 핵심적인 햅틱 순환 과정을 효율적으로 실행하는 방법을 나타낸 흐름도이다.

도 2를 참조하면, 본 발명의 햅틱 시스템의 동작은 우선 상기 햅틱 디바이스(10) 및 그래픽 디스플레이를 초기화하게 된다.(S201)

그리고, 햅틱 시뮬레이션을 진행하면서, 사용자 움직임에 따른 아바타와 가상 환경에서의 다른 물체간에 충돌 또는 접촉이 발생하게 되면,(S202) 그 충돌 또는 접촉 정도 등을 인지하고 그에 따라 물리역학에 기반한 힘/토크를 계산하게 된다.(S203)

이때, 상기 힘/토크의 계산이 햅틱 순환과정의 실시간 실행을 우해 규정된 소정의 시간을 초과하게 되면,(S204) 상기 물리역학에 기반한 계산을 무시하고 대신 보간법에 의한 단순한 방법으로 힘/토크를 계산한 후,(S205) 그 계산된 값을 통해 상기 햅틱 디바이스를 구동하게 된다.(S206)

그리고, 계속하여 햅틱 시뮬레이션을 진행하면서 상기 각 과정을 반복 수행하여 사용자에게 실시간적인 촉감 상호작용을 제공하게 된다.(S207)

상술한 바와 같이 본 발명에 따른 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감 지원 방법은, 기존의 시각에 의존하는 사용자 상호작용 방법과는 달리, 시각을 보완하거나 독립적인 감각으로 존재하여 가상환경에서 가려진 물체를 더듬게 하는 기능을 제공함으로써, 가상환경에서의 한층 정밀한 네비게이션 기회를 제공할 수 있다. 또한, 가상환경에서 시각이 제공하지 못하는 보다 정밀한 상호작용이 요구되는 애플리케이션에 널리 사용됨으로써 촉감을 사용한 미세한 조작기술이 요구되는 가상 수술 시뮬레이션이나 복잡한 부품 조립을 요하는 가상 제조 시뮬레이션 같은 경우에 유용하게 적용될 수 있다.

또한, 본 발명은 사용자의 몰입감이 기존의 시각적 및 청각적 특수효과에만 의존하는 차원을 벗어나 신체의 일부의 감각을 통한 새로운 형태의 몰입감을 제공하기 때문에 시각 상실자 등의 장애자들에게도 시뮬레이션 애플리케이션 상에서 촉감을 통한 상호작용 기능을 부여하여 시각 장애자용 컴퓨터 게임 같은 응용에 사용될 수 있다.

이상에서 설명한 것은 본 발명에 따른 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감 지원 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

도 1은 본 발명에 따른 햅틱 시뮬레이션 시스템의 블록 구성도.

도 2는 본 발명에 따른 햅틱 시뮬레이션 시스템의 실시간 촉감 지원 과정을 보여주는 흐름도.

<도면의 주요부분에 대한 부호의 설명>

10: 햅틱 디바이스 21: 그래픽 디스플레이 모듈

21-1: 아바타 21-2: 가상 환경

22: 충돌 인지 모듈

23: 보간법 기반 힘/토크 산출 모듈

24: 타이머

31: 물리역학 기반 힘/토크 산출 모듈

40: 분산 컴퓨팅 모듈

Claims (6)

1. 사용자에게 실제적인 촉감을 제공하는 햅틱 디바이스;

   시뮬레이션을 진행하면서 사용자의 움직임에 따른 아바타와 가상 환경을 출력 표시하는 그래픽 디스플레이 모듈;

   시뮬레이션 환경에서 아바타와 가상 물체간의 실시간 충돌 정보를 인지하는 충돌인지 모듈;

   상기 충돌 정보를 제공받아 물리역학에 기반하여 힘/토크를 계산하고 이를 상기 햅틱 디바이스에 전달하는 물리역학 기반 힘/토크 산출 모듈; 및

   햅틱 순환과정 중 상기 그래픽 디스플레이 모듈, 상기 충돌인지 모듈, 및 상기 물리역학 기반 힘/토크 산출 모듈간의 분산 컴퓨팅 및 동기화를 담당하는 분산 컴퓨팅 모듈;로 구성되는 것을 특징으로 하는 햅틱 시뮬레이션 시스템.
2. 제 1항에 있어서,

   상기 충돌 정보가 전달된 후 상기 물리역학 기반 힘/토크 산출 모듈의 프로세싱 시간을 체크하는 타이머와,

   상기 물리역학 기반 프로세싱 시간이 규정된 시간을 초과할 경우, 상기 물리역학 기반 힘/토크 산출 모듈 대신에 호출되어 보간법을 기반으로 상기 충돌 정보에 대한 힘/토크를 산출하여 햅틱 디바이스로 전달하는 보간법 기반 힘/토크 산출 모듈을 더 포함하는 것을 특징으로 하는 햅틱 시뮬레이션 시스템.
3. 제 1항에 있어서, 상기 그래픽 디스플레이 모듈과, 상기 물리역학 기반 힘/토크 산출 모듈은,

   각각 네트워크상의 별도 CPU에서 실행되거나 동일 CPU 상의 다른 쓰레드(Thread)로 실행되는 것을 특징으로 하는 햅틱 시뮬레이션 시스템.
4. (a) 햅틱 시뮬레이션을 진행하면서, 햅틱 디바이스에서의 사용자 움직임에 따라 가상 환경내의 아바타를 동작시키는 단계;

   (b) 사용자의 아바타가 가상 환경의 다른 물체와의 접촉 시 그 충돌 정보를 인지하는 단계;

   (c) 물리역학에 기반하여 상기 충돌 정보에 대한 힘/토크를 계산하는 단계;

   (d) 상기 (c)단계의 프로세싱 시간이 규정 시간을 초과할 경우, 상기 물리역학 기반 프로세싱을 대신하여 보간법을 이용하여 상기 충돌 정보에 대한 힘/토크를 계산하는 단계; 및

   (e) 상기 (c)단계 및 상기 (d)단계에서 산출된 힘/토크 값을 사용자 햅틱 디바이스로 전달하여 사용자에게 촉감을 제공하는 단계;로 이루어지는 것을 특징으로 하는 햅틱 시뮬레이션 시스템에서의 실시간 촉감 지원 방법.
5. 제 4항에 있어서, 상기 (a)단계, 상기 (b)단계, 및 상기 (d)단계를 수행하는 제 1프로세싱 장치와, 상기 (c)단계를 수행하는 제 2프로세싱 장치는,

   각각 네트워크상의 별도 CPU에서 실행되거나 동일 CPU 상의 다른 쓰레드(Thread)로 실행되는 것을 특징으로 하는 햅틱 시뮬레이션 시스템에서의 실시간 촉감 지원 방법.
6. 제 5항에 있어서, 상기 햅틱 시뮬레이션 시스템에서의 실시간 촉감 지원 방법은,

   햅틱 순환과정 중 상기 제 1프로세싱 장치와 상기 제 2프로세싱 장치간의 분산 컴퓨팅 및 동기화를 처리하는 단계를 더 포함하는 것을 특징으로 하는 햅틱 시뮬레이션 시스템에서의 실시간 촉감 지원 방법.