KR20090062461A - 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션시스템 - Google Patents

Abstract

본 발명에 따른 6자유도 햅틱 장치를 이용한 핸드 기반의 잡기 인터랙션 시스템은, 손가락 및 손 위치 변화에 따른 손 트래킹 정보를 생성하며, 역감 정보에 의거하여 손의 위치 및 회전 반력감을 제어하는 하드웨어부와, 손 트래킹 정보를 이용하여 가상 환경 내 가상 손 모델을 제어하고, 가상 손 모델과 객체간의 충돌 발생 시 충돌 객체 정보를 생성하는 충돌 처리부와, 충돌 처리부로부터 충돌 객체 정보를 제공받고, 객체의 고유 특성을 기반으로 충돌 발생에 따른 가상 손 모델과 객체의 운동 정보를 제공하는 동역학 처리부와, 운동 정보에 의거하여 가상 환경 데이터를 업데이트시키고, 업데이트에 따른 가상 손 모델의 변화에 의거한 핸드 관절 정보를 생성하는 물리 기반 동작 가시화부와, 핸드 관절 정보를 토대로 역감 정보를 장치부에 제공하여 손의 위치 및 회전 반력감을 제어하는 역감 렌더링부를 포함한다.

이와 같이, 본 발명은 가상품평 및 가상 훈련과 같은 애플리케이션에서 햅틱 장비를 이용하여 잡기 동작을 시뮬레이션함으로써, 자연스럽고 직접적인 인터랙션을 제공 할 수 있다.

햅틱 장치, 인터랙션, 자유도, 반력감

Description

6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템{Grasping Interaction using 6DOF Haptic Device and Method Thereof}

본 발명은 햅틱 장치를 이용해 가상 환경과의 핸드 기반 잡기 인터랙션을 할 수 있는 시스템에 관한 것으로, 더욱 상세하게는 현실 공간의 핸드의 손가락 및 손 전체의 움직임을 추적하고, 이를 이용하여 가상 공간의 가상 손 모델을 정교하고 세밀하게 제어하여 사용자가 가상 환경과 자연스럽게 인터랙션할 수 있는 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템에 관한 것이다.

핸드 기반 잡기 인터랙션 기술은 인간의 손과 가상 환경의 각 객체들 간의 인터랙션에 관한 기술을 말한다. 이러한 핸드 기반 잡기 인터랙션 기술은 기존의 시각 및 청각적 효과를 보완하여 한 차원 높은 사실감을 제공하는 인간 중심의 인터랙션 기술로 게임 등의 분야에서 많이 사용되고 있다. 특히 가상적 제품 생산 과정 중 가상 품평과 같은 현실감 있는 인터랙션을 필요로 하는 응용 애플리케이션에서는 가상 환경 내에서의 가상 객체의 특성에 따라 다양한 잡기 인터랙션이 필요 로 하게 된다.

상기 핸드 인터페이스 기술에 관한 첫 번째 종래 기술로 한국특허공개공보 2002-0096807, 장갑형 데이터 입력 장치 및 그 인식 방법은, 손가락 부의 압력 센서를 이용한 핸드폰이나 키보드의 데이터 입력을 위한 것으로, 소형 단말 장치의 데이터 입력이 용이하도록 하는 장점이 있다.

두 번째 종래 기술로 한국특허공개공보 2001-0023426, 데이터 처리 시스템과의 대화를 위한 손가락 없는 글로브는, 사용자의 손가락 만곡을 감지하기 위한 만곡 센서 및 특정 범위의 각도로의 만곡을 탐지하는 센서와 가속도 센서를 이용하여 휴대 환경에서 컴퓨터의 특정 항목을 선택하기 위한 간단한 가상 타이핑의 효과를 줄 수 있다.

미국특허공개공보 2004/0164880 A1, Wearable Data Input Device Employing Wrist and Finger Movements는, 일반적 키보드를 이용한 정보 입력을 대체할 수 있도록 손목 및 손가락 움직임을 위한 스위치형 센서를 내장하여 키 자판의 위치를 알아내는 효과를 줄 수 있는 것이 글로브 형태의 인터페이스 장치. 손목의 움직임 및 손가락의 움직임과 키보드 자판의 배열을 매핑하여 키 입력 수단으로 쓸 수 있다.

그러나, 첫 번째 종래 기술은 제품의 가상 디자인, 품평, 조립 등을 시뮬레이션 할 수 있는 높은 사실성의 잡기 인터랙션 방법을 지원하지 못하는 단점이 있다.

두 번째 종래 기술은 가상 디자인, 품평, 조립 등 높은 실제감을 요구하는 환경에 사용될 수 있는 상호작용 인터페이스로 활용되기에 부족한 점이 있으며, 세 번째 종래 기술은 정밀한 잡기 지원을 통한 가상 현실 객체의 조작에 적합지 않다.

이런 이유로 가상 품평이나 가상 훈련과 같은 높은 사실감과 원활한 인터랙션이 지원되어야 하는 작업 환경에서의 가상 현실 어플리게이션에서는 현실 공간과 일치되는 자연스럽고 직접적인 인터랙션이 방법이 지원되는 시스템이 적실히 요구되고 있다.

본 발명은 객체의 고유 특성을 반영하여 직관적이고 경험을 이용한 구속 기반의 잡기 방법과 실제 마찰, 중력, 탄성 등과 같은 물리 요소를 반영한 물리기반의 잡기 방법과 같은 인터랙션이 선택적으로 적용된 시스템을 제공한다.

본 발명에 따른 6자유도 햅틱 장치를 이용한 핸드 기반의 잡기 인터랙션 시스템은, 손가락 및 손 위치 변화에 따른 손 트래킹 정보를 생성하며, 역감 정보에 의거하여 손의 위치 및 회전 반력감을 제어하는 하드웨어부와, 상기 손 트래킹 정 보를 이용하여 가상 환경 내 가상 손 모델을 제어하고, 상기 가상 손 모델과 객체간의 충돌 발생 시 충돌 객체 정보를 생성하는 충돌 처리부와, 상기 충돌 처리부로부터 충돌 객체 정보를 제공받고, 상기 객체의 고유 특성을 기반으로 상기 충돌 발생에 따른 상기 가상 손 모델과 상기 객체의 운동 정보를 제공하는 동역학 처리부와, 상기 운동 정보에 의거하여 상기 가상 환경 데이터를 업데이트시키고, 상기 업데이트에 따른 상기 가상 손 모델의 변화에 의거한 핸드 관절 정보를 생성하는 물리 기반 동작 가시화부와, 상기 핸드 관절 정보를 토대로 상기 역감 정보를 상기 장치부에 제공하여 상기 손의 위치 및 회전 반력감을 제어하는 역감 렌더링부를 포함한다.

본 발명은 가상품평 및 가상 훈련과 같은 애플리케이션에서 햅틱 장비를 이용하여 잡기 동작을 시뮬레이션함으로써, 자연스럽고 직접적인 인터랙션을 제공 할 수 있기 때문에 종래의 3차원 시각 정보에만 의존하는 가상 환경 애플리케이션에서 벗어나 핸드 기반의 인터랙션을 통해 직관적으로 제품을 디자인하고 품평, 조립 등을 할 수 있는 시뮬레이션 환경을 제공하는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체 적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 발명의 바람직한 실시 예에서는 가상 훈련과 같은 애플리케이션에서 햅틱 장비를 이용하여 잡기 동작을 시뮬레이션할 수 있는 시스템에 대해 설명한다.

도 1은 본 발명의 바람직한 실시 예에 따라 6 자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템을 도시한 블록도로서, 핸드 인터페이스(110) 및 손 전체에 위치 및 회전 반력감을 주기는 6자유도 햅틱 장치(120)및 6 자유도 햅틱 장치(110)가 탑재되는 탑재 장치(130)를 포함하는 하드웨어부(100)와 가상 객체와의 충돌 감지 시 핸드 시뮬레이션을 통한 잡기 및 역감 처리를 수행하는 소프트웨어부(150)를 포함한다. 여기서, 소프트웨어부(150)와 하드웨어부(120)는 햅틱 장치 드라이버(170)를 통해 연결된다.

이러한 본 발명의 바람직한 실시 예에 따른 시스템은 객체의 고유 특성을 반영하여 직관적이고, 경험을 이용한 구속 기반의 잡기 방법과 실제 마찰, 중력, 탄성 등과 같은 물리 요소를 반영한 물리 기반의 잡기 방법과 같은 인터랙션이 선택적으로 적용된다.

하드웨어부(100)는 핸드 인터페이스(110)를 이용하여 손가락 관절의 움직임을 감지하고, 6자유도 햅틱 장치(120)를 통해 손 전체에 반력감을 전달한다.

핸드 인터페이스(110)는 장갑 형태의 글로브로서, 사용자의 손 동작에 관한 손가락 관절각을 측정하는 초소형 절대 위치 센서가 부착되어 있으며, 초소형 절대 위치 센서에 의해 감지된 아날로그 신호, 즉 각 손가락의 관절의 구부러짐 값에 대한 신호를 기반으로 각 손가락의 관절각을 계산한다. 이렇게 계산된 관절각을 이용하여 가상 손 모델의 움직임을 제어하고, 가상 손 모델과 가상 환경 내의 객체와 인터랙션을 수행한다.

6자유도 햅틱 장치(120)는 손 위치 정보 및 회전 정보를 검출하고, 소프웨어부(150)로부터 제공되는 역감 정보를 토대로 손 위치 및 회전을 제어함으로서 손의 회전 반력감을 제어할 수 있다.

이러한 6자유도 햅틱 장치(120)는, 도 2에 도시된 바와 같이, 손 전체의 위치 및 회전 반력감을 제어하기 위해 3 자유도의 위치 제어 기구 및 3 자유도의 자세 제어 기구로 구성된다. 3자유도의 위치 제어를 위해 Base Rotate(위치 제어 제1축)(200), Main Link(위치 제어 제 2축)(201), Sub Link(위치 제어 제3축)(202)으로 구성되어 있고, 3자유도의 자세 제어를 위해 Hand Roll(손목 회전 제1축)(210), Hand Pitch(손목 회전 제2축)(211), Hand Yaw(손목 회전 제 3축)(212)으로 구성된다.

자세제어 기구의 3개의 축(210, 211, 212)으로 이루어진 운동은 한 점에 대해 서로 직각을 이루는 3개의 회전축의 운동으로 표현한다.

위치 제어 기구의 3개의 축(200, 201, 202)으로 이루어진 운동은 두 계를 가진 반구 형태를 가지게 된다. 자세제어 기구는 손의 자세, 즉 방향을 나타내고, 위치제어 기구는 손의 공간상의 위치를 나타낸다.

이와 같은 조합을 통해 기구를 제어하기 쉽게 해줄 뿐만 아니라 손의 위치 및 회전 정보를 검출하고, 기구의 제어를 통해 손의 위치 및 회전을 제어하여 손의 회전 반력감을 제어할 수 있다.

이러한 6자유도 햅틱 장치(120)는 도 3a에 도시된 바와 같은 전후좌우이동 가능한 탑재 장치(130)에 탑재됨으로서, 사용자의 공간 상 이동에 따라 6자유도 햅틱 장치(120)도 탑재 장치에 의해 함께 이동함으로서, 일정 지점에 고정되었을 때보다 더욱 넓은 활동 범위를 보정한다. 이러한 탑재 장치(120)는, 전원(300), 콘트롤러(302), 모터(304), 엔코더(306) 및 다리 모듈(308)로 구성된다. 다리 모듈(308)은, 도 4b에 도시된 바와 같이, 직진 입력, 조향 입력이 가능하도록, 직진 입력(310), 조향 입력(312), 직진 출력 바퀴(314), 조향 출력 바디(316), 조향 고정 바디(318) 및 직진 보조 바퀴(320)를 포함한다.

이러한 핸드 인터페이스(110)에서 계산된 손가락의 관절각과 6자유도 햅틱 장치(120)에서 검출된 손의 위치 및 회전 정보는 햅틱 장치 드라이버(170)를 통해 소프웨어부(150)에 제공된다. 여기서, 손가락의 관절각과 6자유도 햅틱 장치(120)에서 검출된 손의 위치 및 회전 정보를 손 트래킹 정보라고 정의한다.

소프트웨어부(150)는 가상 객체가 가지는 고유 특징을 기반으로 충돌 감지 시 선택적으로 두 가지의 잡기 동작을 시뮬레이션하고, 역감 렌더링을 통해 손 전체에 회전 반력감을 전달할 수 있는 6자유도 햅틱 장치(120)에 역감 정보를 전달하며, 장치 제어부(151), 충돌 처리부(152), 동역학 처리부(154), 물리 기반 동작 가시화부(158) 및 역감 렌더링부(160)를 포함한다.

여기서, 동역학 처리부(154)는 가상 객체의 고유 특성에 따라 동작되는 구성 기반 인터랙션 모듈(154a) 및 물리 기반 인터랙션 모듈(154b)로 구성된다.

소프트웨어부(150)의 충돌 처리부(152)는 손 트래킹 정보 및 가상 환경 제작부(153)에서 제공된 가상 환경 데이터를 입력받아 가상 손 모델 및 가상 환경 제어를 위한 변환 매트릭스를 갱신하며, 실시간 충돌 처리 및 손동작간의 인터랙션 처리를 수행한다. 여기서, 충돌 처리부(152)는 사실적이고 정확한 손의 보정 작업을 위해 가변경 피부 변형 기법을 적용하여 부드러운 관절을 표현한 가상 손 모델을 제어하는데, 가상 손 모델 제어는 인체학 기반의 손가락 움직임 실측값의 보정을 통해 이루어진다.

특히, 충돌 처리부(152)는 실감도를 증가시키기 위해 약 수백만 폴리곤 데이터 모델과 가상 핸드 모델 사이의 충돌 처리 계산을 실시간으로 처리하며, 이를 위하여 가상 환경 데이터를 씬그라프 구조로 로딩하여 실시간 충동을 위한 계층적 충돌 탐색 기법을 지원한다. 여기서, 충돌 처리부(152)에서 지원하는 계층적 충돌 탐색 기법은 대용량 데이터 모델과 실시간 충돌 처리를 위하여 관심이 되는 부분 객체를 미리 분류하여 처리하는 방법으로서, 이를 통해 실시간 작업에 필요한 계산 시간을 단축할 수 있다.

이러한 충돌 처리부(152)는 손 트래킹 정보를 이용하여 가상 환경 내 가상 손 모델을 제어하고, 가상 손 모델과 객체간의 충돌 발생 시 충돌 객체 정보를 생성하여 동역학 처리부(154)에 제공한다.

동역학 처리부(154)는 충돌 객체 정보를 토대로 충돌 발생에 따른 가상 손 모델과 객체의 운동 정보를 생성하여 물리 기반 동작 가시화부(156)에 제공한다.

여기서, 동역학 처리부(154)는 객체의 고유 특성에 따라 동작되는 구속 기반 모듈(154a) 및 물리 기반 모듈(154b) 중 어느 하나를 선택적으로 동작시키는데, 구속 기반 모듈(154a)은 객체가 자동차의 핸들, 기어스틱, 문 및 글로브 박스 등과 같이 특정 축 방향으로 구속되는 특성을 지닌 경우 구속 기반의 잡기 인터랙션을 적용하는 모듈로서, 객체와의 충동 시 미리 정의되어 있는 객체의 중심점을 기준으로 가상 손 모델의 위치와 각도를 제어한다.

물리 기반 모듈(154b)은 객체가 핸드폰과 같은 모든 전 방향으로 자유로운 움직임이 가능한 특성을 지닌 경우 물리 기반의 잡기 방법을 적용하는 모듈로서, 손 트래킹 정보가 그대로 반영된 가상 손 모델과 물리 속성을 지닌 가상 손 모델 사이를 스프링 및 조인트로 연결한다. 이때, 가상 객체와 인터랙션 시 손의 동작에 따라 스프링에 연결된 가상 손 모델은 가상 객체와 충돌 검사를 수행하지 않고 스프링으로 연결된 종속된 손은 충돌 검사 및 동역학 시뮬레이션에 영향을 받게 된다. 따라서, 가상 객체와의 인터랙션 시 트래킹 손(실제)의 동작에 따라 손 트래킹 정보에 의거하여 동작하는 가상 손 모델은 최대한 비슷한 동작을 묘사하지만 가상 객체와의 충돌 발생 시 객체의 표면에 적절히 투영된다.

이러한 방법을 통해 마찰, 탄성, 중력 등의 다양한 물리 요소를 반영하여 실제와 같이 객체를 손안에서 조작해 볼 수 있다.

이러한 과정을 통해 구속 기반 인터랙션 모듈(154a) 및 물리 기반 인터랙션 모듈(154b)은 충돌 발생에 따른 가상 손 모델과 객체의 운동 정보를 생성하는데, 즉 구속 기반 인터랙션 모듈(154a)은 객체의 중심점을 기준으로 가상 손 모델의 위치와 각도를 제어를 통해 획득한 가상 손 모델과 객체의 운동 정보를 생성하여 물리 기반 동작 가시화부(158)에 제공하며, 물리 기반 인터랙션 모듈(154b)은 손 트래킹 정보에 의거하여 동작하는 가상 손 모델의 움직임에 따른 객체와 가상 손 모델의 운동 정보를 생성하여 물리 기반 동작 가시화부(158)에 제공한다.

물리 기반 동작 가시화부(158)는 운동 정보를 토대로 가상 환경 데이터를 업데이트시키고, 업데이트에 따른 상기 가상 손 모델의 변화를 토대로 핸드 관절 정보를 생성한 후 이를 역감 렌더링부(160)에 제공한다.

역감 렌더링부(156)는 핸드 관절 정보를 토대로 역감 정보, 예컨대 손 전체 위치 및 회전 반력감 등을 계산한 후 이를 장치 제어부(151)를 통해 연결된 6자유도 햅틱 장치(120)에 제공한다.

이에 따라, 6자유도 햅틱 제어 장치(110)는 역감 정보를 토대로 손 전체의 위치를 제어하고, 실제 손에 제공되는 회전 반력감을 제어함으로서, 가상 손 모델이 가상 객체 안으로 실제 손이 뚫고 들어가지 못하게 할 수 있다.

본 발명의 바람직한 실시 예에 따르면, IPTV 서비스를 제공함에 있어서 가입자들로 하여금 방송 컨텐츠를 제어할 수 있는 기능을 제공한다.

지금까지 본 발명의 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.

도 1은 본 발명의 바람직한 실시 예에 따라 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템을 도시한 도면이며,

도 2는 본 발명에 따른 6자유도 햅틱 장치의 위치 및 회전 반력 기구부 상세 구성도이며,

도 3a 내지 도 3b는 본 발명에 따른 6자유도 햅틱 장치의 모바일 이동 장치의 상세 구성도이다.

＜도면의 주요부분에 대한 부호의 설명＞

100 : 하드웨어부 110 : 핸드 인터페이스

120 : 6자유도 햅틱 장치 130 : 탑재 장치

150 : 소프트웨어부 152 : 장치 제어부

154 : 충돌 처리부 156 : 동역학 처리부

158 : 물리 기반 동작 가시화부 160 : 역감 렌더링부

170 : 햅틱 장치 드라이버

Claims (7)

1. 손가락 및 손 위치 변화에 따른 손 트래킹 정보를 생성하며, 역감 정보에 의거하여 손의 위치 및 회전 반력감을 제어하는 하드웨어부와,

   상기 손 트래킹 정보를 이용하여 가상 환경 내 가상 손 모델을 제어하고, 상기 가상 손 모델과 객체간의 충돌 발생 시 충돌 객체 정보를 생성하는 충돌 처리부와,

   상기 충돌 처리부로부터 충돌 객체 정보를 제공받고, 상기 객체의 고유 특성을 기반으로 상기 충돌 발생에 따른 상기 가상 손 모델과 상기 객체의 운동 정보를 제공하는 동역학 처리부와,

   상기 운동 정보에 의거하여 상기 가상 환경 데이터를 업데이트시키고, 상기 업데이트에 따른 상기 가상 손 모델의 변화에 의거한 핸드 관절 정보를 생성하는 물리 기반 동작 가시화부와,

   상기 핸드 관절 정보를 토대로 상기 역감 정보를 상기 장치부에 제공하여 상기 손의 위치 및 회전 반력감을 제어하는 역감 렌더링부

   를 포함하는 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템.
2. 제 1 항에 있어서,

   상기 하드웨어부는,

   상기 손가락의 관절각 정보를 상기 충돌 처리부에 제공하기 위한 핸드 인터 페이스와,

   상기 손의 위치 정보를 상기 충돌 처리부에 제공하며, 상기 역감 정보에 의거하여 상기 손의 위치 및 반력감을 제어하는 6자유도 햅틱 장치

   를 포함하는 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템.
3. 제 2 항에 있어서,

   상기 6자유도 햅틱 장치는,

   상기 손의 위치를 제어하기 위한 위치 제어 1, 2, 3 축과,

   상기 손의 자세를 제어하기 위한 손목 회전 제 1, 2, 3 축

   을 포함하는 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템.
4. 제 3 항에 있어서,

   상기 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템은,

   상기 6자유도 햅틱 장치가 탑재 가능하며, 상기 6자유도 햅틱 장치의 이동을 제어하는 탑재 장치

   를 더 포함하는 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템.
5. 제 1 항에 있어서,

   상기 동역학 처리부는,

   상기 객체의 고유 특성이 특정 축 방향으로 구속되어 고정된 경우 상기 충돌 발생 시 기 설정된 상기 객체의 중심점을 기준으로 상기 가상 손 모델의 위치와 각도를 제어하는 구속 잡기 인터랙션 모듈

   을 포함하는 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템.
6. 제 1 항에 있어서,

   상기 동역학 처리부는,

   상기 객체의 고유 특성이 자유로운 움직임이 가능한 경우 상기 충돌 발생 시 상기 손 트래킹 정보를 토대로 상기 가상 손 모델을 제어함과 더불어 상기 가상 손 모델과 객체의 물리적 특성을 반영하여 상기 운동 정보를 제공하는 물리 기반 잡기 인터랙션 모듈

   을 포함하는 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템.
7. 제 1 항에 있어서,

   상기 충돌 처리부는, 가상 환경 내의 가상 그래픽 모델 데이터를 씬그라프 구조로 로딩하여 실시간 충돌을 위한 계층적 충돌 탐색 기법을 이용하여 상기 충돌 정보를 생성하는 것을 특징으로 하는 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션 시스템.

Images