KR20090014321A - 가상현실 기반의 햅틱 시스템 - Google Patents

Abstract

본 발명은 가상현실 기반의 햅틱 시스템에 관한 것으로서, 특히 3차원 햅틱 장치 및 3차원 영상 디스플레이 장치를 컴퓨터로 통합 제어함으로써 사용자에게 가상공간 상의 물체를 치거나 맞출 때 손잡이를 통해 물리적 반작용에 의하거나 기 프로그램된 충격을 느낄 수 있게 해주고 사용자의 반응에 따라 가상물체가 일정한 규칙에 따라 튕겨나가거나 터지는 등의 특정 운동이나 게임 시나리오에 따른 물리적 시뮬레이션을 제공할 수 있는 햅틱 시스템 기술에 관한 것이다. 본 발명에 따르면, 가상현실 체험에 있어 사용자의 시각에만 의존하는 것이 아니라 물리적 충격의 강약을 느낌으로써 사용자가 가상 프로그램 상의 물체를 보다 정밀하게 제어할 수 있으므로 보다 현실감 있는 가상체험 도구를 제공하는 효과가 있다. 또한, 이처럼 촉각을 통해 피드백되는 가상체험을 제공하므로 환자가 부상 치료 후 재활 훈련시 순발력 향상 등을 위한 운동 재활 훈련 도구로 사용할 수 있으며 환자에 맞게 가상 프로그램 상의 물체의 속도 및 물체의 충격량, 무게감 등을 조절할 수 있는 효과가 있다.

입체, 햅틱, 시뮬레이션, 가상공간, 재활

Description

가상현실 기반의 햅틱 시스템{Virtual-Reality Based Haptic System}

본 발명은 가상현실 기반의 햅틱 시스템에 관한 것으로서, 특히 3차원 햅틱 장치 및 3차원 영상 디스플레이 장치를 컴퓨터로 통합 제어함으로써 사용자에게 가상공간 상의 물체를 치거나 맞출 때 손잡이를 통해 물리적 반작용에 의하거나 기 프로그램된 충격을 느낄 수 있게 해주고 사용자의 반응에 따라 가상물체가 일정한 규칙에 따라 튕겨나가거나 터지는 등의 특정 운동이나 게임 시나리오에 따른 물리적 시뮬레이션을 제공할 수 있는 햅틱 시스템 기술에 관한 것이다.

종래로 3D 영화 등의 분야에서 다양한 형태의 입체 디스플레이 시스템이 제시되었으나, 가상공간 상에서 사용자에게 직접 물리적인 충격을 가하고 사용자의 동작에 의해 가상공간 상의 물체에 영향을 미칠 수 있는 특정 시나리오에 따른 물리적 시뮬레이션을 제공하는 시스템은 제공되지 못하였다.

또한, 종래로 햅틱(haptic) 장치가 여러 분야에 활용되기 시작하였으나, 그 가능성에 비하여 아직까지는 가상공간 상에서 물리적 시뮬레이션을 제공하는 시스템에는 충분히 활용되지 못하였다.

본 발명의 목적은 3차원 햅틱 장치 및 3차원 영상 디스플레이 장치를 컴퓨터로 통합 제어함으로써 사용자에게 가상공간 상에서 공 등의 가상물체를 이용하는 특정 운동이나 게임 시나리오에 따른 물리적 시뮬레이션을 제공할 수 있어 재활분야 등에 양호하게 활용될 수 있는 가상현실 기반의 햅틱 시스템 기술을 제공하는 것이다.

본 발명의 바람직한 실시예에 의한 가상현실 기반의 햅틱 시스템은, 회전 관절로 연결된 2개의 로봇암 중 일단부는 고정점을 기준으로 수평 축과 수직 축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 손잡이의 운동에 의해 변경된 로봇암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 로봇암의 수평 축 및 수직 축 회전 동력을 인가함으로써 손잡이까지 힘을 전달하는 햅틱 기구부; 햅틱 기구부로부터 로봇암의 3차원 회전 각도를 입력받아 손잡이의 위치를 산출하고, 손잡이에 대응되는 물체 및 하나 이상의 가상물체가 포함된 가상공간 입체영상 정보를 생성하여 출력하고, 가상물체와 손잡이에 대응되는 물체 간의 충돌 여부를 체크하여 충돌시 제어 신호를 출력하여 모터를 구동하는 제어 장치부; 및 제어 장치부로부터 가상공간 입체영상 정보를 입력받아 입체영상을 표시하는 입체영상 표시 장치부를 포함하여 구성된다.

바람직하게는, 햅틱 기구부는, 테이블; 테이블 상단에 고정된 수직 축을 중심으로 회전 가능한 밑판; 밑판의 수직 축 회전 각도를 감지하는 제 1 인코더; 밑판에 고정된 수평 축을 중심으로 회전 가능한 2개의 회전 디스크; 회전 디스크 중 하나의 수평 축 회전 각도를 감지하는 제 2 인코더; 회전 디스크 중 다른 하나의 수평 축 회전 각도를 감지하는 제 3 인코더; 회전 디스크 중 하나에 고정되어 회전 디스크의 회전 각도에 따라 움직이는 제 1 로봇암; 제 1 로봇암의 말단에 일방향 회전 관절로 연결된 제 2 로봇암; 제 2 로봇암과 일방향 회전 관절로 연결되며 회전 디스크 중 다른 하나에 연결되어 회전 디스크의 회전 각도에 따라 상기 제 1 로봇암에 평행하게 움직여서 제 1 로봇암과 제 2 로봇암의 각도를 조절하는 보조 로봇암; 및 제 2 로봇암에 3 자유도 회전 관절로 연결된 손잡이를 포함하여 구성된다.

바람직하게는, 햅틱 기구부는 제 1 로봇암과 회전 디스크가 고정된 위치에 제 1 로봇암의 반대 길이 방향으로 소정 길이 연장되어 형성된 균형암을 더 포함하여 구성된다.

바람직하게는, 햅틱 기구부는 제 2 로봇암과 손잡이 사이의 연결부에 설치되어 제 2 로봇암에 대한 손잡이의 상대적인 3차원 회전 각도를 측정하는 센서 인코더를 더 포함하여 구성된다.

바람직하게는, 햅틱 기구부는, 테이블에 고정되어 제어 장치부로부터 제어 신호를 받아 밑판을 와이어 동력에 의해 회전시키는 제 1 모터; 밑판에 고정되어 제어 장치부로부터 제어 신호를 받아 회전 디스크 중 하나를 와이어 동력에 의해 회전시키는 제 2 모터; 및 밑판에 고정되어 제어 장치부로부터 제어 신호를 받아 회전 디스크 중 다른 하나를 와이어 동력에 의해 회전시키는 제 3 모터를 더 포함하여 구성된다.

바람직하게는, 제어 장치부는, 제 1 인코더로부터 밑판의 수직 축 회전 각도를 입력받고, 제 2 인코더와 제 3 인코더로부터 2개의 회전 디스크의 수평 축 회전 각도를 입력받고, 센서 인코더로부터 제 2 로봇암과 손잡이 사이의 연결부의 3차원 회전 각도를 입력받아 손잡이의 위치 및 방향을 산출하는 위치 산출기; 손잡이의 위치에 대응되는 물체와 기 설정된 시나리오에 의해 생성된 하나 이상의 가상물체로 구성된 가상공간 입체영상 정보를 실시간 생성하여 출력하는 입체영상 정보 생성기; 위치 산출기의 출력값과 기설정된 물리 모델에 의해 제 1 모터, 제 2 모터 및 제 3 모터의 출력값을 계산하는 햅틱 랜더링기; 및 계산된 모터 출력값을 기설정된 크기로 증폭하여 제 1 모터, 제 2 모터 및 제 3 모터로 각각 인가하는 모터 제어기를 포함하여 구성된다.

바람직하게는, 햅틱 기구부는, 제 2 로봇암과 손잡이 사이를 연결하는 3 자유도 회전 관절 중 어느 하나의 회전 축에 설치되어 제어 장치부로부터 제어 신호를 받아 손잡이를 회전 축 방향으로 회전시키는 하나 이상의 모터를 더 포함하여 구성된다.

본 발명에 따르면, 가상현실 체험에 있어서 사용자의 시각에만 의존하는 것 이 아니라 물리적 충격의 강약을 느낌으로써 사용자가 가상 프로그램 상의 물체를 보다 정밀하게 제어할 수 있으므로 보다 현실감 있는 가상체험 도구를 제공하는 효과가 있다.

또한, 이처럼 촉각을 통해 피드백되는 가상체험을 제공하므로 환자가 부상 치료 후 재활 훈련시 순발력 향상 등을 위한 운동 재활 훈련 도구로 사용할 수 있으며 환자에 맞게 가상 프로그램 상의 물체의 속도 및 물체의 충격량, 무게감 등을 조절할 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명에 의한 가상현실 기반의 햅틱 시스템의 전체 구성과 동작 개념을 나타낸 개념도이다.

도시된 바와 같이, 본 발명의 기본 개념은 사용자에게 가상공간 입체영상을 제공할 뿐만 아니라 손잡이 형태의 입력 수단을 이용하여 가상공간 내에 보이는 가상물체에 직접 물리적인 터치를 가할 수 있으며, 더 나아가 가상물체와의 부딪힘으로 인한 충격을 생성하여 사용자가 쥐고 있는 손잡이까지 전달되도록 하는 것이다.

이는 햅틱 인터페이스 기술을 이용한 힘 되먹임과 3차원 가상현실 기술을 이용한 가상운동 시뮬레이션을 결합하여 이루어지며 시뮬레이션으로 인한 물체의 반응을 사용자가 직접 느끼고 영향을 미칠 수 있으므로 스포츠 훈련 도구, 게임 도 구, 재활 환자를 위한 조정 능력/순발력 운동 훈련 등 다방면에 걸쳐 유용하게 사용될 수 있다.

전체 구성은 크게 햅틱 기구부, 제어 장치부, 입체영상 표시 장치부로 구성되며, 햅틱 기구부는 사용자의 인터페이스 수단, 제어 장치부는 입력을 가상공간에 반영하는 동시에 가상공간 상의 물리적 효과를 인터페이스 수단으로 되먹임하고, 입체영상 표시 장치부는 제어 장치부로부터 가상공간 입체영상 정보를 전달받아 입체영상을 표시한다. 이상의 전체 구성에 대해서는 도 9를 참조하여 보다 상세히 설명하기로 한다.

도 2는 본 발명의 바람직한 실시예에 의한 제 1 로봇암, 제 2 로봇암, 손잡이 및 2개 회전 디스크로 구성된 햅틱 기구부의 전면과 측면을 나타낸 도면이다. 그리고, 도 3은 본 발명의 바람직한 실시예에 의한 제 1 로봇암, 제 2 로봇암, 손잡이 및 2개의 회전 디스크로 구성된 햅틱 기구부의 측면을 나타낸 실시예이다.

도시된 바와 같이, 햅틱 기구부는 크게 손잡이(17), 제 1 로봇암(14), 제 2 로봇암(15), 2개의 회전 디스크(13, 13'), 밑판(12)으로 구성된다.

손잡이(17)는 제 2 로봇암(15)에 3 자유도 회전 관절로 연결되어 있다. 사용자는 손잡이(17)를 이용하여 가상공간 상에 나타나는 손잡이(17)를 제어할 수 있다.

제 2 로봇암(15)은 제 1 로봇암(14)과 손잡이(17)를 일방향 회전 관절로 연결해준다. 사용자에 의한 손잡이(17)의 운동은 제 2 로봇암(15)을 거쳐 제 1 로봇 암(14)으로 전달된다.

제 1 로봇암(14)은 하나의 회전 디스크(13)에 고정되어 회전 디스크(13)의 회전 각도에 따라 움직인다. 따라서, 제 2 로봇암(15)이 움직이면 회전 관절에 의해 제 1 로봇암(14)도 움직이므로 결국 제 1 로봇암(14)에 고정된 회전 디스크(13)가 회전하게 된다. 이때, 제 2 인코더(18)에 의해 회전 디스크(13)의 수평 축 회전 각도가 감지되며, 감지된 수평 축 회전 각도는 가상공간 상의 손잡이(17)의 위치를 산출하기 위해 제어 장치부로 전달된다.

또한, 제 1 로봇암(14)의 움직임은 회전 디스크(13)에 연결된 밑판(12)에도 영향을 미친다. 이때, 밑판(12)은 테이블(11) 상단에 고정된 수직 축을 중심으로 회전하도록 부착되어 있으며 회전 디스크(13)와 함께 고정되어 있으므로 회전 디스크(13)가 수직 축을 중심으로 회전하면 밑판(12)도 함께 회전하게 된다. 이때, 제 1 인코더에 의해 밑판(12)의 수직 축 회전 각도가 감지되며, 감지된 수직 축 회전 각도는 가상공간 상의 손잡이(17)의 위치를 산출하기 위해 제어 장치부로 전달된다.

또한, 제 1 로봇암(14)만으로는 제 2 로봇암(15)으로부터 전해져오는 힘을 제대로 전달하거나 지탱하기가 용이하지 않으므로 보조 로봇암(16)을 설치할 수 있다. 보조 로봇암(16)은 제 2 로봇암(15)과 일방향 회전 관절로 연결되며 다른 하나의 회전 디스크(13')와 연결되어 회전 디스크(13')의 회전 각도에 따라 제 1 로봇암에 평행하게 움직여서 제 1 로봇암(14)과 제 2 로봇암(15)의 각도를 조절할 수 있게 된다. 즉, 제 1 로봇암(14)과 보조 로봇암(16)은 두 로봇암 사이에 연결된 제 2 로봇암(15)의 일부 및 회전 디스크(13')의 반지름(보다 상세하게는 회전 디스크의 중심에서 회전 디스크와 보조 로봇암이 연결된 지점까지의 거리)를 4개의 변으로 갖는 평행사변형의 형태를 유지한다(도 15 참조).

또한, 보조 로봇암(16)의 움직임에 의해 다른 하나의 회전 디스크(13')가 회전하면 제 3 인코더(18')에 의해 회전 디스크(13')의 수평 축 회전 각도가 감지되어 제어 장치부로 전달된다.

여기서, 회전 디스크(13, 13')뿐만 아니라 밑판(12)도 디스크 형태로 구성되었으며, 밑판(12)은 테이블(11) 위의 고정판에 위, 아래로 스러스트 베이렁을 부착하여 중력 방향에 대한 마찰을 줄여준다. 그리고 밑판(12)은 수직 축의 아래쪽 축을 나사산 가공을 하여 밑판(12)을 고정시킨다.

회전 디스크(13, 13')는 재질을 알루미늄에서 플라스틱 재질로 변경하여 가공을 쉽게할 수 있으며, 부분적으로 재질을 변경할 시 제작 기간 및 제작 원가를 감소시킬 수 있다.

도 4는 도 2에서 제 1 로봇암(14)과 보조 로봇암(16)이 회전 디스크(13, 13')에 각각 연결된 부위를 보다 확대하여 나타낸 도면이다. 그리고, 도 5는 도 4에서 모터(19, 19')와 와이어 드럼에 의해 구동되는 회전디스크를 나타낸 실시예이다.

도시된 바와 같이, 회전 디스크(13)가 밑판(12)을 기준으로 수평 축을 중심으로 회전 가능하게 설치되어 있으며, 하나의 회전 디스크(13)에는 제 1 로봇 암(14)의 일단이 고정되어 있고 다른 하나의 회전 디스크(13')에는 보조 로봇암(16)이 연결되어 있다.

또한, 회전 디스크(13, 13')의 아래쪽에는 2개의 회전 디스크를 각각 구동하는 제 2 모터(19)와 제 3 모터(19')가 각각 설치되어 있다. 각각의 모터는 회전 디스크(13, 13')의 수평 축과 와이어 드럼에 감긴 와이어로 연결되어 동력을 전달하도록 되어 있다. 기어나 기타 동력 전달 수단을 이용하는 것에 비해 이와 같은 스틸와이어를 사용하면 소음이 적고 움직임이 보다 부드러워진다.

미도시되어 있으나, 밑판(12)의 하단에도 밑판(12)을 회전시키기 위한 제 1 모터가 설치되어 있으며 이 경우에도 모터의 동력을 전달하기 위해 와이어가 사용되고 있다.

도 6은 밑판과 연결된 와이어 드럼의 연결부위를 확대하여 나타낸 도면이고, 도 7은 회전 디스크와 연결된 와이어 드럼의 연결부위를 확대하여 나타낸 도면이다.

도시된 바와 같이, 와이어 드럼은 모터의 구동축에 끼워지며, 스틸와이어는 원판(밑판, 회전 디스크)의 둘레로 감겨지는 반대 반향으로 와이어 드럼에 감겨 원판과 모터 축을 연결한다. 이와 같이 스틸와이어를 사용하면 기어를 사용하여 힘을 전달하는 방법보다 소음이 적고 움직임이 보다 부드러워진다.

여기서, 스틸와이어는 원판의 한쪽 상단에서 하단으로 비스듬한 곡선을 그리도록 설계되어 있는데 이는 모터가 회전하면서 원판이 회전할 때 와이어 드럼에 감 긴 와이어가 드럼 위에서 와이어와 수직 방향으로 미끄러지는 일이 없이 나사선의 유도에 따라 자연스럽게 드럼 위에 감기거나 드럼으로부터 감겨 올라오게 하기 위한 조치이다.

도 8은 손잡이(17)와 제 2 로봇암(15)을 연결하는 유니버설 조인트를 나타낸 도면이다. 그리고, 도 9는 도 8에서 3개의 센서 인코더가 부착된 유니버설 조인트를 보다 확대하여 나타낸 실시예이다.

도시된 바와 같이, 라켓 모양 손잡이(17)의 끝이 제 2 로봇암(15)과 연결되는 부위가 유니버설 조인트로 구현되어 있으며, 유니버설 조인트를 이루는 각각의 축에는 센서 인코더가 설치되어 있다. 이를 통해, 손잡이(17) 축의 회전 변화를 감지함으로써 손잡이(17)와 가상의 공이 부딪히는 위치의 운동 상태를 보다 정밀하게 측정할 수 있게 된다.

또한, 제 2 로봇암과 손잡이 사이를 연결하는 3 자유도 회전 관절에 모터를 설치함으로써 손잡이에 가상물체가 부딪히는 힘과 각도를 보다 정밀하게 느끼도록 제어할 수도 있다. 즉, 센서 인코더가 설치된 3개의 축에 각각 모터를 설치하고 제어 장치부로부터 제어 신호를 받으면 손잡이를 회전 축 방향으로 회전시켜서 사용자가 손잡이에 물체가 부딪히는 감각을 보다 섬세하게 느낄 수 있도록 해준다.

도 10은 입체영상 표시 장치부와 결합된 햅틱 기구부의 최종 조립도이다.

도시된 바와 같이, 햅틱 기구부의 아래쪽에 입체영상 표시 장치부가 설치되 어 있으며, 입체영상 표시 장치부와 제어 장치부는 햅틱 기구부의 테이블 하단부에 탈착 가능하도록 모듈화되어 구성된다.

이때, 입체영상 표시 장치부는 햅틱 기구부 아래에 설치하는 방법 이외에도 천정에 설치하거나 그 이외의 여러가지 방법으로 설치가 가능하다. 또한, 입체영상이 아닌 일반 영상으로 디스플레이하는 것도 가능하다.

입체영상 표시부는 제어 장치부로부터 제공받은 다양한 게임 시나리오에 의한 입체영상을 디스플레이해주며, 천정이나 바닥 등에 설치하거나 햅틱장치 아래에 이동형으로 설치한 2대의 빔 프로젝터를 이용한 수동 편광필터 안경 방식, 1대의 고속 빔 프로젝터를 이용한 능동 셔터글래스 방식 등 다양한 방식으로 디스플레이 가능하다.

또한, 본 출원인에 의해 2006년에 출원된 회전 디스크형 빔 셔터 방식(출원번호 10-2006-7077, '입체영상 디스플레이 장치')으로 입체영상을 디스플레이할 수도 있는데, 이 기술에 의하면 회전 디스크형 빔 셔터를 이용하여 빔 프로젝터 2대로부터 투사되는 좌, 우 영상 신호를 번갈아 차단한다. 그리고 번갈아 차단되어 투사되는 영상 신호를 회전 디스크의 회전에 맞춰 자동으로 생성되는 이미터 동기 신호에 따라 역시 번갈아 좌우 개폐되는 셔터글래스를 착용한 후 보게 됨으로써 입체감을 느낄 수 있게 된다.

이때, 셔터글래스 방식을 사용할 경우 편광 방식과 달리 일반 스크린을 사용하여 입체영상을 디스플레이할 수 있다. 또한 편광 안경 방식에 비하여 사실적인 영상 구현이 가능하다.

도 11은 본 발명의 바람직한 실시예에 의한 가상현실 기반의 햅틱 시스템의 전체 구성을 나타낸 도면이다.

도시된 바와 같이, 햅틱 기구부(10), 제어 장치부(20), 입체영상 표시 장치부(30)로 구성된 가상현실 기반의 햅틱 시스템의 전체 구성을 나타내고 있으며, 사용자가 입체안경을 착용하고 테니스 혹은 스쿼시를 시연해보이는 모습이 나타나 있다.

햅틱 기구부(10)는 회전 관절로 연결된 2개의 로봇암 중 일단부는 고정점을 기준으로 수평 축과 수칙 축으로 회전 가능하게 구성되어 있다. 이때, 수평 축 회전을 위해서는 2개 회전 디스크(13, 13')가 구비되어 있으며, 수직 축 회전을 위해서는 테이블 상단의 밑판(12)이 구비되어 있다. 또한 로봇암의 타단부는 손잡이(17)와 연결되어 구성되어 있다.

그리고, 사용자가 도시된 바와 같은 라켓 형태의 손잡이(17)를 휘두르면 로봇암을 움직이게 되어 결국 회전 디스크(13, 13')와 밑판(12)이 각각 수평 축과 수직 축으로 회전한다. 이러한 손잡이(17)의 운동에 의해 변경된 로봇암의 3차원 회전 각도를 감지하여 제어 장치부(20)로 전달함으로써 가상공간 입체영상에 개입할 수 있다.

또한, 제어 장치부(20)로부터 제어 신호가 입력되어 모터가 구동되면 로봇암에 수평 축 및 수직 축 회전 동력이 인가되어 움직이므로 결국 손잡이(17)에까지 힘이 전달되며, 이를 통해 사용자는 가상공간에서 벌어지는 물리적인 충돌을 느낄 수 있게 된다.

제어 장치부(20)는 햅틱 기구부(10)로부터 로봇암의 3차원 회전 각도를 입력받아 손잡이(17)의 위치를 산출한다. 그리고 산출된 손잡이(17)의 위치에는 손잡이(17)에 대응되는 물체가 디스플레이되도록 가상공간 입체영상 정보를 생성하며, 이때 하나 이상의 가상물체를 가상공간 입체영상 정보에 포함시켜 입체영상 표시 장치부(30)로 출력한다. 바람직하게는 가상물체의 질량, 크기, 움직이는 방향 등을 각각 다르게 함으로써 사용자가 보다 다양한 조건의 가상공간에 참여할 수 있게 한다.

또한, 제어 장치부(20)는 가상공간에 위치한 가상물체와 손잡이(17)에 대응되는 물체 간의 충돌 여부를 체크하여 충돌시 햅틱 기구부(10)의 모터를 구동하는 제어 신호를 출력한다. 즉, 햅틱 기구부(10)의 수평 축 회전 모터와 수직 축 회전 모터를 각각 구동함으로써 로봇암을 움직이고 이에 따라 손잡이(17)까지 힘이 미치도록 제어한다. 역시 사용자는 이를 통해 손잡이(17)와 가상물체간의 충돌을 느낄 수 있다.

입체영상 표시 장치부(30)는 제어 장치부(20)로부터 가상공간 입체영상 정보를 입력받아 입체영상을 표시한다. 이때, 사용자가 착용하는 입체안경은 입체 영상 시스템의 종류에 따라 수동 안경 또는 능동 안경으로 구성된다.

도 12는 본 발명의 햅틱 시스템을 이용하여 3D 가상공간에서 테니스를 시연하는 장면을 나타낸 도면이다.

도시된 바와 같이, (1), (2)는 공 받아치기 장면을 나타낸 것이며, (3), (4)는 가상 벽치기 장면을 나타낸 것이다. 제 2 로봇암(15)에 연결된 손잡이(17)에 대응되는 물체가 가상공간 입체영상에 나타나 있다. 그리고, 사용자가 손잡이(17)를 휘둘러서 가상공간 상의 손잡이(17)가 공을 받아치도록 컨트롤하며, 햅틱 시스템의 제어 장치부에서는 손잡이(17)와 가상의 공 사이의 충돌 여부를 체크하여 로봇암에 되먹임 힘을 가하게 된다.

우선 사용자는 자신의 능력에 적합한 공의 속도, 무게를 결정하여 시스템에 입력한다. 그리고 라켓 형상의 손잡이(17)를 손으로 잡고, 3차원 입체 영상을 보기 위한 안경을 착용한다. 그리고 가상공간 입체영상에서 가상의 공이 날아오면 손잡이(17)를 휘둘러서 가상의 공을 쳐 보내고, 벽에 부딪혀 되돌아오는 공을 계속 다시 벽으로 쳐서 보내게 된다. 그리고, 공을 놓치면 다시 벽으로부터 새로운 공이 날아오도록 설정할 수 있다.

사용자가 손잡이(17)를 휘두르면 로봇암이 움직여서 2개 회전 디스크(13, 13')와 밑판(12)이 각각 수평 축과 수직 축으로 회전하며, 이에 따라 제어 장치부의 위치 산출기는 제 1 인코더로부터 밑판(12)의 수직 축 회전 각도를 입력받고 제 2 인코더(18)로부터 하나의 회전 디스크(13)의 수평 축 회전 각도를 입력받고, 제 3 인코더(18')로부터 다른 하나의 회전 디스크(13')의 수평 축 회전 각도를 입력받는다. 또한, 위치 산출기는 손잡이(17)와 제 2 로봇암(15) 사이의 연결부의 3차원 회전 각도를 입력받으며, 이상 입력받은 값을 토대로 손잡이(17)의 위치 및 방향을 산출한다.

그러면, 제어 장치부의 입체영상 정보 생성기가 손잡이(17)의 위치에 대응되는 물체와 기 설정된 시나리오에 의해 생성된 하나 이상의 가상물체로 구성된 가상공간 입체영상 정보를 실시간 생성하여 입체영상 표시 장치부로 출력한다. 그에 따라 사용자는 가상공간에서 자신이 휘두른 손잡이(17)와 같은 동작으로 손잡이(17) 대응 물체가 움직이는 것을 확인할 수 있다.

그 다음으로, 제어 장치부의 햅틱 랜더링기가 앞서 위치 산출기에서 출력된 값, 즉 손잡이(17)의 위치 및 방향과 기설정된 물리 모델을 토대로 제 1 모터, 제 2 모터(19) 및 제 3 모터(19')의 출력값을 계산함으로써 손잡이(17)에 가할 되먹임 반응을 준비한다. 이때, 물리 모델로는 가상물체의 질량, 질량의 분포, 운동방향, 속도 등이 설정되어 있으며, 손잡이(17)와 가상물체의 충돌시 손잡이(17)에 어느 정도의 충격이 가해질 것인가는 미리 정보가 설정되어 있거나 물리 규칙에 따라 계산되어질 수 있다.

햅틱 랜더링기에 의해 각각의 모터에 인가된 출력값이 계산되면, 모터 제어기는 계산된 모터 출력값을 기설정된 크기로 증폭하여 각각의 모터로 인가한다. 즉, 수직 축으로 회전을 가하기 위해서는 밑판(12)을 회전시키는 제 1 모터에 앞서 증폭된 모터 출력값을 인가한다. 그리고, 수평 축으로 회전을 가하기 위해서는 하나의 회전 디스크(13)를 회전시키는 제 2 모터(19)에 앞서 증폭된 모터 출력값을 인가하고, 다른 하나의 회전 디스크(13)를 회전시키는 제 3 모터(19')에도 증폭 계산된 모터 출력값을 인가한다. 결국, 각각의 모터에 의해 2개의 회전 디스크(13, 13')와 밑판(12)에 회전 토크가 가해지고 이는 로봇암을 움직이고 로봇암 간의 각 도를 조절하여 손잡이(17)에 영향을 미치게 된다.

또한, 제 2 로봇암과 손잡이 사이의 연결부에도 3개의 모터를 설치하여 제 2 로봇암과 손잡이 사이에 회전 토크를 가함으로써 손잡이에 가상물체가 부딪히는 힘과 각도를 보다 정밀하게 느끼도록 제어할 수도 있다.

앞서, 햅틱 랜더링기에서 시스템의 실제 라켓과 그래픽으로 표현된 공의 충돌을 검사하기 위해서는 시스템 안에서의 공의 위치와 라켓의 위치에 대한 검사가 필요하다. 라켓은 중심좌표 (a_r,b_r,c_r)와 반지름 r을 가지는 원형이라고 하고, 우선 라켓의 기울어짐에 대한 측정을 무시하고 항상 라켓은 x,y 평면에 대해 평행한 방향으로 세워져 있다고 가정한다.

한편 공은 중심좌표가 (a_b,b_b,c_b)이고, 반지름이 r_b인 구형이라고 하면 라켓과 공의 충돌 상황은 다음의 수학식 1과 수학식 2를 동시에 만족시킬 때라고 가정할 수 있다.

만약 라켓의 회전을 고려한다면, 라켓이 x, y 평면과 평행하게 세워지도록 공과 라켓 모두 회전 변환을 한 다음 앞의 수학식 1과 수학식 2를 사용하여 공과 라켓의 충돌 상황을 쉽게 검사할 수 있다.

도 13은 본 발명의 햅틱 시스템을 이용한 두더지 게임의 초기 화면이고, 도 14는 도 13의 두더지 게임에 사용된 두더지의 이미지와 망치 이미지이다.

도시된 바와 같이, 가상현실 시뮬레이션 프로그램으로 두더지 게임이 입력되어 있고, 사용자의 입력에 의해 초기화면이 디스플레이된다. 두더지 게임에서는 두더지가 랜덤한 순서로 나오며, 앞으로 튀어나온 두더지를 망치로 가격하는 게임이다. 그리고 가격할 때 때리는 느낌을 힘으로 느낄 수 있게 된다.

이상 언급한 가상 테니스와 두더지 게임 이외에도 다음과 같이 다양한 게임의 입력 장치로 활용될 수 있다.

■ 3차원으로 구성된 가상 블록 격파 게임 화면을 구성하고, 햅틱 장치에 연결된 가상 라켓으로 가상 공을 쳐 보내면 가상 공에 맞은 가상 블록이 격파되는 형식으로 게임을 꾸밀 수 있다.

■ 하늘에서 임의의 가상 물체가 사용자를 항해 날아오고 이를 놓치지 않고 맞추는 방식의 게임을 제작할 수 있다.

■ 네트워크를 통해 연결함으로써 2명 이상의 사용자가 원격으로 게임을 하도록 구현할 수도 있다.

도 15는 햅틱 기구부에 추가되는 균형암의 구성과 길이 비율의 바람직한 예를 나타낸 도면이다.

도시된 바와 같이, L₁:l₁ = L₂:l₂ = L₃:l₃ = L₄:l₄를 기본으로 하여 도시된 회전축을 중심으로 오른쪽과 왼쪽의 서로 대응되는 부분들의 균형을 맞춰주도록 균형암을 구성하는 것이 바람직하다. 여기서, 알파벳 대문자로 표시된 부분은 제 1 로봇암(14), 제 2 로봇암(15) 및 보조 로봇암(16)에 해당되며, 알파벳 소문자로 표시된 영역이 균형암에 해당된다.

이때, 균형을 맞추기 위해서는 질량 m₂가 m₂ = M₂ × L₂/l₂ 와 같이 길이가 짧아지는 만큼 질량은 더 무거워져야 하며, 나머지 다른 링크들도 마찬가지로 비율을 맞추어 질량을 조절하는 것이 바람직하다.

또한, 실제로 구현시에는 l₁, l₂ 등 균형암에 해당되는 링크들을 무겁게 만들고, 위치나 질량을 조절할 수 있는 추를 달아서 대응되는 링크간에 균형이 조절되도록 구성할 수도 있다.

도 16은 균형암이 추가된 햅틱 기구부를 나타낸 사시도이며, 도 17은 햅틱 기구부에 균형암이 조립된 실시예이다.

도시된 바와 같이, 길게 뻗어 있는 제 1 로봇암과 보조 로봇암의 반대쪽 방향으로 길이가 보다 짧은 균형암(141)이 설치되어 회전 디스크를 중심으로 양쪽 암 이 균형을 이루고 있다. 이때, 조립시 균형은 회전 디스크의 축을 중심으로 안쪽에서 바깥쪽으로 맞추어 나가는 것이 바람직하다.

이상에서 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 본 발명에 의한 가상현실 기반의 햅틱 시스템의 전체 구성과 동작 개념을 나타낸 개념도,

도 2는 본 발명의 바람직한 실시예에 의한 제 1 로봇암, 제 2 로봇암, 손잡이 및 회전 디스크로 구성된 햅틱 기구부의 전면을 나타낸 도면,

도 3은 본 발명의 바람직한 실시예에 의한 제 1 로봇암, 제 2 로봇암, 손잡이 및 회전 디스크로 구성된 햅틱 기구부의 측면을 나타낸 실시예,

도 4는 도 2에서 제 1 로봇암과 보조 로봇암이 회전 디스크와 연결된 부위를 보다 확대하여 나타낸 도면,

도 5는 도 4에서 모터와 와이어 드럼에 의해 구동되는 회전디스크를 나타낸 실시예,

도 6은 밑판과 연결된 와이어 드럼의 연결부위를 확대하여 나타낸 도면,

도 7은 회전 디스크와 연결된 와이어 드럼의 연결부위를 확대하여 나타낸 도면,

도 8은 손잡이와 제 2 로봇암을 연결하는 유니버설 조인트를 나타낸 도면,

도 9는 도 8에서 3개의 센서 인코더가 부착된 유니버설 조인트를 보다 확대하여 나타낸 실시예,

도 10은 입체영상 표시 장치부와 결합된 햅틱 기구부의 최종 조립도,

도 11은 본 발명의 바람직한 실시예에 의한 가상현실 기반의 햅틱 시스템의 전체 구성을 나타낸 도면,

도 12는 본 발명의 햅틱 시스템을 이용하여 3D 가상공간에서 테니스를 시연하는 장면을 나타낸 도면,

도 13은 본 발명의 햅틱 시스템을 이용한 두더지 게임의 초기 화면,

도 14는 도 13의 두더지 게임에 사용된 두더지의 이미지와 망치 이미지,

도 15는 햅틱 기구부에 추가되는 균형암의 구성과 길이 비율의 바람직한 예를 나타낸 도면,

도 16은 균형암이 추가된 햅틱 기구부를 나타낸 사시도,

도 17은 햅틱 기구부에 균형암이 조립된 실시예이다.

Claims (7)

1. 회전 관절로 연결된 2개의 로봇암 중 일단부는 고정점을 기준으로 수평 축과 수직 축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇암의 수평 축 및 수직 축 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부;

   상기 햅틱 기구부로부터 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하고, 상기 손잡이에 대응되는 물체 및 하나 이상의 가상물체가 포함된 가상공간 입체영상 정보를 생성하여 출력하고, 상기 가상물체와 상기 손잡이에 대응되는 물체 간의 충돌 여부를 체크하여 충돌시 제어 신호를 출력하여 상기 모터를 구동하는 제어 장치부; 및

   상기 제어 장치부로부터 가상공간 입체영상 정보를 입력받아 입체영상을 표시하는 입체영상 표시 장치부;

   를 포함하여 구성되는 햅틱 시스템.
2. 제 1 항에 있어서,

   상기 햅틱 기구부는,

   테이블;

   상기 테이블 상단에 고정된 수직 축을 중심으로 회전 가능한 밑판;

   상기 밑판의 수직 축 회전 각도를 감지하는 제 1 인코더;

   상기 밑판에 고정된 수평 축을 중심으로 회전 가능한 2개의 회전 디스크;

   상기 회전 디스크 중 하나의 수평 축 회전 각도를 감지하는 제 2 인코더;

   상기 회전 디스크 중 다른 하나의 수평 축 회전 각도를 감지하는 제 3 인코더;

   상기 회전 디스크 중 하나에 고정되어 상기 회전 디스크의 회전 각도에 따라 움직이는 제 1 로봇암;

   상기 제 1 로봇암의 말단에 일방향 회전 관절로 연결된 제 2 로봇암;

   상기 제 2 로봇암과 일방향 회전 관절로 연결되며 상기 회전 디스크 중 다른 하나에 연결되어 상기 회전 디스크의 회전 각도에 따라 상기 제 1 로봇암에 평행하게 움직여서 상기 제 1 로봇암과 상기 제 2 로봇암의 각도를 조절하는 보조 로봇암; 및

   상기 제 2 로봇암에 3 자유도 회전 관절로 연결된 손잡이;

   를 포함하여 구성되는 것을 특징으로 하는 햅틱 시스템.
3. 제 2 항에 있어서,

   상기 햅틱 기구부는 상기 제 1 로봇암과 상기 회전 디스크가 고정된 위치에 상기 제 1 로봇암의 반대 길이 방향으로 소정 길이 연장되어 형성된 균형암을 더 포함하여 구성되는 햅틱 시스템.
4. 제 3 항에 있어서,

   상기 햅틱 기구부는 상기 제 2 로봇암과 상기 손잡이 사이의 연결부에 설치되어 상기 제 2 로봇암에 대한 상기 손잡이의 상대적인 3차원 회전 각도를 측정하는 센서 인코더를 더 포함하여 구성되는 햅틱 시스템.
5. 제 4 항에 있어서,

   상기 햅틱 기구부는,

   상기 테이블에 고정되어 상기 제어 장치부로부터 제어 신호를 받아 상기 밑판을 와이어 동력에 의해 회전시키는 제 1 모터;

   상기 밑판에 고정되어 상기 제어 장치부로부터 제어 신호를 받아 상기 회전 디스크 중 하나를 와이어 동력에 의해 회전시키는 제 2 모터; 및

   상기 밑판에 고정되어 상기 제어 장치부로부터 제어 신호를 받아 상기 회전 디스크 중 다른 하나를 와이어 동력에 의해 회전시키는 제 3 모터;

   를 더 포함하여 구성되는 햅틱 시스템.
6. 제 5 항에 있어서,

   상기 제어 장치부는,

   상기 제 1 인코더로부터 상기 밑판의 수직 축 회전 각도를 입력받고, 상기 제 2 인코더와 상기 제 3 인코더로부터 상기 2개의 회전 디스크의 수평 축 회전 각도를 입력받고, 상기 센서 인코더로부터 상기 제 2 로봇암과 상기 손잡이 사이의 연결부의 3차원 회전 각도를 입력받아 상기 손잡이의 위치 및 방향을 산출하는 위치 산출기;

   상기 손잡이의 위치에 대응되는 물체와 기 설정된 시나리오에 의해 생성된 하나 이상의 가상물체로 구성된 가상공간 입체영상 정보를 실시간 생성하여 출력하는 입체영상 정보 생성기;

   상기 위치 산출기의 출력값과 기설정된 물리 모델에 의해 상기 제 1 모터, 제 2 모터 및 제 3 모터의 출력값을 계산하는 햅틱 랜더링기; 및

   상기 계산된 모터 출력값을 기설정된 크기로 증폭하여 상기 제 1 모터, 상기 제 2 모터 및 제 3 모터로 각각 인가하는 모터 제어기;

   를 포함하여 구성되는 것을 특징으로 하는 햅틱 시스템.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

   상기 햅틱 기구부는,

   상기 제 2 로봇암과 상기 손잡이 사이를 연결하는 3 자유도 회전 관절 중 어 느 하나의 회전 축에 설치되어 상기 제어 장치부로부터 제어 신호를 받아 상기 손잡이를 상기 회전 축 방향으로 회전시키는 하나 이상의 모터를 더 포함하여 구성되는 햅틱 시스템.

Images