KR20080098464A - 로봇 팔에 헬멧장착표시기를 부착한 가상현실장치 - Google Patents

Abstract

본 발명은 로봇 팔에 헬멧장착표시기(Helmet Mounted Display)를 부착한 가상현실장치다. 헬멧장착표시기를 쓴 사람의 머리가 회전하거나 전후좌우로 기울거나 상하로 움직이면 이를 센서가 감지해서 헬멧이 같이 움직이게 하여 머리에 무게나 저항이 거의 가해지지 않게 한다. 헬멧에 여러 장치를 설치하여 무게가 많이 나가더라도 무게는 모두 로봇 팔이 들어주며, 움직임과 관련된 관성 역시 로봇 팔이 부담한다.

로봇 팔, 헬멧장착표시기, 가상현실, 센서, 무게, 관성

Description

로봇 팔에 헬멧장착표시기를 부착한 가상현실장치 {Virtual reality system with robot arm and HMD}

도1은 로봇 팔, 짐벌, 헬멧장착표시기

도2는 헬멧장착표시기를 연결한 축과 짐벌의 구조

도3은 광학센서용 패드가 붙은 헤드폰과 광학센서

도4는 시뮬레이터용 거대 로봇 팔과 HMD가 붙은 작은 로봇 팔

도5는 손 추적용 로봇 팔과 팔찌와 데이터글러브

<도면의 주요부분에 대한 부호의 설명>

1: 로봇 팔

2: 로봇 팔에 붙어 회전할 수 있는 짐벌 상자

3: HMD

4: 좌우 기울기용 모터

5: 전후 기울기용 모터

6: HMD를 짐벌에 연결하는 수직 축

7: 광학센서용 패드

8: 광학센서

9: 시뮬레이터용 거대 로봇 팔

10: 손 추적용 로봇 팔

11: 손 추적용 팔찌

12: 데이터글러브

헬멧장착표시기(Head Mounted Display)는 처음 개발되었을 때 장치가 너무 무거워서 천장에 매달아 놓고 써야 했다. 그 후 디스플레이장치, 카메라, 컴퓨터 등 여러 장치가 소형화하여 머리에 착용할 수 있게 작아졌다. 하지만 아직도 머리에 쓰고 움직이기에는 많은 부담이 된다. 고성능의 장치는 아직도 어느 정도 부피가 크고 무겁다. 여러 장치를 부착하게 되면 당연히 무거워져 머리를 짓누르거나 머리 둘레를 강하게 압박하거나 관성으로 인해서 머리를 빨리 움직일 수 없게 된다. 머리와 눈의 움직임 추적 장치도 크고 무거워 둘 다 적용할 경우 머리에 쓰고 움직이기에 매우 불편하다. 어떤 HMD장치는 어깨로 무게를 받치고 두 팔로 HMD를 잡고 조정하는 것도 있으나 이 역시 매우 불편하다. 머리 움직임 추적 장치(head tracker), 눈동자 추적 장치(eye tracker)에 속도가 빠른 고성능 카메라를 사용할 수 있다. 디스플레이는 해상도가 높고 영상 전송속도가 빠른 것을 사용할 수 있다. 이런 장치는 보통 성능이 높을수록 크고 무거운 경향이 있다.

본 발명은 로봇 팔에 헬멧장착표시기(HMD)를 부착한 가상현실장치로서 헬멧의 무게를 로봇 팔이 들어 줌으로 착용자의 머리를 짓누르지 않으면, 로봇 팔이 착용자의 움직임을 감지해서 헬멧을 움직여 줌으로 관성으로 인한 동작의 불편함도 없애준다. 사용자가 머리를 앞으로 숙이면 로봇 팔이 헬멧을 적당한 위치와 각도로 움직여 준다.

머리의 움직임은 광센서를 사용하여 이것이 인지할 수 있는 패치를 부착한 과거 우주인들이 착용하던 것 같은 모자나 머리띠 또는 헤드폰을 이용해서 파악할 수 있다. 비접촉으로 감지하는 방법은 광학식(카메라, 적외선, 레이저 등 이용), 자기식, 음향식(초음파이용), 기계식 등 다양하다. 이들로 로봇 팔 없이 HMD를 추적하는 데는 각기 장단점들이 있으나 로봇 팔에 HMD를 부착할 경우 단점들이 사라진다. 전투기에서는 HMD와 로봇 팔을 착탈식으로 사용하면 된다. HMD를 쓴 조종사가 조종석에 앉은 후에 스위치를 누르면 로봇 팔이 움직여서 HMD 연결부분을 자동으로 감지해 연결되게 하면 된다.

머리가 기울거나 회전하거나 전후좌우로 움직이는 것을 추적하기 위해 광학센서용 패드를 헤드폰에 부착하고 광학센서로 헤드폰의 움직임을 추적한다. 로봇 팔 끝에 짐벌 (gimbal)을 붙여서 머리가 기우는 대로 HMD를 기울여 준다. 머리가 회전하면 짐벌 상자를 회전시키고, 머리가 높아지거나 낮아지거나 전후좌우로 이동하면 그에 맞게 짐벌 상자를 이동해서 HMD가 착용자의 머리에 무게나 관성으로 인한 부하를 주지 않게 한다.로봇 팔 대신 x, y 머신을 사용하고 x, y로 움직이는 장 치에 z축의 길이를 변화 시킬 수 있는 장치를 붙이고 그 끝에 짐벌 상자를 붙이고 여기에 HMD를 붙일 수도 있다. 로봇 팔에 x, y 머신을 붙이고 머리의 큰 이동이나 z축의 이동은 로봇 팔로 따라가고 작은 이동이나 기울기는 x, y 머신과 짐벌로 따라갈 수도 있다. 로봇 팔은 센서, 액추에이터, 컴퓨터를 이용해서 바닥(floor)에 붙이든 천장이나 벽에 붙이든 책상이나 의자에 붙이든 어디에나 부착이 가능하다.손목에 광학센서 패드가 있는 팔찌를 차고 광학센서가 달린 로봇 팔에 달린 팔찌에 손을 넣으면 로봇 팔이 손목의 위치, 즉 손의 위치를 정확히 추적할 수 있다. 손에는 데이터글러브를 끼고 있어서 HMD에 가상현실 속의 계기 장치와 손을 보여주어 3차원 가상공간에 있는 여러 장치를 조정할 수 있다. 데이터글러브와 센서 팔찌를 하나로 통합하여 무게와 관성을 로봇 팔이 감당하게 하면 데이터글러브가 무거워져도 상관없으므로 좀 더 정교한 장치들을 부착할 수 있다. HMD를 붙인 로봇 팔과 손을 추적하는 로봇 팔을 바퀴나 무한궤도가 달린 움직이는 플랫폼 위에 붙여서 HMD를 쓴 사람이 걸어서 움직이면 사람을 따라가도록 할 수도 있다. 이때 플랫폼의 위치 변화도 당연히 계산에 반영한다. HMD나 데이터글러브의 위치를 로봇 팔을 이용해서 조정해 줄 때 광학센서가 아니라도 무선 타블렛에서 사용하는 전자유도방식 등 다른 방법들을 쓸 수도 있다.

본 발명은 로봇 팔에 헬멧장착표시기(Helmet Mounted Display)를 부착한 가상현실장치다. 이를 중심으로 매우 다양한 가상현실 시스템이 가능하다. 로봇 팔이 HMD를 머리가 움직이는 대로 움직여 주어 머리에 무게나 관성 등의 부담이 가지 않게 한 다. 본 발명에서 디스플레이가 꼭 HMD형일 필요는 없다. 일반 LCD도 로봇 팔로 HMD를 움직이는 것처럼 사용자의 머리 움직임을 추적해서 최적의 위치에 LCD를 위치시키면 된다. 사용자는 광학센서 패드가 있는 헤드폰이나 머리띠를 착용하고 그 위에 비접촉으로 광학센서가 있고 이 센서가 로봇 팔에 부착되어 머리의 움직임을 추적할 수 있다. 예를 들어 휠체어에 탄 장애인이 머리를 움직일 때 그에게 필요한 디스플레이 장치를 언제나 보기 쉬운 위치로 자동 이동할 수 있다. 큰 로봇 팔에 조종석을 붙여서 큰 로봇 팔이 사람이 탄 조종석 전체를 움직일 때 작은 로봇 팔은 헬멧장착표시기를 조절해서 가상현실을 더욱 실감나게 구현할 수 있다. 매우 크고 강력한 로봇 팔 끝에 비행기 조종석을 부착하고 조종사가 거기에 앉아서 조종석 뒤에 붙은 작은 로봇 팔 끝에 달린 HMD를 착용하면 조종사는 큰 로봇 팔의 움직임에 의해 원심력을 받거나 거꾸로 매달리기도 하고, 상승과 하강 등을 느낄 수 있으며 HMD를 통해 가상현실을 더욱 생생하게 느끼게 되어 훈련효과가 크다. 로봇 팔에 팔찌를 달아 손의 이동을 추적하고 데이터 글러브를 이용해 가상현실 스크린에 손을 표시할 수 있다. 가상현실용으로 만든 총이나 칼 등을 이용하면 멀리 떨어진 사람과 게임을 할 수 있다. 로봇이나 무인 비행기의 원격 조종, 원격 수술, 비디오 게임, 전투기의 포인트 앤 클릭 등 많은 곳에 이용할 수 있다. 로봇 팔에는 헬멧장착표시기가 아니라도 머리의 움직임을 추적하여 가장 보기 쉬운 위치에 디스플레이 장치를 보여 줄 수 있다. 크고 강력한 로봇 팔 끝에 모의 비행 장치나 모의 운전 장치를 붙여 이를 움직이고 이런 장치에 작은 로봇 팔을 부착하여 HMD를 사용자의 머리 움직임을 추적해서 움직이면 가상현실이 더욱 현실감 있게 된다. 무인 정찰기, 로봇, 수술 장치를 멀리서 장치를 직접 타고 있는 듯이 조종하는데 사용할 수 있다. 비디오 게임, 스포츠 훈련에도 사용할 수 있다. 데이터 글러브를 낀 후 로봇 팔 끝에 달린 팔찌를 차면 팔목의 위치와 각도를 정확히 추적하여 HMD에 보이는 가상공간에 손을 보여줌으로써 원격 수술, 수리, 운전, 건설 등을 할 수 있다. 한국과 미국의 두 사람이 로봇 팔에 달린 HMD와 팔찌를 착용하고 가상공간에서 권투, 펜싱 등을 할 수도 있다. 상대에게 맞으면 로봇 팔이 그에 알맞게 팔의 움직임을 방해해서 받은 충격을 모의한다. 로봇 팔에 달린 팔찌를 이용해서 모형 기관총을 쏠 때 손의 위치를 정확히 화면에 표시할 수 있다. 모형 기관총 없이 가상 기관총을 쏠 때는 데이터 글러브와 함께 실감나는 반동을 줄 수도 있고 칼이 서로 교차할 때 팔의 움직임을 그에 맞게 제한할 수도 있다.

비디오 게임에서는 마우스를 사용하지 않고 머리의 움직임대로 앞의 광경이 바뀐다. 무게를 로봇 팔이 부담해 주므로 전투기나 헬기, 탱크에서 표적을 바라보고 발사 스위치를 누르기만 하면 되는 포인트 앤 클릭 장치에 다양하고 성능 좋은 장치를 무게와 크기에 덜 제약받고 설치할 수 있다. 경주용 자동차 경주에서 운전자는 운전석에 보다 안전하게 있으면서 가상현실 헬멧을 쓰고 더 넓고 우수한 시야를 확보할 수 있으며 충돌사고 발생 시 로봇 팔에 부착한 헬멧이 운전자의 머리를 미리 준비된 최적의 위치로 잡아 주어서 머리와 목의 부상을 예방할 수 있다. 한국에 있는 의사가 미국에 있는 환자를 수술할 때 환자 옆에 있는 수술로봇의 카메라 눈에 있는 것을 그대로 자기가 보듯이 볼 수 있다. 훈련용 또는 오락용 자전거, 오토바이, 보트, 비행기, 롤러코스터 등을 탈 때도 빈약한 HMD를 쓰거나 육중한 HMD 를 쓰는 대신 로봇 팔에 달린 HMD를 사용하면 머리에 부담이 없어 가상현실감이 훨씬 크다. 스피드 스케이트 선수나 장거리 달리기 선수는 HMD를 쓰고 바닥이 움직이는 장치 위에서 달릴 수 있다. 주변 경치가 바뀌도록 HMD에 보여준다. 이때도 HMD는 로봇 팔에 붙어 있으므로 신체에 부담이 거의 되지 않는다. 소총이 끝에 달린 로봇팔과 가시광과 적외선 센서로 들어온 영상을 표시하는 HMD가 끝에 달린 로봇 팔을 장착한 컴퓨터 배낭을 지고 다니던 군인은 적을 쳐다만 보고 조이스틱으로 겨냥해 스위치를 누르면 소총이 적을 향해 발사되게, 또는 소총에 센서를 붙여 HMD에 나타난 적에 크로스 헤어가 가게 소총을 움직이고 총을 발사하도록 만들 수도 있다. 인간의 신경이나 근육은 물개나 개구리, 기타 포식동물보다 매우 느리며 개선하기 어렵지만 로봇 팔이나 영상처리 기술, 동력장치는 계속 개선할 수 있다. 탱크가 거친 땅 위를 달릴 때 HMD를 착용하고 있지 않으면 디스플레이와 사수의 눈이 서로 움직여서 불리하다. 달리는 탱크 안에서도 로봇 팔에 달린 HMD을 착용한 사수는 적의 탱크를 겨냥해 사격할 수 있다. 필요할 때만 반투명 디스플레이 장치가 눈앞에 나타나게 하는 것도 동력장치와 표시장치 무게가 많이 나갈 수 있는데 HMD를 로봇 팔에 부착하여 모든 무게를 로봇 팔이 부담하면 사용자는 훨씬 더 편하다. 머리와 눈의 움직임 추적 장치가 좀 크고 무거워도 무게를 모두 로봇 팔이 부담하여 크기와 무게가 많이 나가더라도 고성능인 장치를 HMD에 장착할 수 있다. HMD는 매우 정교하고 부서지기 쉬우므로 로봇 팔에 붙여 둘 경우 착용하지 않을 때 안전한 위치로 이동하게 해서 보관하기도 쉽다.

Claims (4)

1. 로봇 팔로 헬멧장착표시기(Helmet Mounted Display)를 착용자의 움직임에 따라 적당히 움직여 주는 장치.
2. 착용자의 손목의 이동을 감지하여 이에 따라 로봇 팔로 데이터글러브를 적당히 움직여 주는 장치.
3. 사용자의 머리 움직임에 따라 로봇 팔로 모니터를 적당히 움직여 주는 장치.
4. 큰 로봇 팔로 조종석을 상하, 전후좌우로 움직이거나 회전시키고 그에 일치하게 외부의 가상적인 모습을 보여주는 HMD를 작은 로봇팔로 조종하는 시뮬레이션 시스템.

Images