KR20200104751A - Vr hmd와 가진장치를 사용하는 로봇암 형태의 조종수 시뮬레이터 - Google Patents

Abstract

본 발명은 육상 차량 혹은 항공, 수상 장비용 조종수 시뮬레이터 장치에 관한 것으로 시뮬레이터 시스템의 제어, 통제와 모니터링을 담당하는 통합제어장치와 로봇암 액츄에이터의 제어를 담당하는 로봇암 제어장치, 고진폭 저주파수의 장비 움직임을 모사하는 6-자유도 로봇암 장치, 그리고 로봇암 끝단부에 장착되어 있는 조종모듈을 포함하며, 이 때 조종모듈 내에서 사용자는 VR HMD를 활용하여 현실감 있는 조종 영상을 보면서 체험을 하고, 3-자유도 가진장치를 통해 고주파수 저진폭의 장비 움직임 및 진동을 추가함으로써 사용자에게 현실과 같은 몰입감 있는 조종 체험을 제공하게 된다. 또한 본 발명은 VR의 적용을 통해 체험 몰입감은 향상시키고 불필요한 하드웨어 적용은 최소화할 수 있어 시스템 용량, 비용 절감이 가능하면서 서로 다른 주파수와 진폭 영역을 담당하는 6-자유도 로봇암 및 3-자유도 가진장치의 2종류 구동장치의 동시 적용을 통해 사용자의 조종체험 효과를 극대화하는 것이 특징인 조종수 시뮬레이터 장치이다.

Description

VR HMD와 가진장치를 사용하는 로봇암 형태의 조종수 시뮬레이터 {Robot Arm type Driver Simulator using VR HMD and additional Vibrating device}

본 발명은 육상 차량 혹은 항공, 수상용 특수장비를 위한 조종수 시뮬레이터 장치에 관한 것으로; 복수 개의 회전관절로 구성된 다관절 로봇암 단부에 실제 장비와 동일 내지 유사한 조종장치 등 내부 설비가 구비된 조종 모듈을 장착하고; Virtual Reality(이하 VR) Head Mounted Device(이하 HMD)를 통해 훈련영상을 훈련자에게 송출하며; 조종 모듈 내에는 사용자에게 고주파수의 장비 움직임 혹은 진동을 인가할 수 있는 가진장치를 포함하는; 조종수 시뮬레이터에 관한 것이다.

일반적인 조종수 시뮬레이터는 실제 장비와 동일한 구조물과 조종장치 등으로 하드웨어 구성 및 그 전면부에 대형 모니터 또는 프로젝트에서 영사되는 영상을 비춰줄 수 있는 스크린을 배치하고, 구조물 아래에는 조종 중에 발생되는 장비의 움직임에 따른 반력을 사용자에게 전달해 줄 수 있는 모션플랫폼 장치가 설치된다. 일부 고기동 움직임을 필요로 하는 장비의 경우에는 6 내지 7개의 회전관절로 구성된 다관절 로봇암의 단부에 실제 장비와 유사한 내부 설비가 구비된 조종석을 장착하고 내부 모니터 혹은 외부의 스크린을 통해 장비의 조종 중 계속해서 변화하는 전방 영상을 표시한다. 그러나 모션플랫폼과 모니터 방식의 조종수 시뮬레이터의 경우에는, 과도한 초기 비용이 소모되는 반면, 사용자에게 제공되는 영상의 제한적인 시야각과 낮은 수준의 해상도, 주사율 등으로 현실감이 떨어지고, 모션플랫폼의 경우에도 히브(Heave), 서지(Surge), 스웨이(Sway), 피치(Pitch), 요(Yaw) 및 롤(Roll)의 6-방향 장비의 움직임을 제공하지만 각 동작의 범위와 크기에서 제한적인 문제가 있다. 로봇암 방식의 시뮬레이터는 6 내지 7개의 회전관절을 사용함으로써 보다 높은 자유도와 넓은 범위, 그리고 크기의 동작 재현력을 가지고 있으나, 고주파수의 진동 재현에는 어려움이 있고 로봇암 단부에 모니터, 조종장치, 계기판 등 실제와 동일한 하드웨어가 그대로 탑재된 조종석 조립체가 장착되어 로봇암 액츄에이터 및 제어장치가 고하중, 고출력용일 수밖에 없는 한계가 있었다.

따라서 일반적인 조종수 시뮬레이터 사용시에는 실제 장비 상황 대비하여 제공되는 영상이 사용자와의 상대적인 위치나 거리 등에 따라 전방 영상 및 동작 재현 성능으로 현실감, 몰입감이 떨어지고 무거운 하드웨어 하중으로 인해 초기 제작 비용이 과도하게 소모되는 문제점이 있다.

본 발명은 상기와 같은 기존 조종수 시뮬레이터의 문제점을 해결하고 개선하고자 창출된 것으로, 그 목적은 사용자에게 보여지는 영상의 품질을 향상시키고 장비의 고기동성과 고주파수의 움직임 등을 제공하여 조종수 시뮬레이터 사용자에게 개선된 현실감, 몰입감 등을 제공하여 체험효과를 높이고자 한다.

상기한 목적을 달성하기 위한 본 발명의 주된 사상은 적어도 6개의 회전관절로 구성된 다관절 로봇암를 활용하여 고기동성의 동작 재현력을 확보하고, 조종석 의자 하부 또는 사용자의 신체와 근접한 위치에 고주파수의 진동 재현이 가능한 3자유도의 가진장치를 장착하며, VR HMD의 적용으로 고품질의 조종수용 영상을 재현하여 사용자에게 현실감 있고 몰입감 넘치는 조종수 체험 경험을 제공하는 것이다.

이하 본 발명의 과제 해결 수단은 도 1을 참고하여 설명하도록 한다.

본 발명은 육상, 항공 혹은 수상용 운송 및 특수 장비 등의 조종 시뮬레이터 장치에 있어서 상기 시뮬레이터를 통합적으로 제어하는 통합제어장치(100)와 상기 장비의 적어도 하나이상의 조종장치 또는 그 모형을 갖는 조종모듈(400)과 상기 조종모듈(400)을 단부에 배치하여 상기 조종모듈에 1차 모션을 인가하는 다관절 형태의 로봇암장치(300)와 상기 통합제어장치(100)로부터 상기 로봇암장치(300)의 복합동작 제어신호를 송수신하고 상기 로봇암장치의 개별 액츄에이터 제어를 수행하고 상태신호를 송수신하는 로봇암 제어장치(200)와 상기 조종모듈(400)에 배치되고 상기 조종모듈(400) 내에 탑승한 사용자에게 2차 모션을 인가하는 가진장치와 상기 조종모듈에 탑승하는 사용자에게 가상현실 또는 복합현실 영상을 제공하는 영상장치(예시적으로 VR HMD)와 상기 조종모듈에 배치된 조종 작동 및 계기판에 대한 사용자의 조작 및 사용자의 동작, 상태 등의 감지를 위한 센서장치를 포함하여 구성되는 가상현실 적용 조종수 시뮬레이터 장치로써 사용자가 탑승하고 실제와 동일한 조종체험을 하면서 조종 작동 및 계기판을 통해 갖은 조작이 가능한 조종 시뮬레이터를 제공한다.

통합제어장치(100)는 조종에 필요한 영상과 음향을 사용자에게 전달하며, 실감나는 조종 체험을 위해 조종석 모션과 진동을 분석 및 이를 바탕으로 6-자유도 로봇암과 3자유도의 추가 가진장치로 제어신호를 송출하고 전체 시스템을 통합 제어 및 모니터링한다.

로봇암 제어장치(200)는 상기 통합제어장치(100)로부터 다관절(예시적으로 6관절) 로봇암장치의 제어신호를 수신하여 이를 바탕으로 로봇암의 개별 액츄에이터 제어를 수행하고 수행결과를 통합 제어장치로 피드백, 송출한다.

6-자유도 로봇암은 그 단부에 조종모듈을 배치하며, 또한 상기 조종모듈(400)에 탑승한 사용자에게 조종에 따른 모션을 인가하기 위한 장치이다. 도 2와 같은 6-자유도의 로봇암 적용을 통해 육상 차량, 항공 혹은 수상용 장비들의 고기동성 6방향 움직임 등으로 1차 모션을 실제와 유사하게 인가할 수 있다. 전기센서 및 유압 등의 사용에 따른 고압 차단 릴리프 밸브 등의 안전장치와 위치와 회전각 등을 감지할 수 있는 센서를 탑재하여 해당 신호를 피드백한다.

조종모듈은 도3과 같이 사용자가 착용하여 조종에 필요한 갖은 영상을 보고 음향을 들을 수 있는 VR HMD(401), 로봇암장치에 의한 1차 모션으로 재현이 불가능한 고주파수 영역의 장비 진동을 재현하는 2차 모션을 제공하기 위한 3자유도 가진장치(402), 장비의 갖은 조작이 가능한 조종 작동 및 계기판(403), 조종 작동 및 계기판(403)의 작동 상태와 사용자의 상태(위치, 동작, 맥박, 온도 등) 감지 위한 센서장치(404) 및 기타 실제와 동일한 체험환경 구현을 위한 다양한 구조물의 부수장치(405)로 구성이 된다. 통합제어장치로부터 외부 환경과 장비 상태에 관련된 영상, 음향 등을 수신하여 VR HMD에서 재현시키고 사용자의 조종 작동 및 계기판의 작동을 감지하여 통합제어장치로 전달한다.

이상 설명한 본 발명에 의하면, VR을 기본 영상출력 수단으로 활용함으로써 기존 조종 시뮬레이터 대비 영상 품질을 크게 향상시키고, 고기동성 움직임 모사가 가능한 로봇암장치에 더하여 고주파수 영역을 담당하는 가진장치를 추가함으로써 조종 시뮬레이터의 현실감을 크게 증대시켜 효과적이고 몰입감 넘치는 조종수 교육 혹은 체험이 가능하도록 한다.

도 1은 본 발명의 구성을 개략적으로 도시한 블록도
도 2는 본 발명 중 로봇암장치 중심의 상세 구성도
도 3은 본 발명 중 조종 모듈 중심의 상세 구성도

이하 첨부한 도면을 참조하여 본 발명의 바람직한 작동 예를 상세히 설명하기로 한다. 그러나 본 발명의 작동 예는 본 발명을 보다 완전하게 설명하기 위해 제공되는 것이며 실제 실시는 여러 가지 다른 형태로 변형될 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있으므로 그 정의는 본 발명을 설명하는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 주된 사상이 구현되는 핵심 기능들의 연결 관계를 나타낸 블록도이다. 통합제어장치(100)는 사용자가 최초에 선택한 작업이나 동작, 주행로 혹은 항로 등의 코스에서 사용자의 조종 작동/계기판(403)의 조작에 따른 장비의 상태 변화를 영상과 음향, 그리고 모션 진동 등을 실시간으로 계산하여 해당 장치 혹은 S/W으로 전달한다. 모션 진동 중에서 저주파수의 진폭이 큰 움직임은 제1모션으로써 6-자유도 로봇암 장치(300)가 모사하고 고주파수의 저진폭 진동이나 미세 움직임 등의 제2모션은 3-자유도 가진장치(402)에서 모사를 담당한다. 로봇암 제어장치(200)와 조종 모듈(400)로부터 받은 상태신호와 모니터 등을 활용하여 전체 구성장치들과 사용자를 포함한 전체 시뮬레이터 사용현황을 모니터링할 수 있고, 필요시 원격에서 상태를 제어할 수도 있다.

저주파수 고진폭의 움직임 신호는 유압 혹은 전기장치(예시적으로 피에조, 모터 전자기 진동모듈 등)등의 개별 액츄에이터 제어를 담당하는 로봇암 제어장치(200)으로 다시 전달되고, 이를 통해 6-자유도 로봇암 장치(300)를 움직여서 원하는 장비의 모션 형태를 모사할 수 있게 된다. 6-자유도 로봇암 장치(300)에는 장치의 이상 여부와 위치각, 위치 변화를 감지할 수 있는 센서가 장착되어 있어 이를 통해 동작이 정상적으로 이루어지거나 이상 발생시에는 로봇암 제어장치(200)으로 해당 사실을 피드백해주게 된다. 만약 로봇암 제어장치(200)으로 이상신호가 피드백 될 시에는 해당 사실을 통합 제어장치(100)으로 다시 피드백하고 즉시 시뮬레이터 사용을 중지시키게 된다.

도 2와 같이 6-자유도 로봇암 장치는 총 예시적으로 6개의 회전 자유도를 가지고 있으며(d₁~d₆) 이를 통해 육상 차량 혹은 항공, 수상 장비의 히브(Heave), 스웨이(Sway), 서지(Surge), 피치(Pitch), 요(Yaw), 롤(Roll) 6방향 움직임과 복합 동작의 구현이 가능하다. 유압 혹은 전기식의 액츄에이터를 사용하여 로봇암을 구성하게 되며, 여기에는 고압 혹은 고온 발생 여부를 사전에 파악하여 성능을 제한시킴으로써 시스템 손상을 사전에 방지할 수 있는 고압 릴리프 밸브 혹은 고온 감지 장치 등이 포함된다. 뿐만 아니라 액츄에이터 제어에 따라 로봇암의 위치와 자세가 원하는 대로인지 확인하기 위하여 회전관절부에는 회전각 센서, 로봇암 기구부에는 위치 센서 등이 적용될 수도 있다.

조종모듈(400)은 6-자유도 로봇암 장치(300)의 끝단부에 장착이 되며 내부에 사용자가 탑승하여 조종수 교육 혹은 조종수 체험을 진행한다. 조종 영상과 음향은 통합제어장치(100)으로부터 전달받아 VR HMD(401)를 통해 사용자에게 송출되며 이 때 음향은 별도 스피커 등을 이용할 수도 있다. 조종 작동/계기판(403)은 장비의 상태를 나타내는 계기패널과 조향핸들 및 각종 장비의 상태를 제어할 수 있는 기구장치, 터치패널, 스위치 등으로 구성이 되며 이 때 상태를 나타내는 계기패널은 VR HMD 영상으로 그 기능을 대신하므로 실제 구조물은 목업(Mock-up) 모형만으로 대체할 수 있다. 기구장치, 터치패널, 스위치 등에는 조작상태를 알 수 있도록 센서장치(404)가 부착되어 조작 시 기구장치의 위치 이동값, 터치패널과 스위치 등의 전기신호 등의 상태변화 값을 통합제어장치(100)로 전달할 수 있도록 한다. 통합제어장치(100)에서는 전달받은 값을 바탕으로 조종 작동/계기판(403)의 작동 상태 및 해당 상황에서의 장비의 상태변화를 다시 계산하여 영상과 음향으로 표현하여 VR HMD(401)로 전달하여 사용자에게 보여준다. 또한 이 때의 장비 움직임 및 진동 또한 함께 계산이 되고 주파수 혹은 진폭 기준으로 분리가 되어 저주파 고진폭의 움직임 등의 제1모션 신호는 6-자유도 로봇암장치(300)로, 고주파 저진폭의 움직임 등의 제2모션은 3-자유도 가진장치(402)로 전달되어 장비의 움직임과 진동을 사용자에게 느껴지게 한다. 상기한 제1,2 모션은 VR HMD(401)로 전달되는 영상과 소리 등과 연동하여 제고 된다. 3-자유도 가진장치(402)는 일반적인 장비에서 가장 많이 발생하는 히브(Heave), 피치(Pitch), 롤(Roll)의 3방향의 움직임(d₇~d₉)을 기본적으로 재현할 수 있도록 복수개의 액츄에이터로 구성이 되며 대상 장비 혹은 코스에 따라 방향은 조정될 수도 있다. 예시적으로 의자 아래에 장착이 되는 작은 크기이므로 사용과 제어가 로봇암 대비 손쉬운 장점이 있으며, 액츄에이터 크기 또한 상대적으로 작아 고주파수 저진폭의 움직임과 진동을 재현하는데 활용한다. 상기한 가진장치의 배치는 사용자에게 상기한 제2모션을 전달할 수 있는 바닥이나 의자의 측면이나 내부 등 상황 및 설계자의 다양한 의도와 목적으로 달리 배치 될 수 있다. 센서장치(404)는 조종 작동/계기판(403)의 장비 조작을 위한 각종 기구장치, 터치패널, 스위치 등에 부착이 되어 조작시 신호를 감지하거나 사용자의 상태를 확인하는 용도로 주로 활용이 된다. 사용자의 움직임과 위치 변화를 감지하여 이를 아바타 영상으로 재현하여 VR HMD(401)로 보여주고 더하여 사용자의 체온, 맥박 등을 확인하여 고기동성 조종 체험 중의 이상 발생여부를 확인하여 통합제어장치(100)로 피드백한다. 그 외 조종모듈 내부의 상황을 영상으로 확인할 수 있도록 카메라 등이 센서장치(404)에 포함될 수 있으며 이 역시 통합제어장치(100)로 전송된다. 부수장치(405)는 의자 등 기타 인테리어 구조물을 포함하며, 사용자로 하여금 실제 장비와 동일한 조종 체험을 가질 수 있도록 하기 위해 실제와 동일한 크기와 형상의 목업 구조물을 동일한 위치에 배치하여 구성한다. 의자는 사용자가 편하게 조종 체험을 할 수 있도록 전/후, 상/하 위치조정 및 등받이 자세조정 등이 가능하게 모터 등의 장치가 내장될 수 있으며, 이 때 변화된 위치와 자세를 감지할 수 있는 센서를 부착하여 변화된 모습을 영상으로 반영할 수 있도록 한다.

이상 본 발명의 설명을 위하여 도시된 실시 예는 본 발명이 구체화되는 하나의 실시 예에 불과하며, 전술한 바와 같이 본 발명의 요지가 실현되기 위하여 다양한 형태의 조합이 가능함을 알 수 있다.

따라서 본 발명은 상기한 실시 예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

100 : 통합제어장치 200 : 로봇암 제어장치
300 : 6-자유도 로봇암 400 : 조종 모듈
401 : VR HMD 402 : 3-자유도 가진장치
403 : 조종 작동/계기판 404 : 센서장치
405 : 부수장치

Claims (3)

1. 육상, 항공 혹은 수상용 운송 및 특수 장비 등의 조종 시뮬레이터 장치에 있어서
   상기 시뮬레이터를 통합적으로 제어하는 통합제어장치(100);
   상기 장비의 적어도 하나이상의 조종장치 또는 그 모형을 갖는 조종모듈(400);
   상기 조종모듈(400)을 단부에 배치하여 상기 조종모듈에 1차 모션을 인가하는 다관절 형태의 로봇암장치(300);
   상기 통합제어장치(100)로부터 상기 로봇암장치(300)의 복합동작 제어신호를 송수신하고 상기 로봇암장치의 개별 액츄에이터 제어를 수행하고 상태신호를 송수신하는 로봇암 제어장치(200);
   상기 조종모듈(400)에 배치되고 상기 조종모듈(400) 내에 탑승한 사용자에게 2차 모션을 인가하는 가진장치;
   상기 조종모듈에 탑승하는 사용자에게 가상현실 또는 복합현실 영상을 제공하는 영상장치;
   상기 조종모듈에 배치된 조종 작동 및 계기판에 대한 사용자의 조작 및 사용자의 동작, 상태 등의 감지를 위한 센서장치를 포함하여 구성되는 것을 특징으로 하는 가상현실 적용 조종수 시뮬레이터 장치.
   
2. 제 1항에 있어서,
   제1 모션은 제1모션에 대비하여 상대적으로 고진폭 저주파수의 움직임을 인가하는 것을 특징으로 하는 가상현실 적용 조종수 시뮬레이터 장치.
   
3. 제 1항에 있어서,
   상기 가진장치는 조종모듈에 배치되는 사용자 의자에 배치되고 적어도 3자유도의 고주파 저진폭의 움직임 또는 진동을 발생시키는 것을 특징으로 하는 가상현실 적용 조종수 시뮬레이터 장치.
   

Images