KR20210032703A - 가상현실 조종수 시뮬레이터용 제어 시스템 - Google Patents

Abstract

본 발명은 가상현실 조종수 시뮬레이터용 제어 시스템에 관한 것으로서, 더욱 상세하게는 푸시 방식의 데이터 통신인 MQTT 프로토콜을 이용하여 시뮬레이터와 중앙제어장치 사이를 네트워크 서버로 연동시켜 통신방식을 최적화하도록 하며, 더불어 시뮬레이터 안의 기본장치, 조종장치, 액츄에이터 및 표시장치의 한정된 성능 내에서 현실과 유사한 물리적 피드백을 구현하기 위하여, 시뮬레이터에서의 센싱값들을 디지털 데이터로 변환하여 네트워크 서버를 통해 중앙제어장치로 전송하고, 전송된 데이터를 중앙제어장치에서 필터링한 후 차량상태와 연관된 실질 물리량으로 변환시킨 후, 로우 패스 필터를 적용하여 액츄에이터 사양에 적합한 저주파의 움직임 또는 진동을 선별하여, 현실과 유사한 물리적 피드백을 시뮬레이터로 전달하는 것을 특징으로 하는 가상현실 조종수 시뮬레이터용 제어 시스템에 관한 것이다.

Description

가상현실 조종수 시뮬레이터용 제어 시스템{CONTROL SYSTEM FOR VIRTUAL REALITY DRIVER SIMULATOR}

본 발명은 가상현실 조종수 시뮬레이터용 제어 시스템에 관한 것으로서, 더욱 상세하게는 시뮬레이터와 중앙제어장치 사이를 네트워크 서버로 연동시켜, 푸시 방식의 데이터 통신인 MQTT 프로토콜을 이용해 통신방식을 최적화하도록 하며, 더불어 시뮬레이터 안의 기본장치, 조종장치, 액츄에이터 및 표시장치의 한정된 성능 내에서 현실과 유사한 물리적 피드백을 구현하기 위하여, 시뮬레이터에서의 센싱값을 디지털 데이터로 변환하여 네트워크 서버를 통해 중앙제어장치로 전송하고, 전송된 데이터를 중앙제어장치에서 필터링한 후 차량상태와 연관된 실질 물리량으로 변환시킨 후, 로우 패스 필터를 적용하여 액츄에이터 사양에 적합한 저주파의 움직임 또는 진동을 선별하여, 현실과 유사한 물리적 피드백을 시뮬레이터로 전달하는 것을 특징으로 하는 가상현실 조종수 시뮬레이터용 제어 시스템에 관한 것이다.

가상현실(Virtual Reality, VR)이란 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다. 이때, 만들어진 가상의 환경이나 상황 등은 사용자의 오감을 자극하며, 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 상상의 경계를 자유롭게 드나들게 하여　현실　세계에 있는 것 같은 느낌을 받을 수 있는 기술로, 멀티미디어를 뛰어 넘는 차세대 기술이다

가상현실　환경은 사용자에게 실감나는 몰입감을 제공함으로써 실재하는 물체를　시뮬레이션 할 수 있을 뿐만 아니라 실제로 존재하지 않는 물체나 상황을 체험할 수 있게 해준다. 이러한　가상현실　환경은 여러 다양한 분야에 적용될 수 있다. 예를 들어, 자동차 설계나　시뮬레이션 실험 등의 공학 분야에서부터 의료분야, 문화 컨텐츠 분야에 이르기까지 실로 다양한 분야에서 사용되고 있다.

일예로서, 선행문헌 1인 “MQTT와 KAPKA를 이용한 IoT 센서 시뮬레이터 시스템”에서는 MQTT 브로커로부터 데이터를 전달받고, 전달받은 데이터를 시뮬레이터 옵션에서 설정된 시간 간격에 따라 웹 서버에 전달하여 시뮬레이터 시스템을 제공하고 있다.

또한, 선행문헌 2의 “항공 시뮬레이션 게임의 운동의 제어 방법 및 그러한 방법을 실장한 항공 시뮬레이션 게임”에서는 고역 통과 필터와 저역 통과 필터를 이용하여, 시뮬레이션되는 항공기의 롤 각도를 계산하는 시스템에 대해서 개시하고 있다.

하지만, 모니터 또는 프로젝트-스크린을 기본으로 하는 기존 가상현실 시뮬레이터는 개별 그래픽 객체의 수준은 물론 해상도, 주사율 등 전체적인 영상의 복잡도, 품질은 높아졌으나, VR Sickness 등으로 일컬어지는 멀미현상을 사용자에게 초래하기도 하며, 이는 사용자의 동작 이후에 화면 등의 반응이 사용자에게 제대로 반영되지 못하여 지연 혹은 끊어짐으로써 발생하기도 한다.

또한, 조종수 시뮬레이터에는 조종석 의자 하단부에 모션시트를 설치하거나 또는 전체 구조물 아래에 3축 혹은 6축의 액츄에이터를 탑재하여 차량 운전 중 발생되는 진동을 사용자에게 전달되도록 되어있으나, 의자 아래만 움직이는 모션시트만으로는 충분한 진동, 충격을 사용자에게 전달하기 어려운 문제가 있고, 3축 또는 6축의 액츄에이터는 시뮬레이터 본체보다 더 큰 부피, 면적, 비싼 가격이 문제가 되었으며, 큰 충격이 발생하는 훈련 시나리오에서는 VR 고글을 착용하여 현실과의 시각적으로 차단된 훈련자의 안전 관련 문제가 발생한다.

1. 한국등록특허공보 제1834837호(등록일: 2018.02.27.), "MQTT와 KAPKA를 이용한 IoT 센서 시뮬레이터 시스템" 2. 일본등록특허공보 제5715324호(등록일: 2015.03.20), “항공 시뮬레이션 게임의 운동의 제어 방법 및 그러한 방법을 실장한 항공 시뮬레이션 게임”

본 발명은 상술한 문제점을 해결하기 위한 것으로, 시뮬레이터와 중앙제어장치 사이를 네트워크 서버로 연동시켜, 푸시 방식의 데이터 통신인 MQTT 프로토콜을 이용해 통신방식을 최적화하도록 하며, 더불어 시뮬레이터 안의 기본장치, 조종장치, 액츄에이터 및 표시장치의 한정된 성능 내에서 현실과 유사한 물리적 피드백을 구현하기 위하여, 시뮬레이터에서의 센싱값들을 디지털 데이터로 변환하여 네트워크 서버를 통해 중앙제어장치로 전송하고, 전송된 데이터를 중앙제어장치에서 필터링한 후 차량상태와 연관된 실질 물리량으로 변환시킨 후, 로우 패스 필터를 적용하여 액츄에이터 사양에 적합한 저주파의 움직임 또는 진동을 선별하여, 현실과 유사한 물리적 피드백을 시뮬레이터로 전달하는 것을 목적으로 한다.

상기의 목적을 달성하기 위하여 본 발명은, 시뮬레이터(A), 중앙제어장치(B), 전기제어장치(C) 및 네트워크 서버(D)를 포함하는 가상현실 조종수 시뮬레이터용 제어 시스템에 있어서, 조정석 의자, 웨어러블 슈트, 계기판 등을 포함하는 기본장치; 구동체를 가상으로 조종할 수 있도록 하는 조종장치; 구동체의 움직임 및 진동을 훈련자에게 전달해주는 액츄에이터; 및 GUI S/W를 포함한 가상현실 훈련 영상의 표시장치;를 포함하는 시뮬레이터(A); 네트워크 서버로부터 전송받은 데이터를 정리하여 차량 상태와 관련된 실질 물리량으로 변환하는 기능을 수행하는 중앙제어장치(B); 및 상기 중앙제어장치로부터 훈련자 인지 장치의 작동 시나리오를 전송받아 이를 작동시키거나 중단시킬 수 있는 실질 제어신호를 발생시키는 전기제어장치(C); 및 상기 시뮬레이터에 유선 또는 무선으로 연결되어 시뮬레이터의 장치들이 발행한 데이터 메시지를 수집하고 전송하는 네트워크 서버(D);를 포함하는 가상현실 조종수 시뮬레이터용 제어 시스템을 제공한다.

본 발명은 가상현실 조종수 시뮬레이터용 제어 시스템에 관한 것으로, 가상현실 조종수 시뮬레이터에서 하드웨어와 소프트웨어 간의 통신 최적화로 인하여 주 제어장치의 부하를 경감시켜 보다 저사양에서도 원활한 작동을 가능케하며, 기존 조종수 시뮬레이터에 적용되는 3축 혹은 6축 액츄에이터는 그 용량에 따라 천만원에서 억대를 호가할 정도로 고가이며 유압 혹은 전기로 구동되며 이를 통제하기 위한 별도의 장비까지 필요할 정도로 그 구성이 복잡하여 설치와 사용에 어려움이 많았으며, 이에 이동하며 사용하기에는 불가하였으나, 본 발명은 이를 대신하는 단순 액츄에이터 및 웨어러블 슈트 등을 통해 비용 절감 및 사용 간편성을 확보하며, 통신 최적화 및 훈련 중 물리적 피드백 등의 보강을 통해 기존 대비 뛰어난 영상품질을 통해 사용자의 훈련 몰입감과 효과를 극대화할 수 있다는 장점이 있다.

도 1은 본 발명의 일실시예에 따른 가상현실 조종수 시뮬레이터용 제어 시스템을 개략적으로 도시한 도면이다.
도 2는 시뮬레이터를 구성하는 장치 내의 운전장비 각각에 부착된 센서모듈과 이를 처리하는 시스템을 개략적으로 도시한 도면이다.
도 3은 시뮬레이터에서의 센싱값을 처리하는 과정을 개략적으로 나타낸 순서도이다.
도 4는 가상현실 조종수 시뮬레이터용 제어 시스템을 나타낸 도면이다.
도 5는 로 데이터 값과 로우 패스 필터 데이터 값을 그래프로 나타낸 도면이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.

본 발명은 시뮬레이터(A), 중앙제어장치(B), 전기제어장치(C) 및 네트워크 서버(D)를 포함하는 가상현실 조종수 시뮬레이터용 제어 시스템에 있어서, 조정석 의자, 웨어러블 슈트, 계기판 등을 포함하는 기본장치; 구동체를 가상으로 조종할 수 있도록 하는 조종장치; 구동체의 움직임 및 진동을 훈련자에게 전달해주는 액츄에이터; 및 GUI S/W를 포함한 가상현실 훈련 영상의 표시장치;를 포함하는 시뮬레이터(A); 네트워크 서버로부터 전송받은 데이터를 정리하여 차량 상태와 관련된 실질 물리량으로 변환하는 기능을 수행하는 중앙제어장치(B); 및 상기 중앙제어장치로부터 훈련자 인지 장치의 작동 시나리오를 전송받아 이를 작동시키거나 중단시킬 수 있는 실질 제어신호를 발생시키는 전기제어장치(C); 및 상기 시뮬레이터에 유선 또는 무선으로 연결되어 시뮬레이터의 장치들이 발행한 데이터 메시지를 수집하고 전송하는 네트워크 서버(D);를 포함하는 가상현실 조종수 시뮬레이터용 제어 시스템이다.

도 1은 본 발명의 일실시예에 따른 가상현실 조종수 시뮬레이터용 제어 시스템을 개략적으로 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명에 따른 시뮬레이터(100)는 기본장치(130), 조종장치(110), 액츄에이터(140) 및 표시장치(미도시)로 구성된다.

조종장치(110)는 조종핸들, 가속페달, 제동페달, 주차페달 및 변속기어 등의 운전장비를 포함하며, 구동체가 조종훈련 모드로 진입할 때 시뮬레이터(100)를 구동하여 구동체의 조종을 가능하게 한다.

이때, 상기 조종장치(110)의 운전장비에 각각 필요한 센서모듈들이 장착되어 있으며, 가령, 조종핸들, 가속페달, 제동페달 및 주차페달에 장착된 회전센서(112)에 의하여 조종핸들 및 가속, 제동페달의 작동각을 센싱하거나, 변속기어의 경우에는 장치 구조에 따라 근접센서(111) 또는 회전센서(112)가 적용된 센서모듈을 통해 변속기어의 위치를 특정하는 등 운전장비의 각각의 특성에 적합한 물리량을 센싱하여 네트워크 서버(200)로 데이터를 전송한다.

상기 변속기어는 변속레버의 타입에 따라 근접센서 또는 회전센서 및 아날로그 디지털 컨버터, 컨트롤러와 무선송신 기능을 선택적으로 조합/적용한 센서모듈을 활용하여 변속기어의 위치를 특정한다.

액츄에이터(140)는 시뮬레이터(100) 하단 또는 훈련자 의자 아래에 장착되어, 구동체의 움직임 및 진동을 훈련자에게 전달해준다.

상기 액츄에이터(140)는 가속도센서(142) 또는 자이로센서(143) 등이 포함된 센서모듈이 장착되어 있어, 시뮬레이터(100)의 진동 또는 움직임의 결과값을 센싱하여 중앙제어장치(300)쪽으로 전송함으로써, 상기 시뮬레이터(100)의 제어, 모니터링 및 이상발생 여부 진단에 활용한다.

중앙제어장치에 내장된 차량동역학 모델이 포함된 물리엔진에서 액츄에이터와 웨어러블 슈트의 진동의 움직임 값을 계산하여 제어신호를 송출한다. 이때, 상기 제어신호와 비교하여 특별히 이상이 있는 값이 발생되는지 여부(미작동, 이상작동(값이 20% 이상 차이날 때) 등)만 확인하고, 이상이 있을 때에는 알람, 경고를 사용자에게 알려주고, 100% 이상의 움직임 값이 차이날 때에는 긴급 자동정지 기능 등을 수행한다.

또한, 액츄에이터는 시뮬레이터 훈련 및 조작에는 직접적으로 관여하지 않지만, 핸들 위치, 의자 위치 변화를 감지할 수 있는 거리센서(141) 및 체험자의 체온, 맥박 등을 센싱하는 생체신호 측정 센서(144)를 추가로 포함하여, 훈련 화면에 해당 정보를 반영하거나 훈련자의 상태 이상을 감지하여 외부에 알람 및 응급정지 등에 활용할 수 있다.

핸들과 조종수 의자는 실제 차량과 동일하게 사용자의 개인 체형 및 기호에 적합하도록 그 위치를 조종할 수 있도록 시뮬레이터를 구성한다. 핸들 슬라이딩 샤프트 튜브 및 의자의 슬라이딩 레일의 한쪽 끝에 거리 센서를 부착하여 핸들과 의자의 상대거리의 변화를 통해 의자와 핸들의 위치변화를 계산 및 틸팅 스티어링 칼럼 등의 각도 변화를 센싱하여 조향핸들의 틸팅각을 계산하여 이를 훈련영상으로 전달 및 구현을 한다.

VR 고글 착용으로 인해 차단된 훈련자의 시각 대신 영상으로 변화된 핸들과 의자의 위치를 업데이트하여 훈련자가 핸들의 위치변화를 인지하고 변화된 의자 위치를 기준으로 상대적으로 이동된 변속기어, 조종패널 등 조종수 주위 물체의 위치를 인지하여 원활한 훈련을 가능케하고 훈련 몰입감을 증대시킨다.

상기 생체신호 측정 센서(144)는 훈련자의 조종훈련 초기 대비 각각 1.5도 이상 온도변화, 100% 맥박수 증가 혹은 60 맥박 이하 등의 상황을 감지하면 VR고글 상으로 훈련자에게 그리고, 별도 모니터 장치를 통해 교관 및 참관 인원에게 경고메시지를 전시하고 훈련을 종료한다. 여기에서 알람을 발생시키는 상세 수치는 사람별로 차이가 있을 수 있으므로(맥박 등) 옵션메뉴에서 별도 조절이 가능하다.

기본장치(130)는 조종수 탑승 및 위치를 미세 조절하는 조종석 의자(120), 추가적인 차량 움직임을 전달하는 웨어러블 슈트(미도시) 및 차량 상태 표시 및 부가 기능을 조작하는 계기판(미도시) 등으로 구성되어 있다.

특히, 상기한 웨어러블 슈트(미도시)는 조종수의 손이나 발, 등 또는 기타 신체 부위에도 진동/충격을 인가할 수 있는 장치가 적용된 웨어러블 슈트를 착용할 수 있다.

또한, 시동 on/off시의 순간적인 차량 진동을 핸들을 잡고 있는 장갑 진동판으로 전달하거나 요철 등에 의한 주행진동을 훈련자의 구두 아래에 장착된 진동판과 역시 핸들을 잡고 있는 장갑 진동판으로 전달하여 모사하거나 등에 진동판을 부착하여 의자 아래에 위치한 액츄에이터(140)의 물리적 피드백을 보완하는 수단으로 활용한다.

웨어러블 슈트(미도시)의 진동 제어는 사전 측정 또는 계산된 각 위치별 노멀 방향의 진동 데이터에 low pass filter를 적용하여 장치의 진동주기 스펙에 만족하도록 데이터 처리를 먼저 수행한다. 이 후 진폭 최대값 혹은 최대값에 준한 수치 대비 각 웨어러블 슈트 장치의 최대값의 비율로 비례 상수값을 도출한다.

상기 상수값은 비례상수 γ이며, 실제 차량 주행 시 발생되는 진동 크기를 액츄에이터와 웨어러블 슈트 장치의 스펙에 맞추어 비례적으로 표현하는 상수이다. 이에 각 실제 발생하는 가속도/각속도 크기, 웨어러블 슈트 및 액츄에이터 장치별 스펙의 비인 위치별, 방향별 비례상수 γ는 아래 수학식 1로 나타낼 수 있다.

수학식 1

이때, 각 위치별 방향별 센서 데이터의 raw data 최대값 또는 계측 노이즈 threshold 등을 고려한 최대값을 λtest.n 이라 하면, 핸들부 가속도 최대값은 λtest,1 , 발판부 가속도 최대값은 λtest.,2 , 의자부 x방향 가속도 최대값은 λtest.,3 , 의자부 z방향 가속도 최대값은 λtest.4 , 의자부 yz방향 각속도 최대값은 λtest.5 , 의자부 zx방향 각속도 최대값은 λtest.6등으로 나타낼 수 있다.

또한, 각 웨어러블 슈트와 액츄에이터의 장치별 구현 진폭의 최대값을 λequip. n 이라 하면, 웨어러블 장갑은 λequip.1 , 웨어러블 신발은 λequip. 2 , 웨어러블 조끼 등부분은 λequip.3 , 의자 아래 위치한 액츄에이터의 z방향(heave)은 λequip.4 , 의자 아래 위치한 액츄에이터의 yz방향(roll) 각속도 스펙 최대값은 λequip.5 , 의자 아래 위치한 액츄에이터의 zx방향(pitch) 각속도 스펙 최대값은 λequip.6 으로 나타낼 수 있다.

도 5에 도시된 로 데이터 값과 로우 패스 필터 데이터 값의 그래프를 보면, 주행 시뮬레이션 중 다양한 주행환경 내에서 사용자의 갖은 조작에 따른 차량 또는 주행장비의 진동 움직임을 가상현실 물리엔진에서 계산하고, 계산된 각 장치별 각 방향별 실시간 진동 크기에 위에서 구한 비례상수 γ를 곱하여 실제로 시뮬레이터 액츄에이터와 웨어러블 슈트에서 구현할 진동 크기, 즉 진폭을 결정한다

시뮬레이터 물리엔진에서 구해지는 차량 움직임에 따른 핸들, 조종석 바닥면, 의자 등부위의 움직임 진폭 값에 곱하여 각 웨어러블 슈트의 진동 발생값을 결정하게 된다. 다만 시동 on/off 등 물리엔진에서 처리하기 힘든 특수 조작 상태 및 포장도로/비포장도로/자갈길에서의 정속 직진 주행 등 단순 상황 등은 물리엔진에서 실시간 주행동역학 계산보다는 사전에 구현할 진동의 크기와 주기를 미리 설정하여 활용할 수도 있다. 이 때, 사전 설정된 값을 계속 반복하기보다는 ±10%의 난수를 더하여 진동 주기 또는 크기에 변화를 가한다.

마지막으로, GUI S/W를 포함한 가상현실 훈련 영상의 표시장치(미도시)로 구성되어 있다.

상기 시뮬레이터(100)는 중앙제어장치(300)와 연동되어 있으며, 시뮬레이터(100)와 중앙제어장치(300) 사이는 네트워크 서버(200)를 통해 유선 또는 무선으로 연결되어 있다. 네트워크 서버(200)는 푸시 방식의 데이터 통신인 MQTT 프로토콜을 이용해 시뮬레이터(100)에서의 센싱값을 디지털 데이터로 변환하여 중앙제어장치(300)로 전송한다.

상기 중앙제어장치(300)는 네트워크 서버(200)로부터 전송받은 데이터를 정리하여 차량 상태와 관련된 실질 물리량으로 변환하는 기능을 수행한다.

또한, 복잡한 3차원 그래픽 객체로 이루어진 훈련영상을 재생/컨트롤함은 물론이고, 사용자의 조종장치, 조종판넬 등의 하드웨어의 작동상태를 인지, 파악한 뒤, 차량 동역학이 내장된 물리엔진을 통해 차량 내/외부 움직임을 계산하여 영상으로 반영하거나, 액츄에이터와 웨어러블 슈트 등을 통해 상황에 맞는 물리적 피드백을 제공한다.

상기 네트워크 서버(200)는 MQTT Broker 서버이며, MQTT Broker 서버는 시뮬레이터(100) 및 중앙제어장치(300) 사이에 유선 또는 무선으로 연결되어 있으며, MQTT Broker 서버는 시뮬레이터(100)가 발행한 데이터를 수집하여, 중앙제어장치(300)로 데이터를 전송하는 서버 역할을 한다.

네트워크 서버(200)와 중앙제어장치(300)가 무선으로 연결되는 경우, 서버에서 WiFi Access Point 기능 또는 Bluetooth를 통해 무선연결을 수행하고 있으나, 본 발명은 이에 한정하지 않는다.

전기제어장치(400)는 상기 중앙제어장치로부터 훈련자 인지 장치의 작동 시나리오를 전송받아 이를 작동시키거나 중단시킬 수 있는 실질 제어신호를 발생한다.

또한, 시스템을 직접 제어하여 전원을 차단하거나 실내등을 점멸하고, 계기판 등의 외부 표시장치의 변화를 제어하고, 긴급 경보를 발생시키거나, 시스템 긴급 정지를 위한 실질 제어신호를 발생시킨다.

이 때, 웨어러블 슈트 및 모니터 장치 등의 일부 장치는 serial, parallel, rs-232c 및 usb 등의 방식으로 전기제어장치(400)가 필요없이 중앙제어장치(300)에 직접 연결되어 제어될 수도 있다.

우선, 도 3은 시뮬레이터에서의 센싱값을 처리하는 과정을 개략적으로 나타낸 순서도이다.

중앙제어장치는 다음과 같은 단계로 시뮬레이터에서의 센싱값 처리를 통해 시스템을 제어한다. 시뮬레이터에서의 센싱값들을 디지털 변환하여 네트워크 서버를 통해 중앙제어장치로 전송하는 단계; 상기 전송된 데이터를 필터링하는 단계; 상기 필터링된 데이터를 처리하여, 차량상태와 연관된 실질 물리량으로 변환시키는 단계; 상기 변환된 데이터를 로우 패스 필터를 적용하여 액츄에이터 사양에 적합한 저주파의 움직임 또는 진동을 선별하는 단계; 및 상기 선별된 데이터를 기준으로 과도한 충격을 단계별로 완화하여 현실과 유사한 물리적 피드백을 상기 시뮬레이터로 전달하는 단계;를 통해 시스템을 제어한다.

상기 시뮬레이터에서의 센싱값들을 디지털 변환하여 네트워크 서버를 통해 중앙제어장치로 전송하는 단계는, 시뮬레이터 운전장비 각각의 센서모듈에서 센싱값들을 디지털 데이터로 변환하는 단계; 상기 디지털 데이터에 MQTT(Message Queue for Telemetry Transport)를 적용하고, Topic 구조에 Message 발행(Publish)과 구독(Subscribe)을 이용한 EDA(Event Driven Architecture)를 적용하는 단계; 및 각 장치 또는 신호를 식별할 수 있는 ID로 나타내어지는 Topic과 센싱 데이터 또는 그 데이터의 가공값과 기타 데이터를 함께 네트워크 서버로 전송하는 단계를 포함한다.

상기 변환된 데이터를 로우 패스 필터를 적용하여 액츄에이터 사양에 적합한 저주파의 움직임 또는 진동을 선별하는 단계는, 액츄에이터 사양에 적합한 저주파 움직임 진동만 선별적으로 구현하거나 또는 포장도로/비포장도로/자갈길 등 노면의 종류와 차량 속도에 맞추어 사전에 상황별 액츄에이터 주파수를 설정해 놓고 구현한다.

시뮬레이터에서의 센싱값을 처리하는 과정은 시뮬레이터(100)에서의 센싱값들을 디지털 변환하여 네트워크 서버(200)를 통해 중앙제어장치(300)로 전송하는 단계(S110)에서부터 시작된다.

도 2에 도시된 바와 같이, 기본장치(130), 조종장치(110), 액츄에이터(140) 및 표시장치(미도시)가 포함된 시뮬레이터(100)에는 각각 장치마다 여러 운전장비를 포함하고 있으며, 각각의 운전장비에는 그에 맞는 센서모듈들이 장착되어 있다.

조종장치(110)의 조종핸들, 가속페달, 제동페달, 주차페달, 변속기어, 기타 레버, 버튼 등의 운전장비 안에는 각각 필요한 센서모듈들이 장착되어 있다.

가령, 조종핸들, 가속페달, 제동페달 및 주차페달에 장착된 회전센서(112)에 의하여 조종핸들 및 가속, 제동페달의 작동각을 센싱하거나, 변속기어의 경우에는 장치 구조에 따라 근접센서(111) 또는 회전센서(112)가 적용된 센서모듈을 통해 변속기어의 위치를 특정하는 등 운전장비의 각각의 특성에 적합한 물리량을 센싱한다.

액츄에이터(140)에는 가속도센서(142) 또는 자이로센서(143) 등이 포함된 센서모듈이 장착되어 있어서, 발생시키는 진동 또는 움직임의 결과값을 센싱한다.

추가적으로 핸들 위치, 의자 위치 변화를 감지할 수 있는 거리센서(141) 및 체험자의 체온, 맥박 등을 센싱하는 생체신호 측정 센서(144) 등이 포함될 수 있다.

기본장치(130)에는 조종수 탑승 및 위치를 미세 조절하는 조종석 의자(130), 추가적인 차량 움직임을 전달하는 웨어러블 슈트(미도시), 및 차량 상태 표시 및 부가 기능을 조작하는 계기판(미도시) 등이 있고, 각각에는 필요에 따라 기타센서(131)가 부착될 수 있다.

상기 시뮬레이터(100)를 구성하는 조종장치(110), 액츄에이터(140) 및 기본장치(130) 내의 운전장비에 구비된 센서모듈을 통해 얻은 센싱 값들은 디지털 데이터로 변환되며, 변환된 디지털 데이터는 유선 또는 무선의 방식으로 연결된 네트워크 서버(200)를 경유하여 중앙제어장치(300)로 전달된다.

상기 디지털 데이터는 MQTT(Message Queue for Telemetry Transport)를 적용하고, Topic 구조에 Message 발행(Publish)과 구독(Subscribe)을 이용한 EDA(Event Driven Architecture)를 적용하여, 상기 디지털 데이터는 각 장치 또는 신호를 식별할 수 있는 ID로 나타내어지는 Topic과 센싱 데이터 또는 그 데이터의 가공값과 기타 데이터를 함께 네트워크 서버(200)로 전송한다.

상기 Topic은 해당 센싱 데이터를 식별하여 분류 시 기준이 될 수 있는 문자열이 되며, 장치 및 그 기능 구조 등에 따라 “/”를 적용한 계층구조로 작성이 가능하다.

상기 네트워크 서버(200)는 MQTT에 연결된 장치들의 데이터를 수집하고 다시 필요한 장치들이 구독할 수 있도록 전송하는 서버 역할을 하며, 중앙제어장치(300) 내에 함께 위치할 수 있으며, 별도의 서버로 개발할 수도 있다.

중앙제어장치(300)에서는 GUI S/W를 포함한 VR 훈련 영상의 표시 장치, 가상의 조종 훈련 체험을 증대시킬 수 있는 액츄에이터(140) 및 웨어러블 슈트 등의 훈련자 인지 장치의 작동 시나리오 구현을 담당한다.

전달받은 데이터는 중앙제어장치(300)에서 Threshold 값 정의 등을 통해 지나치게 큰 값을 걸러내거나 low pass filter 등을 적용하여, 필터링하고 간단한 데이터 처리 공정(S120)을 거친 다음 차량상태와 연관된 실질 물리량으로 변환(S130)하게 되며, 센서모듈에서 수집된 데이터는 전기신호값으로써 이를 차량 상태에 관련된 실질 물리량으로 변환하는 작업이 필요하다.

핸들 위치와 의자 위치 조정값은 사전에 의자 혹은 핸들을 가장 앞(또는 위)과 가장 뒤(또는 아래)에 위치시키고 그 때의 전기 신호값을 각각 측정, 기록하여 전기신호 변화에 따른 의자 혹은 핸들 위치 변화를 비례적으로 계산하며 이 계산 위치값을 VR 훈련 영상으로 표시한다.

핸들 회전각 및 페달 작동각 역시 사전에 기본 위치와 일정 각도 조작 시의 전기 신호값을 회전각도와 비례하여 회전각을 계산한다. 계산된 핸들 회전각과 가속/제동 페달 작동값은 현 차량의 위치, 속도, 가속도, 조향각 등과 함께 중앙제어장치(300) 내 물리엔진에 포함된 차량 동역학모델에 의해 차량 상태가 다시 계산되어 역시 VR 훈련 영상으로 표현된다.

상기 작동 시나리오 구현은 사전에 차량 혹은 조종수 의자에서 차량의 가속, 제동, 선회, 험지 주행 등 시에 발생되는 차량의 진동 움직임을 측정 또는 계산하고, 제한된 액츄에이터 사양과 훈련 효과 등을 고려하여 시뮬레이터 차량 조종 훈련 중에 이를 적절하게 재현하는 하는 것이다.

사전에 측정 또는 계산된 데이터가 고려된 시뮬레이터 물리엔진 내 차량 동역학 모델에서 차량의 움직임을 계산하고, 이 움직임 값에 액츄에이터 사양범위를 기준값으로 한 로우 패스 필터(Low Pass Filter)를 적용하여 액츄에이터 사양에 적합한 저주파 움직임 진동만 선별적으로 구현(S140)하고, 지나치게 과도한 충격은 비례상수 γ를 적용하여 실제보다 크기 자체는 줄어들지만 상황변화에 따른 진동 크기 변화는 모사함으로써, 단계별로 완화하여 현실과 유사한 물리적 피드백을 다시 시뮬레이터로 전달(S150)한다. 또는 시동 on/off 등 특수상황 및 포장도로/비포장도로/자갈길에서의 정속 직진 주행 등 단순 주행상황은 사전에 상황별로 액츄에이터 주파수와 진폭 값 등을 셋팅한 구현 시나리오를 설정해 놓고 구현할 수도 있다.

구현 방식의 차이는 중앙제어장치(300)의 사양과 시뮬레이터별 구현 수준에 따라 달라질 수 있다

상기 물리엔진은, 중앙제어장치(300) 내에 설치되어 훈련영상 및 GUI 메뉴 등을 구현하기 위한 소프트웨어이며 그 내부에는 차량 동역학 모델이 내장되어 현실감 있는 차량의 움직임을 계산하여 이를 영상과 액츄에이터(140)와 웨어러블 슈트에 반영될 수 있도록 한다.

중앙제어장치(300)에 포함된 GUI S/W에서는 훈련 중 필요 기능의 선택, 조정 외에 시뮬레이터 장치를 직접 제어할 수 있는 기능을 포함한다.

직접 제어 기능이란 시뮬레이터의 전원을 차단하거나 실내등의 점멸 그리고 가상현실 영상 외에 계기판 등의 외부 표시장치의 상태변화 제어 및 긴급 경보/정지 등을 포함하며, 이러한 기능은 GUI 메뉴 상에서 조종 훈련자가 선택하거나 또는 외부의 교관 등이 원격으로 선택하여 실행할 수도 있다.

또한, 액츄에이터(140)의 이상 여부 및 훈련자의 체온, 맥박 등의 센싱을 통해 중앙제어장치(300)가 사전에 설정된 범위를 넘어가는 이상값의 발생을 감지 시에는 긴급 경보 또는 시스템 정지기능을 자동 실행할 수도 있다.

이후, 전기제어장치(400)는 중앙제어장치(300)로부터 액츄에이터(140), 웨어러블 슈트의 작동 시나리오를 전송받아 이를 작동시킬 수 있는 전기 제어신호를 발생시킨다.

또한, 시스템을 직접 제어하여 전원을 차단하거나 실내등을 점멸하고, 계기판 등의 외부 표시장치 변화를 제어하고, 긴급 경보를 발생시키거나, 시스템 긴급 정지를 위한 전기 제어신호를 발생시킨다.

상술한 일련의 과정을 거쳐 발생된 전기 제어신호는 다시 시뮬레이터(100) 안으로 들어가 시스템을 직접 제어하거나, 액츄에이터(140)에서의 모드별 움직임을 구현하거나, 계기판 등의 외부 표시장치를 제어하거나, 긴급경보를 발생시키는 등 도 4과 같이 기존 대비 사용자의 훈련 몰입감과 효과를 극대화할 수 있는 가상현실 조종수 시뮬레이터용 제어 시스템을 효율적으로 구성할 수 있도록 제공된다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.

100 : 시뮬레이터 110 : 조종장치
111 : 근접센서 112 : 회전센서
120 : 조종석 의자 130 : 기본장치
131 : 기타센서 140 : 액츄에이터
141 : 거리센서 142 : 가속도센서
143 : 자이로센서 144 : 생체신호 측정 센서
200 : 네트워크 서버 300 : 중앙제어장치
400 : 전기제어장치

Claims (9)

1. 시뮬레이터(A), 중앙제어장치(B), 전기제어장치(C) 및 네트워크 서버(D)를 포함하는 가상현실 조종수 시뮬레이터용 제어 시스템에 있어서,
   조정석 의자, 웨어러블 슈트, 계기판 등을 포함하는 기본장치;
   구동체를 가상으로 조종할 수 있도록 하는 조종장치;
   구동체의 움직임 및 진동을 훈련자에게 전달해주는 액츄에이터; 및
   GUI S/W를 포함한 가상현실 훈련 영상의 표시장치;를 포함하는 시뮬레이터(A);
   네트워크 서버로부터 전송받은 데이터를 정리하여 차량 상태와 관련된 실질 물리량으로 변환하는 기능을 수행하는 중앙제어장치(B); 및
   상기 중앙제어장치로부터 훈련자 인지 장치의 작동 시나리오를 전송받아 이를 작동시키거나 중단시킬 수 있는 실질 제어신호를 발생시키는 전기제어장치(C); 및
   상기 시뮬레이터에 유선 또는 무선으로 연결되어 시뮬레이터의 장치들이 발행한 데이터 메시지를 수집하고 전송하는 네트워크 서버(D);를 포함하는 가상현실 조종수 시뮬레이터용 제어 시스템.
   
2. 제 1항에 있어서,
   상기 네트워크 서버는,
   MQTT Broker 서버인 가상현실 조종수 시뮬레이터용 제어 시스템.
   
3. 제 1항에 있어서,
   상기 조종장치는,
   조종핸들, 가속페달, 제동페달, 주차페달 및 변속기어 등의 운전장비를 포함하는 가상현실 조종수 시뮬레이터용 제어 시스템.
   
4. 제 3항에 있어서,
   상기 조종장치의 운전장비에 각각 필요한 센서모듈들이 장착되어 있어서,
   상기 운전장비의 각각의 특성에 적합한 물리량을 센싱하여 데이터를 전송하는 것을 특징으로 하는 가상현실 조종수 시뮬레이터용 제어 시스템.
   
5. 제 1항에 있어서,
   상기 액츄에이터는,
   가속도센서 또는 자이로센서 등이 포함된 센서모듈이 장착되어 있어서,
   시뮬레이터의 진동 또는 움직임의 결과값을 센싱하여 중앙제어장치쪽으로 전송함으로써,
   상기 시뮬레이터의 제어, 모니터링 및 이상발생 여부 진단에 활용되는 것을 특징으로 하는 가상현실 조종수 시뮬레이터용 제어 시스템.
   
6. 제 1항에 있어서,
   상기 액츄에이터는,
   핸들 위치, 의자 위치 변화를 감지할 수 있는 거리센서 및 체험자의 체온, 맥박 등을 센싱하는 생체신호 측정 센서를 추가로 포함하여, 알람 및 응급정지에 활용되는 것을 특징으로 하는 가상현실 조종수 시뮬레이터용 제어 시스템.
   
7. 제 1항에 있어서,
   상기 중앙제어장치는,
   시뮬레이터에서의 센싱값들을 디지털 변환하여 네트워크 서버를 통해 중앙제어장치로 전송하는 단계;
   상기 전송된 데이터를 필터링하는 단계;
   상기 필터링된 데이터를 처리하여, 차량상태와 연관된 실질 물리량으로 변환시키는 단계;
   상기 변환된 데이터를 로우 패스 필터를 적용하여 액츄에이터 사양에 적합한 저주파의 움직임 또는 진동을 선별하는 단계; 및
   상기 선별된 데이터를 기준으로 과도한 충격을 단계별로 완화하여 현실과 유사한 물리적 피드백을 상기 시뮬레이터로 전달하는 단계;를 통해 시스템을 제어하는 가상현실 조종수 시뮬레이터용 제어 시스템.
   
8. 제 7항에 있어서,
   상기 시뮬레이터에서의 센싱값들을 디지털 변환하여 네트워크 서버를 통해 중앙제어장치로 전송하는 단계는,
   시뮬레이터 운전장비 각각의 센서모듈에서 센싱값들을 디지털 데이터로 변환하는 단계;
   상기 디지털 데이터에 MQTT(Message Queue for Telemetry Transport)를 적용하고, Topic 구조에 Message 발행(Publish)과 구독(Subscribe)을 이용한 EDA(Event Driven Architecture)를 적용하는 단계; 및
   각 장치 또는 신호를 식별할 수 있는 ID로 나타내어지는 Topic과 센싱 데이터 또는 그 데이터의 가공값과 기타 데이터를 함께 네트워크 서버로 전송하는 단계를 포함하는 것을 특징으로 하는 가상현실 조종수 시뮬레이터용 제어 시스템.
   
9. 제 7항에 있어서,
   상기 변환된 데이터를 로우 패스 필터를 적용하여 액츄에이터 사양에 적합한 저주파의 움직임 또는 진동을 선별하는 단계는,
   액츄에이터 사양에 적합한 저주파 움직임 진동만 선별적으로 구현하거나 또는 포장도로/비포장도로/자갈길 등 노면의 종류와 차량 속도에 맞추어 사전에 상황별 액츄에이터 주파수를 설정해 놓고 구현하는 것을 특징으로 하는 가상현실 조종수 시뮬레이터용 제어 시스템.
   

Images