KR20180134459A

KR20180134459A - 무인차량의 원격통제장치 및 그 운용방법

Info

Publication number: KR20180134459A
Application number: KR1020170071715A
Authority: KR
Inventors: 장혜민; 이호주; 장원범; 최준성
Original assignee: 국방과학연구소
Priority date: 2017-06-08
Filing date: 2017-06-08
Publication date: 2018-12-19
Also published as: KR102055422B1

Abstract

무인차량의 원격통제장치가 개시된다. 무인차량의 원격통제장치는, 로봇의 감시부를 통해 촬영된 영상을 표시하는 영상전시기와 로봇의 위치를 표시하는 상황전시기를 포함하는 원격통제장치에 있어서, 상황에 따른 영상의 설정이 가능한 한 개의 주전시 화면; 상기 주전시 화면과 인접하여 배치되는 복수 개의 보조전시 화면; 및 상기 주전시 화면과 인접하여 배치되는 상황처리기 GUI 화면;을 포함한다.

Description

무인차량의 원격통제장치 및 그 운용방법{REMOTE CONTROL APPARATUS OF UNMANNED VEHICLE AND ITS OPERATING METHOD}

본 발명은 무인차량의 원격통제장치 및 그 운용방법에 관한 것으로, 보다 상세하게는 주요시설 감시용 무인차량의 효과적인 영상전시를 위하여, 감시장치(CCD/IR), 측후방 카메라, 주야간 주행합성카메라, 안개 등 악천후시에 대비한 초저조도 카메라를 탑재한 로봇플랫폼과 통신기지국, 라우터 및 통합상황처리기/전시기로 구성되는 무인차량의 원격통제장치 및 그 운용방법에 관한 것이다.

국방, 사회안전 등 전반적인 분야에서 로봇 기술은 실용화가 신속히 예상되는 핵심적 기술로서 국가 주요/기반시설 및 군 기지 감시경계/방호 분야에 그 활용성이 매우 높다.

특히, 전쟁 및 테러와 같은 위험 환경하에서 사람이 직접 투입되어 침입자를 제압하기 이전에 로봇을 통하여 침입자에 대한 조기 탐지, 신속 대응/확인 등의 위험한 임무를 대신하도록 함으로써 인명손실 최소화 및 임무수행 효과를 증대시킬 수 있다.

무인로봇의 운용상의 안전성 확보를 위하여, 위급한 상황 발생시 원격에 위치한 통제소에서의 원격제어 기반의 임무장비 운용 및 원격기동 등의 운용자 개입은 필수적이며, 이를 위해서는 다종의 영상에 대한 원격 영상전시기를 통한 효과적인 상황인지가 가능해야 한다.

기존 유사시스템으로 경전투용 다중로봇의 영상전시기에서는 다소 복잡한 임무수행을 요구하는 전투용 로봇의 특성상 복수 대의 로봇(무인차량)을 복수의 운용자가 복수 대의 운용스테이션을 활용하여 통제하는 개념이었으나, 주요시설(비행장, 산업기지 등) 방호/경계와 같은 비교적 단순한 형태의 임무 수행을 목적으로 하는 로봇의 경우 사전 정의된 임무시나리오를 기반으로 원격 통제소에서 운용자 1명이 1대 혹은 다수의 로봇에 대한 통제가 가능하다.

그러나, 1 명의 운용자가 원격으로 로봇을 기동하면서 원격으로 임무장비를 운용할 경우, 로봇의 기동을 위한 제어 또는 임무 장비의 운용을 위한 제어가 제대로 되지 않을 위험성이 있다.

이에, 한 명의 운용자가 1대 이상의 로봇으로부터 수신된 다수의 영상을 효과적으로 확인 가능하도록, 1대 이상의 전시기 활용 및 임무 특화된 배치를 제공하고, 최소한의 설정만으로 운용 가능한 방법이 필요한 실정이다.

대한민국 등록특허 제10-1448278호

본 발명은 전술한 문제점을 해소하고 필요성을 충족시키기 위하여 안출된 것으로, 수행임무에 특화된 자동화된 영상배치 방법과 운용자의 인체공학적 특성을 고려한 최소한의 설정으로 운용자의 운용편의성의 향상될 수 있는, 무인차량의 원격통제장치 및 그 운용방법을 제공하기 위한 것이다.

전술한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른, 무인차량의 원격통제장치는, 로봇의 감시부를 통해 촬영된 영상을 표시하는 영상전시기와 로봇의 위치를 표시하는 상황전시기를 포함하는 원격통제장치에 있어서, 상황에 따른 영상의 설정이 가능한 한 개의 주전시 화면; 상기 주전시 화면과 인접하여 배치되는 복수 개의 보조전시 화면; 및 상기 주전시 화면과 인접하여 배치되는 상황처리기 GUI 화면;을 포함한다.

상기 원격통제장치는, 무선통신 및 이더넷을 통해 수신한 다종의 압축영상을 복수대의 영상처리기를 통해 복원처리 및 복수대의 영상전시기 상에 전시가능하고, 임무특성에 따라 배치 변경 가능한 것을 특징으로 한다.

상기 주전시 화면은, 터치스크린 기반의 설정 메뉴를 포함하며, 영상전시장치의 중심을 기준으로 우측하단이나 좌측하단에 배치되는 것을 특징으로 한다.

상기 보조전시 화면은, 영상전시장치의 중심을 기준으로 좌측이나 우측에 상하로 배치되는 것을 특징으로 한다.

상기 원격통제장치는, 주간주행, 야간주행, 주간감시, 야간감시로 분류되는 임무유형별 특성에 따라 전시할 영상을 나타내는 것을 특징으로 한다.

주간주행시 전방 지형을 비추는 주간전방합성영상과 주간감시를 위한 CCD, 감시IR, 초저조도 영상을 나열된 순서로 전시하고, 주행시 주변 위협 감지를 위한 측후방카메라 영상을 전시하는 것을 특징으로 한다.

야간주행시 전방은 주전시화면에 야간주행합성을 배치하고, 감시영상은 CCD 대신 야간 IR을 확대전시하도록 배치하는 것을 특징으로 한다.

주간감시 임무수행시에는 주전시화면에 감시 CCD를, 야간감시 임무시에는 감시IR을 주전시화면에 배치 및 좌하단은 주행시 필요한 전방 및 측후방 영상을 배치하는 것을 특징으로 한다.

야간감시 임무수행시에는 상황인지가 가능하도록 감시IR과 초저조도 영상을 확대전시하는 것을 특징으로 한다.

상기 주전시 화면의 영상배치 설정메뉴는, 영상전시영역, 프레임 선택영역, 영상선택 영역을 포함하는 것을 특징으로 한다.

상기 영상선택 영역은, 로봇선택영역, 전시기 선택영역, 영상소스 선택영역을 포함하는 것을 특징으로 한다.

상기 프레임 선택영역은 임무유형 기반으로 선택시에는 각각 주간주행, 야간주행, 주간감시, 야간감시의 4가지 임무유형에 대한 기 설정된 영상배치에 따라 복수대의 전시기에 적용되는 것을 특징으로 한다.

전술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 무인차량의 원격통제장치 운용방법은, 운용로봇ID, 실행중인 임무유형ID에 따라 실행중인 임무특성 기반으로 운용중인 로봇이 자동선택되고, 운용중인 임무유형에 따라 영상 배치 및 영상설정이 자동으로 이루어지는 것을 특징으로 한다.

본 발명에 따르면, 주요시설 감시용 무인차량의 원격통제장치에서의 영상전시기의 효과적인 운용과 관련하여, 수행임무에 특화된 자동화된 영상배치 방법과 운용자의 인체공학적 특성을 고려한 최소한의 설정으로 운용 가능하며, 이를 통하여 운용자의 운용편의성이 향상되는 효과가 있다.

도 1은 본 발명에 따른 원격통제장치를 포함하는 전체 시스템 구성을 나타내는 블록도,
도 2a 내지 도 2e는 본 발명에 따른 원격통제장치의 영상전시기 화면 구성 및 임무 유형별 배치방법을 나타내는 개략도,
도 3a 내지 도 3b는 본 발명에 따른 주전시화면 영상 배치 활성화를 나타내는 예시도,
도 4는 본 발명에 따른 주전시화면 영상 배치 설정 메뉴의 영역을 나타내는 개략도,
도 5는 본 발명에 따른 영상배치 설정절차를 나타내는 순서도이다.

본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에 따른 원격통제장치를 포함하는 전체 시스템 구성을 나타내는 블록도이다.

도 1을 참조할 때, 본 발명에 따른 원격통제장치를 포함하는 전체 시스템은, 크게 로봇 플랫폼(10)과 상황통제소(20)를 포함한다.

로봇플랫폼(10)은 감시장치(11, CCD/IR), 측후방 카메라(13), 주야간 주행합성카메라(15), 안개 등 악천후시에 대비한 초저조도 카메라(16)를 탑재하고 있으며, 각종 입력영상에 대한 압축영상을 이더넷과 무선통신단말기를 거쳐서 원격 상황통제소로 전송한다.

상황통제소(20)는 통신기지국(22), 라우터(23) 및 원격통제장치(21)를 포함하며, 원격통제장치(21)는 통합상황처리기(21d)/전시기(21c)로 구성되는 임무처리장치와 복수대의 영상처리기(21b)/전시기(21a)로 구성되는 영상전시장치 및 햅틱장치로 구성된다. 영상전시장치는 무선통신 및 이더넷을 통해 수신한 압축영상을 복수대의 영상처리기를 통해 복원처리 후 복수대의 영상전시기 상에 전시한다.

원격통제장치는, 무선통신 및 이더넷을 통해 수신한 다종의 압축영상을 복수대의 영상처리기를 통해 복원처리 및 복수대의 영상전시기 상에 전시 가능하고, 임무특성에 따라 배치 변경 가능하다.

도 2a 내지 도 2e는 본 발명에 따른 원격통제장치의 영상전시기 화면 구성 및 임무 유형별 배치방법을 나타내는 개략도이며, 도 3a 내지 도 3b는 본 발명에 따른 주전시화면 영상 배치 활성화를 나타내는 예시도이며, 도 4는 본 발명에 따른 주전시화면 영상 배치 설정 메뉴의 영역을 나타내는 개략도이다.

도 2a 내지 도 4를 참조할 때, 본 발명에 따른 원격통제장치는, 로봇의 감시부를 통해 촬영된 영상을 표시하는 영상전시기와 로봇의 위치를 표시하는 상황전시기를 포함하는 원격통제장치(21)에 있어서, 상황에 따른 영상의 설정이 가능한 한 개의 주전시 화면(110); 상기 주전시 화면(110)과 인접하여 배치되는 복수 개의 보조전시 화면(120, 130); 및 상기 주전시 화면(110)과 인접하여 배치되는 상황처리기 GUI 화면(140);을 포함한다.

주전시 화면(110)은 모든 영상전시기에 전시되는 영상의 각종 설정이 가능한 화면으로, 터치스크린 기반의 설정 메뉴를 포함하고 있으며, 운용자의 인체공학적 특성(오른손잡이의 터치 범위)을 고려하여 영상전시장치의 중심을 기준으로 우측 하단에 배치할 수 있으나, 왼손잡이의 터치 범위를 고려하여 영상전시장치의 중심을 기준으로 좌측 하단에 배치할 수 있다.

보조전시화면(120, 130)은 중심을 기준으로 좌측 상단과 하단에 배치하였으며, 전시기 수 확장시 주전시화면(110)을 기준으로 양쪽 및 상단에 추가 확장 가능하다.

도 2b 내지 도 2e는 주간주행, 야간주행, 주간감시, 야간감시의 4가지로 분류되는 임무유형별 특성에 따라 전시할 영상을 나타내고 있다.

도 2b를 참조하면, 주간주행시 전방 지형을 비추는 주간전방합성영상과 주간감시를 위한 CCD, 감시IR, 초저조도 영상을 나열된 순서로 전시하고, 주행시 주변 위협 감지를 위한 측후방카메라 영상을 전시한다. 또한, 운용자 주전시화면(110)에 전방 주간주행합성 영상을 배치하고, 좌하단에 측후방 영상을, 좌상단에는 감시영상을 배치할 수 있다.

도 2c를 참조하면, 야간주행시 전방은 주전시화면에 야간주행합성을 배치하고, 감시영상은 CCD 대신 야간 IR을 확대전시하도록 배치할 수 있다.

도 2d를 참조할 때, 주간감시 임무수행시에는 주전시화면에 감시 CCD를, 야간감시 임무시에는 감시IR을 주전시화면(110)에 배치 및 좌하단은 주행시 필요한 전방 및 측후방 영상을 배치한다.

또한, 도 2e를 참조할 때, 야간감시 임무수행시에는 조금이라도 높은 해상도에서 상황인지가 가능하도록 감시IR과 초저조도 영상을 확대전시할 수 있다.

도 3a 및 도 3b를 참조할 때, 필요시, 운용자에 의한 화면배치 및 영상관련 수동설정이 가능하다.

도 3a와 같이 운용자가 주전시 화면 우측 끝에서 화면 안쪽으로 드래그시 영상배치 설정 메뉴로 화면이 전환되고, 운용자에 의한 영상배치 수동설정 기능이 활성화 된다. 화면 아무곳이나 터치시 설정메뉴가 비활성화되며 원래 화면으로 복귀한다. 도 3b에서와 같이 전시화면이 3개인경우 좌상단 전시기 설정시, 주전시화면 설정시, 좌하단 보조전시화면 설정시로 드래그 영역을 3등 분할 지정하여 사용가능하다.

도 4를 참조할 때, 주전시 화면 영상배치 설정메뉴의 영역 구분은 영상전시영역(110)과 프레임선택영역(115, 117), 영상선택 영역(113)으로 구성된다.

영상전시영역(110)은 운용자 설정에 따라 입력영상들이 전시되는 영역으로, 운용자에 의한 설정 변경시 실시간 적용되어 설정에 따른 결과를 확인할 수 있다. 영상선택영역은(113) 로봇선택영역(113a과 전시기 선택영역(113b), 영상소스 선택영역(113c)으로 구분된다. 운용중인 로봇이 아니더라도, 영상전시를 원하는 로봇 변경이 가능하고, 전시기 선택 후 영상소스를 선택하면 해당화면에 바로 적용된다. 영상소스 선택은 해당전시기에 전시가능한 개수만큼 선택하면 순서대로 좌상->우상->좌하->우하 의 순으로 설정이 적용된다.

프레임선택영역(115)은 임무유형 기반으로 (115a)~(115d) 중 선택하거나, 그 이외의 프레임형태(115e) 중에 선택가능하다. 임무유형 기반으로 선택시에는 각각 주간주행, 야간주행, 주간감시, 야간감시의 4가지 임무유형에 대한 기 정의된 영상배치에 따라 복수대의 전시기에 바로 적용된다.

선택한 전시기에 대해 기 정의된 영상배치가 아닌 다른 프레임형태의 적용을 원할 경우에는 (115e)를 누르면, 하단 메뉴바의 형태가 프레임 선택영역(117)로 전환되고, 원하는 영상배치 프레임 선택시 선택된 전시기에 바로 적용된다.

도 5는 본 발명에 따른 영상배치 설정절차른 나타내는 순서도이다.

도 5를 참조할 때, 무인차량의 원격통제장치를 이용한 원격통제장치 운용방법에 있어서, 운용로봇ID, 실행중인 임무유형ID에 따라 실행중인 임무특성 기반으로 운용중인 로봇이 자동선택되고, 운용중인 임무유형에 따라 영상 배치 및 영상설정이 자동으로 이루어지는 것을 특징으로 한다.

이에, 본 발명에 따르면, 주요시설 감시용 무인차량의 원격통제장치에서의 영상전시기의 효과적인 운용과 관련하여, 수행임무에 특화된 자동화된 영상배치 방법과 운용자의 인체공학적 특성을 고려한 최소한의 설정으로 운용 가능하며, 이를 통하여 운용자의 운용편의성이 향상되는 효과가 있다.

앞서 살펴본 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(이하 '당업자'라 한다)가 본 발명을 용이하게 실시할 수 있도록 하는 바람직한 실시 예일 뿐, 전술한 실시 예 및 첨부한 도면에 한정되는 것은 아니므로 이로 인해 본 발명의 권리범위가 한정되는 것은 아니다. 따라서, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 당업자에게 있어 명백할 것이며, 당업자에 의해 용이하게 변경 가능한 부분도 본 발명의 권리범위에 포함됨은 자명하다.

110: 주전시 화면
120: 보조전시 화면
130: 보조전시 화면
140: 상황처리기 GUI 화면

Claims

로봇의 감시부를 통해 촬영된 영상을 표시하는 영상전시기와 로봇의 위치를 표시하는 상황전시기를 포함하는 원격통제장치에 있어서,
상황에 따른 영상의 설정이 가능한 한 개의 주전시 화면;
상기 주전시 화면과 인접하여 배치되는 복수 개의 보조전시 화면; 및
상기 주전시 화면과 인접하여 배치되는 상황처리기 GUI 화면;을 포함하는 무인차량의 원격통제장치.
제1항에 있어서,
상기 원격통제장치는, 무선통신 및 이더넷을 통해 수신한 다종의 압축영상을 복수대의 영상처리기를 통해 복원처리 및 복수대의 영상전시기 상에 전시 가능하고, 임무특성에 따라 배치 변경 가능한 것을 특징으로 하는 무인차량의 원격통제장치.
제1항에 있어서,
상기 주전시 화면은, 터치스크린 기반의 설정 메뉴를 포함하며, 영상전시장치의 중심을 기준으로 우측하단이나 좌측하단에 배치되는 것을 특징으로 하는 무인차량의 원격통제장치.
제1항에 있어서,
상기 보조전시 화면은, 영상전시장치 화면의 중심을 기준으로 좌측이나 우측에 상하로 배치되는 것을 특징으로 하는 무인차량의 원격통제장치.
제1항에 있어서,
상기 원격통제장치는, 주간주행, 야간주행, 주간감시, 야간감시로 분류되는 임무유형별 특성에 따라 전시할 영상을 나타내는 것을 특징으로 하는 무인차량의 원격통제장치.
제5항에 있어서,
주간주행시 전방 지형을 비추는 주간전방합성영상과 주간감시를 위한 CCD, 감시IR, 초저조도 영상을 나열된 순서로 전시하고, 주행시 주변 위협 감지를 위한 측후방카메라 영상을 전시하는 것을 특징으로 하는 무인차량의 원격통제장치.
제5항에 있어서,
야간주행시 전방은 주전시화면에 야간주행합성을 배치하고, 감시영상은 CCD 대신 야간 IR을 확대전시하도록 배치하는 것을 특징으로 하는 무인차량의 원격통제장치.
제5항에 있어서,
주간감시 임무수행시에는 주전시화면에 감시 CCD를, 야간감시 임무시에는 감시IR을 주전시화면에 배치 및 좌하단은 주행시 필요한 전방 및 측후방 영상을 배치하는 것을 특징으로 하는 무인차량의 원격통제장치.
제5항에 있어서,
야간감시 임무수행시에는 상황인지가 가능하도록 감시IR과 초저조도 영상을 확대전시하는 것을 특징으로 하는 무인차량의 원격통제장치.
제1항에 있어서,
상기 주전시 화면의 영상배치 설정메뉴는, 영상전시영역, 프레임 선택영역, 영상선택 영역을 포함하는 것을 특징으로 하는 무인차량의 원격통제장치.
제10항에 있어서,
상기 영상선택 영역은, 로봇선택영역, 전시기 선택영역, 영상소스 선택영역을 포함하는 것을 특징으로 하는 무인차량의 원격통제장치.
제10항에 있어서,
상기 프레임 선택영역은 임무유형 기반으로 선택시에는 각각 주간주행, 야간주행, 주간감시, 야간감시의 4가지 임무유형에 대한 기 설정된 영상배치에 따라 복수대의 전시기에 적용되는 것을 특징으로 하는 무인차량의 원격통제장치.
제1항에 따른 무인차량의 원격통제장치를 이용한 원격통제장치 운용방법에 있어서,
운용로봇ID, 실행중인 임무유형ID에 따라 실행중인 임무특성 기반으로 운용중인 로봇이 자동선택되고, 운용중인 임무유형에 따라 영상 배치 및 영상설정이 자동으로 이루어지는 것을 특징으로 하는 무인차량의 원격통제장치를 이용한 원격통제장치 운용방법.