KR101957896B1 - 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법 - Google Patents

원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법 Download PDF

Info

Publication number
KR101957896B1
KR101957896B1 KR1020180075787A KR20180075787A KR101957896B1 KR 101957896 B1 KR101957896 B1 KR 101957896B1 KR 1020180075787 A KR1020180075787 A KR 1020180075787A KR 20180075787 A KR20180075787 A KR 20180075787A KR 101957896 B1 KR101957896 B1 KR 101957896B1
Authority
KR
South Korea
Prior art keywords
image
information
vehicle
remote
display
Prior art date
Application number
KR1020180075787A
Other languages
English (en)
Inventor
김준원
박현철
강창근
Original Assignee
한화시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템(주) filed Critical 한화시스템(주)
Priority to KR1020180075787A priority Critical patent/KR101957896B1/ko
Application granted granted Critical
Publication of KR101957896B1 publication Critical patent/KR101957896B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

차량에 설치되어 적어도 차량 전방 실영상을 포함한 실영상 정보 획득을 위한 실영상 정보 획득 장치와, 차량 운행 정보 및 차량 주행 상태 정보 가운데 적어도 하나를 획득하여 영상 정보로 변환하는 영상화 장치와, 실영상 정보 획득 장치 및 영상화 장치의 실영상 및 영상 정보를 받아서 조합하여 차량과 떨어진 원격지에 설치된 하나의 원격 모니터를 통해 통합영상으로 나타내는 디스플레이 장치를 구비하여 이루어지는 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 이를 이용한 디스플레이 방법이 개시된다.
본 발명에 따르면, 차량을 원격으로 운용 시, 주행영상 위에 상황도 상의 개체정보와 임무/경로계획 등을 오버레이하여 전시함으로써(화면 상에 겹치도록 표시함으로써) 원격 운전자 혹은 원격 운영자가 하나의 화면에 집중하게 하여 상황인식을 향상시킬 수 있으며, 단일 디스플레이 장치 화면(원격 모니터 화면)을 적용할 수 있어 시스템의 소형 경량화가 가능하다.

Description

원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법{integrated image and situation display system for remote control and method of displaying the same}
본 발명은 원격으로 차량 등을 제어할 때 차량 등으로부터 수신된 주행 영상 혹은 운영 영상에 차량의 임무계획정보와 각종 상황정보 등을 원격지 모니터에 통합적으로 일목 요연하게 나타낼 수 있는 시스템 및 방법에 관한 것이다.
근래에 각종 차량(탈것 혹은 운송수단 일반을 포함하는 개념임)의 자율주행에 대한 요구가 급속히 늘어나고 있으며, 자율주행은 그 단계의 하나로서 원격주행 혹은 원격 운전의 기술을 포함하여 생각될 수 있다.
원격주행은 주행차량과 이격되어 정보를 주고받는 데 지연시간이 걸릴 수 있고, 원격지에 주어지는 영상 정보는 한정된 시야를 가지는 경우가 많아 현장의 주행차량에서 직접 탑승한 상태로 운전을 하는 것에 비해 원격 운전은 많은 어려움을 가진다.
또한, 현장 운전에서는 운전자 주위에 다수의 계기판, 네비게이션 장치 등 운전 보조 수단이 설치되어 주변 상황과 함께 차량의 각종 정보 수집용 센서 등에서 입수된 정보를 나타내는 계기판 정보도 함께 인식하고 운전을 하게 되지만, 원격운전 차량 운용 시 종래 원격운전 시스템은 주행영상 화면과 상황도 화면을 별도로 전시하여 운용하고, 원격 운전자는 주행영상용 모니터 및 상황도 위주로 시야가 고정되어 현장의 차량 주변 정보를 충분히 인식하지 못하기가 쉽다.
즉, 종래의 방법은 원격운전자가 주행영상과 상황도 화면을 각각 확인하면서 무인차량을 운용해 왔고, 이 방법은 원격운전자가 상황도 상의 개체정보를 기억하고 영상을 보면서 개체의 위치를 대략 짐작하면서 운용하기 때문에, 부정확하면서 급변하는 상황에 신속하게 대응하기 어렵다.
최근의 헤드업 디스플레이(HUD)는 현장 운전에서의 시야의 분산을 줄여 운전을 용이하게 하는 역할을 하는데, 이런 운전 보조 장치의 기술 발전 경향을 고려할 때 주행 영상과 별도로 상황도 화면을 확인하면서 하는 원격 운전은 현장 운전에 비해 매우 열악한 운전조건에 있게 됨을 더 잘 알 수 있다.
대한민국 등록특허 10-1568397 : 원격 조정기 대한민국 등록특허 10-1747375 : 차량 원격제어 장치 및 방법, 원격 운전 시스템 대한민국 등록특허 10-1821108 : 차량 시스템 및 원격 제어 방법 대한민국 등록특허 10-1827075 ; 차량 원격 주행 제어 시스템
본 발명은 원격 운전을 함에 있어서, 운전에 기본적인 전방 영상과 함께 차량의 임무계획정보와 각종 상황정보 등 운행 및 운전 정보를 원격 운전자가 쉽게 인식할 수 있도록 일목 요연하게 나타낼 수 있는 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 제한된 일 측면에 따르면, 차량의 위치나 자세와 같은 항법정보와 초점거리 등 카메라 설정정보를 이용하여 경로계획정보(좌표), 차량 상황정보 등을 모니터 화면의 적절한 위치 혹은 좌표에 나타나도록 변환하여 표시할 수 있는 영상 및 상황 디스플레이 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명은, 주행 영상 위에 상황도 상의 개체정보를 오버레이하여 전시함으로써 하나의 화면에 집중하게 하여 상황인식을 향상시키고, 단일 표시 화면을 적용할 수 있어 소형 경량화가 용이한 영상 및 상황 디스플레이 시스템 및 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 디스플레이 시스템은,
차량에 설치되는, 적어도 차량 전방 실영상을 포함한 실영상 정보 획득을 위한 실영상 정보 획득 장치와,
차량 운행 정보 및 차량 주행 상태 정보 가운데 적어도 하나를 획득하여 영상 정보로 변환하는 영상화 장치와,
실영상 정보 획득 장치 및 영상화 장치의 실영상 및 영상 정보를 받아서 조합하여 차량과 떨어진 원격지에 설치된 하나의 원격 모니터를 통해 통합영상으로 나타내는 디스플레이 장치를 구비하여 이루어진다.
본 발명 시스템에서 실영상 정보 획득 장치는 실내에 설치되어 주행차량 전방 창을 통해 전방 영상을 획득하는 전방 카메라를 구비하고, 영상화 장치는 주행차량 전방 창에 영상을 비추는 헤드업디스플레이를 구비하며, 디스플레이 장치는 전방 카메라에서 촬상된 영상 정보로서 헤드업디스플레이에서 전방 창으로 투사된 영상을 포함하는 통합 영상의 정보를 무선통신을 통해 원격지로부터 전송받아 원격 모니터에 영상으로 구현하도록 이루어진 것일 수 있다.
이러한 본 발명 실시예에서 영상화 장치가 얻은 적어도 하나의 차량 운행 정보 및 차량 주행 상태 정보에 대한 영상 정보, 실영상 정보 획득장치를 통해 얻은 차량 후방이나 측방과 같은 타방 실영상 정보 가운데 적어도 하나는 헤드업 디스플레이를 통해 차량 전방 창에 정보 영상으로서 투사되어 표현되고, 실영상 정보 획득 장치에 포함되어 전방 실영상 정보 획득에 이용되는 차량 실내 설치 전방 카메라는 차량 전방 창에 투사된 정보 영상을 그대로 창을 통해 전방에 보이는 전방 실영상과 함께 영상 정보로서 획득하여 원격지 모니터로 전송되도록 할 수 있다.
본 발명에서 정보 사이의 원격 송수신을 담당하는 무선통신장치는 본 발명 시스템에서 필수적으로 구비되며, 이상에서 언급된 본 발명의 요소 장치에 통합된 상태로 일체적으로 결합된 요소로 생각될 수도 있고, 별도 요소로 포함되는 것으로 생각될 수도 있다.
본 발명에서, 차량에 반드시 설치되어야 하는 카메라와 같은 실영상 정보 획득 장치와 차량 상태를 센싱하는 센서를 포함하여 차량 주행 상태 정보를 획득하는 영상화 장치와, 원격지에 설치되어야 하는 원격 모니터와 같이 특성상 설치 위치가 제한되는 요소를 제외한 다른 장치 혹은 장치의 부분들은 차량과 원격지에 필요에 따라 분배되어 설치될 수 있다.
본 발명에서 원격 모니터에 전방 실영상에 더하여 표시되는 다른 정보 및 영상은 시스템 설정에 따라 원격 모니터 화면 내에서 표시되는 영역을 나누어 화면 분할 방식으로 표현될 수도 있고, 전방 실영상을 나타내는 영역 내의 적당한 위치에 겹쳐져 표현될 수도 있고, 이들 방식을 혼용하여 표현될 수도 있다.
본 발명의 디스플레이 방법은,
본 발명 시스템에서 영상화 장치에서 획득되어 원격 모니터에 나타내어질 영상 혹은 영상 정보가 실영상 정보 획득 장치에서 획득되어 원격 모니터에 나타내어질 실영상 혹은 실영상 정보와 화면 내에서 서로 정확히 매칭되는 것이 필요한 경우에 주로 사용되는 것으로서,
실영상 정보 획득 장치에서 실영상 획득을 위해 구비되는 카메라의 차량 내에서의 상대적 위치와 지향방향, 촛점거리나 광축좌표 등 광학적 설정, 차량 자체의 자세와 위치를 포함하여 실영상을 결정하는 요소를 고려하여 원격 모니터 화면상의 각 위치(영상 좌표)에 대한 객관적인 2차원적 혹은 3차원적 좌표(월드 좌표)를 도출하는 제1변환을 준비하고,
영상화 장치를 통해 화면에 나타내고자 하는 표시(객체)를 결정하고, 이 표시를 구현하기 위한 점들의 객관적인 2차원적 혹은 3차원적 좌표를 계산하고, 제1 변환의 역변환을 통해 이 점들에 대한 원격 모니터 화면상의 위치를 알아내어, 디스플레이 장치에서 실영상과 겹치도록 실제 표시를 하는 과정을 통해 이루어질 수 있다.
본 발명에 따르면, 차량을 원격으로 운용 시, 주행영상 위에 상황도 상의 개체정보와 임무/경로계획 등을 오버레이하여 전시함으로써(화면 상에 겹치도록 표시함으로써) 원격 운전자 혹은 원격 운영자가 하나의 화면에 집중하게 하여 상황인식을 향상시킬 수 있으며, 단일 디스플레이 장치 화면(원격 모니터 화면)을 적용할 수 있어 시스템의 소형 경량화가 가능하다.
도1은 본 발명 시스템의 한 실시예에서 이루어지는 작용들을 개념적으로 설명하기 위한 개념도이다.
도2는 도1의 증강현실처리라고 표시된 처리 장치 혹은 컴퓨터 장치와 유사한 장치의 내부적 구성이나 동작을 나타내는 구성 개념도,
도3은 도2의 객체전시 모듈에 대한 하나의 구체적 실시예를 나타내는 구성 개념도,
도4는 도2의 객체영상좌표산출 모듈에 대한 하나의 구체적 실시예를 나타내는 구성 개념도,
도5는 객체의 월드좌표를 차량 내의 항법장치를 기준으로 변환하는 좌표계 변환행렬IV 및 관련 행렬식을 나타내는 도면,
도6은 좌표계 변환행렬 III과 좌표계 변환행렬IV를 곱하여 좌표계 변환행렬V를 얻는 행렬식을 나타내는 도면,
도7은 본 발명 시스템의 일 실시예에서 얻어지는 원격 모니터 화면이다.
이하 도면을 참조하면서 구체적 실시예를 통해 본 발명을 보다 상세히 설명하기로 한다.
도1은 본 발명 시스템의 한 실시예에서 이루어지는 작용들을 개념적으로 설명하기 위한 개념도이다.
도1에서는 본 발명의 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템을 적용할 수 있는 군사작전용 무인차량으로부터 무선으로 실시간으로 획득한 주행시의 전방 실영상(주행영상)을, 무인차량 항법정보 및 카메라 설정정보를 기반으로 운용자가 입력한 경로계획정보(좌표, 종류)와 군사작전 통합시스템 내의 타 체계로부터 수신한 각종 전장상황정보(좌표, 종류)와 함께 주행영상 기반 상항전시장치로서의 원격 모니터에 나타내는 상태를 보여주고 있다.
이를 위해 여기서는 현장에 있는 군사작전용 무인차량에 적어도 차량 전방의 실영상을 얻기 위한 전방 카메라를 포함하는 실영상 정보 획득 장치가 구비된다. 물론, 차량 좌측방, 우측방 실영상 정보 획득을 위한 2대의 측방 카메라, 차량 후방 실영상 획득을 위한 후방 카메라가 더 구비될 수 있다.
그리고, 차량 운행 정보 및 차량 주행 상태 정보 가운데 적어도 하나를 획득하여 영상 정보로 변환하는 영상화 장치에는, 차량의 위치와 자세에 관한 차량 항법정보를 알기 위한 장치로서 지도상 좌표와 차량의 요각(yaw angel), 피치각(pitch angle), 롤각(roll angle)을 알려주는 GPS 센서와 3차원 센서 등 차량 항법정보를 알려줄 수 있는 센서가 구비되고, 운용자 등에 의해 미리 카메라 설정 정보가 입력될 수 있다.
그리고, 카메라 설정 정보는 차량 위치와(엄밀하게는 차량 위치 및 자세를 알려주는 센서, GPS 센서, INS(관성항법장치) 등의 위치와) 차량에 설치된 각 카메라의 상대적 위치와 방향, 카메라의 광축 방향 및 초점거리 등 광학적 설정은 카메라 설정 정보로서 미리 정확히 알려져 시스템 컴퓨터의 메모리장치 내에 운영자(운전자, 조종자) 등에 의해 입력된다.
차량 항법정보와 카메라 설정 정보를 통합하면 카메라의 위치와 지향점 혹은 방향을 알 수 있고, 카메라로 촬상되는 대상 범위 내의, 원격 모니터에 표현되는 영상의 어떤 위치(영상 좌표)가 객관적인 지표상의 어떤 위치 혹은 고정적 건물이 표시되는 삼차원 공간 상의 어떤 위치(월드 좌표)에 해당될 것인지를 알 수 있고(결정할 수 있고), 월드 좌표는 도로나 하천 등 다양한 지형지물이 표시된 지도(MAP) 상의 좌표로 표시될 수도 있다.
이런 작용은 본 발명의 디스플레이 시스템 내에 구비된, 도1의 증강현실처리라고 표시된 것과 같은, 처리 장치 혹은 컴퓨터 장치에 의해 이루어질 수 있고, 보다 구체적으로 컴퓨터에 내장된 마이크로 프로세서와 메모리 및 변환처리 프로그램이 서로 유기적으로 결합된 상태에 있는 일 종의 변환 모듈을 통해 이루어질 수 있다. 이때 영상 좌표의 월드 좌표로의 변환 방식을 3차원 혹은 4차원 행렬 형태로 표시할 수 있고, 이런 행렬에서는 정방향과 역방향의 변환이 행렬식을 통해 매우 쉽게 이루어질 수 있다.
한편, 운용자가 입력한 경로계획정보(좌표, 종류)와 군사작전 통합시스템 내의 타 체계로부터 수신한 각종 전장상황정보(좌표, 종류)는 운용자(시스템 운전자 혹은 조종자)의 운전이나 조종을 위해 원격 모니터 화상에 표현되어야 할 일종의 객체들에 대한 정보를 이루며, 따라서, 본 실시예에서 원격 모니터에 차량에서 전송된 실영상과 함께 표시된다.
가령, 차량의 운전 경로는 네비게이션 장치의 화면 지도상에 표현되는 차량 운전 경로와 같이 현재의 원격 모니터 화상에 나타난 전방 실영상과 범위 내에서 선형으로 표시되고, 장애물과 같은 전장정보와 임무지점과 같은 위치상황정보는 미리 정해진 원이나 세모 등으로 표시된다.
그런데, 경로계획정보나 전장상황정보는 초기에 영상좌표와 상관없이 정해지고 입력되는 것이므로, 이를 원격 모니터 화면에 실영상 정보와 정확한 위치로 매칭되도록 표시하기 위해서는, 이들 정보의 월드 좌표를 앞에서 언급된 월드 좌표와 영상 좌표 사이의 변환식을 통해 변환하거나, 변환 행렬이나 그 역행렬을 통해 변환하여 디스플레이 장치에서 나타나도록 한다.
도2는 도1의 증강현실처리라고 표시된 처리 장치 혹은 컴퓨터 장치와 유사한 것으로서, 그 내부적 구성이나 동작과 관련된 하나의 예시를 나타낸다.
여기서, 주행영상 기반 상황표시장치의 내부 구성을 보면, 객체전시 모듈(박스로 표시됨)은 입력된 객체정보(주로 종래의 상황도 상에 나타내어지는 경로 계획이나 전장상황정보)를 객체영상좌표산출 모듈을 통해 모니터 영상화면상의 좌표(영상 좌표)로 변환하여 표시하는 모듈이고, 객체영상좌표산출 모듈은 무인차량의 항법정보와 카메라 설정정보로부터 변환 패턴을 획득하여 객체의 월드 좌표를 영상화면기준 좌표(영상 좌표)로 변환하는 모듈이다. 카메라설정정보처리 모듈은 무인차량에 장착된 카메라와 항법장치간의 거리, 각도 차이 값과 카메라의 초점거리, 광축좌표를 반영하여 항법장치기준좌표계를 영상화면 기준좌표계로 변환하는 행렬을 산출하는 모듈이다.
이상의 구성에 대해 구체적인 다소간의 변형은 물론 가능하다. 가령, 여기서는 카메라설정정보처리 모듈은 객체영상좌표산출 모듈과 별도로 구성되어 있으나, 함께 결합되어 일체로 구성될 수 있다.
또한, 여기서는 객체정보는 상황도 설정과 객체전시 모듈을 통해 객체영상좌표산출 모듈로 투입되는 경로를 나타내지만 직접 객체영상좌표산출 모듈로 투입되어 객체와 관련된 월드 좌표를 영상 좌표로 변환하여, 객체전시 모듈을 통해 객체용 영상 정보를 이루고, 영상전시 모듈을 통한 실영상 정보와 함께 원격 모니터 화면에 오버레이된 영상으로 표시될 수 있다.
실 주행영상은 단순히 영상획득 모듈과 영상전시 모듈만을 통해 원격 모니터 혹은 디스플레이 장치로 전달되어 그 화에 표시될 수 있지만, 여기서 객체영상좌표산출 모듈로 전달되는 것으로 표시된다. 이런 실영상 정보는 객체 정보의 일종으로 입력된 월드 좌표를 반영하는 맵 정보의 지형지물과 실 영상 속의 지형지물을 비교하여 시스템에서 입력 정보들의 처리 및 선행 작업을 통해 도출된 영상 좌표와 월드 좌표 사이의 변환 규칙의 타당성을 검증하는 자료로 사용될 수도 있다.
이하, 도3 및 도4를 참조하여 본 발명 실시예에서 이루어지는 동작을 더 설명한다.
도3은 도2의 객체전시 모듈에 대한 하나의 구체적 실시예를 나타낸다.
운용자가 사전에 상황도를 통해 입력한 임무/경로계획정보와 타 체계로부터 획득한 전장상황정보 등의 객체정보를 객체전시 모듈(도3에서 3개의 박스를 포괄하는 큰 박스로 표시된 모듈)에 입력하면, 객체전시모듈에서는 무인차량의 위치와 자세를 기준으로 전시할 객체를 선별하며, 전시객체 영상좌표획득 모듈에선 객체의 지도상의 좌표(월드좌표)를 객체영상좌표 산출모듈을 통해 영상화면상의 좌표(영상 좌료)로 얻고, 객체의 영상화면 좌표와 속성(경로점, 전장상황정보, 임무지점)에 따라 객체를 전시한다.
도4는 도2의 객체영상좌표산출 모듈에 대한 하나의 구체적 실시예를 나타낸다.
도2에서 객체영상좌표산출 모듈은 무인차량의 항법정보(위치/자세)와 카메라 설정정보처리 모듈로부터 얻은 좌표계 변환행렬III (항법장치기준좌표계→영상화면기준좌표계)로 객체의 월드좌표를 영상화면 기준 좌표계(영상 좌표)로 변환하여 객체전시 모듈로 전송한다.
좌표계 변환행렬IV 는 객체의 월드좌표를 무인차량 내의 항법장치의 기준으로 변환하는 행렬로 도5와 같은 형태로 표시될 수 있다.
좌표계 변환행렬V 는 좌표계 변환행렬 III과 좌표계 변환행렬IV를 곱하여 얻으며 도 6과 같이 표시될 수 있다.
한편, 도2의 카메라설정정보처리 모듈을 좀 더 살펴보면, 도6에서 좌표계 변환행렬III은 항법장치기준 좌표계를 영상화면기준 좌표계로 변환하는 행렬이며, K는 카메라좌표기준좌표계를 영상화면 기준좌표계로 변환하는 행렬로, 카메라의 초점거리와 광축중심점(principal point)로 구성된 행렬이다. [
Figure 112018064311716-pat00001
|
Figure 112018064311716-pat00002
]은 항법장치 기준좌표계를 카메라기준 좌표계로 변환시키는 행렬로 무인차량의 주행영상카메라와 항법장치간의 거리와 자세의 차이값이다.
도7은 이미 도1에서 그 일부 보여진 원격 모니터 화면의 실시예를 나타낸다.
단, 여기서는 화면 하부가 차량 전방 실영상 화면과 구분된 두 개의 영역을 가지고 있으며, 화면 하부 좌측은 객체 정보의 일종으로 화면 영상이 전개되는 지역의 지도를 나타내고, 화면 하부 우측은 객체 정보의 일종으로 차량의 주행 속도, 주행 거리, 자세 정보, 시계, 위치 좌표를 나타내고 있다.
따라서, 본 실시예에서는 원격 모니터에 전방 실영상에 더하여 표시되는 다른 정보 및 영상 일부를 화면 분할 방식으로 표현하고, 정보 및 영상 일부를 전방 실영상을 나타내는 영역 내의 적당한 위치에 오버레이 방식으로 표현하는 혼합적 표현 방식을 사용하고 있다.
이는 본 발명 시스템에서 차량 운행 정보 및 차량 주행 상태 정보 가운데 적어도 하나를 획득하여 영상 정보로 변환하는 영상화 장치에 의해 이루어진 것이며, 해당 정보는 컴퓨터 시스템 내에 미리 입력되어 있거나, 차량 내의 센서에 의해 획득될 수 있다.
이런 정보도 모니터 화면 속의 일정 영역에 표시되도록 하기 위해 일정 변환 방식에 의해 변환되며, 이런 분할 화상 표시는 기존의 화면 구성 기술에 잘 알려진 것이므로 더 상세한 설명은 생략하기로 한다.
이런 화면 상의 구분 영역에는 이런 정보 외에 후방에 대한 실영상 등의 실영상 정보 획득 장치 내의 다른 카메라에 의한 실영상이 표시될 수도 있다.
한편, 원격 모니터는 현장과의 밀착된 느낌을 더 가질 수 있도록 모니터 화면 외의 사물에 대한 시야를 차단한 헤드 마운티드 디스플레이(HMD) 형태를 가질 수 있고, 시스템에서 실영상 정보 획득 장치는 실내에 설치되어 주행차량 전방 창을 통해 전방 영상을 획득하는 전방 카메라를 구비하고, 영상화 장치는 주행차량 전방 창에 영상을 비추는 헤드업디스플레이를 구비하며, 디스플레이 장치는 전방 카메라에서 촬상된 영상 정보로서 헤드업디스플레이에서 전방 창으로 투사된 영상을 포함하는 통합 영상의 정보를 무선통신을 통해 원격지로부터 전송받아 원격 모니터에 영상으로 구현하도록 이루어진 것일 수 있다.
이러한 실시예에서 영상화 장치가 얻은 적어도 하나의 차량 운행 정보 및 차량 주행 상태 정보에 대한 영상 정보, 실영상 정보 획득장치를 통해 얻은 차량 후방이나 측방과 같은 타방 실영상 정보 가운데 적어도 하나는 헤드업 디스플레이를 통해 차량 전방 창에 정보 영상으로서 투사되어 표현되고, 실영상 정보 획득 장치에 포함되어 전방 실영상 정보 획득에 이용되는 차량 실내 설치 전방 카메라는 차량 전방 창에 투사된 정보 영상을 그대로 창을 통해 전방에 보이는 전방 실영상과 함께 영상 정보로서 획득하여 원격지 모니터로 전송되도록 할 수 있다.
본 발명에서 정보 사이의 원격 송수신을 담당하는 무선통신장치는 본 발명 시스템에서 필수적으로 구비되며, 이상에서 언급된 본 발명의 요소 장치에 통합된 상태로 일체적으로 결합된 요소로 생각될 수도 있고, 별도 요소로 포함되는 것으로 생각될 수도 있다.
이상에서는 한정된 실시예를 통해 본 발명을 설명하고 있으나, 이는 본 발명의 이해를 돕기 위해 예시적으로 설명된 것일 뿐 본원 발명은 이들 특정의 실시예에 한정되지 아니한다. 가령, 이상에서 주로 지상 차량에 사용되는 시스템을 위주로 설명하고 있지만 본 발명은 드론과 같은 항공 이동 수단이나 선박에서도 같은 원리로 적용될 수 있다.
따라서, 당해 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명을 토대로 다양한 변경이나 응용예를 실시할 수 있을 것이며 이러한 변형례나 응용예는 첨부된 특허청구범위에 속함은 당연한 것이다.

Claims (4)

  1. 차량에 설치되는, 적어도 차량 전방 실영상을 포함한 실영상 정보 획득을 위한 실영상 정보 획득 장치와,
    차량 운행 정보 및 차량 주행 상태 정보 가운데 적어도 하나를 획득하여 영상 정보로 변환하는 영상화 장치와,
    실영상 정보 획득 장치 및 영상화 장치의 실영상 및 영상 정보를 받아서 조합하여 차량과 떨어진 원격지에 설치된 하나의 원격 모니터를 통해 통합영상으로 나타내는 디스플레이 장치를 구비하며,
    상기 영상화 장치는
    차량 위치 및 차량 자세를 포함하는 차량 항법정보와 카메라의 초점 거리, 광축 방향, 카메라와 GPS 혹은 INS(관성항법장치) 상호 위치를 포함하는 카메라 설정 정보를 획득하여
    상기 모니터의 화면 내의 위치를 기준으로 하는 영상 좌표계와 실제 지표상의 위치나 공간상의 위치를 기준으로 하는 월드 좌표계 사이의 변환 관계를 획득하고,
    입력된 경로계획정보(좌표, 종류)와 상황정보(좌표, 종류) 중 적어도 하나를 포함하는 객체의 월드 좌표를 상기 변환 관계를 통해 영상 좌표로 변환하도록 이루어지며,
    변환을 위해 컴퓨터 장치의 마이크로프로세서 및 상기 변환 관계를 반영하는 변환 프로그램을 포함하여 이루어지는 변환 모듈을 구비하는 것을 특징으로 하는 통합적 영상 및 상황 디스플레이 시스템.
  2. 제 1 항에 있어서,
    상기 실영상 정보 획득 장치는 실내에 설치되어 주행차량 전방 창을 통해 전방 영상을 획득하는 전방 카메라를 구비하고,
    상기 영상화 장치는 상기 차량 전방 창에 영상을 비추는 헤드업디스플레이를 구비하며,
    상기 디스플레이 장치는 상기 전방 카메라에서 촬상된 영상 정보로서 상기 헤드업디스플레이에서 상기 전방 창으로 투사된 영상을 포함하는 전방 영상의 정보를 무선통신을 통해 원격지로부터 전송받아 상기 모니터에 영상으로 구현하도록 이루어진 것임을 특징으로 하는 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템.
  3. 삭제
  4. 제 1 항 또는 제 2 항의 통합적 영상 및 상황 디스플레이 시스템을 이용한 디스플레이 방법으로서,
    실영상 획득을 위해 구비되는 카메라의 설정 정보와 차량 항법정보를 이용하여 상기 원격 모니터의 화면상의 각 위치에 대응되는 영상 좌표와 객관적인 2차원적 혹은 3차원적 위치에 대응되는 좌표인 월드 좌표 사이의 변환 관계를 도출하는 단계와,
    상기 변환 관계를 이용하여 상기 변환 모듈에서 경로계획정보(좌표, 종류)와 상황정보(좌표, 종류) 중 적어도 하나를 포함하는 객체의 월드 좌표를 영상 좌표로 변환하는 단계 및
    상기 카메라에서 획득된 실영상 정보와 상기 객체에 대한 영상 정보를 상기 모니터 화면에 동시에 표시하는 단계를 구비하여 이루어지는 것을 특징으로 하는 디스플레이 방법.
KR1020180075787A 2018-06-29 2018-06-29 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법 KR101957896B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180075787A KR101957896B1 (ko) 2018-06-29 2018-06-29 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180075787A KR101957896B1 (ko) 2018-06-29 2018-06-29 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법

Publications (1)

Publication Number Publication Date
KR101957896B1 true KR101957896B1 (ko) 2019-07-04

Family

ID=67258950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075787A KR101957896B1 (ko) 2018-06-29 2018-06-29 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법

Country Status (1)

Country Link
KR (1) KR101957896B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210045120A (ko) 2019-10-16 2021-04-26 조지원 지능형 5g 무선 네트워크 기반의 원격 차량주행 에이전트 시스템
CN113607184A (zh) * 2021-09-15 2021-11-05 新石器慧通（北京）科技有限公司 车辆导航方法、装置、电子设备及存储介质
KR102448513B1 (ko) * 2022-01-26 2022-09-28 한화시스템 주식회사 무인 차량의 기동 통제를 자동화하는 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4696248B2 (ja) * 2004-09-28 2011-06-08 国立大学法人 熊本大学 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
KR101151787B1 (ko) * 2009-11-30 2012-05-31 재단법인대구경북과학기술원 조향 결정 성능이 향상된 원격 조종 로봇 시스템 및 이에 사용되는 원격 조종기
KR101568397B1 (ko) 2014-08-13 2015-11-12 김대식 원격 조종기
KR101747375B1 (ko) 2016-09-12 2017-06-15 아이피랩 주식회사 차량 원격제어 장치 및 방법, 원격 운전 시스템
KR101821108B1 (ko) 2016-10-19 2018-01-23 현대자동차주식회사 차량 시스템 및 원격 제어 방법
KR101827075B1 (ko) 2016-01-05 2018-02-07 현대자동차주식회사 차량 원격 주행 제어 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4696248B2 (ja) * 2004-09-28 2011-06-08 国立大学法人 熊本大学 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
KR101151787B1 (ko) * 2009-11-30 2012-05-31 재단법인대구경북과학기술원 조향 결정 성능이 향상된 원격 조종 로봇 시스템 및 이에 사용되는 원격 조종기
KR101568397B1 (ko) 2014-08-13 2015-11-12 김대식 원격 조종기
KR101827075B1 (ko) 2016-01-05 2018-02-07 현대자동차주식회사 차량 원격 주행 제어 시스템
KR101747375B1 (ko) 2016-09-12 2017-06-15 아이피랩 주식회사 차량 원격제어 장치 및 방법, 원격 운전 시스템
KR101821108B1 (ko) 2016-10-19 2018-01-23 현대자동차주식회사 차량 시스템 및 원격 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210045120A (ko) 2019-10-16 2021-04-26 조지원 지능형 5g 무선 네트워크 기반의 원격 차량주행 에이전트 시스템
CN113607184A (zh) * 2021-09-15 2021-11-05 新石器慧通（北京）科技有限公司 车辆导航方法、装置、电子设备及存储介质
CN113607184B (zh) * 2021-09-15 2024-05-24 新石器慧通（北京）科技有限公司 车辆导航方法、装置、电子设备及存储介质
KR102448513B1 (ko) * 2022-01-26 2022-09-28 한화시스템 주식회사 무인 차량의 기동 통제를 자동화하는 장치 및 방법

Similar Documents

Publication Publication Date Title
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
JP7210165B2 (ja) 仮想経路を表示する方法、装置及びディスプレイ装置
CN107554425B (zh) 一种增强现实车载平视显示器ar-hud
JP5473304B2 (ja) 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
US10029700B2 (en) Infotainment system with head-up display for symbol projection
US8115768B2 (en) Methods and system for communication and displaying points-of-interest
US7605774B1 (en) Enhanced vision system (EVS) processing window tied to flight path
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
KR101957896B1 (ko) 원격 조종을 위한 통합적 영상 및 상황 디스플레이 시스템 및 디스플레이 방법
EP3596588B1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
US20070124071A1 (en) System for providing 3-dimensional vehicle information with predetermined viewpoint, and method thereof
EP2881710A1 (en) Camera parameter computation device, navigation system, and camera parameter computation method
CN117310739A (zh) 在可移动物体之间共享绘图数据的技术
US8314816B2 (en) System and method for displaying information on a display element
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
CN111670339B (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
JP6445808B2 (ja) 画像表示システム
JP2001344597A (ja) 融合視界装置
US11719932B2 (en) Head-up display
JPH11108684A (ja) カーナビゲーションシステム
US11611700B2 (en) Unmanned aerial vehicle with virtual un-zoomed imaging
JP6471522B2 (ja) カメラパラメータ調整装置
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
WO2023102911A1 (zh) 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质
JP6186905B2 (ja) 車載表示装置およびプログラム