KR102489429B1

KR102489429B1 - 원격 주행을 위한 주행 영상 데이터 송수신 시스템 및 이의 실행 방법

Info

Publication number: KR102489429B1
Application number: KR1020210031013A
Authority: KR
Inventors: 최상복
Original assignee: 주식회사 케이에이알
Priority date: 2021-03-09
Filing date: 2021-03-09
Publication date: 2023-01-18
Also published as: KR20220126574A

Abstract

본 발명의 일 실시예에 따른 원격 주행을 위한 주행 영상 데이터 송수신 시스템은 영상 촬영 기기를 통해 자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성하고, 시점 별 주행 영상 데이터를 RGB 영상으로 획득하여 RGB 주행 영상 데이터를 생성하고, 상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 각 영상의 픽셀의 값의 차이가 큰 픽셀을 찾아내고, 상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 RGB 압축 주행 영상 데이터를 생성하고, 상기 RGB 압축 주행 영상 데이터를 상기 관제 센터 서버에 제공하는 자율 주행 자동차 및 상기 통신망을 통해 자율 주행 자동차의 자율 주행 자동차로부터 RGB 압축 주행 영상 데이터를 수신하면, RGB 압축 주행 영상 데이터를 원래의 주행 영상 데이터로 복원한 후 주행 영상 데이터를 기초로 자율 주행 자동차의 주행을 제어하는 관제 센터 서버를 포함한다.

Description

원격 주행을 위한 주행 영상 데이터 송수신 시스템 및 이의 실행 방법{SYSTEM FOR RECEIVING AND TRANSMITTING VIDEO DATA FOR REMOTE INSPECTION DEVICE AND METHOD PERFORMING THE SAME}

본 발명은 원격 주행을 위한 주행 영상 데이터 송수신 시스템 및 이의 실행 방법에 관한 것을, 보다 상세하게는 자율 주행 자동차가 자율 주행이 어려운 경우 실시간으로 생성되는 주행 영상 데이터를 압축하여 관제 센터 서버에 제공함으로써 관제 센서 서버의 제어에 따라 자율 주행 자동차가 자율 주행에서 빠져나올 수 있도록 하는 원격 주행을 위한 주행 영상 데이터 송수신 시스템 및 이의 실행 방법에 관한 것이다.

현재 출시되고 있는 자동차에는 다양한 운전자 보조 시스템이 장착되고 있다. 예컨대, 적응형 순항 시스템(Adaptive Cruise Control), 차선 이탈 방지 시스템(Lane Departure Warning System, Lane Keeping System), 자율 긴급 제동 시스템(Autonomous Emergency Braking) 등이 그 예이다.

이러한 운전자 보조 시스템의 발달은 자율 주행 자동차(Autonomous Vehicle)의 발달로 이어지며, 현재 다양한 연구를 통해 관련 특허, 논문 등이 제출되고 있다.

자율 주행 자동차란 운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차를 말하며, 자율주행시스템(Automated Vehicle & Highway Systems)은 이러한 자율 주행 자동차가 스스로 운행될 수 있도록 모니터링하고 제어하는 시스템을 말한다.

상기의 자율 주행 자동차가 자율 주행이 어려운 경우 자율 주행에서 빠져나오기 위해 원격 주행이 필요한다. 원격 주행은 관제 센터 서버가 자율 주행 자동차로부터 주행 영상 데이터를 수신한 후 주행 영상 데이터를 확인하면서 자율 주행 자동차를 제어한다.

이를 위해, 자율 주행 자동차는 주행 영상 데이터를 생성하여 통신망을 통해 관제 센터 서버에 제공해야 한다. 하지만, 현재의 통신망의 경우 속도가 느려 자율 주행 자동차가 실시간으로 주행 영상 데이터를 관제 센터 서버에 제공하기 어렵다는 문제점이 있다.

본 발명은 자율 주행 자동차가 자율 주행이 어려운 경우 실시간으로 생성되는 주행 영상 데이터를 압축하여 관제 센터 서버에 제공함으로써 관제 센서 서버의 제어에 따라 자율 주행 자동차가 자율 주행에서 빠져나올 수 있도록 하는 원격 주행을 위한 주행 영상 데이터 송수신 시스템 및 이의 실행 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 자율 주행 자동차가 주행 영상 데이터를 압축하기 때문에 대량의 주행 영상 데이터를 빠른 시간에 관제 센터 서버에 제공함으로써 보다 실시간으로 원격 제어가 가능할 수 있도록 하는 주행 영상 데이터 송신 장치 및 이를 실행하는 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 주행 영상 데이터를 분할하여 각각을 압축한 후 분할한 각각의 영상 데이터를 각각의 통신망을 통해 관제 센터 서버에 제공할 수 있도록 하는 주행 영상 데이터 송신 장치 및 이를 실행하는 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 관제 센터 서버가 자율 주행 자동차로부터 수신된 주행 영상 데이터를 이용하여 자율 주행 자동차를 원격에서 제어할 수 있도록 하는 주행 영상 데이터 송신 장치 및 이를 실행하는 방법을 제공하는 것을 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

이러한 목적을 달성하기 위한 원격 주행을 위한 주행 영상 데이터 송수신 시스템은 자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성한 후, 상기 시점 별 주행 영상 데이터를 RGB 영상으로 분석하여 RGB 주행 영상 데이터를 생성하고, 상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 RGB 압축 주행 영상 데이터를 생성하고, 상기 RGB 주행 영상 데이터 중 이전에 수신된 RGB 주행 영상 데이터를 관제 센터 서버에 제공하고, 상기 RGB 압축 주행 영상 데이터를 통신망을 통해 관제 센터 서버에 제공하는 자율 주행 자동차 및 상기 통신망을 통해 자율 주행 자동차의 자율 주행 자동차로부터 RGB 압축 주행 영상 데이터를 수신하면, RGB 압축 주행 영상 데이터를 원래의 주행 영상 데이터로 복원한 후 주행 영상 데이터를 기초로 자율 주행 자동차의 주행을 제어하는 관제 센터 서버를 포함한다.

이러한 목적을 달성하기 위한 원격 주행을 위한 주행 영상 데이터 송수신 방법은 자율 주행 자동차가 영상 촬영 기기를 통해 자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성하는 단계, 상기 자율 주행 자동차가 시점 별 주행 영상 데이터를 RGB 영상으로 획득하여 RGB 주행 영상 데이터를 생성하는 단계, 상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 각 영상의 픽셀의 값의 차이가 큰 픽셀을 찾아내는 단계, 상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 RGB 압축 주행 영상 데이터를 생성하는 단계, 상기 RGB 압축 주행 영상 데이터를 상기 관제 센터 서버에 제공하는 단계, 상기 관제 센터 서버가 통신망을 통해 상기 자율 주행 자동차로부터 RGB 압축 주행 영상 데이터를 수신하면, 상기 RGB 압축 주행 영상 데이터의 압축을 푸는 단계, 상기 관제 센터 서버가 압축을 푼 영상을 이전에 수신된 영상에 덮어 써서 원래의 주행 영상 데이터로 복원하는 단계 및 상기 관제 센터 서버가 상기 복원한 원래의 주행 영상 데이터를 기초로 자율 주행 자동차의 주행을 제어하는 단계를 포함한다.

본 발명에 의하면, 자율 주행 자동차가 자율 주행이 어려운 경우 실시간으로 생성되는 주행 영상 데이터를 압축하여 관제 센터 서버에 제공함으로써 관제 센서 서버의 제어에 따라 자율 주행 자동차가 자율 주행에서 빠져나올 수 있다는 장점이 있다.

또한 본 발명에 의하면, 자율 주행 자동차가 주행 영상 데이터를 압축하기 때문에 대량의 주행 영상 데이터를 빠른 시간에 관제 센터 서버에 제공함으로써 보다 실시간으로 원격 제어가 가능할 수 있다는 장점이 있다.

또한 본 발명에 의하면, 주행 영상 데이터를 분할하여 각각을 압축한 후 분할한 각각의 영상 데이터를 각각의 통신망을 통해 관제 센터 서버에 제공할 수 있다는 장점이 있다.

또한 본 발명에 의하면, 관제 센터 서버가 자율 주행 자동차로부터 수신된 주행 영상 데이터를 이용하여 자율 주행 자동차를 원격에서 제어할 수 있다는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 원격 주행을 위한 데이터 송수신 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 자동차의 내부 구조를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 원격 주행을 위한 주행 영상 데이터 송신 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명에 따른 주행 영상 데이터 송신 과정을 설명하기 위한 예시도이다.
도 6은 본 발명에 따른 원격 주행을 위한 주행 영상 데이터 수신 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 주행 영상 데이터 수신 과정을 설명하기 위한 예시도이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

본 명세서에서 사용된 용어 중 “RGB 주행 영상 데이터”는 RED 주행 영상 데이터, GREEN 주행 영상 데이터 및 BLUE 주행 영상 데이터를 포함한다.

본 명세서에서 사용된 용어 중 “RGB 압축 주행 영상 데이터”는 RED 압축 주행 영상 데이터, GREEN 압축 주행 영상 데이터 및 BLUE 압축 주행 영상 데이터를 포함한다.

본 명세서에서 사용된 용어 중 “RGB 밝기 주행 영상 데이터”는 RED 밝기 주행 영상 데이터, GREEN 밝기 주행 영상 데이터 및 BLUE 밝기 주행 영상 데이터를 포함한다.

도 1은 본 발명의 일 실시예에 따른 원격 주행 및 V2X 통신방식을 위한 데이터 송수신 시스템을 설명하기 위한 네트워크 구성도이다.

도 1을 참조하면, 자율 주행 시스템에서 원격 주행을 위한 데이터 송수신 시스템은 자율 주행 자동차(100), 관제 센터 서버(300) 및 통신망(400_1~400_N)을 포함한다.

자율 주행 자동차(100)는 주행 영상 데이터를 생성하여 통신망을 통해 관제 센터 서버(300)에 제공함으로써 관제 센터 서버(300)가 주행 영상 데이터를 이용하여 자율 주행 자동차(100)를 제어할 수 있도록 한다.

먼저, 자율 주행 자동차(100)는 자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성한 후, 상기 시점 별 주행 영상 데이터가 RGB 영상으로 얻어진다.

자율 주행 자동차(100)는 영상 촬영 기기를 통해 실시간으로 생성되는 시점별 주행 영상 데이터 각각을 RGB 주행 영상 데이터(즉, RED 주행 영상 데이터, GREEN 주행 영상 데이터 및 BLUE 주행 영상 데이터)으로 획득한다.

그 후, 자율 주행 자동차(100)는 시점 별 주행 영상 데이터를 생성한 후 각각의 시점 별 주행 영상 데이터를 RGB 주행 영상 데이터로 변환하여 통신망(400_1~400_N)을 통해 관제 센터 서버(300)에 제공한다.

하지만, 현재의 통신망의 경우 속도가 느려 자율 주행 자동차가 실시간으로 RGB 주행 영상 데이터를 관제 센터 서버(300)에 제공하기 어렵다는 문제점이 있다.

이러한 문제점을 해결하기 위해서, 자율 주행 자동차(100)는 실시간으로 시점별 주행 영상 데이터를 생성한 후 실시간으로 시점별 주행 영상 데이터를 압축하여 통신망(400_1~400_N)을 통해 관제 센터 서버(300)에 제공한다.

보다 구체적으로, 자율 주행 자동차(100)는 자율 주행 자동차가 영상 촬영 기기를 통해 자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성한 후, 시점 별 주행 영상 데이터를 RGB 영상으로 획득하여 RGB 주행 영상 데이터를 생성한다.

자율 주행 자동차(100)는 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 각 영상의 픽셀의 값의 차이가 큰 픽셀을 찾아낸다.

자율 주행 자동차(100)는 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 RGB 압축 주행 영상 데이터를 생성한다.

예를 들어, 자율 주행 자동차(100)는 [수학식 1]과 같이 이전 시점의 RED 주행 영상 데이터(410_1) 각각의 좌표의 픽셀 값에서 현재 시점의 RED 주행 영상 데이터(410_2) 각각을 각 픽셀 위치별로 빼기한 후, 상기 빼기하여 얻은 값이 임계값이하이면 그 해당 픽셀을 0값을 저장하고 상기 얻은 값이 임계값 이상이면 현재영상의 픽셀 값을 저장하여 변화가 심한 RED 각각의 영상 데이터를 획득한 후 압축하여 RED 압축 주행 영상 데이터를 생성할 수 있다.

[수학식 1]

다른 예를 들어, 자율 주행 자동차(100)는 [수학식 2]과 같이 이전 시점의 GREEN 주행 영상 데이터(410_1) 각각의 좌표의 픽셀 값에서 현재 시점의 GREEN 주행 영상 데이터(410_2) 각각을 각 픽셀 위치별로 빼기한 후, 상기 빼기하여 얻은 값이 임계값이하이면 그 해당 픽셀을 0값을 저장하고 상기 얻은 값이 임계값 이상이면 현재영상의 픽셀 값을 저장하여 변화가 심한 GREEN 각각의 영상 데이터를 획득한 후 압축하여 RED 압축 주행 영상 데이터를 생성할 수 있다.

[수학식 2]

또 다른 예를 들어, 자율 주행 자동차(100)는 [수학식 3]과 같이 이전 시점의 BLUE 주행 영상 데이터(410_1) 각각의 좌표의 픽셀 값에서 현재 시점의 BLUE 주행 영상 데이터(410_2) 각각을 각 픽셀 위치별로 빼기한 후, 상기 빼기하여 얻은 값이 임계값이하이면 그 해당 픽셀을 0값을 저장하고 상기 얻은 값이 임계값 이상이면 현재영상의 픽셀 값을 저장하여 변화가 심한 BLUE 각각의 영상 데이터를 획득한 후 압축하여 RED 압축 주행 영상 데이터를 생성할 수 있다.

[수학식 3]

그런 다음, 자율 주행 자동차(100)는 상기 이전 시점의 RGB 주행 영상 데이터 각각의 좌표의 픽셀 값에서 상기 현재 시점의 RGB 주행 영상 데이터 각각의 픽셀 값을 차감하여 차이 픽셀 값을 산출할 수 있다.

그런 다음, 자율 주행 자동차(100)는 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 RGB 압축 주행 영상 데이터를 생성한다.

일 실시예에서, 자율 주행 자동차(100)는 상기 이전 시점의 RGB 주행 영상 데이터 각각의 좌표의 픽셀 값에서 상기 현재 시점의 RGB 주행 영상 데이터 각각의 픽셀 값을 차감하여 차이 픽셀 값을 산출할 수 있다.

그런 다음, 자율 주행 자동차(100)는 차이 픽셀 값의 설정한 임계값 이하이면 0값으로 치환, 임계값 이상이면 획득한 영상값을 선택 하여 압축 주행 영상 데이터를 생성한다.

이와 같이, 자율 주행 자동차(100)는 RGB 밝기 차이 주행 영상 데이터 각각의 좌표의 픽셀 값이 미리 설정된 임계값 이하인 경우 해당 좌표의 픽셀 값을 0으로 변경하는 이유는 RGB 밝기 차이 주행 영상 데이터 중 예를 들어 임계값이 50 이하의 밝기를 가지는 좌표의 픽셀 값은 관제 센터 서버(300)에 전송하지 않기 위해서이다.

관제 센터 서버(300)는 통신망(400_1~400_N)을 통해 자율 주행 자동차(100)의 자율 주행 자동차(100)로부터 RGB 압축 주행 영상 데이터를 수신하면, RGB 압축 주행 영상 데이터를 원래의 주행 영상 데이터로 복원한 후 주행 영상 데이터를 기초로 자율 주행 자동차(100)의 주행을 제어한다.

일 실시예에서, 관제 센터 서버(300)는 통신망(400_1~400_N)을 통해 자율 주행 자동차(100)로부터 RGB 압축 주행 영상 데이터를 수신하면, RGB 압축 주행 영상 데이터의 압축을 해제한 후 압축이 해제된 주행 영상 데이터를 이용하여 원래의 주행 영상 데이터로 복원한다.

이때, 관제 센터 서버(300)는 압축이 해제된 RGB 주행 영상 데이터가 분할 영상이 아닌 경우, 압축이 해제된 RGB 영상 데이터 각각의 좌표의 픽셀 값이 0이면 이전에 수신된 RGB 주행 영상 데이터 중 픽셀 값이 0인 좌표와 동일한 좌표의 픽셀 값으로 해당 픽셀 값을 변경한다.

한편, 관제 센터 서버(300)는 RGB 압축 주행 영상 데이터의 압축을 해제한 후 상기 압축이 해제된 RGB 주행 영상 데이터가 분할 영상인 경우 상기 분할 영상을 다시 하나의 영상으로 합친 후, RGB 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이 아니면 해당 좌표의 픽셀 값을 수신한 픽셀 값으로 덮어 수정하여 좌표와 동일한 좌표의 픽셀 값으로 상기 해당 픽셀 값을 변경한다.

도 2는 본 발명의 일 실시예에 따른 자율 주행 자동차의 내부 구조를 설명하기 위한 블록도이다.

도 2를 참조하면, 자율 주행 자동차(100)는 영상 촬영 기기(210), RGB 주행 영상 데이터 생성부(220), RGB 압축 주행 영상 데이터 생성부(230), RGB 주행 영상 데이터 분할부(240) 및 통신부(250)를 포함한다.

영상 촬영 기기(210)는 자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성한다.

RGB 주행 영상 데이터 생성부(220)는 시점 별 주행 영상 데이터를 RGB 영상으로 획득하여 RGB 주행 영상 데이터를 생성한다.

일 실시예에서, RGB 주행 영상 데이터 생성부(220)는 영상 촬영 기기로부터 획득한 시점 별 주행 영상 데이터의 색상 형태를 R,G,B로 제안하지 않으며 CMY(RGB의 보색), HSI(Hue, Saturation, Intensity), YCbCr(휘도,파랑색차,빨강색차) 등으로 변화하여 처리할 수 있다.

RGB 압축 주행 영상 데이터 생성부(230)는 RGB 주행 영상 데이터 생성부(220)로부터 수신된 RGB 주행 영상 데이터를 압축하여 RGB 압축 주행 영상 데이터를 생성한다.

먼저, RGB 압축 주행 영상 데이터 생성부(230)는 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 각 영상의 픽셀의 값의 차이가 큰 픽셀을 산출할 수 있다.

그런 다음, RGB 압축 주행 영상 데이터 생성부(230)는 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 RGB 압축 주행 영상 데이터를 생성한다.

일 실시예에서, RGB 압축 주행 영상 데이터 생성부(230)는 이전 시점의 RGB 주행 영상 데이터 각각의 좌표의 픽셀 값에서 상기 현재 시점의 RGB 주행 영상 데이터 각각의 픽셀 값을 차감하여 차이 픽셀 값을 산출할 수 있다.

예를 들어, RGB 압축 주행 영상 데이터 생성부(230)는 이전 시점의 RED 주행 영상 데이터 각각의 좌표의 픽셀 값에서 현재 시점의 RED 주행 영상 데이터 각각의 픽셀 값을 차감하여 차이 픽셀 값을 산출하고, 차이 픽셀 값의 절대 값을 해당 좌표의 픽셀 값으로 결정하여 RED 밝기 차이 주행 영상 데이터를 생성할 수 있다.

다른 예를 들어, RGB 압축 주행 영상 데이터 생성부(230)는 이전 시점의 BLUE 주행 영상 데이터 각각의 좌표의 픽셀 값에서 현재 시점의 BLUE 주행 영상 데이터 각각의 픽셀 값을 차감하여 차이 픽셀 값을 산출하고, 차이 픽셀 값의 절대 값을 해당 좌표의 픽셀 값으로 결정하여 BLUE 밝기 차이 주행 영상 데이터를 생성할 수 있다.

또 다른 예를 들어, RGB 압축 주행 영상 데이터 생성부(230)는 이전 시점의 GREEN 주행 영상 데이터 각각의 좌표의 픽셀 값에서 현재 시점의 GREEN 주행 영상 데이터 각각의 픽셀 값을 차감하여 차이 픽셀 값을 산출하고, 차이 픽셀 값의 절대 값을 해당 좌표의 픽셀 값으로 결정하여 GREEN 밝기 차이 주행 영상 데이터를 생성할 수 있다.

이와 같이, RGB 압축 주행 영상 데이터 생성부(230)는 RGB 밝기 차이 주행 영상 데이터 각각의 좌표의 픽셀 값이 미리 설정된 임계값 이하인 경우 해당 좌표의 픽셀 값을 0으로 변경하는 이유는 RGB 밝기 차이 주행 영상 데이터 중 50 이하의 밝기를 가지는 좌표의 픽셀 값은 관제 센터 서버(300)에 전송하지 않기 위해서이다.

RGB 주행 영상 데이터 분할부(240)는 RGB 압축 주행 영상 데이터 생성부(230)에 의해 생성된 RGB 압축 주행 영상 데이터 각각을 분할한 후 분할된 RGB 압축 주행 영상 데이터 각각을 통신부(250)를 통해 관제 센터 서버(300)에 제공한다.

일 실시예에서, RGB 주행 영상 데이터 분할부(240)는 RGB 압축 주행 영상 데이터의 크기에 따라 RGB 압축 주행 영상 데이터 각각을 분할할 수 있다. 즉, RGB 주행 영상 데이터 분할부(240)는 압축전에 또는 임계값 이상의 변화 픽셀을 찾기 전에 RGB 각각의 영상을 복수의 서브 영상으로 분할한 후 상기 분할된 복수의 서브 영상을 각기 다른 통신 채널로 병렬 송신을 할 수 있다.

도 3은 본 발명에 따른 원격 주행을 위한 주행 영상 데이터 송신 방법의 일 실시예를 설명하기 위한 흐름도이다. 도 4 및 도 5는 본 발명에 따른 주행 영상 데이터 송신 과정을 설명하기 위한 예시도이다.

도 3 내지 도 5를 참조하면, 자율 주행 자동차(100)는 자율 주행 자동차가 영상 촬영 기기를 통해 자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성한다(단계 S310).

자율 주행 자동차(100)는 시점 별 주행 영상 데이터를 RGB 영상으로 획득하여 RGB 주행 영상 데이터를 생성한다(단계 S320).

자율 주행 자동차(100)는 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 각 영상의 픽셀의 값의 차이가 큰 픽셀을 찾아낸다(단계 S330).

단계 S330에 대한 일 실시예에서, 자율 주행 자동차(100)는 상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터와 이전 시점의 RGB 주행 영상 데이터를 RGB 각각을 각 픽셀 위치별로 빼기한 후, 상기 빼기하여 얻은 값이 임계값이하이면 그 해당 픽셀을 0값을 저장하고 상기 얻은 값이 임계값 이상이면 현재영상의 픽셀 값을 저장하여 변화가 심한 RGB 각각의 영상 데이터를 획득한 후 압축하여 RGB 압축 주행 영상 데이터를 생성한다.

이와 같이, 자율 주행 자동차(100)는 RGB 밝기 차이 주행 영상 데이터 각각의 좌표의 픽셀 값이 미리 설정된 임계값 이하인 경우 해당 좌표의 픽셀 값을 0으로 변경하는 이유는 RGB 밝기 차이 주행 영상 데이터 중 50 이하의 밝기를 가지는 좌표의 픽셀 값은 관제 센터 서버(300)에 전송하지 않기 위해서이다.

도 4와 같이, 자율 주행 자동차(100)는 이전 시점의 RED 주행 영상 데이터(410_1) 각각의 좌표의 픽셀 값에서 현재 시점의 RED 주행 영상 데이터(410_2) 각각을 각 픽셀 위치별로 빼기한 후, 상기 빼기하여 얻은 값이 임계값이하이면 그 해당 픽셀을 0값을 저장하고 상기 얻은 값이 임계값 이상이면 현재영상의 픽셀 값을 저장하여 변화가 심한 RED 각각의 영상 데이터(410_3)를 획득한 후 압축하여 RED 압축 주행 영상 데이터를 생성할 수 있다.

또한, 도 4와 같이 자율 주행 자동차(100)는 이전 시점의 GREEN 주행 영상 데이터(420_1) 각각의 좌표의 픽셀 값에서 현재 시점의 GREEN 주행 영상 데이터(420_2) 각각을 각 픽셀 위치별로 빼기한 후, 상기 빼기하여 얻은 값이 임계값이하이면 그 해당 픽셀을 0값을 저장하고 상기 얻은 값이 임계값 이상이면 현재영상의 픽셀 값을 저장하여 변화가 심한 GREEN 각각의 영상 데이터(420_3)를 획득한 후 압축하여 GREEN 압축 주행 영상 데이터를 생성할 수 있다.

또한, 도 4와 같이 자율 주행 자동차(100)는 이전 시점의 BlUE 주행 영상 데이터(430_1) 각각의 좌표의 픽셀 값에서 현재 시점의 BlUE 주행 영상 데이터(430_2) 각각을 각 픽셀 위치별로 빼기한 후, 상기 빼기하여 얻은 값이 임계값이하이면 그 해당 픽셀을 0값을 저장하고 상기 얻은 값이 임계값 이상이면 현재영상의 픽셀 값을 저장하여 변화가 심한 BlUE 각각의 영상 데이터(430_3)를 획득한 후 압축하여 BlUE 압축 주행 영상 데이터를 생성할 수 있다.

자율 주행 자동차(100)는 각 영상의 픽셀의 값이 차이가 큰 픽셀의 RGB 주행 영상 데이터를 분할한다(단계 S340).

도 5와 같이, 자율 주행 자동차(100)는 상기 압축전에 또는 임계값 이상의 변화 픽셀을 찾기 전에 RED 각각의 영상 데이터(410_3)를 복수의 서브 영상으로 분할한 후 상기 분할된 복수의 서브 영상(410_3_1, 410_3_2, 410_3_3, 410_3_4)을 각기 다른 통신 채널로 병렬 송신을 할 수 있다.

자율 주행 자동차(100)는 분할된 RGB 주행 영상 데이터를 압축한다(단계 S350).

자율 주행 자동차(100)는 RGB 압축 주행 영상 데이터를 상기 관제 센터 서버에 제공한다(단계 S360).

도 6은 본 발명에 따른 원격 주행을 위한 주행 영상 데이터 수신 방법의 일 실시예를 설명하기 위한 흐름도이다. 도 7은 본 발명에 따른 주행 영상 데이터 수신 과정을 설명하기 위한 예시도이다.

도 6 및 도 7을 참조하면, 관제 센터 서버(300)는 통신망을 통해 상기 자율 주행 자동차로부터 RGB 압축 주행 영상 데이터를 수신한다(단계 S610). 관제 센터 서버(300)는 RGB 압축 주행 영상 데이터의 압축을 푼다(단계 S620).

관제 센터 서버(300)는 압축이 해제된 주행 영상 데이터가 분할 영상인 경우(단계 S630), 분할 영상을 이용하여 RGB 압축 주행 영상 데이터를 생성한다(단계 S640).

관제 센터 서버(300)는 압축이 해제된 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이면(단계 S650), 이전에 수신된 RGB 주행 영상 데이터 중 픽셀 값이 0인 좌표와 동일한 좌표의 픽셀 값으로 해당 픽셀 값을 변경한다(단계 S660).

관제 센터 서버(300)는 압축이 해제된 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이 아니면 해당 좌표의 픽셀 값을 변경하지 않고 그대로 사용한다(단계 S670).

예를 들어 도 7과 같이, 관제 센터 서버(300)는 RED 주행 영상 데이터(410_3) 각각의 좌표의 픽셀 값이 0이면 해당 좌표의 픽셀 값을 이전의 영상의 픽셀 값을 변경하지 않고 그대로 사용하고, RED 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이 아니면 이전에 수신된 RED 주행 영상 데이터(410_4) 좌표와 동일한 좌표의 픽셀 값에 현재 수신한 픽셀 값으로 변경하여 RED 주행 영상 데이터(410_5)를 획득한다.

다른 예를 들어 도 7과 같이, 관제 센터 서버(300)는 GREEN 주행 영상 데이터(420_3) 각각의 좌표의 픽셀 값이 0이면 해당 좌표의 픽셀 값을 이전의 영상의 픽셀 값을 변경하지 않고 그대로 사용하고, GREEN 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이 아니면 이전에 수신된 GREEN 주행 영상 데이터(420_4) 좌표와 동일한 좌표의 픽셀 값에 현재 수신한 픽셀 값으로 변경하여 GREEN 주행 영상 데이터(420_5)를 획득한다.

또 다른 예를 들어 도 7과 같이, 관제 센터 서버(300)는 BLUE 주행 영상 데이터(430_3) 각각의 좌표의 픽셀 값이 0이면 해당 좌표의 픽셀 값을 이전의 영상의 픽셀 값을 변경하지 않고 그대로 사용하고, BLUE 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이 아니면 이전에 수신된 BLUE 주행 영상 데이터(430_4)좌표와 동일한 좌표의 픽셀 값에 현재 수신한 픽셀 값으로 변경하여 BLUE 주행 영상 데이터(430_5)를 획득한다.

관제 센터 서버(300)는 각각 RGB 주행 영상 데이터(410_5, 420_5, 430_5)을 합하여 원래의 주행 영상 데이터(440)로 복원한 후, 복원한 원래의 주행 영상 데이터를 기초로 자율 주행 자동차(100)의 주행을 제어한다. 뿐만 아니라, 관제 센터 서버(300)는 자율 주행 자동차(100)의 조향, 브레이크, 엑셀의 정보 등과 같은 자동차 주행 정보를 함께 수신함으로써 자율 주행 자동차(100)의 주행을 제어할 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변경이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변경 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

100: 자율 주행 자동차,
210: 영상 촬영 기기,
220: RGB 주행 영상 데이터 생성부,
230: RGB 압축 주행 영상 데이터 생성부,
240: RGB 주행 영상 데이터 분할부,
250: 통신부,
300: 관제 센터 서버,
400_1~400_N: 통신망

Claims

자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성한 후, 상기 시점 별 주행 영상 데이터를 RGB 영상으로 분석하여 RGB 주행 영상 데이터를 생성하고,
상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 RGB 압축 주행 영상 데이터를 생성하고,
상기 RGB 압축 주행 영상 데이터를 통신망을 통해 관제 센터 서버에 제공하는 자율 주행 자동차; 및
상기 RGB 압축 주행 영상 데이터는 RGB색상 별로 하기 수학식 1 내지 3을 이용하여 압축 주행 영상데이터를 생성 하는 것을 특징으로 하며;
상기 RGB 주행 영상 데이터를 분할 후 각각을 압축한 뒤 관제 센터 서버에 제공 하는 통신부를 포함하며;

상기 통신부를 통해 자율 주행 자동차의 분할된 RGB 압축 주행 영상 데이터를 수신하면, RGB 압축 주행 영상 데이터를 원래의 주행 영상 데이터로 복원한 후 주행 영상 데이터를 기초로 자율 주행 자동차의 주행을 제어하는 관제 센터 서버를 포함하는 것을 특징으로 하며,
상기 압축된 주행영상 데이터 송신을 통해 실시간으로 자율주행 자동차의 원격제어가 가능한 것을 특징 으로 하는 원격 주행을 위한 주행 영상 데이터 송수신 방법.

[수학식 1]

[수학식 2]

[수학식 3]
제1항에 있어서,
상기 자율 주행 자동차는
상기 압축전에 또는 임계값 이상의 변화 픽셀을 찾기 전에 RGB 각각의 영상을 복수의 서브 영상으로 분할한 후 상기 분할된 복수의 서브 영상을 각기 다른 통신 채널로 병렬 송신을 할 수 있는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.
제1항에 있어서,
상기 관제 센터 서버는
상기 RGB 압축 주행 영상 데이터의 압축을 해제한 후 상기 압축이 해제된 RGB 주행 영상 데이터가 분할 영상인 경우 상기 분할 영상을 다시 하나의 영상으로 합친 후, RGB 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이 아니면 해당 좌표의 픽셀 값을 수신한 픽셀 값으로 덮어 수정하여 좌표와 동일한 좌표의 픽셀 값으로 상기 해당 픽셀 값을 변경하는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.
제1항 및 제3항 중 어느 하나 항에 있어서,
상기 자율 주행 자동차는
영상 촬영 기기로부터 획득한 시점 별 주행 영상 데이터의 색상 형태를 R,G,B로 제안하지 않으며 CMY(RGB의 보색) 및 HSI(Hue, Saturation, Intensity), YCbCr(휘도,파랑색차,빨강색차) 중 어느 하나를 기초로 변화하여 처리할 수 있는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.
제1항에 있어서,
상기 자율 주행 자동차는
상기 RGB 밝기 차이 주행 영상 데이터 각각의 좌표의 픽셀 값 및 미리 설정된 임계값과 비교하고, 상기 비교 결과에 따라 상기 RGB 밝기 차이 주행 영상 데이터 각각의 좌표의 픽셀 값을 0 또는 상기 현재 시점의 RGB 주행 영상 데이터 중 상기 좌표와 동일한 좌표의 픽셀 값으로 변경한 후 RGB 압축 주행 영상 데이터를 생성하는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.
자율 주행 자동차가 영상 촬영 기기를 통해 자율 주행을 시작하면 실시간으로 시점별 주행 영상 데이터를 생성하는 단계;
상기 자율 주행 자동차가 시점 별 주행 영상 데이터를 RGB 영상으로 획득하여 RGB 주행 영상 데이터를 생성하는 단계;
상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 각 영상의 픽셀의 값의 차이가 큰 픽셀을 찾아내는 단계;
상기 RGB 주행 영상 데이터 중 현재 시점의 RGB 주행 영상 데이터 및 이전 시점의 RGB 주행 영상 데이터 각각을 이용하여 RGB 압축 주행 영상 데이터를 생성하는 단계;
상기 RGB 압축 주행 영상 데이터를 관제 센터 서버에 제공하는 단계;
상기 관제 센터 서버가 통신망을 통해 상기 자율 주행 자동차로부터 RGB 압축 주행 영상 데이터를 수신하면, 상기 RGB 압축 주행 영상 데이터의 압축을 푸는 단계;
상기 관제 센터 서버가 압축을 푼 영상을 이전에 수신된 영상에 덮어 써서 원래의 주행 영상 데이터로 복원하는 단계;
상기 관제 센터 서버가 상기 복원한 원래의 주행 영상 데이터를 기초로 자율 주행 자동차의 주행을 제어하는 단계를 포함하는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.
제6항에 있어서,
상기 RGB 압축 주행 영상 데이터를 원래의 주행 영상 데이터로 복원하는 단계는
상기 RGB 압축 주행 영상 데이터의 압축을 해제한 후 상기 압축이 해제된 RGB 주행 영상 데이터가 분할 되어 병렬로 수신된 영상인 경우 상기 분할 영상을 이용하여 RGB 주행 영상 데이터로 합쳐 원래의 영상으로를 생성하는 단계를 포함하는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.
제6항에 있어서,
상기 RGB 압축 주행 영상 데이터를 원래의 주행 영상 데이터로 복원하는 단계는
상기 RGB 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이면 해당 좌표의 픽셀 값을 이전의 영상의 픽셀 값을 변경하지 않고 그대로 사용하는 단계;
상기 RGB 주행 영상 데이터 각각의 좌표의 픽셀 값이 0이 아니면 이전에 수신된 RGB 주행 영상 데이터좌표와 동일한 좌표의 픽셀 값에 현재 수신한 픽셀 값으로 변경하는 단계를 포함하는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.
제6항에 있어서,
상기 RGB 압축 주행 영상 데이터를 생성하는 단계는
상기 이전 시점의 RGB 주행 영상 데이터 각각의 좌표의 픽셀 값에서 상기 현재 시점의 RGB 주행 영상 데이터 각각의 픽셀 값을 차감하여 차이 픽셀 값을 산출하는 단계;
상기 차이 픽셀 값의 설정한 임계값 이하이면 0값으로 치환, 임계값 이상이면 획득한 영상값을 선택 하여 주행 영상 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.
제1항 및 제3항 중 어느 하나 항에 있어서,
상기 자율 주행 자동차가 시점 별 주행 영상 데이터를 RGB 영상으로 획득하여 RGB 주행 영상 데이터를 생성하는 단계는
상기 자율 주행 자동차가 영상 촬영 기기로부터 획득한 시점 별 주행 영상 데이터의 색상 형태를 R,G,B로 제안하지 않으며 CMY(RGB의 보색) 및 HSI(Hue, Saturation, Intensity), YCbCr(휘도,파랑색차,빨강색차) 중 어느 하나를 기초로 변화하여 처리하는 단계를 포함하는 것을 특징으로 하는
원격 주행을 위한 주행 영상 데이터 송수신 방법.