WO2023211119A1

WO2023211119A1 - 원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템

Info

Publication number: WO2023211119A1
Application number: PCT/KR2023/005623
Authority: WO
Inventors: 김성민
Original assignee: 주식회사 엘지유플러스
Priority date: 2022-04-27
Filing date: 2023-04-25
Publication date: 2023-11-02

Abstract

본 발명은 원격 제어 센터에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템에 관한 것으로서, 본 개시의 일측면에 따른 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서의 사고 인식 및 예방 방법은 상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 단계와 상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계와 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계와 상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계를 포함할 수 있다.

Description

원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템

본 발명은 원격 주행에 관한 것으로서, 상세하게 원격 주행 시스템 운영 시 원격지 센터에서 원격 제어 차량의 사고 발생 인식할 수 있을 뿐만 아니라 사고 발생 위험을 사전 감지함으로써, 원격 주행 시 사고 위험을 완화하고 사고 발생을 미연에 방지하기 위한 기술에 관한 것이다.

자율 주행 차량이란 운전자 또는 승객의 조작 없이 차량 스스로 운행이 가능한 차량을 말한다. 또한, 통신 기술이 발전함에 따라 고속으로 대용량의 데이터 전송이 가능해지면서, 무선 통신 시스템에 의해 더 다양한 서비스를 제공할 수 있게 된다.

현재 자율 주행 차량은 기술적으로도 아직 폭우나 폭설, 짙은 안개가 있는 환경이나 돌발 상황에서 문제 없이 주행할 수 있는 수준이 아니다. 구글이 네바다주에서 무인 자동차로 면허를 받았을 때 검사관은 여러 가지 기상 상황이나 비포장 도로 같은 환경에 적응하지 못하는 문제점을 지적한 바 있다.

이러한 자율 주행 차량의 문제점을 보완하기 위해, 원격지에서 자율 주행 차량의 주행 지점에 대한 정보, 자율 주행 차량의 위치 정보, 자율 주행 차량에 의해 수집된 각종 센싱 정보 등을 기초로 자율 주행 차량을 원격지에서 상시 감시하고 조작하는 것이 가능한 원격 제어 자율 주행 제어 시스템, 즉 원격 주행(Tele-operated Driving, ToD)에 대한 연구가 활발히 진행되고 있다. 다양한 교통 수단이나 서비스가 보급 및 확대됨에 따라 자율 주행 차량의 원격 제어는 매우 중요한 교통의 요소가 될 전망이다.

하지만, 종래 원격 주행 시스템 운영 시 원격지에서는 실제 자율 주행 차량의 각종 물리적 현상 및 위험 상황들-예를 들면, 물체와의 충돌에 의한 충격, 흔들림, 방지턱/요철/물웅덩이/결빙지역 등의 헤저드(Hazard) 진입 등-을 인지하지 못해 사고 발생을 효과적으로 예방하기 힘든 문제점이 있었다.

또한, 실제 선진 원격 주행 업체들의 경우 원격 제어 센터에서의 카메라 영상을 기반으로 원격지 운전을 하며, 이때 운전자는 카메라 데이터를 참조하여 고성능 컴퓨터 기반에서 운전을 하기 때문에, 자율 주행 차량의 안전을 위하여 카메라 기반의 Machine Vision을 이용한 객체 검출, 위험도 판단 등의 다양한 AI적 기술을 적용하고 있다. 다만, 종래 원격 주행 시스템은 아무리 성능 좋은 서버를 사용한다 할지라도, 자율 주행 차량과 원격 제어 센터간에는 무선 Network이 이용되며, 특히 원격 제어 센터에서는 영상 데이터만을 이용해서 확률기반의 AI 객체인식을 하기 때문에, 100% 정확한 인식을 할 수는 없는 상태에서 원격지 운전을 해야 하는 문제점이 있다.

즉, 종래의 원격 주행 기술에 따르면 자율 주행 차량이 전송하는 영상 신호(데이터)를 기반으로만 원격 제어 센터에서의 객체인식이 가능하여, 이 정보 만을 이용하여 ToC Operator 가 원격운전을 시도하고, 이것이 자율 주행 차량으로 전송되어 차량이 제어되기 때문에, 차량의 안전도가 낮아지는 문제점이 있다.

한국 특허공개 제10-2015-0115069호(2015.10.14)에는 차량과 통신 연동된 제어 플랫폼에서 대리 운전 기사가 차량을 원격으로 운전하여 차량 주행을 제어하는 원격 차량 제어 장치 및 원격 운전 시스템이 개시되어 있다.

한국 공개특허 제10-2020-0055596호(2020.05.21)에는 차량 단말 장치가 복수의 카메라로부터 복수의 입력 영상들을 획득하고 이를 네트워크를 통해 원격 제어 장치에 전송하면, 원격 제어 장치가 수신된 영상을 기초로 패킹 영상을 구성하는 기술이 개시되어 있다.

한국 공개특허 제10-2018-012625(2018.11.27)에는 무인차량에 탑재된 다양한 센서들로부터 생성된 환경 정보 지도 및 영상 정보를 기반으로 원격 통제 장치가 무인 차량이 추종할 경로점 및 가감속 명령을 생성하는 기술이 개시되어 있다.

본 개시의 목적은 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.

본 개시의 다른 목적은 원격 제어 차량으로부터 수집된 각종 센싱 정보에 기반하여 원격 제어 센터가 원격 제어 차량의 사고 발생을 즉시 인식할 수 있을 뿐만 아니라 사고 발생 위험을 사전 감지하여 예방하는 것이 가능한 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.

본 개시의 다른 목적은 원격 제어 차량으로부터 수집된 각종 센싱 정보 및 원격 제어 센터에 의해 생성된 원격 제어 명령을 분석하여 현재 차량의 주행 상태 및 충격 상태를 판단하고, 판단 결과에 기초하여 생성된 제어 신호를 원격 제어 센터에 구비된 인포테인먼트 장치 및/또는 각종 엑추에이터(Actuator)에 전송함으로써, 원격지 운전자에게 사고 발생 인식 및 사고 예방을 위한 각종 경고 알람을 출력하는 것이 가능한 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.

본 개시의 다른 목적은 원격 제어 센터가 전송하는 다양한 메시지(제어, 객체검출 등)들이 원격 제어 차량으로 전송되면, 이를 원격 제어 차량이 가진 센서신호화 비교하여 신뢰도를 확보한 후 최종 원격 주행 시스템에 이용되게 하여 원격 제어 차량이 안전한 상태를 유지할 수 있도록 하는, 원격 제어 차량의 안전 유지 장치 및 방법을 제공하는 것이다.

본 개시의 다른 목적은 비트율로 CBR을 이용하면서도 영상 끊김 지역에 강인한 원격 주행 시스템의 영상 처리 장치 및 방법, 원격 주행 시스템, 및 원격 제어 차량을 제공함에 있다.

본 개시의 다른 목적은 비트율로 CBR을 이용하면서도 영상 끊김 지역에 강인한 코덱의 부호화 파라메터를 이용하여 실시간으로 영상을 송/수신할 수 있도록 하는 원격 주행 시스템의 영상 처리 장치 및 방법, 원격 주행 시스템, 및 원격 제어 차량을 제공함에 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일측면에 따른 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서의 사고 인식 및 예방 방법은 상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 단계와 상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계와 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계와 상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계를 포함할 수 있다.

실시 예로, 상기 원격 제어 센터는 인포테인먼트 장치 및 4D 엑추에이터를 포함하되, 상기 제어 신호는 상기 인포테인먼트 장치의 화면에 표시될 경고 알람 메시지 및/또는 상기 인포테인먼트 장치의 스피커를 통해 출력될 음성 알람 메시지를 출력하기 위한 인포테인먼트 제어 신호와 상기 4D 엑추에이터의 동작을 제어하기 위한 햅틱 제어 신호를 포함할 수 있다.

실시 예로, 상기 원격 제어 센터는 원격 운전 장치를 포함하고, 상기 차량 제어 정보는 상기 원격 제어 센터에 구비된 원격 운전 장치에 의해 생성되는 차량 제어 명령인 것을 특징으로 한다.

실시 예로, 상기 추정하는 단계는 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 전처리 후 분석하여 각 정보 별 특성 값을 추출하는 단계와 상기 추출된 특성 값에 기반한 소정 연산을 수행하여 상기 차량 상태 및 상기 충돌 상태를 추정하는 단계를 포함할 수 있다.

실시 예로, 상기 특성 값은 상기 차량 영상 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-상태와 관련된 제1 특성 값과 상기 차량 센서 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-자세와 관련된 제2 특성 값과 상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-상태와 관련된 제3 특성 값과 상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-자세와 관련된 제4 특성 값 중 적어도 하나를 포함할 수 있다.

실시 예로, 상기 제1 특성 값 및 상기 제3 특성 값은 상기 원격 제어 차량의 주행 방향에 상응하는 직진 상태 값, 좌회전 상태 값, 우회전 상태 값, 후진 상태 값 및 정지 상태 값 중 적어도 하나를 포함하고, 상기 제2 특성 값 및 상기 제4 특성 값은 상기 원격 제어 차량의 자세에 상응하는 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값 중 적어도 하나를 포함할 수 있다.

실시 예로, 상기 전처리는 동기 신호를 기반으로 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 시계열적으로 동기화시키는 단계와 상기 동기화된 정보를 정규화시키는 단계를 포함할 수 있다.

실시 예로, 상기 연산은 딥러닝 또는 머신러닝 또는 확률 추론에 기반하여 제1 차량 상태 및 제1 충돌 상태를 출력하는 제1 연산 단계와 특정 함수에 기반한 결정적(deterministic) 연산을 통해 제2 차량 상태 및 제2 충돌 상태를 출력하는 제2 연산 단계를 포함하고, 상기 제1 내지 2 차량 상태 및 상기 제1 내지 2 충돌 상태에 대한 데이터 퓨전을 통해 최종 차량 상태 및 충돌 상태가 추정될 수 있다.

실시 예로, 상기 차량 상태는 추정된 주행 방향에 관한 정보 및 상기 추정된 주행 방향에 상응하여 정규화된 크기 정보를 포함하고, 상기 충격 상태는 추정된 충격 상태에 관한 정보 및 상기 추정된 충격 상태에 상응하는 정규화된 크기 정보를 포함할 수 있다.

실시 예로, 상기 원격 제어 센터가 상기 차량 영상 정보를 이용하여 상기 원격 제어 차량의 주변 객체를 인식하는 단계; 및 상기 인식된 주변 객체에 관한 정보 및 상기 제어 신호 중 적어도 하나를 상기 원격 제어 센터에서 상기 원격 제어 차량으로 전송하는 단계를 더 포함할 수 있다.

실시 예로, 상기 원격 제어 차량은 상기 원격 제어 센터에서 수신된 상기 주변 객체에 관한 정보와 상기 차량 센서 정보를 통해 검출된 상기 주변 객체에 관한 정보를 비교/분석하여 서로 다를 경우 알람을 발생하기 위한 단계를 더 포함할 수 있다.

실시 예로, 상기 인식된 주변 객체에 관한 정보 및 상기 제어 신호 중 적어도 하나를 상기 원격 제어 센터에서 상기 원격 제어 차량으로 전송하는 단계는 상기 인식된 주변 객체에 관한 정보 및 상기 제어 신호 중 적어도 하나를 하나의 메시지(이하, 제어/객체 메시지라 칭함)로 패킷타이징하여 전송하는 것을 특징으로 할 수 있다.

실시 예로, 상기 원격 제어 센터는 상기 차량 영상 정보를 복수개의 블록들로 분할하고, 버퍼에 저장된 부호화 파라메터들에 기반하여 상기 분할된 블록 단위로 적어도 예측, 양자화, 및 엔트로피 부호화를 수행하여 상기 차량 영상 정보를 압축하는 단계; 상기 부호화 과정에서 이용된 적어도 하나의 부호화 특징 정보를 분석하여 상기 원격 제어 차량의 주변 상황을 분석하는 단계; 및 상기 분석 결과를 기반으로 상기 버퍼에 저장된 적어도 하나의 부호화 파라메터를 조절하는 단계를 더 포함할 수 있다.

실시 예로, 상기 적어도 하나의 부호화 특징 정보는 블록 관련 정보를 포함하며, 상기 블록 관련 정보는 상기 분할된 각 블록의 사이즈를 식별하기 위한 정보와 상기 분할된 각 블록의 예측 타입을 식별하기 위한 정보를 포함할 수 있다.

실시 예로, 상기 적어도 하나의 부호화 특징 정보는 양자화 관련 정보와 엔트로피 관련 정보를 포함하며, 상기 양자화 관련 정보는 양자화를 위한 양자화 파라메터를 포함하고, 상기 엔트로피 관련 정보는 엔트로피 부호화를 위한 코드길이를 포함할 수 있다.

실시 예로, 상기 압축된 영상을 포함하는 패킷들을 생성하는 단계를 더 포함하고, 상기 패킷들은 복호화를 위해 무선 네트워크를 통해 원격 제어 센터로 전송되는 단계를 더 포함할 수 있다.

실시 예로, 상기 분석 결과를 기반으로 조절되는 적어도 하나의 부호화 파라메터는 목표 비트율, 목표 양자화 파라메터 또는 목표 GOP(Group Of Pictures) 사이즈인 것을 특징으로 할 수 있다.

실시 예로, 상기 목표 비트율은 고정 비트율(CBR)인 것을 특징으로 할 수 있다.

본 개시의 다른 측면에 따른 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서 사고 인식 및 예방을 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은 상기 원격 제어 장치로부터 차량 영상 정보 및 차량 센서 정보를 수신하는 단계와 상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계와 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계와 상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계를 포함할 수 있다.

본 개시의 또 다른 측면에 따른 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터는 상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 송수신기와 차량 제어 정보를 생성하는 원격지 운전 장치와 상기 차량 영상 정보, 차량 센서 정보 및 상기 차량 제어 정보를 기반으로 차량 상태 및 충돌 상태를 추정하여 사고 인식 및/또는 사고 예방을 위한 제어 신호를 생성하는 사고 인식 및 예방 장치와 상기 제어 신호에 따라 알람 메시지를 출력하는 출력 장치를 포함할 수 있다.

본 개시의 또 다른 실시 예에 따른 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에 탈부착이 가능하도록 구현되는 사고 인식 및 예방 장치는 상기 원격 제어 차량 및 상기 원격 제어 센터에 구비된 원격 운전 장치로부터 수집된 복수의 정보를 전처리 후 분석하여 정보 별 특성 값을 추출하는 분석부와 상기 추출된 특성 값에 기반한 소정 연산을 통해 차량 상태 및 충격 상태를 추정하는 판단부와 상기 추정된 차량 상태 및 상기 충격 상태에 기반하여 사고 인식 및 예방을 위한 제어 신호를 생성하는 생성부를 포함하고, 상기 복수의 정보는 상기 원격 제어 차량으로부터 획득되는 차량 영상 정보 및 차량 센서 정보와 상기 원격 운전 장치에 의해 생성된 차량 제어 정보를 포함할 수 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시에 따른 다양한 실시 예들은 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 원격 제어 차량으로부터 수집된 각종 센싱 정보에 기반하여 원격 제어 센터가 원격 제어 차량의 사고 발생을 실시간 인식할 수 있을 뿐만 아니라 사고 발생 위험을 사전 감지하여 예방하는 것이 가능한 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 원격 제어 차량으로부터 수집된 각종 센싱 정보 및 원격 제어 센터에 의해 생성된 원격 제어 명령을 분석하여 현재 차량의 주행 상태 및 충격 상태 등을 판단하고, 판단 결과에 기초하여 생성된 제어 신호를 원격 제어 센터에 구비된 인포테인먼트 장치 및/또는 각종 엑추에이터(Actuator)에 전송함으로써, 원격지 운전자에게 사고 발생 인식 및 사고 예방을 위한 각종 경고 알람을 출력하는 것이 가능한 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 원격 제어 센터에서 원격 운전의 기초가 되는 원격 주행 영상의 객체 정보를 원격 제어 차량이 가진 자체 안전 센서로부터 직접 감지된 객체 정보와 비교하여 신뢰도를 확보한 후 최종적으로 원격 주행 시스템에 적용되도록 함으로써 원격 제어 차량의 안전도를 향상시키는 효과가 있다.

또한, 본 개시에 따른 다양한 실시 예들은 원격 주행 시스템의 영상 처리 장치 및 방법, 원격 주행 시스템, 및 원격 제어 차량은 CBR 을 이용하면서, 부호화 파라메터를 이용하여 압축 영역에서 영상 발생 비트량과 네트워크 상태를 비교하고, 이를 이용하여 GOP 구조, 목표 비트율, 양자화 파라메터와 같은 부호화 파라메터를 실시간으로 조절함으로써, 영상의 화질 변화를 최대한 유지하면서 끊김없는 영상 전송을 가능하게 하는 효과가 있다.

실시예들에 따르면, 원격 주행 시스템의 영상 처리 장치 및 방법, 원격 주행 시스템, 및 원격 제어 차량은 영상의 전송 레이턴시를 획기적으로 낮추고, 영상 압축의 발생 비트율과 화질을 네트워크 상태 변화에 따라 미리 예측하여 네트워크 대역폭을 최대한 확보함으로써, 실시간 영상 전송이 가능한 효과가 있다.

또한, 본 개시에 따른 다양한 실시 예들은 기존 원격 주행 시스템의 하드웨어를 그대로 사용하고, 소프트웨어 업그레이드를 통해 구현될 수 있으며, 이를 통해 비용 효율적으로 원격지에서 원격 제어 차량의 사고 발생을 인식하고 예방할 수 있는 장점이 있다.

다양한 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.

도 1은 본 개시의 일 실시예의 원격 주행 시스템을 설명하는 도면이다.

도 2는 본 개시의 일 실시예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다.

도 3은 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.

도 4는 본 개시의 실시 예에 따른 원격 주행 시스템의 상세 구조를 설명하기 위한 도면이다.

도 5는 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 상세 동작을 설명하기 위한 블록도이다.

도 6은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 분석부 동작을 설명하기 위한 블록도이다.

도 7은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 판단부 동작을 설명하기 위한 블록도이다.

도 8은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 생성부 동작을 설명하기 위한 블록도이다.

도 9는 본 개시의 실시 예에 따른 원격 제어 센터에 구비될 수 있는 엑추에이터의 예시이다.

도 10은 본 개시의 실시 예에 따른 원격 주행 시스템의 동작을 설명하기 위한 흐름도이다.

도 11은 본 개시의 일 실시 예에 따른 사고 인식 및 예방 장치의 동작을 설명하기 위한 순서도이다.

도 12는 본 개시의 실시 예에 따른 제어/객체 메시지 발생기 및 제어/객체 메시지 분석기를 포함하는 원격 주행 시스템을 설명하기 위한 블록도이다.

도 13은 본 개시의 실시 예에 따른 원격 제어 차량의 안전 유지 장치가 적용된 원격 주행 시스템의 블록도이다.

도 14는 도 13의 객체 인식 유닛의 세부 구성도이다.

도 15는 본 개시의 실시 예에 따른 객체 인식 유닛에서의 객체 정보 생성 방식을 설명하기 위한 예시도이다.

도 16은 도 13의 제어/객체 메시지 발생기의 세부 구성도이다.

도 17은 도 13의 제어/객체 메시지 분석기의 세부 구성도이다.

도 18은 본 개시의 실시 예에 따른 원격 제어 차량의 안전 유지 방법의 흐름도이다.

도 19는 본 개시의 실시 예에 따른 카메라 사양을 고정하고 비트율을 CBR로 고정할 때의 영상 처리 방법의 예시를 보인 도면이다.

도 20은 본 개시의 실시 예에 따른 비트율이 CBR일 때와 VBR일 때의 네트워크의 대역폭 변동의 예시를 보인 도면이다.

도 21은 본 개시의 실시 예에 따른 원격 주행 시스템 중 영상 처리 장치의 예시를 보인 구성 블록도이다.

도 22는 본 개시의 실시 예에 따른 영상압축기의 일 실시예를 보인 상세 블록도이다.

도 23은 본 개시의 실시 예에 따른 원격 주행 시스템의 영상 처리 방법의 일 실시예를 보인 흐름도이다.

도 24는 본 개시의 실시 예에 따른 채널 본딩 방법의 예시를 보인 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 도 1 내지 24을 참조하여 본 개시에 따른 원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템에 대해 상세히 설명하기로 한다.

원격 주행 시스템에서의 사고 인식 및 예방을 위한 제어 신호 처리 방법.

원격 주행(Tele-operated Driving, ToD) 시스템(100)은 자율 주행 기능이 탑재된 차량, 즉, 자율 주행 차량과 원격지 서버(또는 원격 제어 센터)가 유/무선 네트워크를 통해 연동되어, 자율 주행 차량의 운행 중 더 이상 자율 주행 유지가 어려운 문제가 발생되었거나 운전자 또는 원격지 서버의 요청 등에 따라 원격 주행 모드로의 전환이 요청된 경우, 원격지 서버의 원격 제어(tele-operated)를 통해 자율 주행 차량을 직-간접적으로 원격지에서 감시 및 제어하는 기술로서 최근 다방면으로 연구 개발되고 있다.

원격 주행 기술은 원격지 센터(120)에서 자율 주행 차량(110)을 원격으로 조작하는 기술로서 원격 주행 시스템(100)은 크게 세가지 구성 요소로 이루어진다.

도 1을 참조하면, 원격 주행 시스템(100)은 원격 제어가 가능한 자율 주행 차량인 원격 제어 차량(Tele-operated vehicle, ToV, 110), 네트워크(network, 130) 및 네트워크(130)를 통해 원격으로 차량을 제어하는 원격 제어 센터(Tele-operated center, ToC, 120)로 구성될 수 있다. 이때, 원격 제어 차량(110)은 자율 주행이 가능하며, 환경모델(E/M) 부호화가 가능하다. 또한, 네트워크(130)는 5G 통신망이 이용될 수 있으나 이에 한정되지는 않으며, 당업자의 설계에 따라 4G 통신망 또는 6G 통신망 또는 다른 이동 통신망 및 유선 통신망이 이용될 수 있다. 또한, 원격 제어 센터(120)는 환경모델(E/M) 복호화가 가능하며, 디스플레이를 통한 원격 감시 및 원격지 운전 장치를 통한 차량의 원격 조작이 가능할 수 있다.

원격 제어 차량(110)은 원격 제어를 수행하기 위한 대상 차량으로서, 자율 주행 기능을 반드시 탑재하고, 각종 자율 주행에 필요한 각종 안전 센서(Safety Sensor)를 구비할 수 있다. 여기서, 안전 센서는 첨단 운전자 보조 장치인 ADAS(Advanced Driver Assistance System)를 구현하기 위한 카메라, 레이다(Radar), 라이다(Lidar), 소나(Sound Navigation And Ranging, SONAR) 센서 등을 포함할 수 있으나, 이에 한정되지는 않는다.

카메라는 인간의 눈에 해당되는 차량 센서로서, 렌즈를 통해 시각적으로 주변 사물을 인식하고, 인식된 주변 사물을 통해 주행 상황을 인식하기 위한 용도로 사용될 수 있다.

카메라는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 이때 처리된 화상 프레임은 디스플레이에 표시되거나 메모리에 저장될 수 있다. 또한, 자율주행 차량에 설치되는 복수의 카메라는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같은 매트릭스 구조를 이루는 카메라를 통하여 다양한 각도 또는 초점을 갖는 복수의 영상 정보가 입력될 수 있다. 또한, 복수의 카메라는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스테레오 구조로 배치될 수 있다.

본 발명의 일 실시예에서, 카메라는 자율 주행 차량의 운전자 시야 데이터를 센싱할 수도 있다. 여기에서, 운전자 시야 데이터는 차량 외부 영상을 포함할 수 있다.

레이다는 전자기파를 발사하고 반사돼 돌아오는 신호를 기반으로 주변 사물과의 거리, 속도, 방향 등의 정보를 추출할 수 있다. 레이다는 사용 주파수에 따라 단거리부터 중거리, 장거리를 모두 감지할 수 있으며, 긴급자동제동장치, 스마트 크루즈 컨트롤 등에 활용될 수 있다. 자율주행차량에 3대의 레이다 센서를 나란히 설치하면, 전방 180도 시야를 확보할 수 있다. 레이다는 날씨 등에 영향을 받지 않고, 먼 거리에 있는 장애물의 존재를 확인할 수 있기 때문에 현재 운행 중인 차량에도 많이 적용되어 있는 센서이다.

라이다는 레이저(빛)를 물체와 주고받으며 3차원 지도를 형성하여 사물의 원근감, 형태, 거리, 속도를 인식할 수 있다. 라이다는 주로 905나노미터(nm)의 짧은 파장을 이용해 레이더보다 공간 분해능력이 훨씬 정밀할 뿐만 아니라 자체 광원으로 빛이 부족환 환경에서도 성능에 영향을 덜 받는 장점이 있다. 따라서, 라이다는 자율 주행 시스템의 신뢰도를 높이는데 중요한 역할을 수행한다.

소나는 레이더와 용도가 유사하나, 전자파가 아닌 음파 전송 후 객체에 충돌한 후 다시 반사되어 수신되는 시간을 측정하여 전방 또는 후방 객체를 감지하고, 객체까지의 거리를 측정하는 센서이다. 소나는 주로 차량이 후진할 때 후방의 시야 사각지대의 객체를 감지하고, 이를 운전자에게 알리는 용도로 사용되고 있다. 음파는 전자파에 비해 훨씬 느린 속도로 전파되기 때문에 작은 물체도 높은 해상도로 확인할 수 있는 장점이 있다.

원격 제어 차량(110)은 각 센서로부터 수집된 센싱 데이터를 결합 및 융합하는 센서 퓨전 기술 및 AI 기술 등을 적용하여 자율 주행을 위한 최적의 주행 알고리즘을 제공할 수 있다.

원격 제어 차량(110)은 수집된 센싱 데이터-즉, 차량 센서 정보-를 네트워크(130)를 통해 원격 제어 센터(120)로 전송할 수 있다.

원격 제어 센터(120)는 수집된 센싱 데이터를 기초로 제어 데이터를 생성하고, 생성된 제어 데이터를 네트워크(130)를 통해 원격 제어 차량(110)에 전송할 수 있다. 여기서, 제어 데이터는 원격지 운전자의 원격지 운전 장치 조작에 따라 발생되는 차량 제어 명령일 수 있다.

환경모델은 차량의 속도/위치/방향/차량 상태 등을 식별하기 위한 센싱 정보를 제공하는 차량 센서(속도, 위치, 방향, 차량 상태) 및 주변 객체 인식 및 인식된 객체의 이동 궤적을 추정하여 차량의 주행을 제어하는 자율 주행 센서들-예를 들면, 라이다, 레이다, 소나, V2X 통신 모듈, 카메라 등-를 이용하여 주변 환경 데이터를 모델링한 것에 대응한다.

특히, 원격 주행 시스템(100)을 보다 안전하고 신뢰성 있게 구현하기 위하여 열악한 통신환경 극복을 위한 네트워크 적응(network adaptation) 기술, 업링크(uplink) 및 다운링크(downlink) 기술 및 자율 주행 기술 등을 제공할 수 있으며, 이 중 업링크 기술은 카메라 촬영된 영상 및 차량 센서로부터 수집된 센싱 데이터의 전송과 관련되고, 다운링크 기술은 원격 제어 센터(120)에서 원격 제어 차량(110)을 제어하기 위해 생성된 제어 데이터-즉, 차량 제어 명령-의 전송과 관련될 수 있다.

이하, 업링크 전송에 대하여 설명한다.

원격 제어 차량(ToV, 110)은 적어도 두 가지 환경모델을 부호화하여 원격 제어 센터(ToC, 120)로 전송할 수 있다. 이때, 원격 제어 차량(110)은 센싱 데이터를 포함하는 환경모델을 인코더(encoder)를 통해 부호화하여 네트워크(130, 예를 들어, 5G)를 통해 원격 제어 센터(120)로 전송할 수 있다. 한편, 원격 제어 센터(120)는 수신된 환경모델을 디코더(decoder)를 통해 복호화하여 구비된 디스플레이(display)을 통해 출력할 수 있다. 여기서, 센싱 데이터는 영상 데이터 및 차량 센서 데이터 중 적어도 하나를 포함할 수 있다.

일 예로, 두 가지 환경모델은 운전자 시야 데이터 및 차량 센서 데이터를 포함할 수 있다. 이때, 운전자 시야 데이터는 차량 외부 영상(4채널 또는 2채널) 데이터를 압축하여 전송할 수 있고, 차량 센서 데이터는 차량 위치에 대한 센싱 정보 및 차량 운행 상태에 관한 각종 센싱 정보를 포함할 수 있다. 차량 운행 상태에 대한 센싱 정보는 주행 속도에 관한 정보, 제동(브레이크) 제어 정보, 가속(악셀) 제어 정보, 조향 제어 정보, 충격 감지 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.

이를 위하여, 저지연 영상통신 기술, 빠르고 안정적인 네트워크 기술, 저지연 디스플레이 기술 등이 요구된다. 이를 통하여 영상 및 네트워크의 delay 및 latency를 최대한 줄여 데이터의 정확하고 빠른 통신 달성이 가능하다.

이하, 다운링크 전송에 대하여 설명한다.

원격 제어 센터(ToC, 120)는 원격 제어 차량(110)의 상태를 파악하여 직/간접적인 제어 신호를 생성하고, 생성된 제어 신호를 원격 제어 차량(110)으로 전송할 수 있다. 여기에서, 직접적인 제어 신호는 차량 구동 장치를 제어하기 위한 제어 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(ToC, 120)는 차량 구동 장치를 위한 제어 데이터-즉, 차량 제어 명령-을 생성하여 원격 제어 차량(110)에 전송할 수 있다. 또한, 간접적인 제어 신호는 운전자 가이드 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(120)는 운전자 가이드 데이터를 생성하여 원격 제어 차량(110)에게 전송할 수 있다.

이를 위하여, 전송된 환경모델 이해를 통한 차량 상태 및 제어 형태 추론 기술 등이 요구되며, 환경모델 이해를 통한 정확한 차량 제어 형태 정의가 중요하게 된다.

도 2는 본 개시의 일 실시예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다. 이하, 도 1에서 상술한 설명과 중복되는 부분은 생략하도록 한다.

도 2를 참조하면, 원격 주행 시스템(200)은 원격 제어 차량(210), 데이터부호화부(211), 제1 네트워크 적응부(212), 원격 제어 센터(220), 데이터 복호화부(221), 제2 네트워크 적응부(222) 및 네트워크(230)를 포함할 수 있다. 다만, 여기에서, 원격 주행 시스템(200)이 상술한 구성을 모두 포함한다는 의미는 물리적으로 포함한다는 의미가 아닌 원격 주행 시스템(200) 내에서 서로 연결되어 동작 가능함을 의미한다.

원격 제어 차량(210)은 데이터부호화부(211)를 통하여 센싱된 데이터를 압축 및/또는 부호화하고 원격 제어 센터(220)로 전송할 수 있다. 이때, 제1 네트워크 적응부는 네트워크(230)의 상태를 모니터링하면서 시스템 파라미터를 조절할 수 있다. 여기서, 시스템 파라미터는 원격 제어 센터(220)와의 통신에 사용되는 각종 물리적, 소프트웨어적 파라메터를 포함할 수 있다. 일 예로, 시스템 파라미터는 무선 접속 방식을 제어하기 위한 파라메터, 주파수 대역을 설정하기 위한 파라메터, 송수신 전력 범위를 설정하기 위한 파라메터 등을 포함할 수 있으나, 이에 한정되지는 않는다.

또한, 원격 제어 센터(220)는 데이터 복호화부(221)를 통하여 원격 제어 차량(210)이 전송한 각종 센싱 데이터를 수신하고 복호화 및/또는 압축 해제할 수 있다.

이때, 제 1 네트워크 적응부(212)은 원격 제어 차량(210)의 로직을 수행할 수 있고, 제 2 네트워크 적응 부(222)는 원격 제어 센터(220)의 로직을 수행할 수 있다.

도 3을 참조하면, 원격 제어 차량은 크게 정보 제공 주체(301), 처리 및 판단 주체(302), 동작 주체(303)를 포함하여 구성될 수 있다.

정보 제공 주체(301)는 처리 및 판단 주체(302)로 고정밀 지도 정보 및 각종 센싱 정보를 제공할 수 있다.

도 3에 도시된 바와 같이, 정보 제공 주체(301)는 고정밀 지도 저장소, 안전 센서(Safety Sensor) 및 차량 센서(Vehicle Sensor)를 포함할 수 있다.

고정밀 지도(또는 HD 지도)는 차선, 교차로, 공사 구간, 도로 표지판 등 도로나 교차로의 표면에 대한 세부적인 정보를 포함하고 있다. 고정밀 지도는 단순히 자율 주행 차량의 위치를 파악하기 위한 용도 이외에도 차량 운행에 필요한 경로를 결정하기 위한 다양한 정보를 제공할 수 있다.

일 예로, 안전 센서는 카메라, 소나 센서, 라이다, 레이다 등을 포함하고, 차량 센서는 스티어링 조향각 센서, 속도 센서, 가속도 센서, 타이어 공기압 감지 시스템(Tire Pressure Monitoring System), 휠 스피드 센서, 차량 자세 제어(Electronic Stability Control, ESC)를 위한 자이로 센서, 관성 센서(Inertial Measurement Unit, IMU), 위성항법시스템(Global Navigation Satellite System, GNSS) 등을 포함할 수 있다.

GNSS와 IMU는 차량의 위치를 측정하고, 관성 정보 및 지리적 위치에 대한 측정 값을 200Hz 이상의 빠른 주기로 처리 및 판단 주체(302)에 제공할 수 있다. GPS의 느린 주기와 높은 정확도, IMU의 빠른 주기와 큰 누적 오차의 장/단점들을 잘 융합하도록　칼만 필터가 사용될 수 있다.

라이다는 지도 매핑, 로컬라이제이션, 장애물 회피 등에 사용될 수 있으며, 레이저 빛의 ToF(Time of Flight)를 측정해 거리를 측정하고 단색 3D 맵을 생성할 수 있다. 라이다는 정확도가 높기 때문에 HD맵을 생성하고 이동중인 차량 위치를 로컬라이제이션(추정)한 뒤, 전방의 장애물을 감지하는 작업에 주로 사용될 수 있다.

카메라는 차로, 신호등, 보행자 감지 등과 같이, 객체 인지 및 추적 작업에 활용될 수 있다. 일 예로, 안전성을 높이기 위해 1080p 카메라가 8개 이상 사용될 수 있다. 카메라 센싱 정보를 기초로 처리 및 판단 주체(302)는 전방, 후방, 좌/우 측장의 객체를 감지 및 인지하여 추적할 수 있다.

레이더와 소나는 장애물 회피를 위한 최후의 수단으로 사용될 수 있다. 레이더와 소나의 센싱 정보는 차량 이동 경로 선상에서 가장 가까이 있는 대상까지의 거리와 속도 정보를 제공할 수 있다.

처리 및 판단 주체(302)는 자율 주행 제어기에 해당될 수 있다.

자율 주행 제어기는 고정밀 측위부, 경로 생성부, V2X(Vehicle to Everything) 통신부, 자율 주행 판단부, 센서 퓨전부, 제어명령생성부 및 원격 주행 연결부를 포함하여 구성될 수 있다.

고정밀 측위부는 센싱 정보를 기초로 차량의 위치 및 자세를 측정 및/또는 추정할 수 있다.

경로 생성부는 센싱 정보를 기초로 차량의 주행 경로를 생성할 수 있다.

V2X 통신부는 V2X 통신 기능을 제공할 수 있다. V2X 통신은 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.

자율 주행 판단부는 운전자의 자율 주행 요청에 따라 자율 주행이 가능한 경우, 자율 주행 모드로 진입하도록 제어할 수 있다.

센서퓨전부는 각 센서로부터 수집된 센싱 정보가 가지는 장점 및 특성들을 융합하여 차량 근거리 주변의 정보들을 HD-MAP상에 표현할 수 있다.

센서 퓨전을 통해 고정밀 측위부는 차선 단위 고정밀 측위가 가능하고, 경로 생성부는 차량의 지근 거리 경로를 생성할 수 있다.

제어명령생성부는 V2X 통신을 통해 근거리 상황 정보를 획득할 수 있으며, 상술한 고정밀 측위 결과 및 경로 생성 결과, 그리고 V2X 통신을 통해 획득된 근거리 상황 정보를 종합적으로 고려하여 객체 인지 및 객체의 위치를 추적하고, 이를 기반으로 동작 주체(303)를 위한 제어 명령을 생성할 수 있다.

원격 주행 연결부(또는 ToD 연결부)는 자율 주행 중 최근 법제화되고 있는 원격 주행으로의 전환 기능을 수행할 수 있다.

원격 주행 연결부는 자율 주행 중 전방 도로 구간의 자율 주행이 불가하거나, 또는 원격 제어 센터의 제어권 전환 요청이 수신되거나, 또는 운전자로부터 원격 주행이 요청된 경우 자율 주행 모드를 원격 주행 모드로 전환시킬 수 있다.

동작 주체(303)는 엔진 ECU(Electronic Control Unit), 제동 ECU, 조향 ECU, 변속 ECU 등을 포함할 수 있다. 동작 주체(303)는 처리 및 판단 주체(302)로부터 수신되는 제어 명령에 따라 동작할 수 있다.

모든 자율 주행 차량은 스스로의 정보를 이용하여, 자율 주행 가능성과 가능하지 않음을 판단하고 자율 주행이 가능할 때 자율 주행을 수행한다.

모든 자율 주행 기술들은 이러한 정보를 이용하여 주변 상황을 얼마나 정확하게 판단하느냐가 중요한 요소이며, 이를 위해 좀더 정확한 센서, 좀더 정확한 알고리즘, 좀더 정확한 제어 방법이 요구되고 있다.

하지만, 현재 자율 주행 기술은 아직 인식할 수 없는 객체가 존재하며, 이에 따라 인식하지 못한 객체로 인한 충돌 사고가 빈번히 발생되고 있다.

센서 정보를 기초로 감지 및 인식된 객체 정보와 지도상의 객체 정보가 상이한 복잡한 트래픽지역-예를 들면, 차선이 막힌 공사 구간-에서는 기존의 주행 규칙 -예를 들면, 실선을 넘어갈 수 없거나, 도로 밖으로는 차량이 진입할 수 없음-를 따를 경우, 더 이상 자율 주행이 불가할 수 있다.

이와 같은 자율 주행의 문제점을 극복하기 위해, 최근 원격 주행(Teleoperated Drivingm, ToD) 기술이 법제화되고 있으며, 이 기술은 자율 주행 차량이 자율 주행이 불가한 경우, 원격지에서 원격으로 차량을 제어하는 기술이다

즉, 현재 자율 주행 기술들은, “자율 주행 센서들이 검출한 정보를 기반으로 자율 주행을 하거나, 상술한 바와 같이, 특수한 경우 중앙선을 넘는 등의 법규 위반을 할 수 없다거나, 주변 정보가 갱신되기 전까지는 그 지역의 자율 주행이 불가능하다거나, 차량이 갖는 자율 주행 능력(level.1 ~ level.5)을 벗어나는 자율 주행을 수행할 수 없다-예를 들면, lv.2 자율 주행 차량은 상기와 같은 경우 차선을 바꾸어 가면서 자율 주행을 수행할 수 없음)"는 점이 단점으로 작용한다.

따라서 이러한 지역에서는 자율 주행 차량은 원격 제어 센터로 ToD 로의 전환을 요청하고, 원격지에서는 사람이 주행 상황을 모니터링하면서 차량을 원격으로 제어함으로써 자율 주행의 상술한 단점을 극복할 수 있다.

도 4를 참조하면, 원격 주행 시스템(400)은 크게 원격 제어 차량(ToV, 410), 원격 제어 센터(ToC, 420) 및 네트워크(430)을 포함하여 구성될 수 있다.

원격 제어 차량(410)은 차량 센서(411), 자율주행제어기(412), 차량 ECU(413), ToD 카메라(414), 영상압축기(415), 원격주행제어기(416), 네트워크상태예측기(417) 및 송수신기(418) 중 적어도 하나, 또는 그것들의 조합을 통해서 구성될 수 있다.

상기 도 4에 도시되어 있지는 않지만, 원격 제어 차량(410)은 지도저장소(미도시)를 더 포함하여 구성될 수 있다. 지도저장소는 자율 주행에 필요한 고정밀 지도를 유지하고, 해당 고정밀 지도에 대한 정보를 자율 주행 제어기(412)에 제공하기 위해 사용될 수 있다.

차량 센서(411)는 ADAS를 위한 안전 센서들로부터 수신되는 각종 센싱 정보 및 그 외의 다양한 차량 내 구비된 다른 센서 및/또는 차량 ECU(413)로부터의 각종 센싱 정보를 수집하여 자율 주행 제어기(412)에 제공할 수 있다.

일 예로, 차량 센서(411)에 의해 수집되는 정보는 네-바퀴 휠틱, 스티어링 조향각, 속도, 가속도, 차량 자세 제어, 타이어 압력 등 차량의 OBD(On-Board Diagnostic) 장치로부터 쉽게 취득할 수 있는 정보들을 포함할 수 있다.

차량 ECU(413)는 자율 주행 제어기(412)의 제어 명령에 따라 동작하는 다양한 ECU들을 포함할 수 있다.

차량 센서(411) 및 차량 ECU(413)에 대한 구체적인 설명은 상술한 도면들의 설명으로 대체한다.

실시 예에 따른 자율 주행 제어기(412)는 자율 주행 모드로 주행 중 더 이상 자율 주행 유지가 불가하거나, 운전자 또는 원격지 요청에 따라 원격 주행 모드로의 전환이 요청된 경우, 원격 주행 모드로의 전환을 원격 주행 제어기9416)에 요청할 수 있다.

일 예로, 자율 주행 제어기(412)는 전방 도로 구간에 대한 고정밀 지도 정보가 존재하지 않거나, 전방 장애물 식별이 불가한 상황 등이 감지되었거나, 기준치 이상의 외부 충격이 감지된 경우 자율 주행 유지가 더 이상 어려운 것으로 판단할 수 있다.

원격주행제어기(416)는 자율 주행 모드에서 원격 주행 모드로 전환된 경우, ToD 카메라(414)를 구동시킬 수 있다.

ToD 카메라(414)에 의해 촬영된 영상은 영상압축기(415)를 통해 압축된 후 송수신기(418)를 통해 원격 제어 센터(420)로 전송될 수 있다. 일 예로, ToD 카메라(414)는 원격 제어 차량(410)의 전/후/좌/우 4개의 영상을 촬영할 수 있으며, 원격 제어 센터(420)로 전송되는 차량 영상 정보는 촬영된 4개의 영상 중 적어도 하나를 포함할 수 있다.

네트워크상태예측기(417)는 현재 네트워크 상태를 모니터링하여 원격 제어 센터(420)와의 통신에 적합한 채널을 선택할 수 있다.

영상압축기(415)에 의해 압축된 영상 데이터 및 차량 센서(411)로부터 수집된 차량 센싱 데이터는 송수신기(418)를 통해 인코딩 및 변조되어 네트워크상태예측기(417)에 의해 선택된 채널을 통해 전송될 수 있다.

실시 예에 따른 원격주행제어기(416)는 네트워크상태예측기(417)에 의해 선택된 채널 정보에 기반하여 영상압축기(415)의 압축률을 결정할 수 있으며, 영상압축기(415)는 결정된 압축률에 따라 영상 압축을 수행할 수 있다. 일 예로, 채널 상태가 양호할수록, 영상 압축률은 높게 결정되고, 채널 상태가 열악할수록 영상 압축률은 낮게 결정될 수 있다.

원격주행제어기(416)는 송수신기(418)를 통해 원격 제어 센터(420)로부터 차량 제어 명령을 수신할 수 있다.

원격주행제어기(416)는 수신된 차량 제어 명령을 자율주행제어기(412)로 전달할 수 있다. 자율주행제어기(412)는 수신된 차량 제어 명령에 따라 차량 ECU(413)를 제어할 수 있다.

원격제어센터(420)는 원격제어센터제어기(ToC controller, 421), 송수신기(422), 영상복호기(423), 모니터링장치(424), 원격지운전장치(425), 4D 엑추에이터(426), 스피커(428) 및 사고 인식 및 예방 장치(427) 중 적어도 하나 또는 그것들의 조합들로 포함하여 구성될 수 있다.

원격지 운전자는 디스플레이 화면에 표시되는 영상을 모니터링하면서 원격지 운전 장치(425)를 이용하여 원격지 운전을 수행할 수 있다. 여기서, 원격지 운전 장치(425)는 조향 핸들, 악셀 패달, 브레이크 패달, 기어 장치 등의 기본적인 주행 제어 수단뿐만 아니라 인포테인먼트 시스템, 램프 및 와이퍼 등 각종 차량 기능을 제어할 수 있는 수단을 구비할 수 있다.

실시 예에 따른 사고 인식 및 예방 장치(427)는 소프트웨어적으로 로딩(Loading)/언로딩(Unloading) 및/또는 하드웨어적으로 장착/탈착이 가능한 구조로 구현될 수 있다. 따라서, 사고 인식 및 예방 장치(427)는 기존 원격 제어 센터(420)와 독립적으로 구현되어 적용될 수 있다. 즉, 사용자의 선택에 사고 인식 및 예방 장치(427)는 원격 제어 센터(420)에 포함되거나 포함되지 않을 수 있다.

송수신기(422)는 네트워크(430)를 통해 수신된 신호를 복조 및 디코딩하여 원격제어센터제어기(421)에 제공할 수 있다.

원격제어센터제어기(421)는 송수신기(422)를 통해 원격 제어 차량(410)으로부터의 영상 정보 및 차량 센서 정보를 수신할 수 있다. 여기서, 영상 정보는 압축된 영상 정보일 수 있다.

원격제어센터제어기(421)는 영상 정보를 영상복호기(423)로 전달하여 압축 해제하고, 압축 해제된 영상 정보를 모니터링장치(424)로 전송하고, 모니터링장치(424)는 영상 정보를 구비된 화면에 표시할 수 있다.

원격지 운전자는 모니터링 화면을 보면서 원격지 운전 장치(425)를 조작할 수 있다.

원격지 운전 장치(425)의 조작에 따라 생성된 차량 제어 명령은 원격제어센터제어기(421) 및/또는 송수신기(422)를 통해 원격 제어 차량(410)에 전송될 수 있다.

실시 예로, 차량 제어 명령은 사고 인식 및 예방 장치(427)에 제공될 수도 있다. 이때, 차량 제어 명령은 원격제어센터제어기(421)를 통해 제공될 수 있으나, 이는 하나의 실시 예에 불과하며, 원격지 운전 장치(425)와 사고 인식 및 예방 장치(427) 사이에 직접 연결 선로가 구성된 경우, 원격지 운전 장치(425)에 의해 생성된 차량 제어 명령이 직접 사고 인식 및 예방 장치(427)에 제공될 수도 있다.

실시 예로, 원격제어센터제어기(421)는 압축 해제된 영상 정보를 사고 인식 및 예방 장치(427)에 제공할 수 있으나, 이는 하나의 실시 예에 불과하며, 영상복호기(423)와 사고 인식 및 예방 장치(427) 사이에 직접 연결 선로가 구성된 경우, 원격제어센터제어기(421)를 경유하지 않고, 압축 해제된 영상 정보는 영상복호기(423)로부터 사고 인식 및 예방 장치(427)에 직접 전달될 수 있다.

사고 인식 및 예방 장치(427)는 차량 센서 정보를 원격제어센터제어기(421)로부터 수신할 수 있으나, 이는 하나의 실시 예에 불과하며, 송수신기(422)와 사고 인식 예방 장치(427) 사이에 직접 연결 선로가 구현된 경우, 차량 센서 정보는 송수신기(422)로부터 사고 인식 예방 장치(427)에 직접 제공될 수도 있다.

사고 인식 및 예방 장치(427)는 영상 정보, 차량 센서 정보 및 차량 제어 명령 중 적어도 하나, 또는 그것들의 조합에 기반하여 차량 상태 및 충격 상태를 결정하고, 결정된 차량 상태 및 충격 상태에 기반하여 인포테인먼트 장치 및/또는 4D 엑추에이터(426) 및/또는 스피커(428)의 출력을 제어하기 위한 제어 신호를 생성할 수 있다.

사고 인식 및 예방 장치(427)는 영상 정보, 차량 센서 정보 및 차량 제어 명령을 전처리 과정을 통해 시계열적으로 동기화한 후 각각에 대한 분석을 수행하여 특성 값들을 추출할 수 있다.

사고 인식 및 예방 장치(427)는 추출된 특성 값들에 대한 학습-예를 들면, 딥러닝 또는 머신 러닝- 또는 함수 연산을 통해 차량 상태 및 충격 상태를 추정할 수 있다.

사고 인식 및 예방 장치(427)는 추정된 차량 상태 및 충격 상태에 기반하여 인포테인먼트 제어 신호 및/또는 햅틱 제어 신호를 생성할 수 있다. 여기서, 인포테인먼트 제어 신호는 모니터링장치(424)의 화면 일측에 표시될 그래픽/문자 알람 메시지 및/또는 스피커(428)를 통해 출력될 음성 알람 메시지를 포함하고, 햅틱 제어 신호는 해당 4D 엑추에이터(426)의 동작을 제어하기 위한 엑추에이터 제어 신호를 포함할 수 있다.

상술한 바와 같이, 본 개시에 따른 원격지 제어 센터(420)는 사고 인식 및 예방 장치(427)를 구비함으로써, 각종 경고 알람 메시지 출력 및 엑추에이터 출력을 제어할 수 있으며, 이를 통해, 원격지 운전자가 보다 정확하고 빠르게 실제 사고 발생 인지 및/또는 사고 발생 위험을 감지하여 사고에 따른 피해를 경감시키거나 사고 발생을 미연에 방지할 수 있는 장점이 있다.

도 5를 참조하면, 사고 인식 및 예방 장치(570)는 입력부(510), 분석부(520), 판단부(530), 생성부(540), 출력부(550) 및 동기화부(560) 중 적어도 하나 또는 그것들의 조합을 통해 구성될 수 있다.

입력부(510)는 차량 센서 정보, 차량 영상 정보 및 차량 제어 정보(또는 차량 제어 명령)을 입력 받을 수 있다.

동기화부(560)는 분석부(520), 판단부(530) 및 생성부(540) 중 적어도 하나에 동기 신호를 제공할 수 있다. 여기서, 동기 신호는 차량 센서 정보, ToD 영상 정보 및 차량 제어 정보를 시간축에서 동기화시키기 위한 용도로 사용될 수 있다. 즉, 사고 인식 및 예방 장치(570)는 입력된 차량 센서 정보, 차량 영상 정보 및 차량 제어 정보를 동기 신호를 이용하여 시계열적으로 상호 연관시켜 처리할 수 있다.

분석부(520)는 입력부(510)로부터 수신된 정보들을 시간축에서 동기화시키고, 모든 입력 정보(또는 데이터)가 동일한 정도의 스케일 및/또는 중요도로 반영되도록 정규화(Normalization)시키는 전처리 동작을 수행할 수 있다.

분석부(520)는 전처리된 데이터에 대한 분석을 통해 각각의 정보에 상응하는 특성 값을 추출할 수 있다. 여기서, 추출된 특성 값들은 차량의 실-자세 및 실-상태와 관련된 특성 값들뿐만 아니라 차량의 기대-자세 및 기대-상태와 관련된 특성 값들을 포함할 수 있다.

판단부(530)는 추출된 특성 값을 분석부(520)로부터 입력 받고, 입력된 특성 값들에 대한 학습 및/또는 소정 함수 연산을 통해 차량 상태 및 충격 상태를 추정 또는 결정할 수 있다. 여기서, 학습은 딥러닝, 머신 러닝 및 확률 추론 중 적어도 하나 또는 그것들의 조합일 수 있으나, 이에 한정되지는 않는다.

생성부(540)는 추정 또는 결정된 차량 상태 및 충격 상태를 입력으로 인포테인먼트 장치 및/또는 4D 엑추에이터를 제어하기 위한 제어 신호를 생성할 수 있다. 여기서, 제어 신호는 인포테인먼트 장치의 출력을 제어하기 위한 인포테인먼트 제어 신호와 4D 엑추에이터의 출력을 제어하기 위한 햅틱 제어 신호 중 적어도 하나를 포함할 수 있다.

출력부(550)는 생성된 인포테인먼트 제어 신호 및/또는 햅틱 제어 신호를 해당 인포테인먼트 장치 및/또는 해당 4D 에추에이터에 전송할 수 있다.

상술한 분석부(520), 판단부(530) 및 생성부(540)의 상세 구성 및 동작은 후술할 도면들의 설명을 통해 보다 명확해질 것이다.

도 6을 참조하면, 분석부(630)는 크게 전처리가(610)와 정보분석기(620)를 포함하여 구성될 수 있다.

전처리기(610)는 차량 센서 정보를 입력 받아 전처리를 수행하는 센서정보전처리기(611), 차량 영상 정보를 입력 받아 전처리를 수행하는 영상정보전처리기(612) 및 차량 제어 정보를 입력 받아 전처리를 수행하는 제어정보전처리기(613)을 포함하여 구성될 수 있다.

전처리기(610)는 동기 신호에 기반하여 차량 센서 정보, 차량 영상 정보 및 차량 제어 정보를 시간축에 동기화시키고, 동기화된 정보를 정규화시킬 수 있다.

영상정보전처리기(612)는 영상에 포함된 노이즈를 제거하는 기능, 영상의 크기-즉, 화소-를 축소시키는 기능 등을 포함하는 일반적인 영상정보처리 기능을 제공할 수 있다.

제어정보전처리기(613)는 차량 제어 정보에 포함된 아웃라이어(out-lier) 제거하는 기능 및 상술한 동기화 및 정규화 기능을 제공할 수 있다.

정보분석기(620)는 전처리된 차량 센서 정보를 입력 받아 분석하는 센서정보분석기(621), 전처리된 차량 영상 정보를 입력 받아 분석하는 영상정보분석기(622) 및 전처리된 차량 제어 정보를 입력 받아 분석하는 제어정보분석기(623)를 포함하여 구성될 수 있다.

실시 예로, 센서정보분석기(621)는 전처리된 차량 센서 정보를 분석하여 원격 제어 차량(410)의 실-자세(real_posture)와 관련된 특성 값들을 추출할 수 있다. 일 예로, 차량의 실-자세와 관련된 특성 값들은 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값을 포함할 수 있다. 여기서, Yaw는 차량 이동방향에 대해 수직의 수직면에 있는 축 주위의 회전을 의미하고, Pitch는 차량 이동 방향에 대해 수직의 수평면에 있는 축 주위의 회전을 의미하고, Roll은 차량 이동방향에 대해 평행한 수평면에 있는 축 주위의 회전을 의미한다. 일 예로, 차량의 실-자세와 관련된 특성 값들은 차량이 요철/싱크홀/과속방지턱 등을 통과할 때, 급격히 변경될 수 있다. 또한, 차량의 실-자세와 관련된 특성 값들은 차량에 충격이 가해졌을 때도 급격히 변경될 수 있다.

실시 예로, 영상정보분석기(622)는 전처리된 차량 영상 정보를 분석하여 원격 제어 차량(410)의 실-상태와 관련된 특성 값들을 추출할 수 있다. 일 예로, 차량의 실-상태(real_state)와 관련된 특성 값들은 차량의 주행 상태와 관련될 수 있으며, 직진, 좌회전, 우회전, 후진 및 정지 등의 차량 주행 상태와 관련된 특성 값들을 포함할 수 있다. 또한, 차량의 실-상태와 관련된 특성 값들은 요철/싱크홀/과속방지턱 등을 통과하는 상황, 전방/후방/측방에 위치한 장애물 및/또는 차량이 감지되는 상황 및 차량 충돌이 발생하는 상황 등의 차량 주변 상태에 관련된 특성 값들을 추출할 수도 있다.

실시 예로, 제어정보분석기(633)는 전처리된 차량 제어 정보를 분석하여 차량의 기대_상태(desired_state) 및/또는 기대_자세(desired_posture)와 관련된 특성 값들을 추출할 수 있다. 일 예로, 차량의 기대-상태(real_state)와 관련된 특성 값들은 차량의 바람직한 주행 상태와 관련될 수 있으며, 직진, 좌회전, 우회전, 후진 및 정지 등의 바람직한 차량의 주행 상태와 관련된 특성 값들을 포함할 수 있다. 차량의 기대-자세와 관련된 특성 값들은 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값 등의 바람직한 차량의 자세와 관련된 특성 값들을 포함할 수 있다.

차량 제어 정보는 시트/원격운전장치/모니터링장치 등으로 구성된 원격 제어 시스템에서 원격지 운전자의 차량 조작에 따라 발생되는 모든 차량 제어 신호(또는 명령)과 관련된 정보를 포함할 수 있다. 일 예로, 차량 제어 정보는 브레이크 가압 정보, 스티어링 조향각 정보, 악셀 가압 정보, 기어 조작 정보, 각종 램프 조작 정보, 와이퍼 조작 정보, 공조기 제어 정보, 인포테인먼트 시스템 제어 정보, 네비게이션 제어 정보, 좌석 제어 정보 등을 포함할 수 있다.

도 7을 참조하면, 판단부(740)는 제1 연산부(710), 제2 연산부(720) 및 데이터퓨전부(730) 중 적어도 하나를 포함하거나, 또는 그것들을 조합하여 구성될 수 있다.

제1 연산부(710)는 시계열로 정렬된 특성 값(들)을 입력 받아 인공 지능을 통한 기계 학습 또는 딥러닝 또는 확률 추론을 수행하고, 결과로서, {제1 차량 상태, 제1 충격 상태}를 출력할 수 있다.

제2 연산부(720)는 시계열로 정렬된 특성 값(들)을 입력 받아 결정적(deterministic) 연산-예를 들면, 함수 연산-을 수행하고, 결과로서, {제2 차량 상태, 제2 충격 상태}를 출력할 수 있다.

여기서, 차량 상태는 직진/후진/좌회전/우회전/정지 등의 정보와 함께 그 크기가 출력될 수 있다. 충격 상태는 상/하/좌/우 등의 충격 방향과 함께 그 크기가 출력될 수 있다.

예를 들면, {직진(5), 위(3)}와 같은 출력은 차량이 크기 5만큼으로 직진하고 있는 상태에서 위 방향으로 3만큼의 충격이 발생되었음을 의미한다.

일 예로, 시속 1~100km를 0~10으로 정규화한 경우, 직진(5)는 약 50km 속도로 직진 중인 상태임을 의미할 수 있다.

만약, 시속 50km 에서의 최대 충격을 10이라고 한다면, 위(3)은 3만큼의 세기로 차량 바닥에서 하늘 방향으로 충격이 발생하였음을 의미할 수 있다.

일 예로, 싱크홀을 밟았을 때는 {직진(5), 아래(3)} 의 형태가 출력되고, 후진중 진입금지 철봉을 들이 받았을 때는 {후진(3), 앞(5)} 로 출력되고, 주행 행 중 옆차가 우측 방향에서 충돌하였을 때는 {직진(5), 좌측(3)} 출력될 수 있다. 다른 일 예로, 차량 상태와 충격 상태가 모든 방향에 대한 크기로 나열되어 출력될 수도 있다.

예를 들면, 차량 상태가 {직진(5), 좌회전(1), 우회전(0), 후진(0)}로 출력된 경우, 차량이 약간 왼쪽으로 휜 도로에서 직진 중인 상태인 것으로 추정될 수 있다, 충격 상태가 {위(1), 아래(0), 전방(0), 후방(2), 우측(0), 좌측(3)}으로 출력된 경우, 차량의 좌측/후방에서 다른 물체와 충돌하여 타이어가 터진 상태로 추정될 수 있다.

데이터 퓨전부(730)는 제1 연산부(710)의 출력 값과 제2 연산부(720)의 출력 값을 기반으로 최종 차량 상태 및 충돌 상태를 결정하여 출력할 수 있다. 일 예로, 데이터 퓨전부(730)는 제1 연산부(710) 및 제2 연산부(720) 출력 값에 대한 각각의 가중치를 부여할 있으며, 가중치 반영된 값에 평균을 취하여 최종 차량 상태 및 충돌 상태 값을 산출할 수 있다.

도 8을 참조하면, 생성부(830)는 인포테인먼트 신호 생성부(810)와 햅틱 제어 신호 생성부(820)를 포함하여 구성될 수 있다.

인포테인먼트 생성부(810)는 차량 상태 및 충돌 상태를 입력 받아 인포테인먼트 장치를 위한 각종 알람 메시지(또는 알람 제어 신호)를 생성하여 출력할 수 있다.

햅틱 제어 신호 생성부(820)는 차량 상태 및 충돌 상태를 입력 받아 각종 4D 엑츄에이터 구동을 위한 제어 신호를 생성하여 출력할 수 있다.

도 9를 참조하면, 엑추에이터는 원격지 운전자에게 4차원 환경을 제공할 수 있다.

일 예로, 엑추에이터는 안개 효과를 제공하는 엑추에이터(Fog Effect Actuator), 차량 주변의 조도 변화에 따라 조명을 제어하기 위한 엑추에이터(Light Effect Actuator), 천둥 소리 효과를 제공하는 엑추에이터(Thunder Actuator), 냄새 효과를 제공하는 엑추에이터(Smell Actuator), 바람 효과를 제공하는 엑추에이터(Wind Effect Actuator) 및 원격지 운전석 및 발판 등에 진동 효과를 제공하는 엑추에이터(Vibration Effect Actuator) 등을 포함할 수 있으나, 이에 한정되지는 않으며, 원격지 운전석의 회전 효과를 제공하는 엑추에이터, 원격지 운전석의 후방/측방/전방 충격을 제공하는 엑추에이터 등을 더 포함하여 구성될 수도 있다.

상술한 엑추에이터는 본 개시에 따른 사고 인식 및 예방 장치에 의한 햅틱 제어 신호에 따라 동작할 수 있다.

도 10을 참조하면, 원격 제어 차량(910)은 자율 주행 모드로 주행 중 원격 주행 모드로의 전환이 필요한지 판단할 수 있다(S1001 내지 S1002).

판단 결과, 원격 주행 모드로의 전환이 필요한 경우, 원격 제어 차량(910)은 원격 제어 센터(920)와 통신 채널을 설정하여 원격 제어 모드로 전환할 수 있다(S1003).

원격 제어 모드에 진입한 원격 제어 차량(910)은 ToD 카메라를 구동하여 차량 영상 정보를 획득하고, 차량 센서 정보를 획득할 수 있다.

원격 제어 차량(910)은 획득된 차량 영상 정보 및 차량 센서 정보를 원격 제어 센터(920)로 전송할 수 있다(S1004).

원격 제어 센터(920)는 원격 제어 차량(910)으로부터 수신된 차량 영상 정보 및 차량 센서 정보뿐만 아니라 원격지 운전 장치에 의해 생성된 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정할 수 있다(S1005). 여기서, 차량 제어 정보는 차량 영상 정보 및 차량 센서 정보에 시계열적으로 대응되는 정보일 수 있다.

원격 제어 센터(430)는 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및/또는 사고 예방을 위한 제어 신호를 생성할 수 있다(S1006).

원격 제어 센터(430)는 생성된 제어 신호에 따라 해당 인포테인먼트 장치의 출력 및/또는 해당 엑추에이터의 동작을 제어할 수 있다(S1007).

도 11을 참조하면, 사고 인식 및 예방 장치(427)는 원격 제어 차량(410)에 대한 차량 영상 정보 및 차량 센서 정보를 획득할 수 있다(S1101).

사고 인식 및 예방 장치(427)는 원격지 운전 장치(425)에 의해 생성된 차량 제어 정보를 획득할 수 있다(S1102).

사고 인식 및 예방 장치(427)는 차량 영상 정보, 차량 센서 정보 및 차량 제어 신호에 기반하여 차량 상태 및 충격 상태를 추정할 수 있다(S1103). 여기서, 차량 영상 정보, 차량 센서 정보 및 차량 제어 신호는 전처리 절차를 통해 시계열적으로 동기화된 후 정규화되어 처리될 수 있다.

사고 인식 및 예방 장치(427)는 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성할 수 있다(S1104).

사고 인식 및 예방 장치(427)는 생성된 제어 신호를 해당 인포테인먼트 장치 및/또는 해당 4D 엑추에이터로 전송할 수 있다(S1105).

실시 예에 따른, 원격 제어 차량은 네트워크를 통해 원격 제어 센터와 직접적인 통신 연결이 불가한 경우, 주변 다른 차량 또는 RSU(Road Side Unit)을 통해 릴레이하여 자신의 차량 영상 정보 및 차량 센서 정보를 원격 제어 센터에 전송하고, 차량 제어 명령도 다른 주변 차량 및 RSU를 통해 수신할 수도 있다.

이상의 실시 예에서 설명된 바와 같이, 본 개시에 따른 원격 주행 시스템은 원격 제어 차량의 사고 발생 유무 및 사고 위험 유무를 원격지 운전자에게 실시간 제공함으로써, 원격 제어 차량의 사고 피해를 최소화시킬 수 있을 뿐만 아니라 잠정적인 사고 위험을 미연에 방지할 수 있는 장점이 있다

원격 제어 차량의 안전 유지 장치 및 제어 방법

도 12는 제어/객체 메시지 발생기 및 제어/객체 메시지 분석기를 포함하는 원격 주행 시스템의 블록 구성도로서, 동 도면에 도시된 바와 같이, 원격 주행 시스템은 ToV (31) 및 ToC (33)을 포함한다.

ToV (31)는 자율주행제어기(311), ToD 카메라(312), 동영상 압축기(또는 영상압축시스템이라 칭함)(313), 네트워크상태예측기(314), 및 송수신기(315)를 포함한다. ToC(33)는 송수신기(331), 동영상복호화기(332), 모니터(333), 원격운전장치(335), 및 제어메시지발생기(336)를 포함한다.

도 13은 본 개시의 실시 예에 따른 원격 제어 차량의 안전 유지 장치가 적용된 원격 주행 시스템의 블록 구성도이다.

본 실시예에서 ToV(41)는 특히 제어/객체메시지분석기(4160)를 포함하는 ToV안전유지장치(41a)를 포함할 수 있다.

ToC(43)는 송수신기(4310), 동영상복호화기(4320), 모니터(4330), 원격운전장치(4350), 제어/객체 메시지발생기(4360), 및 객체인식유닛(4370)을 포함할 수 있다.

본 실시예에서 ToC(33)는 특히 제어/객체 메시지발생기(4360), 및 객체인식유닛(4370)을 포함하는 ToC안전유지장치(43a)를 포함할 수 있다.

ToC안전유지장치(43a)의 객체인식유닛(4370)은 ToV(41)로부터 수신된 원격 주행 영상을 이용하여 차량 주변의 객체를 인식할 수 있다.

제어/객체 메시지발생기(4360)는 객체인식유닛(4370)을 통해 인식된 객체 정보를 원격지운전장치(4350)에서 발생하는 해당 차량의 제어 정보와 함께 ToC(43)에서 ToV(41)로 전송되도록 할 수 있다.

즉, ToC안전유지장치(43a)의 제어/객체 메시지발생기(4360)는 ToC(43)의 원격지운전장치(4350)로부터 출력된 차량 제어신호와 객체인식유닛(4370)에서 출력된 객체 정보를 하나의 메시지(이하, 제어/객체 메시지라 칭함)로 패킷타이징하여 송수신기(4310)를 통해 ToV(41)로 제공할 수 있다.

ToV안전유지장치(41a)의 제어/객체 메시지분석기(4160)는 ToC(43)로부터 수신된 객체 정보(또는, ToC객체정보나 영상객체정보라 칭함)와 ToV(41)의 안전 센서(Safety Sensors)를 통해 직접 검출된 차량 주변의 객체 정보(또는, ToV객체정보나 센서객체정보라 칭함)를 비교/분석하여 서로 다를 경우 알람을 발생(생성)할 수 있다.

본 실시예에서 ToV안전유지장치(41a)로부터 생성된 알람은 ToC객체정보와 ToV객체정보 간의 차이(정도, 종류 등)에 따라 자율주행제어기(4110)에 제공되어 차량 제어를 위한 정보로 이용되거나 ToC(43)의 오퍼레이터(4340)의 모니터(4330)에 표시되는 정보로 이용되는 등 원격 주행 시스템에 다양하게 달리 적용되어 원격 제어 차량의 안전이 유지되도록 할 수 있다.

예를 들어, ToV안전유지장치(41a)의 제어/객체 메시지분석기(4160)는 ToC(43)로부터 수신된 제어/객체 메시지의 제어 메시지로부터 생성된 차량 제어신호와 상기 생성된 알람을 기초로 해당 차량을 제어하기 위한 제어/객체 메시지를 생성하여 자율주행제어기(4110)의 입력으로 제공하고, 자율주행제어기(4110)는 입력된 제어/알람 메시지를 기초로 해당 차량을 제어할 수 있다.

ToC안전유지장치(43a)의 객체인식유닛(4370)은 동영상복호기(4320)를 통해 복호화 된 동영상 기반의 객체인식유닛으로서, 이는 주로 카메라 영상에 의해 주변차량, 보행자, 사이클리스트, 트럭, 각종 도로 교통 표지판 또는 공사중을 나타내는 구조물(고깔) 등, 주행에 영향을 줄 수 있는 객체들을 인식하는 인식기능을 가진 유닛을 나타낸다.

예를 들어, 객체인식유닛(4370)은 도 14에 도시된 바와 같이 동영상복호화기(4320)로부터 출력된 동영상을 영상버퍼(4371)를 통해 버퍼링하고, 객체인식/분류기(4373)를 통해 객체 인식과 객체 분류를 수행한 후, 정보생성기(4375)를 통해 객체 정보를 생성하여 출력할 수 있다.

ToC안전유지장치(43a)의 제어/객체 메시지 발생기(4360)는 기존의 차량제어 메시지만 생성하던 기능에 추가적으로, 차량의 제어신호를 메시지형태로 변화하여 ToV로 전송할 때, 원격지 오퍼레이터(Operator)(4340)가 모니터(4330)를 통해 참조한 객체인식유닛(4372)의 객체 인식 결과 정보로서의 객체 정보를 이용하여, 해당 객체 정보를 제어신호화 함께 패킹(Packing)하여 ToC(43)로부터 ToV(41)로 해당 제어/객체 메시지를 전송할 수 있다.

ToV(41)의 ToV안전유지장치(41a)의 제어/객체 메시지 분석기(4160)는 ToC(43)로부터 전송되어 수신된 제어/객체 메시지를 분석하는 기능을 하며, 이 중 제어메시지는 차량제어를 위한 메시지이며, 객체 메시지는 ToC(43)의 객체인식유닛(4372)에서 영상을 통해 인식한 현재 차량 주변의 객체 정보(예, ToD 카메라를 이용한 영상분석을 통해 인식된 객체 정보)(이하, 영상객체정보라 칭함)를 포함하는 메시지이다.

또한 제어/객체 메시지 분석기(4160)는, 자율주행차량으로부터 안전 센서(safety sensor)들이 인식(검출)한 실제 객체 인식정보(이하, 센서객체정보라 칭함)들을 수신 받는다. 차량의 안전 센서를 통해 실제 인식한 센서객체정보는, ToC 객체인식유닛(4372)가 인식한 영상객체정보와 비교되며, 만약 두 결과가 다를 시에는 다른 정도나 종류 등에 따른 알람 메시지를 생성하여 자율주행제어기(4110)쪽으로 전달할 수 있다.

자율주행제어기(4110)는, 예를 들어, 제어/객체 메시지 분석기(4160)로부터 알람메시지를 받아 자율주행 Lv을 낮출 수도 있고, 차량을 정지시킬 수도 있고, 자율주행모드(mode)를 정지하고 수동운전으로 바꿀 수도 있고, ToC(43)의 오퍼레이터(4340)에게 운전을 주의할 것을 알려줄 수도 있다.

ToC(43)의 객체인식유닛(4372)은 동영상복호기(4320)로부터 전달받은 차량 전후좌우 영상들이 영상 버퍼(4371)를 통해 객체 인식/분류기(4373)로 입력되면, 객체인식/분류기(4373)에서 딥러닝(Deep Learning) 같은 인식알고리즘에 의해 객체가 인식되고 분류된 후, 최종적으로 정보생성기(4375)에서 객체인식/분류기(4373)를 통해 인식되고 분류된 객체들의 종료, 상대좌표 같은 객체 정보(Information) 형태로 변형되어 출력될 수 있다.

이때는, 전후좌우 영상을 촬영하는 카메라가 고정(install 각도)되어 있고 카메라의 해상도/렌즈화각이 정해져 있는 것을 전제로, 도 15(a)의 Camera Calibration과 도 15(b)의 Perspective Transform을 거치면, 해당객체의 위치가 차량을 기준으로 estimation될 수 있으며, 이는 위경도 기반의 cartesian 좌표계로 표시될 수도 있고, polar 좌표계로 표시될 수도 있다.

객체 메시지(정보)는 예를 들어 {사람, 3m, 60도 (차량진행방향기준), Confidence Lv.}과 같은 정보를 포함할 수 있다. 여기서 confidence lv.는 메시지의 신뢰도를 의미하며, 이는 제작자의 관점에서 다양하게 생성될 수 있는데, 예를 들어, 객체인식/분류기(4373)의 결과로 생성될 수도 있고, 역광이 있는 날은 90% / 역광이 없는 곳은 90%, 가로등 객체는 10% / 기타 사람, 차등은 80% 등등, 알고리즘의 추천에 따라, 주변환경에 따라, 분류된 객체의 종류에 따라 등… 다양하게 정해질 수 있다.

ToC(43)의 제어/객체 메시지 발생기(4360)는, 도 16에 도시된 바와 같이, 원격지 오퍼레이터(4340)가 모니터(4330)를 보고 조작하는 원격지운전장치(4350)의 제어장치에서 발생하는 차량 제어신호와 객체인식유닛(4370)에서 출력되는 객체 정보를 메시지 패킷타이징 유닛(4361)을 통해 하나의 메시지인 제어/객체 메시지로 패킷타이징 할 수 있는데, 차량제어신호와 객체정보는 오퍼레이터(4340)가 객체인식결과와 함께 출력되는 모니터(4330)의 차량주변영상을 보고 원격지제어장치(4350)를 조작할 때 동시에 같이 발생되는 신호이기 때문에 같이 패킷타이징하는 것이 좋다.

즉, 메시지 패킷타이징 유닛(4361)은 전술한 과정을 수행하며, 필요에 따라서 ToV(41)와 동기화 되어있는 타임 클럭(Time Clock)을 제어/객체 메시지에 같이 포함할 수 있다. 패킷타이징된 제어/객체 메시지는 메시지 Serializer(4363)로 입력되어 네트워크 전송을 위해 Protobuf 같은 serializer를 이용하여 시리얼라이징 될 수 있다.

최종 시리얼라이징된 메시지는 송수신기(4310)를 통해 특정 정해진 프로토콜(Protocol)을 이용하여 ToV(41)로 전송된다.

ToV(41)의 제어/객체 메시지 분석기(4160)는 ToC(43)의 제어/객체 메시지 발생기(4360)가 생성한 메시지를 분석하고 이상이 있는 경우 알람을 출력한다.

제어/객체 메시지 분석기(4160)는, 도 17에 도시된 바와, 같이 객체/제어메시지파서(4161), 제어메시지분석기(4163), 객체메시지분석기(4165), 및 자율주행제어기I/F(4167)을 포함할 수 있다.

ToC(43)로부터 수신된 제어/객체 메시지들은 객체/제어메시지파서(4161)를 통해 파싱되어 제어메시지는 제어메시지 분석기(4163)로 객체메시지는 객체메시지 분석기(4165)로 각각 입력된다.

제어메시지 분석기(4163)는 ToC(43)의 원격지운전장치(4350)의 제어장치가 생성한 차량제어신호들이 ToV(41)로 전달되면, 최종적으로 원격지 제어신호에 의해 ToV(41)의 해당 차량이 움직일 수 있도록 해당 자율주행차량의 ECU로 입력될 수 있게 한다.

객체 메시지분석기(4165)는 ToV(41)의 자율주행용 안전 센서(Safety Sensor)들이 검출(Detection)한 차량 주변 객체 인식 정보를 받아, 현재 ToC(43)에서 오퍼레이터(4340)가 모니터(4330)를 통해 참조하는 원격 주행 영상들로부터 객체인식유닛(4370)을 통해 추출한 차량주변 객체정보와 일치하는 지를 판단/분석하고, 서로 다름이 있다면 알람을 출력한다.

최종적으로 이 알람은 ToV(41) 내부로도 이용될 수 있고, ToC(43)의 오퍼레이터(4340)에게도 알람을 줄 수 있다.

도 18는 본 개시의 실시 예에 따른 원격 제어 차량의 안전 유지 방법의 흐름도로서, 도 13 내지 도 17의 장치에 적용되므로 해당 장치의 동작과 병행하여 설명한다.

먼저, ToV(41)는 ToD 카메라(4120)를 통해 획득한 영상을 ToC(43)로 전송하고(S901~S903), ToC(43)는 수신된 영상으로부터 객체 인식을 함과 동시에 해당 영상을 모니터에 출력한다(S905).

이어, ToC(43)는 원격지 오퍼레이터(4340)가 모니터(4330)를 보고 조작하는 원격지운전장치(4350)의 제어장치에서 발생하는 차량 제어신호와 객체인식유닛(4370)에서 출력되는 객체 정보를 제어/객체 메시지 발생기(4360)를 통해 하나의 메시지인 제어/객체 메시지로 패킷타이징하여(S907) ToV(41)로 전송한다(S909).

이어, ToV(41)는 ToC(43)로부터 수신된 제어/객체 메시지를 제어메시지 및 객체메시지로 분리하여, 제어메시지의 원격지 제어신호에 의해 ToV(41)의 해당 차량이 움직일 수 있도록 해당 자율주행차량의 ECU로 입력될 수 있도록 하되, 이와 동시에 ToV(41)의 자율주행용 안전 센서(Safety Sensor)들이 검출(Detection)한 차량 주변 객체 인식 정보(이하, 센서 객체 정보)를 받아(S911), 현재 ToC(43)에서 오퍼레이터(4340)가 모니터(4330)를 통해 참조하는 원격 주행 영상들로부터 객체인식유닛(4370)을 통해 추출한 차량주변 객체정보(이하, 영상 객체 정보)와 일치하는 지를 비교/분석하고(S913), 서로 다르다고 판단되면(S915) 알람을 발생한다(S917).

최종적으로 단계 S917에서 발생한 알람은 ToV(41) 내부로도 이용될 수 있고, ToC(43)의 오퍼레이터(4340)에게도 제공될 수 있되, 이에 한정되지 않고 해당 원격 제어 차량의 안전 유지를 위한 각종 제어 정보로 적용될 수 있다(S919).

원격 주행 시스템에서의 원격 제어 차량 영상 처리 방법

즉, 부호화 조건 중 비트율은 CBR을 선택하고, GOP 사이즈는 고정시키면서 레이턴시를 줄이기 위한 압축을 하게 되고, 이 과정에서 목표 비트율을 충분히 설정한다.

예를 들어, GOP 사이즈는 7, 비트율은 5Mbps로 고정 설정한 경우, 영상압축기는 자체 알고리즘에 의해 인트라 코딩(즉, I 프레임 코딩)에 높은 목표 비트율(예, 총 5Mbps의 약 절반인 2Mbps)을, P 프레임 코딩에는 낮은 목표 비트율(각각 0.5Mbps, 인트라 프레임의 ¼ 수준)을 할당하였다고 가정하자.

이 경우, 영상압축기는 최초 I 프레임을 부호화 함에 있어서, 2Mbps로 압축을 하기 위해 I 프레임 내의 매크로 블록들을 양자화하고 부호화한다.

만약 I 프레임 부호화를 마친 후에 목표 비트율인 2Mbps 보다 많은 비트가 발생하면, 다음 P 프레임 부호화시에 미리 할당된 목표 bps 를 더 낮춰서 심한 부호화를 하게 되고(예, 0.5Mbps -> 0.3Mbps 등, 이 경우 화질이 나빠짐), 2Mbps 보다 적은 비트가 발생하면, 다음 P 프레임 부호화시에 기존 목표 bps를 높여서 덜 심한 부호화를 하게 된다(예, 0.5Mbps -> 0.7 Mbps 등, 이 경우 화질이 좋아짐).

즉, 레이턴시를 줄이기 위해 설정한 고정 부호화 조건들에 의해, 영상 특성(예, 움직임이 많거나, 영상 자체가 건물의 창문, 나뭇잎 등 복잡한 영상 구조를 포함하여 부호화 되는 경우)을 반영하지 못하여 화질 열화가 매우 심각해 질 수도 있고, 이는 특히 자율 주행차를 도심지에서 원격 주행할때 매우 심각한 문제가 될 수 있다.

또한, 종래의 방법은 네트워크의 대역폭 변동에 따라 영상의 전송이 불가능해질 수 있다. 즉, 종래의 기술은 자율주행 자동차의 이동(mobility) 환경에서 다음과 같은 단점이 있다.

예를 들어, 레이턴시를 줄이기 위해 CBR을 이용하면, 도 4에서와 같이 네트워크 대역폭 변화가 심한 이동(Mobilty) 환경(특히, 기지국에 접속량이 많은 도심지 지역)에서는 영상 끊김 지역이 발생하게 된다. 반대로 VBR을 이용하면 도 4에서처럼 영상 끊김 지역에 강인한 면이 있으나, 화질 및 실시간성(예, 버퍼 할당문제)에 문제가 있어 잘 사용하지 않는다.

원격 제어 차량이 원격 제어 센터의 제어에 따라 자율 주행을 하기 위해서는 원격 제어 차량의 주변 상황에 대한 영상을 압축하여 원격 제어 센터로 전송하여야 한다.

본 발명은 자율주행을 위해 원격 제어 차량에 탑재된 적어도 하나의 카메라를 통해 원격 제어 차량의 주변 상황에 대한 영상을 획득하고, 부호화부에서 부호화한 후 원격 제어 센터로 전송하는 것을 일 실시예로 한다.

그리고, 원격 제어 차량이 원격 제어 센터에 의해 원격으로 안전하게 제어되기 위해서는, 원격 제어 차량에서 획득된 영상이 딜레이나 레이턴시 없이 실시간으로 원격 제어 센터로 전송되어야 한다.

즉, 원격 주행 시스템에서 무선 네트워크 망을 통해 원격으로 차량을 제어하기 위해, 원격 제어 차량에 설치된 적어도 하나의 카메라에 의해 획득된 영상(예, 정지 영상 또는 동영상)을 원격 제어 센터로 전송할 때 레이턴시를 줄이고, 네트워크 대역폭의 확보를 통해 영상을 안정적으로 원격 제어 센터로 전송하는 것이 중요하다.

본 발명은 원격 주행 시스템에서 레이턴시를 낮추고 네트워크 대역폭 확보를 위한 영상 처리 장치 및 방법을 제안한다.

즉, 기존의 원격 주행 시스템(ToD)에 이용된 실시간 영상 전송 방법들은 비트율로 CBR을 이용하여 부호 발생량을 고정시킴으로써 실시간성은 확보했으나 이동(Mobility) 환경에서의 끊김 현상 등은 극복하지 못하였다.

비트율(bit rate)이란 영상을 부호화할 때 사용되는 데이터의 양(kb/s)이며, 화질에 가장 큰 영향을 준다. 즉, 초당 높은 비트율을 전송할 경우 화질은 좋아지지만, 영상의 용량은 급증하게 된다. CBR은 영상의 변화 또는 내용에 관계 없이 처음부터 끝까지 동일한 비트율을 사용하여 영상을 압축하는 방식이다.

본 발명은 비트율로 CBR(고정 비트율)을 이용하되, 부호화 파라메터들을 이용하여 압축 영역에서 영상 발생 비트량과 네트워크 상태를 비교하고, 이를 이용하여 GOP 구조를 가변적으로 조절 및 목표 비트율을 조절하면서, 영상의 화질 변화를 최대한 유지하면서 끊김없는 영상전송을 가능하게 할 수 있도록 한다. 다시 말해, 본 발명은 CBR을 이용하면서도 영상 끊김 지역에 강인한 코덱의 부호화 파라메터를 이용하는 실시간 영상 처리 장치 및 방법을 제안한다. 도 21의 영상 처리 장치는 영상압축기(1010), 복호화기(1020), 및 네트워크(1030)를 포함할 수 있다.

상기 영상압축기(1010)는 원격 제어 차량에 구비되고, 상기 복호화기(1020)는 원격지의 원격 제어 센터에 구비된다.

상기 영상압축기(1010)는 영상 부호화부(1011), 파라메터 분석기(1013), 및 파라메터 제어기(1015)를 포함할 수 있다. 상기 복호화기(1020)는 영상 복호화기(1021) 및 버퍼(1023)를 포함할 수 있다.

도 21에 도시된 영상 처리 장치의 엘리먼트들은 하드웨어, 소프트웨어, 프로세서 및/또는 그것들의 결합 등으로 구현될 수 있다. 도 21에서 각 블록의 수행 순서는 변경될 수 있으며, 일부 블록은 생략될 수 있고, 일부 블록은 새로 추가될 수 있다.

도 21을 보면, 영상압축기에 있었던 내부 버퍼 및 부호화와 복호화기에 있었던 내부 버퍼 및 복호화 준비를 위한 로직이 없다.

즉, 본 발명의 원격 주행 시스템은 원격 제어 차량에 장착된 적어도 하나의 카메라에서만 부호화를 위한 영상을 받으므로, 부호화된 영상을 전송하기 전 카메라 사양에 따른 내부 버퍼 준비 작업이 불필요 하다.

또한, 원격 주행 시스템의 목표 비트율은 미리 정의(pre-define)되므로 영상압축기(1010)에서 부호화 및 복호화기(1020)에서 복호화를 위해 필요한 양측의 버퍼 준비 작업은 불필요하다.

즉, 영상 처리 장치의 영상압축기(1010)는 영상이 입력되는 순간, 영상 부호화를 위한 부호화 파라메터들을 참조하여 부호화를 위한 버퍼를 준비할 필요 없이 정해진 버퍼를 이용하여 바로 전송이 가능하다. 또한, 영상 처리 장치의 복호화기(1020)는 영상압축기(1010)로부터 영상을 수신 받기 전, 부호화 파라메터들을 수신하여 복호화에 필요한 버퍼를 준비한 후, 영상 수신을 대기할 필요 없이 바로 수신되는 영상을 준비된 버퍼를 이용하여 수신하면 된다.

도 21을 보면, 영상압축기(1010)의 영상 부호화부(1011)는 적어도 하나의 카메라에 의해 획득된 영상(예, 정지 영상 또는 동영상)을 입력받아 부호화를 수행하여 압축한다. 영상 부호화부(1011)에서 영상을 부호화하는 이유는 영상의 사이즈(용량)를 줄이기 위한 것, 즉 영상 압축을 하기 위함이다.

상기 영상압축기(1010)로 입력되는 영상이 동영상이라고 가정하면, 상기 영상 부호화부(1011)는 블록(또는 매크로 블록이라 함) 단위의 예측, 주파수 변환, 양자화, 엔트로피 코딩을 통해 동영상을 압축한다.

그리고, 영상 부호화부(1011)에서 부호화 과정 중에 생성 및/또는 참조되는 적어도 하나의 부호화 특징(feature)은 파라메터 분석기(1013)로 제공되고, 상기 파라메터 분석기(1013)는 입력되는 적어도 하나의 부호화 특징(feature)을 분석하여 차량 주변의 상황을 분석한다. 상기 파라메터 분석기(1013)에서 분석된 결과는 파라메터 제어기(1015)로 제공되고, 상기 파라메터 제어기(1015)는 분석 결과를 기반으로 상기 영상 부호화부(1011)의 적어도 하나의 부호화 파라메터를 조절한다.

실시예들에 따르면, 적어도 하나의 부호화 특징은 매크로 블록 관련 정보, 움직임 벡터 관련 정보, 양자화 관련 정보, 엔트로피 코딩 관련 정보 등이 될 수 있다. 일 실시예로, 매크로 블록 관련 정보는 매크로 블록의 사이즈와 속성을 알 수 있는 매크로 블록 타입을 포함할 수 있고, 움직임 벡터 관련 정보는 움직임 벡터를 포함할 수 있다. 또한, 양자화 관련 정보는 양자화 파라메터(예, 양자화 스텝 사이즈)를 포함할 수 있고, 엔트로피 코딩 관련 정보는 엔트로피 코딩을 위해 할당되는 코드 길이를 포함할 수 있다.

실시예들에 따르면, 상기 파라메터 분석기(1013)에서 적어도 하나의 부호화 특징(feature)을 분석하면, 영상 프레임이 압축되기 전에 실시간으로 “화면의 움직임이 많은지 작은지”, “영상의 텍스쳐니스(textureness)는 어떤지”, “차량이 정지상태인지 주행상태인지”, “차량의 현재 속도는 어떤지”등을 알 수 있다. 즉, 상기 파라메터 분석기(1013)는 차량의 주변 상황을 영상을 가지고 분석하는 것이 아니라, 영상의 압축 과정에서 생성/참조되는 부호화 특징들을 이용하여 분석한다.

예를 들어, 움직임 보상을 위해 추정되는 움직임 벡터(MV)의 통계적 특징 (예, 평균, 분산 등)을 이용하면, 현재 화면이 움직임이 많은지 적은지를 알 수 있다. 즉, 움직임 벡터는 한 프레임 내의 모든 블록 단위로 발생한다. 그러므로, 영상이 전진 중이라고 가정하면, 이 경우 좌우 카메라 영상의 MV 통계적 특징(평균, 분산 등)은 대부분의 MV가 우측 방향으로 특정 픽셀(예, 5 픽셀)만큼 발생하고 있다는 등의 통계적 특징이 나올 수 있다. 그러므로, 이 통계적 특징을 이용하면 현재 화면이 움직임이 많은지 적은지를 알 수 있게 된다.

다른 예로, 매크로 블록의 예측(prediction) 형태를 분석하면 해당 부분의 텍스쳐니스/움직임을 알 수 있다. 여기서, 텍스쳐니스는 영상이 복잡한 정도를 나타낸다. 일 실시예로, 블록 분할부(1113)에서 블록 타입과 사이즈가 다양하게 설정 될 수 있다. 예를 들어, 16x16, 16x8, 8x16, 8x8, …, 4x4,…, 2x2.. 까지 설정될 수 있다. 이때 보통 하늘 같은 밋밋한 영상은 16x16과 같이 큰 사이즈 단위로 부호화 해도 부호량이 많지 않은데 비해, 모래 자갈 같은 영상들은 작게 쪼개서 부호화 해야 하므로 부호화량이 작게 된다. 이런 영상의 텍스쳐니스를 알려면, 디지털 필터를 써야 하는데, 부호화 중간에 이런 점 처리를 하는 디지털 필터를 쓸수는 없으므로 (즉, 레이턴시가 많이 늘어남), 대신 이런 블록들의 사이즈들을 참조만 해도 영상의 복잡도를 알 수 있다. 영상의 복잡도가 높으면, 전체적으로 앞으로 부호화 량도 많이 늘어난다는 사실을 알 수 있다.

또 다른 예로, 양자화 사이즈나 코드 길이 등을 분석하면 블록의 전체 부호화 길이가 점점 늘어날지 또는 줄어들지를 알 수 있다. 그리고, 블록의 전체 부호화 길이가 점점 늘어날지 또는 줄어들지에 따라 차량의 상태(즉, 정지, 좌회전, 후진, 주행 등), 차량의 주변 움직임(즉, 도심지 사람들이 많은 지역, 움직이는 물체가 많이 없는 지역 등)을 알 수 있다.

도 22는 본 개시의 실시 예에 따른 영상압축기(1010)의 일 실시예를 보인 상세 블록도이다.

도 22의 영상압축기(1010)에서 영상 부호화부(1127)는 파라메터 저장부(1110), 프레임 버퍼(1111), 프레임 타입 분석부(1112), 블록 분할부(1113), 감산부(1114), 변환부(1115), 양자화부(1116), 엔트로피 코딩부(1117), 패킷 생성부(1118), 역양자화부(1119), 역변환부(1120), 가산부(1121), 인트라 예측부(1122), 참조 영상 버퍼(1123), 인터 예측부(1124), 움직임 보상부(1125), 및 스위칭부(1126)를 포함할 수 있다. 도 22를 참조하면, 인트라 예측부(1122), 인터 예측부(1124), 및 움직임 보상부(1125)를 합쳐서 예측부라고 불릴 수 있다. 즉, 예측부는 인트라 예측부(1122), 인터 예측부(1124), 및 움직임 보상부(1125)를 포함할 수 있다. 상기 영상 부호화부(1127)의 엘리먼트들은 하드웨어, 소프트웨어, 프로세서 및/또는 그것들의 결합 등으로 구현될 수 있다. 또한, 영상 부호화부(1127)의 각 블록의 수행 순서는 변경될 수 있으며, 일부 블록은 생략될 수 있고, 일부 블록은 새로 추가될 수 있다.

도 22의 영상압축기(1010)에서 파라메터 분석기(1128)는 블록 타입 분석기, MV 분석기, 인트라 매크로블록 분석기, 스킵 매크로블록 분석기, 양자화 분석기, 코드길이 분석기 중 적어도 하나를 포함할 수 있다. 상기 파라메터 분석기(1128)는 네트워크 상태분석기를 더 포함할 수 있다. 상기 파라메터 분석기(1128)의 엘리먼트들은 하드웨어, 소프트웨어, 프로세서 및/또는 그것들의 결합 등으로 구현될 수 있다. 또한, 파라메터 분석기(1128)의 각 블록의 수행 순서는 변경될 수 있으며, 일부 블록은 생략될 수 있고, 일부 블록은 새로 추가될 수 있다.

도 22의 영상압축기(1010)에서 파라메터 제어기(1129)는 연산기, 목표 비트율 제어기, 목표 양자화 파라메터 제어기, 목표 GOP 사이즈 제어기 중 적어도 하나를 포함할 수 있다. 상기 파라메터 제어기(1129)의 엘리먼트들은 하드웨어, 소프트웨어, 프로세서 및/또는 그것들의 결합 등으로 구현될 수 있다. 또한, 파라메터 분석기(1129)의 각 블록의 수행 순서는 변경될 수 있으며, 일부 블록은 생략될 수 있고, 일부 블록은 새로 추가될 수 있다.

다음은 도 22의 상세 설명이다.

즉, 적어도 하나의 카메라에 의해 캡쳐되어 영상 부호화부(1127)로 입력되는 영상이 동영상이라고 가정하면, 동영상은 일련의 프레임들로 구성되어 있다. 프레임 버퍼(1111)는 입력되는 프레임들을 일시 저장한다.

일반적으로 GOP는 적어도 하나의 I 프레임, 하나 이상의 P 프레임들, 하나 이상의 B 프레임들을 포함하는데, B 프레임은 현재 부호화되는 프레임의 앞뒤 프레임을 참조하기 때문에 시간 딜레이가 생겨(예, 30fps 일경우 33ms), 본 발명의 원격 주행 시스템에서 B 프레임은 사용하지 않는다. 즉, GOP는 적어도 하나의 I 프레임과 하나 이상의 P 프레임들로 구성된다.

상기 프레임 타입 분석부(1112)는 상기 프레임 버퍼(1111)에서 출력되는 프레임이 프레임이 I 프레임으로 부호화될 프레임인지 P 프레임으로 부호화될 프레임인지를 결정한다.

상기 블록 분할부(1113)는 상기 프레임 타입 분석부(1112)에서 출력되는 프레임을 복수개의 부호화 단위 블록들로 분할한다. 본 발명에서 부호화 단위 블록은 인트라예측/인터예측을 위해 분할되는 단위이며, 경우에 따라서 매크로블록(macroblock), 블록(block) 또는 영역(area) 또는 모듈 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다. 샘플은 하나의 프레임(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다. 이때 부호화 단위 블록의 사이즈는 64x64, 32x32, 16x16, 16x8, 8x16, 8x8, …, 4x4,…, 2x2 등 다양하며, 고정된 사이즈를 가질 수도 있고 예측 종류, 영상의 복잡도 등에 따라 가변될 수도 있다. 본 발명은 설명의 편의를 위해 부호화 단위 블록을 매크로블록 또는 블록이라 칭하기로 한다.

또한 각 매크로 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block)과 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 프레임 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 픽셀을 이용하여 현재 블록의 픽셀을 예측함으로써 예측 블록을 생성하고 현재 블록의 픽셀과의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 프레임 및/또는 미래 프레임을 참조하여 현재 프레임 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 프레임을 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference frame)라고 한다. 상기 블록 분할부(1113)는 파라메터 분석을 위해 매크로 블록 관련 정보를 파라메터 분석기(1128)로 제공할 수 있다. 상기 매크로 블록 관련 정보는 매크로 블록의 사이즈와 속성(예, 인트라 예측인지 인터 예측인지)을 식별할 수 있는 매크로 블록 타입을 포함할 수 있다. 상기 매크로 블록 관련 정보는 인트라 매크로블록 정보 및/또는 스킵 매크로블록 정보를 더 포함할 수 있다.

상기 감산부(1114)는 입력 영상 신호(원본 블록)에서 움직임 보상부(1125) 또는 인트라 예측부(1122)로부터 출력된 예측 신호(예측된 블록)를 스위칭부(1126)를 통해 입력받아 감산하여 잔차 신호(residual signal, 잔차 블록)를 생성한다. 상기 감산부(1114)에서 생성된 잔차 신호는 변환부(1115)로 출력된다.

상기 변환부(1115)는 잔차 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients, 또는 변환 블록들이라 함)을 생성할 수 있다. 예를 들어, 변환 기법은 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다.

상기 양자화부(1116)는 상기 변환부(1115)에서 생성된 변환 계수들을 양자화 파라메터에 따라 양자화하여 양자화된 계수들을 엔트로피 부호화부(1117)로 출력한다. 즉, 양자화부(1116)는 변환부(1114)로부터 출력되는 변환 블록의 변환 계수들을 양자화하고, 양자화된 변환 계수(Quantized Transform Coefficient)들을 생성하여 출력한다.

상기 양자화부(1116)는 파라메터 분석을 위해 양자화 관련 정보를 파라메터 분석기(1128)로 제공할 수 있다. 상기 양자화 관련 정보는 양자화 파라메터를 포함할 수 있다.

상기 엔트로피 부호화부(1117)는 양자화부(1116)에서 출력되는 양자화된 변환 계수들에 대해 엔트로피 부호화를 수행하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(즉, 양자화된 계수)에 적은 수의 비트(즉, 짧은 코드길이)가 할당되고 낮은 발생 확률을 갖는 심볼(즉, 양자화된 계수)에 많은 수의 비트(즉, 긴 코드길이)가 할당된다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 즉, 발생 확률에 따라 할당되는 코드길이가 달라진다. 엔트로피 부호화부(1117)는 엔트로피 부호화를 위해 지수-골롬 코드(Exponential-Golomb Code), CAVLC(ContextAdaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

상기 엔트로피 부호화부(1117)는 파라메터 분석을 위해 엔트로피 코딩 관련 정보를 파라메터 분석기(1128)로 제공할 수 있다. 상기 엔트로피 코딩 관련 정보는 코드 길이를 포함할 수 있다.

상기 패킷 생성부(1118)는 상기 엔트로피 코딩부(1117)에서 출력되는 비트스트림을 패킷화한 후 네트워크(1030)를 통해 복호화기(1020)로 전송한다.

상기 역양자화부(1119)는 양자화된 변환 블록에 대하여 양자화시에 이용한 양자화 기법을 역으로 수행하여 역양자화된 변환 계수들을 가지는 역양자화 변환 블록을 복원한다.

상기 역변환부(1120)는 변환 시에 사용한 방법과 동일한 방법을 이용하여 역양자화 변환 블록을 역변환하여 잔차 신호를 가지는 잔차 블록을 복원하는데, 상기 변환부(1115)에서 이용한 변환 기법을 역으로 수행하여 역변환한다.

상기 가산부(1121, Adder)는 역변환부(1120)에서 복원된 잔차 신호와, 인트라 예측 또는 인터 예측을 통하여 생성된 예측 블록을 가산하여 현재 블록을 복원한다.

상기 인트라 예측부(1122)는 복원된 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 상기 인트라 예측부(1122)에서 생성된 예측 블록은 스위칭부(1126)를 통해 감산부(1114)와 가산부(1121)로 제공될 수 있고, 상기 감산부(1114)는 현재 블록과 예측 블록과의 차분 값(즉, 잔차 신호)을 변환부(1115)로 출력한다.

상기 인터 예측부(1124)는 참조 영상 버퍼(1123)에서 제공되는 적어도 하나의 참조 프레임과 블록 분할부(1113)에서 제공되는 현재 블록을 기반으로 움직임 추정을 수행함으로써, 움직임 벡터를 추정한다. 즉, 상기 인터 예측부(1124)은 프레임 간의 정보를 이용하여 예측하는 것을 의미한다. 다시 말해, 움직임 추정을 통해 참조 프레임에서 현재 블록과 가장 유사한 블록을 예측 블록으로 결정하고, 예측 블록의 위치를 움직임 벡터로 표현한다.

상기 인터 예측부(1124)는 파라메터 분석을 위해 움직임 벡터 관련 정보를 파라메터 분석기(1128)로 제공할 수 있다. 상기 움직임 벡터 관련 정보는 예측 블록의 위치를 알려주는 움직임 벡터를 포함할 수 있다. 또한, 움직임 벡터 관련 정보는 어느 프레임에서 움직임 벡터를 찾았는지 알려주는 참조 프레임 인덱스 정보(예, 바로 전 프레임에서 찾았는지 또는 두 프레임 전에서 찾았는지 알려주는 등)를 더 포함할 수 있다. 이에 더하여, 움직임 벡터 관련 정보는 움직임 추정 블록의 사이즈나 타입 정보를 더 포함할 수 있다. 본 발명은 움직임 벡터 관련 정보를 인터 프레임 부호화 파라메터라 칭할 수 있다.

상기 움직임 보상부(1125)는 상기 움직임 추정을 통해 획득된 움직임 벡터 및 참조 영상 버퍼(1123)에 저장되어 있는 참조 프레임을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 즉, 인터 예측은 움직임 추정을 통해 움직임 벡터를 추정하고, 추정된 움직임 벡터를 기반으로 움직임 보상을 수행하여 예측 블록을 생성하다. 상기 움직임 보상부(1125)에서 생성된 예측 블록은 스위칭부(1126)를 통해 감산부(1114)와 가산부(1121)로 제공될 수 있고, 상기 감산부(1114)는 현재 블록과 예측 블록과의 차분 값(즉, 잔차 신호)을 변환부(1115)로 출력한다.

상기 스위칭부(1126)는 인트라 모드인 경우 스위치가 인트라 예측부(1122)로 전환되고, 인터 모드인 경우 스위치가 움직임 보상부(1125)인터로 전환될 수 있다.

본 발명에서 움직임 벡터도 시그널링 정보에 포함되어 복호화기(1020)로 전송될 수 있다. 이때, 데이터 양을 줄이기 위해 움직임 벡터만 따로 예측을 통해 예측 움직임벡터를 추출하고 현재의 움직임벡터와 예측움직임벡터와의 차이인 잔차 벡터만 전송할 수도 있다.

상기 참조 영상 버퍼(1123)에 저장된 수정된(modified) 복원 프레임은 인터 예측부(1124)에서 참조 프레임으로 사용될 수 있다.

실시예들에 따르면, 적어도 하나의 카메라는 원격 제어 차량에 설치(install)되어 있기 때문에, 카메라 사양에 따른 부호화 파라메터와 정해진 목표 성능으로 인한 부호화 파라메터들은 최초 고정된 상태로 파라메터 저장부(1110)에 저장되어 있다. 상기 파라메터 저장부(1110)에 저장된 부호화 파라메터들은 영상 압축을 위해 프레임 타입 분석부(1112), 블록 분할부(1113), 양자화부(1116), 및 예측부로 제공될 수 있다. 상기 예측부는 인트라 예측부(1122), 인터 예측부(1124), 및 움직임 보상부(1125)를 포함할 수 있다.

예를 들어, 상기 파라메터 저장부(1110)는 목표 비트율, 목표 양자화 파라메터, 목표 GOP 사이즈 등을 저장할 수 있다.

여기서, 목표 비트율은 초당 발생 비트량(bps: bits per sec)를 의미한다. 본 발명은 비트율 중 CBR를 이용하는 것을 일 실시예로 한다. CBR은 영상화질에 관계없이 발생 비트율을 일정하게 유지시킨다. 그리고, GOP 사이즈는 I 프레임과 P 프레임을 몇 개로 설정할 것인가에 대한 조건이다(예, IPPPPIPPPP… 등).

일반적으로, 영상의 압축/전송은 부호화 파라메터를 고정시키고 전송한다. 예를 들어, 목표 비트율/GOP 사이즈/비트율의 형태(예, CBR,VBR)등을 고정적으로 정해서 전송한다. 이와 같은 과정은 수신단에서는 어떠한 형태의 영상이 전송될지 알 수가 없기 때문에, 영상 전송 전 이러한 파라메터 교환을 통해 수신단의 버퍼 등을 준비하게 된다.

하지만, 앞서 설명한 바와 같이 원격 주행 시스템을 위한 영상 처리 장치에서는 차량에 고정적으로 카메라가 설치되기 때문에 이러한 불필요한 과정이 필요 없다.

또한, 파라메터 분석기(1128)에서는 압축 영역에서의 부호화 특징들을 분석하고, 파라메터 제어기(1129)에서는 분석 결과에 따라 즉, 영상의 형태에 따라 파라메터 저장부(1110)에 저장된 적어도 하나의 부호화 파라메터를 실시간으로 조절할 수 있다.

다시 말하면, 상기 파라메터 분석기(1128)는 상기 영상 부호화부(1127)에서 제공되는 압축 영역에서의 부호화 특징들(또는 압축 영역에서의 부호화 특징 정보라 칭함)을 분석하면, 현재 차량이 서 있는지(예, MV와 예측 형태, 비트율을 분석하면 영상의 움직임이 거의 없는지 여부를 판별할 수 있음), 차량이 도로를 몇 속도로 달리고 있는지(예, MV들의 사이즈가 대체적으로 일정하고, 초당 fps(frame per second, 초당 프레임 수)와 MV 사이즈를 비교하면, 차량의 대략적인 속도를 알 수 있음) 등을 알 수 있다. 또한, 부호화 특징들(즉, 압축 영역에서의 부호화 특징 정보라 함)을 이용하면, 차량의 전방에 사물이 좌우로 움직이는 등 횡단보도 앞에 차량이 정지해 있는지(예, 도심지 라는 뜻)등을 알 수 있다.

예를 들어, 상기 파라메터 분석기(1128)에서 매크로블록 타입이 인트라라고 확인되면, 이는 부호화 발생량이 많음을 의미한다. 그리고, 매크로블록 타입이 P이면 부호화량이 중간 정도이고 B이면 부호화 발생량이 아주 작음을 의미한다. 또한, P 프레임 안의 IDR 블록, 스위치 블록 등을 분석하면 앞으로 발생될 비트율을 추정할 수 있다. 여기에, MV까지 분석하게 되면, 현재 차량이 정지 중인지, 직진인지, 후진인지, 현재 속도는 어떤지 등을 알 수 있다.

또 다른 예로, 스킵 매크로블록은 인터 예측 기반의 부호화시 참조 프레임으로부터 예측된 예측 블록을 현재 블록에서 뺐는데, 그 결과가 0이 나온 경우이다. 이때는 움직임 벡터만 코딩하고 스킵시킨다. 이는 부호화 발생량이 아주 작음을 의미한다. 따라서, 이러한 경우는 차가 정지 중이고, 주변 움직이는 물체도 많이 없다라고 분석할 수 있다.

또 다른 예로, 양자화 파라메터가 크다는 것은 영상을 많이 압축하고 있음을 의미한다. 따라서, 양자화 파라메터의 추이 분석을 통해 현재 비트율와 미래 비트율을 예측할 수 있다.

본 발명에서 부호화 특징들(features 또는 information이라 함)은 매크로 블록 관련 정보, 움직임 벡터 관련 정보, 양자화 관련 정보, 또는 엔트로피 코딩 관련 정보 등을 포함할 수 있다. 일 실시예로, 매크로 블록 관련 정보는 매크로 블록의 사이즈와 속성을 알 수 있는 매크로 블록 타입(MB Type)을 포함할 수 있고, 움직임 벡터 관련 정보는 움직임 벡터(MV)를 포함할 수 있다. 또한, 양자화 관련 정보는 양자화 파라메터(QP)를 포함할 수 있고, 엔트로피 코딩 관련 정보는 엔트로피 코딩을 위해 할당되는 코드 길이를 포함할 수 있다.

이와 같이, 상기 파라메터 분석기(1128)에서는 압축 영역에서의 부호화 특징들을 이용하여 차량의 주변 환경을 분석할 수 있다. 그러면, 파라메터 제어기(1129)의 연산기는 앞으로 영상의 부호화를 거치면서 “비트율이 지금보다 더 필요할지 아니면 비트율이 덜 발생될지”, “현재 비트율 설정으로는 영상 화질이 좋지 않을 것 같은지”, “영상 화질 측면과 비트율 측면에서 GOP 사이즈를 더 늘려야 하는지 등”을 연산할 수 있고, 연산 결과를 기반으로 상기 파라메터 저장부(1110)에 저장된 목표 비트율, 목표 양자화 파라메터, 목표 GOP 사이즈 등과 같은 부호화 파라메터를 변화시킬 수 있다. 그리고, 상기 파라메터 저장부(1110)에 저장된 부호화 파라메터가 변경되면, 부호화되는 영상의 프레임 타입, 블록 타입 및 속성, 양자화 파라메터, 엔트로피 코드 길이, 움직임 벡터 등이 달라질 수 있고, 이로 인해 비트율과 화질이 실시간으로 조절될 수 있다. 즉, 본 발명은 다양한 차량 주변 환경에 따라 영상 부호화부(1127)의 비트율과 화질을 실시간으로 조절할 수 있다.

상기 파라메터 분석기(1128)에서 분석하는 과정을 수식으로 나타내면 다음과 같다.

즉, 각 부호화 특징들(MV, QP, MB Type 등)을 벡터 X 로 표시한다면 다음의 수학식 1과 같다.

[수학식 1]

X= {x1, x2, …, xn}

수학식 1에서 n 은 사용되는 부호화 특징들의 개수를 나타낸다. 예를 들어, 부호화 특징들이 3개(예, MV, QP, MB Type)라면, n의 값은 3이 된다.

그리고, 수학식 1에서 X들은 영상의 분석을 위한 데이터들이며, 이는 다음의 수학식 2와 같은 영상 분석 과정을 거친다.

[수학식 2]

= f(x)

이때,

={

₁,

₂}의 벡터 형태일 수 있고, 이는 영상의 분석된 결과로써

₁은 차량 주변의 형태를 나타내고,

₂는 각 형태에 대한 속성을 나타낸다. 여기서, 차량 주변의 형태는 주행 중, 정지 중, 주변 움직임이 많음, 주변인이 적음, 네트워크 상태가 좋음, 네트워크 상태가 나쁨 등이 있을 수 있다. 그리고, 차량 주변의 각 형태에 대한 속성은 주행 중 속도, 발생 비트율 변화, 영상 화질 예상 등이 있을 수 있다.

그리고, 함수 f는 Deterministic 하게 설계할 수도 있고, Probabilistic 하게 각종 머신러닝 기법을 이용할 수도 있고, Reasoning 이나 Inference 형태로 설계 될 수도 있다.

상기 파라메터 분석기(1128)에서 수행된 영상의 형태 분석 결과는 파라메터 제어기(1129)로 전송되며, 파라메터 제어기(1129)는 다음의 수학식 3과 같은 연산을 수행한다.

[수학식 3]

Y=F(

)

즉, Y={1, 2,…,N}으로 나타낼 수 있다. 여기서, N은 제어하고 싶은 부호화 파라메터의 개수를 나타낸다. 예를 들어, 목표 비트율과 목표 양자화 파라메터만을 조절한다면, N은 2가 된다. 그리고, F는 영상 분석 결과를 각 영상 부호화 파라메터의 목표 수치로 바꾸어 주는 함수로, 상기 함수 f처럼 Deterministic 하게 설계할 수도 있고, Probabilistic 하게 각종 머신러닝 기법을 이용할 수도 있고, 또는 Reasoning 이나 Inference 형태로 설계 될 수도 있다. 즉, 상기 함수 F에 의해 목표 비트율, 목표 양자화 파라메터, 목표 GOP 사이즈 등이 조절될 수 있다.

예를 들어, F는 분석된 차량 주변 정보들을 모두 또는 일부 이용하여, 원하는 GOP 사이즈/목표 비트율/비트율의 형태(예, CBR, VBR 등)을 출력하게 되고, 파라메터 제어기(1129)는 이 정보를 이용하여 영상 부호화부(1127)의 파라메터 저장부(1110)에 저장된 적어도 하나의 부호화 파라메터를 실시간으로 조절하게 된다.

원격 제어 센터의 복호화기(1020)의 영상 복호화부(1021)는 원격 제어 차량의 부호화부(1127)로부터 전술한 바와 같이 압축되어 전송되는 영상을 수신하여 복호화한 후 스크린을 통해 디스플레이할 수 있다. 이때, 복호화기(1020)의 버퍼(1023)에는 송신측에서 사용한 부호화 파라메터들이 셋팅될 수도 있고, 셋팅되지 않을 수도 있다. 즉, 복호화기(1020)는 수신된 영상을 복호화하면서 복호화에 필요한 정보(예, 부호화 파라메터들)를 알 수 있다.

또한, 원격 제어 센터는 복호화된 영상을 기반으로 차량의 주변 상황을 확인하고, 원격 제어 차량를 제어하기 위한 제어 신호를 생성하여 원격 제어 차량으로 전송한다.

도 23은 본 발명에 따른 원격 주행 시스템의 영상 처리 방법의 일 실시예를 보인 흐름도이다.

즉, 카메라 사양에 따른 적어도 하나의 부호화 파라메터와 기 정의된 적어도 하나의 부호화 파라메터가 영상 부호화부(1011)의 버퍼에 저장된다(S1201). 여기서, 버퍼는 파라메터 저장부(1110)인 것을 일 실시예로 한다.

상기 영상 부호화부(1011)는 파라메터 저장부(1110)에 저장된 부호화 파라메터들을 기반으로 적어도 하나의 카메라에 의해 촬영되어 입력되는 영상(예, 동영상)의 부호화를 수행하여 압축한다(S1202).

상기 파라메터 분석기(1013)는 단계 S1202에서 영상 압축시에 이용된 하나 이상의 부호화 특징들을 제공받고, 이를 이용하여 차량의 주변 상황을 분석한다(S1203). 실시예들에 따르면, 영상 압축시에 이용된 하나 이상의 부호화 특징들은 매크로 블록 관련 정보, 움직임 벡터 관련 정보, 양자화 관련 정보, 엔트로피 코딩 관련 정보 등을 포함할 수 있다. 일 실시예로, 매크로 블록 관련 정보는 매크로 블록의 사이즈와 속성을 알 수 있는 매크로 블록 타입을 포함할 수 있고, 움직임 벡터 관련 정보는 움직임 벡터를 포함할 수 있다. 또한, 양자화 관련 정보는 양자화 파라메터를 포함할 수 있고, 엔트로피 코딩 관련 정보는 엔트로피 코딩을 위해 할당되는 엔트로피 코드 길이를 포함할 수 있다. 상기 파라메터 분석기(1013)의 상세 설명은 도 7에서 하였으므로 중복 설명을 피하기 위해 여기서는 생략하기로 한다.

상기 파라메터 제어기(1015)는 단계 S1203에서 분석된 결과를 기반으로 파라메터 저장부(1110)에 저장된 적어도 하나의 부호화 파라메터를 조절한다(S1204). 상기 파라메터 제어기(1015)의 상세 설명은 도 7에서 하였으므로 중복 설명을 피하기 위해 여기서는 생략하기로 한다.

상기 영상 부호화부(1011)는 상기 조절된 적어도 하나의 부호화 파라메터를 기반으로 입력되는 영상을 부호화함으로써, 실시간으로 영상의 비트율과 화질을 조절한다(S1205).

지금까지 설명한 영상 처리 장치 및 방법은 채널 본딩 시스템에 이용할 수도 있고, 그렇지 않은 단일 통신사 네트워크 기반 시스템에도 이용 가능하다.

도 24는 실시예들에 따른 채널 본딩 방법의 예시를 보인 도면이다.

실시예들에 따르면, 채널 본딩은 다양한 채널들을 모두 사용하기 위한 방법으로, 20Mhz 폭을 갖는 두 개의 채널을 본딩하면 총 40MHz 대역을 사용할 수 있다.

일 실시예로, 파라메터 분석기(1013)에서는 네트워크 상태를 분석하고, 파라메터 제어기(1015)는 분석된 네트워크 상태에 따라 채널 본딩을 사용할 수 있다. 예를 들어, 분석된 네트워크 상태가 나쁘면, 동영상 압축시 설정한 최대 CBR 이상의 대역폭을 본딩하여 동영상 비트율보다 충분한 대역폭을 확보하여 로우 레이턴시(Low Latency) 동영상이 무리없이 원격 제어 센터로 전송될 수 있게 보완한다.

이상에서와 같이 본 발명은 CBR을 이용하면서도 영상 끊김 지역에 강인한 코덱의 부호화 파라메터를 이용하여 실시간으로 영상을 전송할 수 있다. 또한, 본 발명은 영상의 전송 레이턴시를 획기적으로 낮추고, 영상 압축의 발생 비트율과 화질을 네트워크 상태 변화에 따라 미리 예측하여 네트워크 대역폭을 최대한 확보함으로써, 실시간 영상 전송이 가능한 효과가 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

이상 본 발명의 실시예에 따른 단말기, 클라우드 서버, 클라우드 AR 플랫폼의 영상 송수신 시스템 및 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.

Claims

네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서의 사고 인식 및 예방 방법에 있어서,

상기 원격 제어 장치에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 단계;

상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계;

상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계; 및

상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계를 포함하는, 방법.
제1항에 있어서,

상기 원격 제어 센터는 인포테인먼트 장치 및 4D 엑추에이터를 포함하되,

상기 제어 신호는,

상기 인포테인먼트 장치의 화면에 표시될 경고 알람 메시지 및/또는 상기 인포테인먼트 장치의 스피커를 통해 출력될 음성 알람 메시지를 출력하기 위한 인포테인먼트 제어 신호 및

상기 4D 엑추에이터의 동작을 제어하기 위한 햅틱 제어 신호를 포함하는, 방법.
제1항에 있어서,

상기 원격 제어 센터는 원격 운전 장치를 포함하고,

상기 차량 제어 정보는 상기 원격 제어 센터에 구비된 원격 운전 장치에 의해 생성되는 것을 특징으로 하는, 방법.
제1항에 있어서,

상기 추정하는 단계는,

상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 전처리 후 분석하여 각 정보 별 특성 값을 추출하는 단계; 및

상기 추출된 특성 값에 기반한 소정 연산을 수행하여 상기 차량 상태 및 상기 충돌 상태를 추정하는 단계를 포함하는, 방법.
제4항에 있어서,

상기 특성 값은,

상기 차량 영상 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-상태와 관련된 제1 특성 값;

상기 차량 센서 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-자세와 관련된 제2 특성 값;

상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-상태와 관련된 제3 특성 값; 및

상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-자세와 관련된 제4 특성 값 중 적어도 하나를 포함하는, 방법.
제5항에 있어서,

상기 제1 특성 값 및 상기 제3 특성 값은 상기 원격 제어 차량의 주행 방향에 상응하는 직진 상태 값, 좌회전 상태 값, 우회전 상태 값, 후진 상태 값 및 정지 상태 값 중 적어도 하나를 포함하고,

상기 제2 특성 값 및 상기 제4 특성 값은 상기 원격 제어 차량의 자세에 상응하는 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값 중 적어도 하나를 포함하는, 방법.
제 4항에 있어서,

상기 전처리는,

동기 신호를 기반으로 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 시계열적으로 동기화시키는 단계; 및

상기 동기화된 정보를 정규화시키는 단계를 포함하는, 방법.
제 4 항에 있어서,

상기 연산은,

딥러닝 또는 머신러닝 또는 확률 추론에 기반하여 제1 차량 상태 및 제1 충돌 상태를 출력하는 제1 연산 단계; 및

특정 함수에 기반한 결정적(deterministic) 연산을 통해 제2 차량 상태 및 제2 충돌 상태를 출력하는 제2 연산 단계를 포함하고,

상기 제1 내지 2 차량 상태 및 상기 제1 내지 2 충돌 상태에 대한 데이터 퓨전을 통해 최종 차량 상태 및 충돌 상태가 추정되는, 방법.
제 1 항에 있어서,

상기 차량 상태는 추정된 주행 방향에 관한 정보 및 상기 추정된 주행 방향에 상응하여 정규화된 크기 정보를 포함하고,

상기 충격 상태는 추정된 충격 상태에 관한 정보 및 상기 추정된 충격 상태에 상응하는 정규화된 크기 정보를 포함하는, 방법.
제 1 항에 있어서,

상기 원격 제어 센터가 상기 차량 영상 정보를 이용하여 상기 원격 제어 차량의 주변 객체를 인식하는 단계; 및

상기 인식된 주변 객체에 관한 정보 및 상기 제어 신호 중 적어도 하나를 상기 원격 제어 센터에서 상기 원격 제어 차량으로 전송하는 단계를 더 포함하는, 방법.
제 10 항에 있어서,

상기 원격 제어 차량은 상기 원격 제어 센터에서 수신된 상기 주변 객체에 관한 정보와 상기 차량 센서 정보를 통해 검출된 상기 주변 객체에 관한 정보를 비교/분석하여 서로 다를 경우 알람을 발생하기 위한 단계를 더 포함하는, 방법.
제 10 항에 있어서,

상기 인식된 주변 객체에 관한 정보 및 상기 제어 신호 중 적어도 하나를 상기 원격 제어 센터에서 상기 원격 제어 차량으로 전송하는 단계는 상기 인식된 주변 객체에 관한 정보 및 상기 제어 신호 중 적어도 하나를 하나의 메시지(이하, 제어/객체 메시지라 칭함)로 패킷타이징하여 전송하는 것을 특징으로 하는, 방법.
제 1 항에 있어서,

상기 원격 제어 센터는 상기 차량 영상 정보를 복수개의 블록들로 분할하고, 버퍼에 저장된 부호화 파라메터들에 기반하여 상기 분할된 블록 단위로 적어도 예측, 양자화, 및 엔트로피 부호화를 수행하여 상기 차량 영상 정보를 압축하는 단계;

상기 부호화 과정에서 이용된 적어도 하나의 부호화 특징 정보를 분석하여 상기 원격 제어 차량의 주변 상황을 분석하는 단계; 및

상기 분석 결과를 기반으로 상기 버퍼에 저장된 적어도 하나의 부호화 파라메터를 조절하는 단계를 더 포함하는, 방법.
제 13 항에 있어서,

상기 적어도 하나의 부호화 특징 정보는 블록 관련 정보를 포함하며,

상기 블록 관련 정보는 상기 분할된 각 블록의 사이즈를 식별하기 위한 정보와 상기 분할된 각 블록의 예측 타입을 식별하기 위한 정보를 포함하는, 방법.
제 13 항에 있어서,

상기 적어도 하나의 부호화 특징 정보는 양자화 관련 정보와 엔트로피 관련 정보를 포함하며,

상기 양자화 관련 정보는 양자화를 위한 양자화 파라메터를 포함하고,

상기 엔트로피 관련 정보는 엔트로피 부호화를 위한 코드길이를 포함하는, 방법.
제 13 항에 있어서,

상기 압축된 차량 영상 정보를 포함하는 패킷들을 생성하는 단계를 더 포함하고,

상기 패킷들은 복호화를 위해 무선 네트워크를 통해 상기 원격 제어 센터로 전송되는 단계를 더 포함하는, 방법.
제 13 항에 있어서, 상기 분석 결과를 기반으로 조절되는 적어도 하나의 부호화 파라메터는 목표 비트율, 목표 양자화 파라메터 또는 목표 GOP(Group Of Pictures) 사이즈인 것을 특징으로 하는, 방법.
제 17 항에 있어서,

상기 목표 비트율은 고정 비트율(CBR)인 것을 특징으로 하는, 방법.
적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서 사고 인식 및 예방을 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서,

상기 동작들은,

상기 원격 제어 장치로부터 차량 영상 정보 및 차량 센서 정보를 수신하는 단계;

상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계;

상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계; 및

상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계를 포함하는, 저장 매체.
네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에 있어서,

상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 송수신기;

차량 제어 정보를 생성하는 원격지 운전 장치;

상기 차량 영상 정보, 차량 센서 정보 및 상기 차량 제어 정보를 기반으로 차량 상태 및 충돌 상태를 추정하여 사고 인식 및/또는 사고 예방을 위한 제어 신호를 생성하는 사고 인식 및 예방 장치; 및;

상기 제어 신호에 따라 알람 메시지를 출력하는 출력 장치를 포함하는, 원격 제어 센터.
네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에 탈부착이 가능하도록 구현되는 사고 인식 및 예방 장치에 있어서,

상기 원격 제어 차량 및 상기 원격 제어 센터에 구비된 원격 운전 장치로부터 수집된 복수의 정보를 전처리 후 분석하여 정보 별 특성 값을 추출하는 분석부;

상기 추출된 특성 값에 기반한 소정 연산을 통해 차량 상태 및 충격 상태를 추정하는 판단부; 및

상기 추정된 차량 상태 및 상기 충격 상태에 기반하여 사고 인식 및 예방을 위한 제어 신호를 생성하는 생성부를 포함하고,

상기 복수의 정보는 상기 원격 제어 차량으로부터 획득되는 차량 영상 정보 및 차량 센서 정보와 상기 원격 운전 장치에 의해 생성된 차량 제어 정보를 포함하는, 사고 인식 및 예방 장치.