KR101734985B1

KR101734985B1 - 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치

Info

Publication number: KR101734985B1
Application number: KR1020150114235A
Authority: KR
Inventors: 신사임; 장달원; 김성동; 윤경로; 이종설; 장세진
Original assignee: 전자부품연구원
Priority date: 2015-08-13
Filing date: 2015-08-13
Publication date: 2017-05-25
Also published as: KR20170020620A

Abstract

본 발명은 다중 카메라와 레이더 센서 정보를 이용하여 파노라마 형태로 차량 상황 정보를 제공하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 다중 카메라와 레이더 센서를 부착하고 있는 인접한 다수의 차량이 연계되어 각 차량의 영상 정보와 센싱 정보를 통신망을 통해 상황 정보 제공 장치로 전송하면, 상황 정보 제공 장치가 각 차량의 상황을 판단하여 상기 수신한 영상 정보와 센싱 정보를 바탕으로 각 운전자의 상황에 맞게 인터페이스를 재구성하여 차량에 전송함으로써, 다양한 관점에서 폭넓게 차량 주변의 정보를 획득할 수 있는 차량 상황 정보를 제공할 수 있고, 이를 통하여 차량의 주변 상황에 대한 운전자의 이해와 대응력을 높여 안전운전에 기여할 수 있다.

Description

다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치 {Method and Apparatus for Providing Panoramic Vehicle Status Information using Multiple Cameras and Radar Sensor}

본 발명은 다중 카메라와 레이더 센서 정보를 이용하여 파노라마 형태로 차량 상황 정보를 제공하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 다중 카메라와 레이더 센서를 부착하고 있는 인접한 다수의 차량이 연계되어 각 차량의 영상 정보와 센싱 정보를 통신망을 통해 상황 정보 제공 장치로 전송하면, 상황 정보 제공 장치가 각 차량의 상황을 판단하여 상기 수신한 영상 정보와 센싱 정보를 바탕으로 인터페이스를 재구성하여 차량에 전송함으로써, 각 운전자의 상황에 맞는 동적 차량 인터페이스를 구성하기 위한 차량 상황 정보 제공 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

최근 센서가 측정한 센싱 정보를 처리하는 기술과 카메라에 의해 촬영된 영상 정보를 처리하는 기술이 발전하면서 다양한 분야에서 이를 응용하고 있다.

특히, 차량 정보 제공 시스템에 있어서, 차량에 다중 카메라와 레이더 센서를 부착하여 상기 카메라와 센서로부터 얻어진 정보들을 이용하여 운전자에게 제공함으로써, 운전자가 운전 중 볼 수 없거나 놓칠 수 있는 차량 주변의 정보들을 제공함으로써 안전 운전을 유도하고 있다.

또한, 이러한 차량 정보 제공 시스템을 가상세계에서 운전 환경의 실세계를 그대로 재현하고, 복합 멀티미디어(동영상 및 텍스트 정보)를 활용하여 직관적이고 효과적인 정보의 전달이 가능해지고 있다.

최근에는 다중 카메라를 차량 4면에 부착하고 이렇게 얻어진 영상 정보를 활용하여 차량 내부에 360도 파노라마 형식으로 영상 정보를 구성하여 제공함으로써, 실시간 운정 상황에 대해 운전자의 이해와 대응력을 높이고 있다.

하지만 기존의 차량 정보 제공 시스템은 하나의 차량 내에서 얻어진 정보를 하나의 특정 차량에 설치된 차량 정보 제공 시스템이 재구성하여 동일한 특정 차량에 제공함으로써, 차량 주변의 운전 상황을 폭넓게 제공할 수 없다는 문제점이 있었고, 어떠한 장애물에 의하여 차량에 부착된 카메라에 의해 얻어진 영상 정보가 부정확할 수 있었으며, 하나의 관점에서 촬영된 영상만을 제공함으로써, 다양한 관점에서 차량의 주변상황을 제공 받지 못하는 문제점이 있었다.

한국공개특허 제10-2015-0011629호 (명칭: 물체의 윤곽을 표시하는 어라운드 뷰 시스템 및 차량의 어라운드 뷰 제공방법, 공개일 2015.02.02.)

상술한 문제점을 해결하기 위하여 본 발명은 인접한 다수의 차량을 연계하여 각 차량에서 얻어진 영상 정보와 센싱 정보를 공유하고 이를 각 운전자의 상황에 맞게 인터페이스를 구성함으로써, 다양한 관점에서 폭넓게 차량 주변의 정보를 획득할 수 있는 차량 상황 정보 제공 방법을 제공하고자 한다.

특히, 차량 상황 정보 제공 장치가 인접한 다수의 차량 정보를 통신망을 통해 수신하고 각 운전자의 상황을 추정하여, 추정된 운전자의 상황에 맞도록 파노라마 형태의 인터페이스를 구성함으로써, 차량의 주변 상황에 대한 운전자의 이해와 대응력을 높여 안전운전에 기여할 수 있는 방법을 제안하고자 한다.

그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 상황 정보 제공 장치는 통신망과 연동하여 적어도 하나의 차량과 데이터를 송수신하는 통신모듈, 특정 차량에 설치된 복수의 카메라 및 레이더 센서로부터 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 수신하는 센서모듈, 상기 센서 모듈로부터 수신한 정보, 적어도 하나의 차량으로부터 수신된 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정하는 차량 상황 판단 모듈 및 상기 추정된 상황 정보와 상기 센서모듈로부터 수신한 정보, 적어도 하나의 차량으로부터 수신한 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하는 인터페이스 구성 모듈을 포함할 수 있다.

이 때, 상기 차량 상황 판단 모듈은 상기 특정 차량이 위급 상황에 있는 것으로 판단되는 경우, 상기 특정 차량에 위급 상황 알림 정보를 전송하도록 제어할 수 있고, 상기 수신한 정보를 저장하는 저장모듈을 더 포함할 수 있으며, 상기 인터페이스 구성 모듈은 운전자의 요청이 있는 경우, 상기 저장된 정보를 기반으로 일정 시간 동안의 상기 운전자의 상황 또는 주변 상황을 재구성하여 전송하도록 제어할 수 있다.

또한, 상기 카메라 영상 정보는 각 카메라의 식별정보(Camera), 시간 정보(TimeStamp), 상대방향정보(RelativeOrientation) 및 상대위치정보(RelativeLocation) 중 적어도 어느 하나를 포함할 수 있고, 상기 레이더 센서 정보는 시간 정보(TimeStamp), 감지된 물체에 관한 정보(DetectedObject), 거리정보(Distance), 방향정보(Orientation) 및 상대속도정보(RelativeSpeed) 중 적어도 어느 하나를 포함할 수 있다.

또한, 상기 인터페이스 구성 모듈이 처리 가능한 카메라 영상 정보의 유효범위를 저장하는 저장모듈을 더 포함할 수 있고 상기 카메라 영상 정보의 유효범위는 카메라 센서의 개수 정보(NumberOfCameraCapability), 각 카메라 센서의 스펙 정보(CameraCapability) 및 각 카메라의 영상 정보에 접근 할 수 있는 접근 정보(AccessPoint) 중 적어도 어느 하나를 포함할 수 있고, 상기 인터페이스 구성 모듈이 처리 가능한 레이더 센서 정보의 유효범위를 저장하는 저장모듈을 더 포함하고, 상기 레이더 센서 정보의 유효범위는 물체 감지를 위한 유효거리 정보(DistanceCapability), 물체 감지를 위한 유효방향 정보(OrientationCapbility) 및 물체 감지를 위한 유효상대속도 정보(RelativeSpeedCapability) 중 적어도 어느 하나의 정보를 포함할 수 있다.

또한, 상기 인터페이스 구성 모듈이 카메라 영상 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보를 저장하는 저장모듈을 더 포함하고, 상기 카메라 영상의 기준 정보는 상기 인터페이스 구성 모듈이 처리하는 영상의 해상도 정보(Resolution), 처리하는 영상의 가로 크기 정보(Width), 처리하는 영상의 세로 크기 정보(Height) 중 적어도 어느 하나의 정보를 포함할 수 있고, 상기 인터페이스 구성 모듈이 레이더 센서 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보를 저장하는 저장모듈을 더 포함할 수 있으며, 상기 레이더 센서의 기준 정보는 최대로 감지할 수 있는 객체의 수 정보(MaxValue), 상기 인터페이스 구성 모듈이 처리하는 거리 정보의 최대/최소값 및 단위를 기록한 거리정보(Distance), 처리하는 각도 정보의 범위 및 단위를 기록한 방향정보(Orientaion) 및 처리하는 상대 속도의 최대/최소값 및 단위를 기록한 상대속도정보(RelativeSpeed) 중 적어도 어느 하나의 정보를 포함할 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 차량 상황정보제공 방법은 상황 정보 제공 장치가 적어도 하나의 차량과 특정 차량에 설치된 복수의 카메라와 레이더 센서로부터 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 수신하는 단계, 상기 수신된 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정하는 단계, 상기 추정된 상황 정보와 적어도 하나의 차량과 특정 차량에 설치된 복수의 카메라와 레이더 센서로부터 수신한 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하는 단계 및 상기 구성된 인터페이스 정보를 상기 특정 차량으로 전송하는 단계를 포함할 수 있다.

본 발명에 따르면, 인접한 다수의 차량을 연계하여 각 차량에서 얻어진 영상 정보와 센싱 정보를 공유하고 이를 각 운전자의 상황에 맞게 인터페이스를 구성함으로써, 다양한 관점에서 폭넓게 차량 주변의 정보를 획득할 수 있는 차량 상황 정보를 제공할 수 있고, 이를 통하여 차량의 주변 상황에 대한 운전자의 이해와 대응력을 높여 안전운전에 기여할 수 있다.

아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.

도1은 본 발명의 실시 예에 따라 차량 정보를 제공하기 위한 시스템의 구성을 나타내는 도면이다.
도2는 본 발명에 따른 차량 상황 정보 제공 장치의 구성을 나타내는 블록도이다.
도3은 본 발명의 실시 예에 따른 차량 상황 정보 제공 방법을 설명하기 위한 흐름도이다.
도4는 본 발명의 실시 예에 따른 정보 처리 과정 및 방법을 설명하기 위한 도면이다.
도5 내지 도6은 본 발명에 따른 차량 정보 제공 방법의 일 실시 예를 설명하기 위한 예시도이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

그러면 이제, 본 발명의 실시 예에 따른 차량 상황 정보 제공 방법에 대하여 도면을 참조하여 상세하게 설명하도록 한다.

도1은 본 발명의 실시 예에 따른 차량 상황 정보를 제공하기 위한 시스템의 구성을 나타내는 도면이다.

도1을 참조하면, 본 발명의 실시 예에 따른 차량 상황 정보를 제공하기 위한 시스템은 인접해 있는 복수의 차량(200), 각 차량에 부착되어 있는 카메라 및 레이더(RADAR) 센서(210) 및 상황정보제공장치(300)를 포함하여 구성될 수 있으며, 상기 인접해 있는 복수의 차량(200)은 통신망(100)을 통해서 연동된다.

그러면, 도1을 참조하여 각 구성요소에 대해 개략적으로 설명하도록 한다.

먼저, 통신망(100)은 인접해 있는 복수의 차량(200) 간 데이터 송수신을 위해 데이터를 전달하는 역할을 하며, 시스템 구현 방식에 따라 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), LTE-A (Long Term Evolution Advanced) 등의 무선 통신 방식을 이용할 수 있고, 블루투스(Bluetooth), ZigBee, UWB (Ultra-WideBand), ANT등, PAN (Personal Area Network) 방식의 다양한 근거리 통신 기술들을 적용할 수도 있다.

또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.

복수의 차량(200)은 차량의 외부 4면에 복수의 카메라와 레이더 센서(210)을 설치하여, 상기 설치된 복수의 카메라와 레이더 센서(210)로부터 수집된 정보를 통신망(100)을 통해 특정 차량의 상황정보제공장치(300)에 전송한다.

이 때, 복수의 차량(200)은 복수의 카메라와 레이더 센서(210)로부터 수집된 정보를 PAN 방식의 근거리 통신망을 통하여 직접 특정 차량에 전송할 수 있고, 무선 통신망을 통하여 서버에 상기 수집된 정보를 전송하면, 상기 서버가 다시 무선 통신망을 통하여 특정 차량에 전송할 수 도 있다.

복수의 차량(200)에 설치된 복수의 카메라와 레이더 센서(210)는 각 차량의 주변 상황에 관한 정보를 수집한다.

즉, 복수의 카메라는 해당 카메라가 설치된 위치의 상황을 촬영하여 상기 촬영된 영상 정보를 복수의 차량(200)에 있는 상황 정보 제공 장치(300)에 전달하고, 복수의 레이더 센서는 각 레이더 센서가 설치된 위치 주변의 객체의 접근 정도를 판단하여 객체가 접근하는 상대방향, 상대속도, 상대위치 등에 관한 정보를 상황정보제공장치(300)에 전달한다.

상황정보제공장치(300)는 특정차량이 수집한 영상 정보 및 레이더 센서 정보, 상기 특정차량과 인접한 적어도 하나의 차량으로부터 수신된 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 바탕으로 상기 특정 차량의 운전자 상황 또는 주변 상황을 추정하고, 상기 추정된 상황 정보와 상기 특정차량이 수집한 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하여, 차량 내부 출력모듈에 상기 파노라마 형태로 구성된 인터페이스를 출력하도록 제어할 수 있다.

이 때, 상황정보제공장치(300)는 특정 차량이 위급 상황에 있는 것으로 판단되는 경우, 상기 특정 차량에 위급 상황 알림 정보를 상기 출력모듈에 전송하여 출력할 수 있으며, 운전자의 요청이 있는 경우, 상황정보제공장치(300)에 저장된 정보를 기반으로 일정 시간 동안의 상기 운전자의 상황 또는 주변 상황을 재구성할 수 있다.

한편, 상황정보제공장치(300)는 도1에 표시된 것과 같이 차량 내부에 구현될 수 있고, 서버의 형태로 차량 외부에 구현되어 통신망(100)을 통해 특정 차량으로 상기 정보들을 전송할 수도 있다.

이상으로 본 발명의 실시 예에 따른 차량 상황 정보 제공 시스템의 구성에 대해 설명하였다.

이하, 본 발명에 따른 상황정보제공장치(300)의 구성 및 동작 방법에 대해 설명하도록 한다.

도2는 상황정보제공장치(300)의 주요구성을 나타내는 블록도이고, 도3은 상 본 발명에 따른 상황정보제공장치(300)의 동작방법을 설명하기 위한 흐름도이다.

먼저 도2를 참조하면 본 발명에 따른 상황정보제공장치(300)는 통신모듈(310), 저장모듈(330), 제어모듈(350) 및 센서모듈(370)로 구성될 수 있다.

통신모듈(310)은 특정 차량(200a)과 인접한 적어도 하나의 차량(200b~200d)과 통신하기 위한 것으로서, 상기 통신모듈(310)이 기능을 수행하기 위한 통신망은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용하거나, 블루투스(Bluetooth), ZigBee, UWB (Ultra-WideBand), ANT 등 PAN (Personal Area Network) 방식의 다양한 근거리 통신 기술들을 이용할 수 있다.

특히, 본 발명에 있어서 통신모듈(310)은 특정 차량(200a)과 인접한 적어도 하나의 차량(200b~200d)으로부터 해당 차량의 주변 상황을 촬영하고 감지한 카메라 영상 정보와 레이더 센서 정보를 수신할 수 있고, 특정 차량(200a)의 주변 상황을 촬영하고 감지한 카메라 영상 정보와 레이더 센서 정보를 적어도 하나의 차량(200b~200d)에 전송할 수 있다.

여기서, 상기 레이더 센서 정보는 특정 차량(200a) 주변 객체의 상대 속도, 도착 각도 및 거리를 지속적으로 관찰함으로써, 움직이거나 고정된 타겟을 센싱하는 레이더 센서 정보(RADAR sensor type)을 말하는데, 상기 레이더 센서 정보는 시간 정보(TimeStamp), 감지된 물체에 관한 정보(DetectedObject), 거리정보(Distance), 방향정보(Orientation) 및 상대속도정보(RelativeSpeed) 중 적어도 어느 하나를 포함할 수 있다.

<구문예1>

상기의 <구문예 1>은 레이더 센서 정보에 대한 선언을 기술한 예시이다.

이 때, TimeStamp는 정보가 감지된 시간을 나타내는 시간 정보이고, DetectedObject는 감지된 객체의 정보를 나타내는 객체 정보이며, Distance는 감지된 객체와의 거리를 나타내는 거리 정보이고, Orientation은 감지된 객체의 각도 정보이고, RelativeSpeed는 감지된 객체의 상대속도 정보이다.

<구문예2>

<iidl:InteractionInfo xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mpegvct="urn:mpeg:mpeg-v:2010:01-CT-NS" xmlns:siv="urn:mpeg:mpeg-v:2010:01-SIV_-NS" xmlns:siv="urn:mpeg:mpeg-v:2010:01-SIV-NS" xmlns:iidl="urn:mpeg:mpeg-v:2010:01-IIDL-NS" xsi:schemaLocation="urn:mpeg:mpeg-v:2010:01-SIV-NS MPEG-V-SIV.xsd">
<iidl:SensedInfoList>
<iidl:SensedInfo xsi:type="siv:RADARSensorType" value="100" detected="true" unit="meter" id="RST001" activate="true">
<iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/>
<siv:Distance unit="meter">100</siv:Distance>
<siv:Orientation unit="degree">30</siv:Orientation>
<siv:RelativeSpeed unit="kmperhour">60</siv:RelativeSpeed>
</iidl:SensedInfo>
</iidl:SensedInfoList>
</iidl:InteractionInfo>

상기의 <구문예2>는 상기 <구문예1>의 레이더 센서에 의해 감지된 객체에 대한 정보를 나타낸 예시문이다.

센서의 ID는 “RST001”이고, 센서는 활성화 되어 있고(activate=”true”), 감지된 객체의 거리 값은 100미터이다. 레이더 센서는 100 clock ticks per second의 감지 속도로 6000의 시간 정보(TimeStamp) 값을 가지고, 레이더 센서를 기준으로 감지된 객체의 각도는 30도이며, 상태속도는 60km/h 이다.

또한, 상기 카메라 영상 정보는 카메라의 배열에 의해 실세계를 감지하는 카메라 영상 정보(Camera Sensor Type)을 말하고, 배열 카메라 센서 타입은 추가된 상대 위치 정보와 함께 카메라 영상 정보의 확장성으로 정의될 수 있는데, 상기 카메라 영상 정보는 각 카메라의 식별정보(Camera), 시간 정보(TimeStamp), 상대방향정보(RelativeOrientation) 및 상대위치정보(RelativeLocation) 중 적어도 어느 하나를 포함할 수 있다.

<구문예3>

상기의 <구문예3>은 카메라 영상 정보에 대한 선언을 기술한 예시이다.

ArrayCameraSensorType은 배열 카메라 센서를 묘사하기 위한 도구이고, Camera는 각 카메라 센서의 식별 정보이며, TimeStamp는 정보가 감지된 시간을 나타내는 정보이고, RelativeOrientation은 각 카메라 센서의 상대적인 방향을 묘사하기 위한 것으로서, 만약, 상대적인 방향이 명시되어 있다면, CameraSensorType에 기재된 CameraOrientation은 무시된다. 모든 카메라 센서는 제1카메라 센서를 기초로 상대적으로 셋팅된다.

<구문예4>

<iidl:InteractionInfo xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mpegvct="urn:mpeg:mpeg-v:2010:01-CT-NS" xmlns:siv_="urn:mpeg:mpeg-v:2010:01-SIV_-NS" xmlns:siv="urn:mpeg:mpeg-v:2010:01-SIV-NS" xmlns:iidl="urn:mpeg:mpeg-v:2010:01-IIDL-NS" xsi:schemaLocation="urn:mpeg:mpeg-v:2010:01-SIV-NS MPEG-V-SIV.xsd">
<iidl:SensedInfoList>
<iidl:SensedInfo xsi:type="siv:ArrayCameraSensorType" id="ACST001" activate="true">
<siv:Camera focalLength="10" aperture="2.8" id="CID000">
<iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/>
<siv:RelativeOrientation unit="degree">
<siv:Orientation>
<mpegvct:X>0</mpegvct:X>
<mpegvct:Y>0</mpegvct:Y>
<mpegvct:Z>0</mpegvct:Z>
</siv:Orientation>
</siv:RelativeOrientation>
<siv:RelativeLocation unit="cm">
<mpegvct:X>0</mpegvct:X>
<mpegvct:Y>0</mpegvct:Y>
<mpegvct:Z>0</mpegvct:Z>
</siv:RelativeLocation>
</siv:Camera>
<siv:Camera focalLength="10" aperture="2.8" id="CID001">
<iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/>
<siv:RelativeOrientation unit="degree">
<siv:Orientation>
<mpegvct:X>0</mpegvct:X>
<mpegvct:Y>0</mpegvct:Y>
<mpegvct:Z>90</mpegvct:Z>
</siv:Orientation>
</siv:RelativeOrientation>
<siv:RelativeLocation unit="cm">
<mpegvct:X>90</mpegvct:X>
<mpegvct:Y>-250</mpegvct:Y>
<mpegvct:Z>0</mpegvct:Z>
</siv:RelativeLocation>
</siv:Camera>
<siv:Camera focalLength="10" aperture="2.8" id="CID002">
<iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/>
<siv:RelativeOrientation unit="degree">
<siv:Orientation>
<mpegvct:X>0</mpegvct:X>
<mpegvct:Y>0</mpegvct:Y>
<mpegvct:Z>180</mpegvct:Z>
</siv:Orientation>
</siv:RelativeOrientation>
<siv:RelativeLocation unit="cm">
<mpegvct:X>0</mpegvct:X>
<mpegvct:Y>-500</mpegvct:Y>
<mpegvct:Z>0</mpegvct:Z>
</siv:RelativeLocation>
</siv:Camera>
<siv:Camera focalLength="10" aperture="2.8" id="CID003">
<iidl:TimeStamp xsi:type="mpegvct:ClockTickTimeType" timeScale="100" pts="6000"/>
<siv:RelativeOrientation unit="degree">
<siv:Orientation>
<mpegvct:X>0</mpegvct:X>
<mpegvct:Y>0</mpegvct:Y>
<mpegvct:Z>270</mpegvct:Z>
</siv:Orientation>
</siv:RelativeOrientation>
<siv:RelativeLocation unit="cm">
<mpegvct:X>-90</mpegvct:X>
<mpegvct:Y>-250</mpegvct:Y>
<mpegvct:Z>0</mpegvct:Z>
</siv:RelativeLocation>
</siv:Camera>
</iidl:SensedInfo>
</iidl:SensedInfoList>
</iidl:InteractionInfo>

상기 <구문예4>는 상기 <구문예3>의 카메라 배열에 대해 기술한 예시문이다.

상기 카메라 센서는 “ACST001”의 ID를 가지고 있고, “CID000~CID003”과 같이 각각의 ID를 가지는 4개의 서브 카메라를 가지고 있다. 카메라 센서는 활성화가 되어 있고, 상기 센서는 100 clock ticks per second의 감지속도로 6000의 시간 정보 값을 가지고 있다.

제1카메라 센서는 (0,0,0)에 위치하고, 카메라 방향(Orientation)은 (0,0,0)이다. 나머지 카메라 센서는 (90,-250,0),(0,-500,0),(-90,-250,0)에 위치하고, 방향을 고려하는 상대적인 위치는 (0,0,90),(0,0,180),(0,0,270)이다. 모든 서비 카메라의 방향은 차량의 외부 전체를 커버할 수 있도록 오직 Z축에서 움직인다.

저장 모듈(330)은 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 상황정보제공장치(300)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 저장 모듈(330)은 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 상황정보제공장치(300)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어 모듈(350)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.

특히, 본 발명에 따른 저장모듈(330)은 인터페이스 구성 모듈(351)이 처리 가능한 카메라 영상 정보 및 레이더 센서 정보의 유효범위(Capability) 와 인터페이스 구성모듈(351)이 카메라 영상 정보 및 레이더 센서 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보(Adaptation Preference)를 포함할 수 있다.

여기서, 상기 카메라 영상 정보의 유효범위(Array Camera Sensor Capability Type)는 카메라 센서의 개수 정보(NumberOfCameraCapability), 각 카메라 센서의 스펙 정보(CameraCapability) 및 각 카메라의 영상 정보에 접근 할 수 있는 접근 정보(AccessPoint) 중 적어도 어느 하나를 포함할 수 있다.

<구문예5>

상기 <구문예5>는 배열 카메라에 관한 유효범위(Capability)를 기술한 것으로서, 배열 카메라 유효범위(Array Camera Capability)는 각 카메라 센서를 위한 센싱 유효범위를 명시하고, 센서 유효범위 베이스 타입의 확장으로서 정의된다.

ArrayCameraSensorCapabilityType은 배열 카메라 센서의 유효범위를 서술하기 위한 도구이고, NumberOfCameraCapability는 이용가능한 카메라 센서의 개수에 관하여 기술한 것이며, CameraCapability는 각각 카메라 센서의 역량을 기술한 것이고, AccessPoint는 비디오 스트림 또는 이미지와 같은 카메라 센서의 로우 컨텐츠(raw contents)를 위하여 사용되는 액세스 포인트에 대해서 기술한 것이다.

<구문예6>

<cidl:SensorDeviceCapability xsi:type="scdv:ArrayCameraSensorCapabilityType" id="ACSCT001">
<scdv:NumberOfCameraCapability maxValue="4" minValue="0"/>
<scdv:CameraCapability id="CC000">
<scdv:AccessPoint>http://vpv.keti.re.kr/C000</scdv:AccessPoint>
</scdv:CameraCapability>
<scdv:CameraCapability id="CC001">
<scdv:AccessPoint>http://vpv.keti.re.kr/C001</scdv:AccessPoint>
</scdv:CameraCapability>
<scdv:CameraCapability id="CC002">
<scdv:AccessPoint>http://vpv.keti.re.kr/C002</scdv:AccessPoint>
</scdv:CameraCapability>
<scdv:CameraCapability id="CC003">
<scdv:AccessPoint>http://vpv.keti.re.kr/C003</scdv:AccessPoint>
</scdv:CameraCapability>
</cidl:SensoryDeviceCapabilityList>

상기 <구문예6>은 상기 <구문예5>의 배열 카메라 센서 유효범위의 설명을 보여주기 위한 예시이다.

센서 유효범위는 “ACSCT001”의 ID를 가지고 있고, 배열 카메라는 카메라로부터 오는 로우 컨텐츠를 검색하기 위한 액세스 포인드를 각각 가지는 4개의 서브 카메라를 가지고 있다.

또한, 레이더 센서 정보의 유효범위(RADAR Sensor Capability Type)는 물체 감지를 위한 유효거리 정보(DistanceCapability), 물체 감지를 위한 유효방향 정보(OrientationCapbility) 및 물체 감지를 위한 유효상대속도 정보(RelativeSpeedCapability) 중 적어도 어느 하나의 정보를 포함할 수 있다.

<구문예7>

상기 <구문예7>은 레이더 센서 주변 객체를 위한 거리, 지향각, 상대속도를 지속적으로 관찰함으로써, 움직이거나 고정된 타겟에 관한 유효범위를 기술한 것이다.

RADARSensorCapabilityType은 RADAR 센서 유효범위를 기술하기 위한 툴(tool)이고, DistanceCapability는 레이더 센서에 감지된 객체의 유효거리를 기술한 것이며, OrientationCapability는 레이더 센서에 감지된 객체의 유효 방향을 기술한 것이고, RelativeSpeedCapability는 레이더 센서에 감지된 객체의 유효 상대속도를 기술한 것이다.

<구문예8>

<cidl:SensorDeviceCapability xsi:type="RADARSensorCapabilityType" id="RSCT001">
<scdv:DistanceCapability maxValue="500" minValue="0.5" unit="meter"/>
<scdv:OrientationCapability maxValue="100" minValue="0" unit="degree"/>
<scdv:RelativeSpeedCapability maxValue="250" minValue="-250" unit="kmperhour"/>
</cidl:SensoryDeviceCapability>

상기 <구문예8>은 상기 <구문예7>에 따른 레이더 센서 유효범위의 서술을 보여주기 위한 예시이다. 센서의 유효범위는 “RSCT001”의 ID를 가지고, 센서는 0.5~500미터 사이의 객체를 측정할 수 있다. 감지된 객체의 지향각 정보는 0~100도 사이로 제공되며, 상대속도 정보는 -250km/h에서 250km/h사이에서 제공될 수 있다.

한편, 상기 카메라 영상 정보의 정보처리 기준 정보(Array Camera sensor adaptation preference type)는 상기 인터페이스 구성 모듈(351)이 처리하는 영상의 해상도 정보(Resolution), 처리하는 영상의 가로 크기 정보(Width), 처리하는 영상의 세로 크기 정보(Height) 중 적어도 어느 하나의 정보를 포함할 수 있다.

<구문예9>

<complexType name="ArrayCameraAdaptationPrefType">
<complexContent>
<extension base="cidl:SensorAdaptationPreferenceBaseType">
<sequence maxOccurs="unbounded">
<element name="Camera" type="sapv:CameraAdaptationPrefType"/>
</sequence>
</extension>
</complexContent>
</complexType>

<complexType name="CameraAdaptationPrefType">
<complexContent>
<extension base="cidl:SensorAdaptationPreferenceBaseType">
<sequence>
<element name="Resolution">
<complexType>
<sequence>
<element name="Width">
<complexType>
<complexContent>
<extension base="cidl:SensorAdaptationPreferenceBaseType"/>
</complexContent>
</complexType>
</element>
<element name="Height">
<complexType>
<complexContent>
<extension base="cidl:SensorAdaptationPreferenceBaseType"/>
</complexContent>
</complexType>
</element>
</sequence>
</complexType>
</element>
</sequence>
</extension>
</complexContent>
</complexType>

상기 <구문예9>는 배열 카메라 센서로부터 센싱된 데이터를 선택적으로 조정하기 위한 사용자의 설정 기준의 구문을 명시한 것이다.

ArrayCameraAdaptationPrefType은 배열 카메라에 센싱된 정보의 처리 기준을 기술하기 위한 툴(tool)이다. Camera는 각 카메라 센서의 정보 처리 기준을 기술한 것이고, Resolution은 카메라 센싱 정보에 요구되는 해상도에 대해 기술한 것이며, Width는 가로 크기 범위에 대해 기술한 것이고, Height는 세로 크기 범위에 대해 기술한 것이다.

<구문예10>

<cidl:SAPreference xsi:type="sapv:ArrayCameraAdaptationPrefType" id="ACSAP001" sensorAdaptationMode="strict">
<sapv:Camera id="CID000">
<sapv:Resolution>
<sapv:Width maxValue="4096" minValue="2048" numOfLevels="5"/>
<sapv:Height maxValue="2160" minValue="1080" numOfLevels="5"/>
</sapv:Resolution>
</sapv:Camera>
<sapv:Camera id="CID001">
<sapv:Resolution>
<sapv:Width maxValue="4096" minValue="2048" numOfLevels="5"/>
<sapv:Height maxValue="2160" minValue="1080" numOfLevels="5"/>
</sapv:Resolution>
</sapv:Camera>
<sapv:Camera id="CID002">
<sapv:Resolution>
<sapv:Width maxValue="4096" minValue="2048" numOfLevels="5"/>
<sapv:Height maxValue="2160" minValue="1080" numOfLevels="5"/>
</sapv:Resolution>
</sapv:Camera>
<sapv:Camera id="CID003">
<sapv:Resolution>
<sapv:Width maxValue="4096" minValue="2048" numOfLevels="5"/>
<sapv:Height maxValue="2160" minValue="1080" numOfLevels="5"/>
</sapv:Resolution>
</sapv:Camera>
</cidl:SAPreference>

상기 <구문예10>은 상기 <구문예9>에 기술된 배열 카메라에 의해 센싱된 정보의 처리기준에 대한 설명을 보여주는 예시이다.

이 처리기준은 “ACSAP001”이라는 ID를 가지고 있고, 4개의 카메라 센서는 각각의 센서 적용 기준을 기술한다. 상기 적용 기준은 가로크기 범위와 세로크기 범위로 정의되고, 가로 크기 범위는 최대값 4096, 최소값 2048을 가진다. 또한, 가로크기의 최대값과 최소값 사이에는 총 5단계로 구분될 것이 요구되며, 세로 크기 범위는 최대값 2160, 최소값 1080을 가지고, 역시 최대값과 최소값 사이에는 총 5단계로 구분될 것이 요구된다.

한편, 레이더 센서의 기준 정보(RADAR Sensor Adaptation Preference type)는 최대로 감지할 수 있는 객체의 수 정보(MaxValue), 상기 인터페이스 구성 모듈이 처리하는 거리 정보의 최대/최소값 및 단위를 기록한 거리정보(Distance), 처리하는 각도 정보의 범위 및 단위를 기록한 방향정보(Orientaion) 및 처리하는 상대 속도의 최대/최소값 및 단위를 기록한 상대속도정보(RelativeSpeed) 중 적어도 어느 하나의 정보를 포함할 수 있다.

<구문예11>

<complexType name="RADARAdaptationPrefType">
<complexContent>
<extension base="cidl:SensorAdaptationPreferenceBaseType">
<sequence>
<element name="Distance" type="sapv:DistanceAdaptationPrefType" minOccurs="0"/>
<element name="Orientation" type="sapv:OrientationAdaptationPrefType" minOccurs="0"/>
<element name="RelativeSpeed" type="sapv:VelocityAdaptationPrefType" minOccurs="0"/>
</sequence>
</extension>
</complexContent>
</complexType>

상기 <구문예11>은 레이더 센서로부터 센싱된 데이터를 선택적으로 조정하기 위한 사용자의 설정 기준의 구문을 명시한 것이다.

RADARAdaptationPrefType은 레이더에 의해 센싱된 정보를 처리하는 기준을 기술하기 위한 도구이고, maxValue는 감지할 수 있는 최대 객체 수로서, 감지된 객체가 최대값을 넘으면 최대값에 가장 가까운 객체를 리턴시킨다. Distance는 감지된 객체의 거리 기준에 대하여 기술하고, Orientation은 감지된 객체의 각도 기준에 대하여 기술하며, RelativeSpeed는 감지된 객체의 상대속도 기준에 대하여 기술한다.

<구문예12>

<cidl:SAPreference xsi:type="sapv:RADARAdaptationPrefType" id="RADARSAP001" sensorAdaptationMode="strict" maxValue="3">
<Distance unit="meter" maxValue="100.0" minValue="0.0" numOfLevels="100"/>
<Orientation unit="degree" numOfLevels="50">
<OrientationRange>
<YawMin>0</YawMin>
<YawMax>100</YawMax>
<PitchMin>0</PitchMin>
<PitchMax>0</PitchMax>
<RollMin>0</RollMin>
<RollMax>0</RollMax>
</OrientationRange>
</Orientation>
<RelativeSpeed unit="kmperhour" maxValue="250" minValue="-250" numOfLevels="500"/>
</cidl:SAPreference>

상기 <구문예12>는 상기 <구문예11>의 정보 처리 기준의 예시를 보여준다.

정보 처리 기준은 “RADARSAP001”이라는 ID를 가지고 있고, 레이더로부터 감지할 수 있는 최대 객체수는 “3”이며, 최대 거리 기준은 100미터, 최소 거리 기준은 0미터이다. 또한, 거리 값은 최대값과 최소값 사이에서 100단계로 나누어진다.

지향각 정보는 오직 Yaw 값에 의해서 서술되고, 최대값은 100도, 최소값은 0도를 가진다. 그리고 최대값과 최소값 사이에서 50단계로 나누어진다.

상대속도의 적용은 최대값 250km/h이고 최소값 -250km/h를 가지며, 최대값과 최소값 사이는 500단계로 나누어진다.

한편, 저장 모듈(330)은 센서모듈(370) 또는 통신모듈(310)을 통해 수신한 각종 정보를 저장한다.

제어모듈(350)은 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다.

특히, 본 발명에 따른 제어모듈(350)은 인터페이스 구성 모듈(351), 차량 상황 판단 모듈(353)을 포함할 수 있다.

차량 상황 판단 모듈(353)은 센서모듈(370)로부터 수신한 정보, 특정 차량(200a)과 인접한 차량들(200b~200d) 중 적어도 하나의 차량으로부터 수신된 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정한다.

차량 상황 판단 모듈(353)이 상기 운전자 상황 또는 차량 주변 상황을 판단할 때, 레이더 센서 정보에 포함되어 있는 시간 정보를 바탕으로 현재 시간으로부터 얼마 전에 일어난 상황인지에 대하여 판단하고, 감지된 물체의 방향정보와 상대속도 정보 등을 이용하여 특정 차량의 어느 방향에서 물체가 어느 시간 이후에 어느 정도 특정 차량에 접근 할 것인지를 예측할 수 있다.

또한, 레이더 센서에 포함되어 있는 감지된 물체에 관한 정보와 카메라 영상 정보를 기반으로 감지된 물체의 크기나 형태 등을 측정하여 저장모듈(330)에 저장된 물체 정보 데이터베이스를 기반으로 특정 차량(200a)에 접근하는 물체의 종류를 추정할 수 있다.

또한, 차량 상황 판단 모듈(353)은 상기 추정 결과, 상기 특정 차량(200a)이 위급 상황에 있는 것으로 판단되는 경우, 상기 특정 차량(200a)에 위급 상황 알림 정보를 전송하도록 제어할 수도 있다.

여기서, 특정 차량(200a)이 위급상황에 있는 것으로 판단되는 경우란, 특정 차량(200a)과의 충돌이 있을 때, 특정차량(200a)에 피해를 줄 수 있는 물체의 접근 등이 될 수 있으며, 이러한 물체의 접근은 상기 레이더 센서 정보에 포함된 시간 정보와 거리 정보, 방향 정보, 상대속도 정보를 이용하여 감지된 물체가 특정차량(200a)에 충돌 하기까지 걸리는 시간과 충돌 가능성을 확률적으로 계산하여 기 설정된 확률보다 높은 경우, 상기 차량 상황 판단 모듈(353)은 현재 특정 차량(200a)에 위급상황이 있는 것으로 판단하여 위급 상황 알림 정보를 전송하도록 제어할 수 있다.

인터페이스 구성 모듈(351)은 상기 추정된 상황 정보와 상기 센서모듈(370)로부터 수신한 정보, 특정 차량(200a)과 인접한 차량들(200b~200d) 중 적어도 하나의 차량으로부터 수신한 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성한다.

이 때, 상기 인터페이스의 구성은 상기 카메라 영상 정보에 포함된 정보들을 활용하여 구성할 수 있다.

예를 들면, 시간 정보를 기준으로 현 시간에서 일정 시간 내에 포함된 영상들을 인터페이스를 구성하는 영상 정보의 후보군으로 선택하고, 각 카메라의 식별 정보를 기반으로 인터페이스 구성에 들어갈 위치를 파악할 수 있다.

즉, 특정 차량(200a)의 앞에 있는 주변 차량의 후방 카메라로부터 카메라 영상을 수신한 경우, 특정 차량(200a)의 입장에서는 주변 차량의 후방 카메라 위치가 자신의 전면 상황이 되므로, 파노라마 인터페이스 구성 시, 전면 상황을 비추는 부분에 주변 차량의 후방 카메라 영상 정보를 띄울 수 있는 것이다.

또한, 감지된 객체의 상대 방향 정보 또는 상대 위치 정보를 기반으로 수신한 카메라 영상 정보 중, 어느 정보를 지정된 위치에 노출 할 것인지를 판단할 수 있다.

즉, 상대방향 정보 또는 상대 위치 정보를 기반으로 특정 차량(200a)과 가장 가까이에 위치한 객체에 대한 정보를 인터페이스에 노출하는 것이 운전자에게 유리할 수 있으므로, 이러한 영상 정보를 선택하여 노출할 수 있다.

또한, 특정차량(200a)주변으로 사고가 발생한 경우, 운전자에게 사고 상황을 보다 상세히 전달하기 위하여, 사고가 발생한 지역을 중심으로 전후좌우면에서 촬영한 인접차량의 영상 정보를 특정차량(200a)이 수신하여 이를 파노라마 형태로 노출할 수 있다.

즉, 사고 차량이 있는 경우, 그 사고차량의 앞쪽에서 촬영된 인접 차량의 후방 카메라 영상 정보를 특정차량(200a)의 전면상황에 해당하는 인터페이스 부분에 노출 시키고, 상기 사고 차량의 좌측면에서 촬영된 인접차량의 우측면 카메라 영상 정보를 특정 차량(200a)의 좌측상황에 해당하는 인터페이스 부분에 노출 시킬 수 있다.

또한, 레이더 센서 정보에 포함된 감지된 물체에 관한 정보와 영상 정보를 기반으로 접근하는 물체가 어떤 물체인지를 파악하게 되면, 이러한 특정 물체에 대한 정보(예를 들면, 크기, 차량 연식, 모델명, 가격, 연비 등)을 특정 디스플레이 창에 띄울 수 있으며, 거리 정보와 방향 정보를 텍스트로 변환하여 출력하고, 충돌 예측 시간이나 상기 확률적으로 계산한 충돌 확률 정보 등을 텍스트로 변환하여 운전자에게 노출시킬 수 있다.

또한, 충돌 확률이 일정 이상이 된다면, 차량 상황 판단 모듈(353)이 전송하는 위급상황 알람 메시지와 함께, 충돌이 일어날 것이라고 추정되는 위치에 해당하는 디스플레이에 경고등을 점멸시키는 등의 경고 알람을 전송하도록 제어할 수 있다.

즉, 특정 차량(200a)의 좌측면에서 충돌이 일어날 것이라고 예상되는 경우, 좌측면에 해당하는 디스플레이에 좌측면의 상황과 함께 경고등을 점멸 시켜 운전자의 주의를 환기시킬 수 있다.

또한, 인터페이스 구성 모듈(351)은 운전자의 요청이 있는 경우, 저장모듈(330)에 저장된 정보를 기반으로 일정 시간 동안의 운전자의 상황 또는 주변 상황을 재구성하여 전송하도록 제어할 수 있다.

상기 일정 시간은 운전자의 설정에 의하여 변경 될 수 있으며, 카메라 영상 정보에 포함된 시간 정보를 기반으로 카메라 영상 정보를 추출할 수 있고, 주변 상황의 재구성은 위에서 서술한 인터페이스 구성 방법과 동일한 방법으로 구성할 수 있다.

센서모듈(370)은 센서에 의해 수집된 센싱 정보를 수신하기 위한 장치로서, 본 발명에서는 특정차량(200a)에 설치된 카메라와 레이더 센서(210a~210d)에 의해 수집된 센싱 정보를 입력받는다.

상기 수집된 센싱 정보는 통신모듈(310)을 통해 수신한 카메라 영상 정보 또는 레이더 센서 정보와 동일한 정보를 포함한다.

도3을 참조하여 상황정보제공장치(300)의 동작과정에 대하여 살펴보면, 상황정보제공장치(300)는 특정차량(200a) 및 특정차량(200a)에 인접한 복수의 차량(200b~200d)에 설치된 카메라 또는 레이더 센서에 의해 수집된 정보를 수신한다(S101). 상기 정보를 수신한 상황정보제공장치(300)는 상기 정보들 중 하나 이상의 정보를 기반으로 운전자 상황 또는 주변 상황을 추정한다(S103). 이 때, 추정된 상황 정보를 기반으로 특정 차량(200a)가 위급 상황에 있는 것으로 판단되는 경우, 상기 특정차량(200a)에 위급 상황 알림 정보를 전송할 수 있다.

상황정보제공장치(300)는 상기 추정된 상황 정보와 상기 수신한 정보들 중 하나 이상의 정보를 기반으로 차량 내부에 표시할 파노라마 형태의 인터페이스를 구성하고 이를 전송한다(S105~S107).

한편, 상황정보제공장치(300)는 상기 수신한 정보들을 저장하고 있다가 운전자의 요청이 있는 경우, 상기 저장된 정보를 기반으로 일정 시간 동안의 운전자의 상황 또는 주변 상황을 재구성할 수 있다.

예를 들면, 운전자가 운전 중에 사고가 발생한 경우, 과실여부를 판단하기 위하여 사고가 발생하기 전후로의 일정 시간 동안의 운전자 주변의 상황을 재구성하여 전송할 것을 요청 하면, 상황 정보 제공장치(300)는 사고가 발생했을 당시의 사고 상황을 재구성하여 운전자에게 제공할 수 있다.

이상으로 본 발명에 따른 상황정보제공장치(300)의 구성 및 동작 방법에 대해 설명하였다.

이하, 본 발명에 따른 파노라마 형태의 인터페이스 구성 방식에 대한 실시 예에 대해 설명하도록 한다.

도4는 상황정보제공장치(300)가 카메라 영상 정보 및 레이더 센서 정보를 수신하여 파노라마 형태의 인터페이스로 구성하고, 이를 디스플레이 하는 과정에 대해 설명하는 도면이고, 도 5는 각 카메라에서 촬영된 영상 정보를 파노라마 형태로 인터페이스를 구성하는 실시 예에 관한 도면이며, 도 6은 상기 구성된 인터페이스를 각종 디스플레이 장치에 노출하는 실시 예에 관한 도면이다.

도4를 살펴보면, 특정 차량(200a)의 카메라와 레이더 센서 정보와 외부 차량의 카메라 및 레이더 센서 정보(400)를 상황정보제공장치(300)가 수신하면, 상기 수신된 정보들을 기반으로 상황정보제공장치(300)는 저장 모듈(330)에 저장된 유효범위 정보와 정보 처리 기준 정보를 기반으로 파노라마 형태의 인터페이스를 구성할 수 있다.

도5를 참조하여, 상기 구성된 인터페이스의 예시를 보면, 차량(200)에 설치된 4대의 카메라(210a~210d)로부터 영상 정보를 수신하여 상기 영상 정보를 210e와 같이 파노라마 형태로 인터페이스를 재구성하게 된다.

이렇게 구성된 인터페이스를 각종 디스플레이 장치들이 포함된 액츄에이터(230)로 전송하여, 디스플레이 할 수 있다.

도6을 참조하여, 각종 디스플레이 장치들에 상기 재구성된 파노라마 형태의 인터페이스가 노출되는 예를 살펴보면, 230a~230c와 같이 해드업 디스플레이(230a) 장치나 자동차 계기판(230b), 백미러(230c) 등의 장치에 디스플레이 할 수 있다.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

본 발명에 따르면, 인접한 다수의 차량을 연계하여 각 차량에서 얻어진 영상 정보와 센싱 정보를 공유하고 이를 각 운전자의 상황에 맞게 인터페이스를 구성함으로써, 다양한 관점에서 폭넓게 차량 주변의 정보를 획득할 수 있는 차량 상황 정보를 제공할 수 있고, 이를 통하여 차량의 주변 상황에 대한 운전자의 이해와 대응력을 높여 안전운전에 기여할 수 있고, 자동차 산업 발전에 이바지 할 수 있다.

더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

100: 통신망 200: 차량 210: 카메라 및 레이더 센서
300: 차량 상황 정보 제공 서버

Claims

통신망과 연동하여 적어도 하나의 차량과 데이터를 송수신하는 통신모듈;
특정 차량에 설치된 복수의 카메라 및 레이더 센서로부터 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 수신하는 센서모듈;
상기 특정 차량에 접근 가능한 물체에 관한 정보인 물체 정보 데이터베이스를 저장하는 저장모듈;
상기 센서 모듈로부터 수신한 적어도 하나의 차량으로부터 수신된 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정하고, 상기 레이더 센서 정보에 포함된 감지된 물체에 관한 정보, 상기 카메라 영상 정보 및 상기 물체 정보 데이터베이스를 기반으로 상기 특정 차량에 접근하는 물체의 종류를 추정하는 차량 상황 판단 모듈; 및
추정된 물체에 관한 정보, 추정된 물체의 거리 정보, 방향 정보, 충돌 예측 시간 및 확률적으로 계산한 충돌 확률 정보를 텍스트로 변환하여 출력하고, 상기 추정된 상황 정보, 상기 센서모듈로부터 수신한 적어도 하나의 차량으로부터 수신한 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하며, 요청에 따라 해당 시간의 추정된 물체에 관한 정보, 추정된 물체의 거리 정보, 방향 정보, 충돌 예측 시간 및 확률적으로 계산한 충돌 확률 정보를 텍스트로 변환하여 출력하고, 상기 저장모듈에 저장된 정보를 기반으로 해당 시간의 상황 정보, 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 추출하여 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 재구성하는 인터페이스 구성 모듈
을 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
제1항에 있어서, 상기 차량 상황 판단 모듈은
상기 특정 차량이 위급 상황에 있는 것으로 판단되는 경우, 상기 특정 차량에 위급 상황 알림 정보를 전송하는 것을 특징으로 하는 상황 정보 제공 장치.
삭제
제1항에 있어서, 상기 카메라 영상 정보는
각 카메라의 식별정보(Camera), 시간 정보(TimeStamp), 상대방향정보(RelativeOrientation) 및 상대위치정보(RelativeLocation) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
제1항에 있어서, 상기 레이더 센서 정보는
시간 정보(TimeStamp), 감지된 물체에 관한 정보(DetectedObject), 거리정보(Distance), 방향정보(Orientation) 및 상대속도정보(RelativeSpeed) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
제1항에 있어서,
상기 인터페이스 구성 모듈이 처리 가능한 카메라 영상 정보의 유효범위를 저장하는 저장모듈을 더 포함하고,
상기 카메라 영상 정보의 유효범위는
카메라 센서의 개수 정보(NumberOfCameraCapability), 각 카메라 센서의 스펙 정보(CameraCapability) 및 각 카메라의 영상 정보에 접근 할 수 있는 접근 정보(AccessPoint) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
제1항에 있어서,
상기 인터페이스 구성 모듈이 처리 가능한 레이더 센서 정보의 유효범위를 저장하는 저장모듈을 더 포함하고,
상기 레이더 센서 정보의 유효범위는
물체 감지를 위한 유효거리 정보(DistanceCapability), 물체 감지를 위한 유효방향 정보(OrientationCapbility) 및 물체 감지를 위한 유효상대속도 정보(RelativeSpeedCapability) 중 적어도 어느 하나의 정보를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
제1항에 있어서,
상기 인터페이스 구성 모듈이 카메라 영상 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보를 저장하는 저장모듈을 더 포함하고,
상기 카메라 영상의 기준 정보는
상기 인터페이스 구성 모듈이 처리하는 영상의 해상도 정보(Resolution), 처리하는 영상의 가로 크기 정보(Width), 처리하는 영상의 세로 크기 정보(Height) 중 적어도 어느 하나의 정보를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
제1항에 있어서,
상기 인터페이스 구성 모듈이 레이더 센서 정보를 처리하여 인터페이스를 구성할 때 기준이 되는 정보 처리 기준 정보를 저장하는 저장모듈을 더 포함하고,
상기 레이더 센서의 기준 정보는
최대로 감지할 수 있는 객체의 수 정보(MaxValue), 상기 인터페이스 구성 모듈이 처리하는 거리 정보의 최대/최소값 및 단위를 기록한 거리정보(Distance), 처리하는 각도 정보의 범위 및 단위를 기록한 방향정보(Orientaion) 및 처리하는 상대 속도의 최대/최소값 및 단위를 기록한 상대속도정보(RelativeSpeed) 중 적어도 어느 하나의 정보를 포함하는 것을 특징으로 하는 상황 정보 제공 장치.
상황 정보 제공 장치가 적어도 하나의 차량과 특정 차량에 설치된 복수의 카메라와 레이더 센서로부터 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 수신하는 단계;
상기 수신된 정보를 바탕으로 특정 차량의 운전자 상황 또는 주변 상황을 추정하는 단계;
상기 레이더 센서 정보에 포함된 감지된 물체에 관한 정보, 상기 카메라 영상 정보 및 상기 상황 정보 제공 장치에 기 저장된 물체 정보 데이터베이스를 기반으로 상기 특정 차량에 접근하는 물체의 종류를 추정하는 단계;
추정된 물체에 관한 정보, 추정된 물체의 거리 정보, 방향 정보, 충돌 예측 시간 및 확률적으로 계산한 충돌 확률 정보를 텍스트로 변환하여 출력하고, 상기 추정된 상황 정보, 적어도 하나의 차량과 특정 차량에 설치된 복수의 카메라와 레이더 센서로부터 수신한 카메라 영상 정보와 레이더 센서 정보 중 적어도 하나의 정보를 기반으로 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 구성하는 단계; 및
상기 구성된 인터페이스 정보를 상기 특정 차량으로 전송하는 단계;
요청에 따라 해당 시간의 추정된 물체에 관한 정보, 추정된 물체의 거리 정보, 방향 정보, 충돌 예측 시간 및 확률적으로 계산한 충돌 확률 정보를 텍스트로 변환하여 출력하고, 저장모듈에 저장된 정보를 기반으로 해당 시간의 상황 정보, 카메라 영상 정보 및 레이더 센서 정보 중 적어도 하나의 정보를 추출하여 차량 내부 출력모듈에 표시할 인터페이스를 파노라마 형태로 재구성하는 단계;
를 포함하는 것을 특징으로 하는 차량 상황 정보 제공 방법.