KR102233529B1

KR102233529B1 - 대상을 차량 디스플레이에 표시하는 방법과 장치

Info

Publication number: KR102233529B1
Application number: KR1020167025921A
Authority: KR
Inventors: 요르그 슈리퍼
Original assignee: 콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date: 2014-03-25
Filing date: 2015-01-28
Publication date: 2021-03-29
Also published as: EP3123450B1; KR20160137536A; CN106164931A; DE112015000543A5; JP2017509067A; JP6429892B2; US20180253899A1; DE102014205511A1; WO2015144145A3; CN106164931B; WO2015144145A2; EP3123450A2

Abstract

차량(F)의 차량 디스플레이에 대상을 표시하기 위한 방법으로서, 이 방법은 다음의 단계로 구성되어 있다: (a) 센서에 의해 포착된, 대상(O)이 있는 주변 영상(UB)의 제공(S1); (b) 해당 대상(O)의 대상 유형(O-TYP)을 인식하기 위해 대상의 특징을 이용한 대상(O)의 분류(S2); (c) 차량(F)의 주변을 나타내는 3차원 장면을 생성하기 위해 대상(O)의 인식한 대상 유형(O-TYP)에 해당하는 입체적 데이터 모델(3D-DM)의 삽입(S3); (d) 생성된 3차원 장면을 차량 디스플레이에 표시(S4).

Description

대상을 차량 디스플레이에 표시하는 방법과 장치{METHOD AND DEVICE FOR DISPLAYING OBJECTS ON A VEHICLE DISPLAY}

본 발명은 차량의 차량 디스플레이에 대상을, 특히 차량 대상을 표시하는 방법과 장치에 관한 것이다.

차량의 운전자가 주차나 후진과 같은 운전을 할 때 운전자를 지원하는 표시 영상을 카메라 영상에서 계산하는 서라운드 뷰 시스템이 차량에 점점 더 많이 장착되고 있다. 차량의 운전자는 도로에서 차량을 안전하게 운전하기 위해 주행 중 서라운드 뷰 시스템의 지원을 받아 결정을 내린다. 그 외에도 서라운드 뷰 시스템은 운전자가 주변에서 자신의 위치를 파악할 때 그를 지원하여, 예컨대 그가 자신의 주행 목표에 더 쉽게 도달할 수 있도록 한다. 이 운전자에게 차량 주변에 대한 되도록 사실적인 영상을 제공하기 위해 차량의 디스플레이에 입체적인 표시 영상을 나타내는 경우가 증가하는 바, 이는 운전자가 결정을 내리고 자신의 위치를 파악할 때 그를 효율적으로 그를 지원하기 위해서이다.

기존의 서라운드 뷰 시스템이 갖고 있는 단점은 물론 차량 센서가, 특히 차량 카메라가 파악하는 대상을 각 차량 센서의 화각에서 촬영하며 각 대상의 다른 측면을 인식 또는 볼 수 없다는 점이다. 그 외에도 많은 경우 다른 차량 대상이 완전히 또는 부분적으로 다른 대상에 의해, 특히 다른 차량 대상에 의해 숨겨져 있어 숨겨진 다른 차량 대상을 사실적으로 표시할 수 없다.

이러한 문제점을 도 1을 예시로 하여 설명하겠다. 도 1에서 도시한 상황은 차량 F가 4차선 도로에서 다른 두 차량 대상을 만나는 교통 상황이다. 도시한 이 예에서 이 도로는 각 방향이 2차선인 4차선 도로이다. 도 1에서 도시한 도로는 예건대 양방향이 각각 2차선인 고속도로이다. 도시한 예에서 차량 F에는 차량의 좌측, 우측, 전면과 후면에 장착되어 있는 네 대의 차량 카메라가 촬영한 카메라 영상을 이용하는 서라운드 뷰 시스템 SVS 한 대가 장착되어 있다. 예시에서는 반대편 차도에서 예컨대 화물차나 승용차인 첫 번째 차량 대상 FO1이 두 번째 차량 대상 FO2를 추월하여 이 차량을 최소한 부분적으로 숨긴다. 이에 차량 F의 좌측에 있는 차량 카메라 FKL은 첫 번째 차량 대상 FO1의 좌측만을 포착하고, 그 외에도 경우에 따라 숨겨진 두 번째 차량 대상 FO2의 좌측 일부를 포착한다. 어떤 특정한 시점에 차량 카메라 FKL에 대해 두 번째 차량 대상 FO2가 첫 번째 차량 대상 FO1에 의해 완전히 가려지므로 차량 대상 FO2를 차량 F에 장착된 서라운드 뷰 시스템 SVS의 차량 디스플레이에 나타나는 입체적 화면에 사실적으로 표시할 수 없다. 그 외에도 어떤 대상에서는 해당 대상의 보기가 단지 어느 한 면을 나타낼 때 해당 대상에 대한 사실적인 인상을 주지 않을 수 있다. 또한 차량 F의 주변에 있는 차량 대상이나 그 외의 다른 대상이 주변 조건에 의해, 특히 강설과 같은 날씨 조건에 의해 상당히 심한 영향을 받을 위험이 있다.

그러므로 본 발명의 과제는 차량 디스플레이에 대상을 표시하는 방법과 장치인 바, 이는 대상을 되도록 사실적으로 표시하여 운전자가 주행과 관련된 결정을 내리고 교통의 흐름에서 자신의 위치를 파악할 때 그를 되도록 효율적으로 지원하는 것을 그 목표로 한다.

이러한 과제는 본 발명에서 청구항 1에 기술한 특징을 지닌 방법에 의해 해결된다.

본 발명에서는 그에 따라 차량 디스플레이에 대상을 표시하는 방법이 다음의 단계로 이루어진다:

센서에 의해 포착된, 차량의 주변에 있는 대상을 나타내는 주변 영상을 제공하는 단계,

해당 대상의 대상 유형을 인식하기 위해 대상의 특징을 이용하여 대상을 분류하는 단계,

차량의 주변을 나타내는 3차원 장면을 생성하기 위해 대상의 인식된 대상 유형에 해당하는 입체적 데이터 모델을 삽입하는 단계 및

생성된 3차원 장면을 차량 디스플레이에 표시하는 단계.

본 발명에 따른 방법에는 차량 주변에 있는 대상을 사실적이고 명확하게 표시함으로써 운전할 때 안전성을 높인다는 특별한 장점이 있다.

본 발명에 따른 방법의 예상되는 한 모델 형태에서는 인식한 대상 유형의 입체적 차량 데이터 모델을 차량의 데이터 메모리에서 판독한다.

이러한 모델 형태에는 상이한 3차원 데이터 모델로의 데이터 액세스가 아주 빠르게 이루어질 수 있다는 장점이 있다.

본 발명에 따른 방법의 다른 모델 형태에서는 인식한 대상 유형의 3차원 데이터 모델이 전자 통신의 무선 다운링크 연결을 통해 멀리 떨어진 데이터베이스에서 다운로드된다.

이 모델 형태의 장점은 이 데이터베이스가 극히 많은 종류의 3차원 데이터 모델을 처리한다는 점이다.

그 외에서 두 모델 형태를 결합할 수 있는 바, 즉 인식한 대상 유형의 3차원 데이터 모델이 차량에 데이터 메모리에 없으면 3차원 데이터 모델이 무선 인터페이스를 통해 멀리 떨어진 데이터베이스에서 다운로드된다.

본 발명에 따른 방법에서 가능한 어떤 모델 형태에서는 주변의 영상을 차량 센서가, 특히 차량에 장착된 차량 카메라가 제공한다.

본 발명에 따른 방법에서 가능한 또 다른 모델 형태에서는 대상이 차량 주변에 있고 차량 대상에 속하는 3차원 차량 모델 데이터 및/또는 3차원 차량 데이터 모델의 식별을 무선 인터페이스를 통해 직접 또는 전자 통신 시스템을 통해 차량에 전송하는 차량 대상이라는 특징을 지닌다.

본 발명에 따른 방법에서 가능한 또 다른 모델 형태에서는 다른 차량 대상이 제공한 3차원 차량 데이터 모델 및/또는 3차원 차량 데이터 모델의 식별자가 차량의 수신기에 의해 직접 또는 전자 통신 시스템의 무선 다운링크 연결을 통해 수신된다.

본 발명에 따른 방법에서 가능한 또 다른 모델 형태에서는 3차원 차량 데이터 모델 및/또는 차량의 3차원 차량 데이터 모델 식별을 차량의 송신기가 직접 또는 전자 통신 시스템의 무선 업링크 연결을 통해 차량 근처에 있는 다른 차량 대상에 송신한다.

본 발명에 따른 방법에서 가능한 또 다른 모델 형태에서는 차량의 수신기에 의해 직접 또는 전자 통신 시스템의 무선 다운링크 연결을 통해 수신한 3차원 차량 데이터 모델 및/또는 차량 근처에 있는 차량 대상의 3차원 차량 데이터 모델 식별을 차량의 송신기가 직접 또는 전자 통신 시스템의 무선 업링크 연결을 통해 차량의 주변에 있는 다른 차량 대상에 전달한다.

본 발명에 따른 방법에서 가능한 또 다른 모델 형태에서는 3차원 차량 데이터 모델 및/또는 자기 차량 또는 다른 차량 대상의 3차원 차량 데이터 모델 식별이 차량 또는 해당 차량 대상의 현재 위치와 함께 전송된다.

더 나아가 본 발명은 청구항 9에 기술한 특징을 지닌 차량용 서라운드 뷰 시스템을 만든다.

더 나아가 본 발명은 차량용 서라운드 뷰 시스템을 만드는 바, 이 시스템에는

즉 최소한 하나의 차량 센서장치, 특히 차량의 주변에 있는 대상을 나타내는 주변 영상을 제공하는 차량 카메라와

대상의 유형을 인식하기 위해 차량의 영상에 포함되어 있는 대상을 분류하고 연산장치와 연결된 차량 디스플레이에 표시되는 3차원 장면을 생성하기 위해 분류된 대상의 3차원 데이터 대상을 주변 영상에 삽입하는 연산장치가 장착되어 있다.

본 발명에 따른 서라운드 뷰 시스템에서 가능한 모델 형태에서는 차량의 주변에 있는 다른 여러 대상에 다른 여러 차량 대상이 포함되어 있는 바, 이 차량 대상은 자신의 해당 3차원 차량 데이터 모델 및/또는 3차원 차량 데이터 모델의 식별자를 차량의 서라운드 뷰 시스템에 장착된 수신기에 전송하며, 이때 수신한 3차원 차량 데이터 모델이나 수신한 3차원 데이터 모델 식별자를 이용하여 판독한 3차원 차량 데이터 모델이 차량의 차량 디스플레이에 표시된다.

본 발명에 따른 서라운드 뷰 시스템에서 가능한 모델 형태에서는 3차원 차량 데이터 모델 및/또는 다른 차량 대상이 송신하는 3차원 차량 데이터 모델의 식별자를 차량의 수신기가 직접 또는 전자 통신 시스템의 무선 다운링크 연결을 통해 수신한다.

본 발명에 따른 서라운드 뷰 시스템에서 가능한 또 다른 모델 형태에서는 이 시스템에 송신기가 있는 바, 이 송신기는 자체 3차원 차량 데이터 모델 및/또는 자체 3차원 차량 데이터 모델의 식별자를 차량의 주변에 있는 다른 차량 대상에 직접 또는 전자 통신 시스템의 무선 업링크 연결을 통해 전송한다.

본 발명에 따른 서라운드 뷰 시스템에서 가능한 또 다른 모델 형태에서는 자체 차량의 현재 위치를 서라운드 뷰 시스템의 송신기가 차량의 주변에 있는 다른 차량 대상에 직접 또는 전자 통신 시스템의 무선 업링크 연결을 통해 전송한다.

본 발명에 따른 서라운드 뷰 시스템에서 가능한 또 다른 모델 형태에서는 3차원 차량 데이터 모델 및/또는 분류된 대상, 특히 차량의 주변에 있는 차량 대상의 3차원 차량 데이터 모델 식별자가 다른 차량 대상에 직접 또는 전자 통신 시스템의 무선 업링크 연결을 통해 전송된다.

더 나아가 본 발명은 본 발명에 따른 서라운드 뷰 시스템이 있는 차량을 만드는 바, 이 서라운드 뷰 시스템은 차량의 내비게이션 시스템과 결합되어 있고, 이 내비게이션 시스템은 자체 차량 및/또는 다른 대상, 특히 차량 대상의 위치 데이터를 서라운드 뷰 시스템에게 제공한다.

이하에서 대상을 차량의 차량 디스플레이에 표시하기 위한, 본 발명에 따른 방법과 본 발명에 따른 장치에서 가능한 모델 형태를 첨부한 도면을 이용하여 더 상세히 설명하겠다.
여기서 이 도면은 다음과 같다.
도면 1: 본 발명에 따른 방법과 본 발명에 따른 장치의 근거가 되는 문제점을 고찰할 때 가장 흔하게 나타나는 교통 상황의 도식적 표시;
도면 2: 본 발명에 따른 서라운드 뷰 시스템에서 가능한 모델 형태의 블록 다이어그램;
도면 3: 본 발명에 따른 서라운드 뷰 시스템의 또 다른 모델 형태에 대한 블록 다이어그램;
도면 4: 본 발명에 따른 서라운드 뷰 시스템의 또 다른 모델 형태에 대한 블록 다이어그램;
도면 5: 본 발명에 따른 방법에서 가능한 모델 형태의 경과 다이어그램;
도면 6: 본 발명에 따른 방법에서 가능한 모델 형태를 표시하기 위한 신호 다이어그램;
도면 7: 본 발명에 따른 방법의 다른 응용 사례

도 2에서 알 수 있는 바와 같이 표시한 예시 모델에는 차량 F에 서라운드 뷰 시스템 1이 장착되어 있는 바, 이 시스템에는 차량 센서장치 2가, 특히 차량 카메라가 한 대 이상 있다. 예를 들어 차량 센서장치 2에는 차량 주변의 가시광선 영역 내 영상을 제공하는 차량 카메라가 있을 수 있다. 그 외에도 차량 센서장치 2에는 차량 F 주변에 대한 레이더 데이터 또는 레이더 영상을 제공하는 레이더 센서가 장착될 수 있다. 도 2에서 도시한 예에서 차량 센서장치 2는 차량 F의 주변에 있는 대상 O를, 특히 차량 대상 FO를 포착한다. 대상 O는 차량 대상 FO와 같은 움직이는 대상이거나 또는 건물 등과 같은 움직이지 않는 대상이다. 도 2에서 알 수 있는 바와 같이 차량 센서장치 2는, 특히 차량 카메라는 대상 O의 한 면에서 포착한다. 각 차량 센서장치 2는 차량 F의 주변에 대한 주변 영상을 제공하는 바, 이때 이 주변 영상에는 차량 F 주변에 있는 대상 O가 하나 이상 있을 수 있다. 차량 F가 예컨대 도로에서 움직일 때 대상 O는 그 차량 F에 상대적으로 움직인다. 차량 센서장치 2는 예를 들어 대상 O가 포함되어 있는 현재의 주변 영상을 서라운드 뷰 시스템 1의 분류장치 3에 제공한다.

분류장치 3은 대상의 유형을 인식하기 위해 대상의 특징을 이용하여 대상 O를 분류한다. 예를 들어 분류장치 3은 대상 O가 차량 대상 FO라는 것을 인식한다. 분류장치 3은 분류 정확도를 더 높여 분류할 수 있다. 예를 들어 분류장치 3은 대상의 특징을 이용하여 대상 O가 차량 대상 FO라는 것을, 즉 화물차 차량 대상 LKW-FO 또는 승용차 차량 대상 PKW-FO라는 것을 확정할 수 있다. 대상의 분류 체계를 이용하여 분류장치 3은 정밀도를 높여 분류할 수 있다. 예를 들어 분류장치 3은 인식한 승용차 차량 대상을 특별한 유형의 차량으로서, 예컨대 리무진이나 스테이션 왜건으로서 인식할 수 있다. 더 나아가 예컨대 더 상세한 분류를 계속 진행하여 그 차량의 유형이 무엇인가를, 예를 들어 콤비 아우디 A6라는 것을 인식할 수 있다. 도시한 예시 모델에서 분류장치 3은 해당 대상 O의 대상 유형 O-TYP를 인식하는 바, 여기서 인식한 대상 유형을 이용하여 데이터 메모리 4에서 나온, 인식한 대상 유형 O-TYP의 해당 입체적 데이터 모델 3D-DM을 판독한 다음 이를 삽입 연산장치 5에 의해 인식한 차량 대상 FO 대신 주변 영상 UB에 삽입한다. 데이터 메모리 4에서 판독한, 인식한 차량 대상 FO의 입체적 차량 데이터 모델 3D-DM은 따라서 차량 대상 FO가 주변 영상 UB 내에서 점하고 있는, 주변 영상 UB 내의 자리 또는 위치에 삽입된다. 인식한 차량 FO의 입체적 데이터 모델 3D-DM을 삽입함으로써 삽입장치 5는 인식한 차량 대상 FO를 포함하고 있는, 차량 F의 주변을 나타내는 3차원 장면을 생성한다. 생성된 3차원 장면은 서라운드 뷰 시스템 1의 차량 디스플레이 6에 의해 차량 F 내의 한 사람에게, 특히 운전자에게 표시된다. 도 2에 도시한 예시 모델의 장점은 차량 F의 차량 디스플레이 6에 대상 O의 볼 수 있는 면뿐만 아니라 대상 O의 입체적 해당 차량 데이터 모델 3D-DM이 표시되므로 대상 O가 입체적 장면에서 사실적으로 표시된다는 점이다. 분류장치 3과 삽입 연산장치 5는 연산장치 8에 내장되는 것이 좋다. 이때 연산, 특히 분류는 실시간으로 이루어지는 것이 좋다.

도 3은 본 발명에 따른 서라운드 뷰 시스템 1의 다시 예시 모델을 나타낸다. 도 3에 도시한 예시 모델에서 서라운드 뷰 시스템 1에는 차량 F 근처에 있는 대상 O에서, 특히 차량 대상 FO에서 차량 대상 FO에 속하는 3차원 차량 데이터 모델 3D-DM을 직접 또는 전자 통신 시스템의 무선 다운링크 연결 DL을 통해 수신하는 트랜스시버 7이 있다. 트랜스시버 7은 수신기 하나와 송신기 하나로 이루어져 있다. 트랜스시버 7의 수신기는 서라운드 뷰 시스템 1의 센서장치 2에 의해 동시에 감지되는 차량 대상 FO로부터 차량 대상 FO의 3차원 데이터 모델이나 또는 최소한 해당 3차원 차량 데이터 모델을 식별하는 ID를 수신한다. 또는 추가로 서라운드 뷰 시스템 1의 분류장치 3에 의해 수신한 주변 영상 UB에서 차량 대상 FO의 분류가 이루어진다. 이렇게 변형된 모델에서는 수신한 3차원 차량 대상 데이터 모델 3D-DM이 분류 결과와 일치하는지를 점검할 수 있다. 또는 트랜스시버 7이 차량 대상 FO의 차량 대상 데이터 모델을 무선 인터페이스 DL을 통해 수신하는 경우, 분류장치 3도 차량 대상 FO의 분류와 관련하여 자동으로 비활성화될 수 있거나 스위치 9에 의해 차단될 수 있다. 삽입 연산장치 5는 무선 인터페이스를 통해 트랜스시버 7의 수신기가 수신한 차량 대상 데이터 모델을 차량 센서장치 2가 제공한 주변 영상 UB의 적당한 자리에 삽입하고 이러한 방식으로 차량 F의 주변에 있는, 서라운드 뷰 시스템 1의 차량 디스플레이 6에 표시되는 대상을 포함하고 있는 차량 F의 주변에 대한 입체적 장면을 만든다. 도 3에 도시한 예시 모델에서는 트랜스시버 7이 주변에 있는 차량 대상 FO의 차량 대상 데이터 모델을 수신하는 경우 서라운드 뷰 시스템 1 내에서의 분류를 포기할 수 있다. 이러한 모델 형태에서는 따라서 주변에 있는 대상 O가 해당 3차원 모델을 제공하지 않는 경우에만 분류장치 3이 사용된다. 따라서 도 3에 도시한 모델 형태에는 분류장치 3이 연산해야 하는 양이 감소한다는 장점이 있다.

도 4는 본 발명에 따른, 차량 F에 장착된 서라운드 뷰 시스템 1의 또 다른 예시 모델을 나타낸다. 도 4에 도시한 예시 모델에서 트랜스시버 7의 수신기는 대상 O로부터 차량 데이터 모델이 아니라 차량 대상 데이터 모델 DM의 식별자 ID를 수신한다. 수신한 이 차량 데이터 모델 식별자 DM-ID를 이용하여 서라운드 뷰 시스템 1의 로컬 데이터 메모리 4에서 나온 해당 입체적 차량 대상 데이터 모듈 3D-DM을 판독하고 삽입 연산장치 5에 의해 차량 센서장치 2가 제공한 주변 영상 UB의 적당한 장소에 삽입하여 주변의 3차원 장면을 생성한다. 생성된 3차원 장면은 차량 디스플레이 6에 의해 표시된다. 도 4에 도시한 모델 형태에는 무선 인터페이스를 위해 하나의 차량 대상 데이터 모델 ID만을 전송해야 하므로 필요한 대역이 적다는 장점이 있다. 더 나아가 차량 대상 데이터 모델의 ID를 전송하는 것은 데이터 모델의 복잡성과 데이터 분량에 따라 차량 대상 데이터 모델 전체를 전송하는 것보다 더 빨리 이루어질 수 있다.

도 3과 4에서 도시한 모델 형태에서는 차량 대상 데이터 모델 및/또는 차량 대상 데이터 모델 ID의 전송이 무선 인터페이스를 통해 직접 또는 전자 통신 시스템 T-SYS를 통해 차량에서 차량으로 이루어질 수 있다. 어떤 가능한 모델 형태에서는 차량 대상 FO가 업링크 연결 UL을 통해 모델 ID 또는 그 차량 데이터 모델을 전송하고, 그 모델은 그 다음 다운링크 연결 DL을 통해 차량 F 내에 있는 트랜스시버 7의 수신기로 전송된다. 전자 통신 시스템이란 예를 들어 휴대전화 시스템을 말한다. 본 발명에 따른 시스템에서 가능한 또 다른 모델 형태에서는, 도면 2, 3 및 4에서 도시한 바와 같이, 차량 대상 데이터 모델 및/또는 차량 대상 데이터 모델 ID 외에 추가로 위치 데이터를 차량과 차량 대상 FO가 서로 교환 또는 전송한다. 어떤 가능한 모델 형태에서 삽입 연산장치 5는 차량 대상 데이터 모델 3D-DM을 주변 영상 UB에 삽입할 때 차량 대상의 현재 위치 데이터를 추가로 고려한다. 어떤 가능한 모델 형태에서 차량 또는 차량 대상 FO의 위치 데이터를 차량 대상 FO에 장착된 내비게이션 시스템이 제공한다. 어떤 가능한 모델 형태에서, 도면 2, 3 및 4에 도시한 삽입 연산장치 5에는 차량 F에 장착된 내비게이션 시스템으로부터 위치 데이터를 수신하는 CPU 또는 마이크로 프로세서가 장착되어 있다. 이 위치 데이터에는 자체 차량 F의 위치 데이터 및/또는 센서장치 2의 통달 거리 내의 차량 F 근처에 있는 차량 대상의 위치 데이터가 포함되어 있다. 이 위치 데이터에는 대상 O의, 특히 차량 F 근처에 있는 차량 대상 FO의 평면 또는 입체 좌표가 포함되어 있다.

본 발명에 따른 시스템에서 가능한 또 다른 모델 형태에서 차량 대상 FO는 자신의 3차원 차량 데이터 모델 및/또는 3차원 차량 데이터 모델 식별자를 다른 차량 대상으로 전파하고, 이 다른 차량 대상은 다시 이 모델이나 식별자를 다시 제삼의 차량 대상에 전달한다. 3차원 데이터 모델 3D-DM 또는 그 식별자 ID의 계속 전달은 차량 사이에서 직접 이루어지거나 전자 통신 시스템 T-SYS의 업링크 및 다운링크 연결에 의해 이루어질 수 있다. 3차원 차량 데이터 모델 또는 그 식별자를 계속 전달함으로써 차량 F는 다른 차량 대상 FO에 의해, 예를 들어 도 1에 도시한 바와 같이, 완전히 또는 부분적으로 숨겨진 차량 대상 FO도 인식할 수 있다. 도 1에서 도시한 예에서, 예컨대 차량 데이터 대상 FO2는 자신의 차량 데이터 모델을 추월하는 차량 대상 FO1에 전송하고, 그 차량 대상은 그 다음 수신한 차량 데이터 모델 또는 그에 속하는 식별자를 차량 F에 전송할 수 있다. 선호하는 어느 한 모델 형태에서는 차량 데이터 모델 및/또는 그 차량 데이터 모델 식별자가 그에 속하는 차량 대상의 현재 위치 데이터와 함께 전송되어 차량 F의 서라운드 뷰 시스템 SVS는 예컨대 숨겨진 차량 데이터 대상 FO2가 주변의 어떤 장소에 정확히 위치해 있는가를 결정할 수 있다. 그러면 그 위치 데이터를 기반으로 하여 본 발명에 따른 서라운드 뷰 시스템 1의 삽입 연산장치 5가 직접 또는 간접으로 수신한 차량 대상 데이터 모델 3D-DM를 포착한 주변 영상의 적합한 장소에 정확하게 삽입할 수 있다.

도 5는 대상 O를 차량 디스플레이에 표시하기 위한, 본 발명에 따른 방법의 실행 예를 단계적으로 표시한 경과 다이어그램을 나타낸다.

먼저 단계 S1에서는 차량 F의 주변에 있는 대상 O를 나타내는 주변 영상 UB가 하나 이상 제공된다. 이 주변 영상 UB는 센서에 의해, 특히 하나 이상의 차량 카메라 및/또는 차량 F 내에 장착된 레이더 장치에 의해 포착되는 것이 좋다. 여러 센서 또는 센서장치에 의해 수신한 영상, 특히 카메라 영상을 전처리하여 주변 영상에 합성할 수 있다. 주변 영상은 차량 F의 주변 전체 또는 차량의 둘러싼 주변의 관련된 부분 구역을 표시할 수 있다. 주변 영상 UB는 예컨대 차량 주변의 360° 전경 영상일 수 있다. 주변 영상 UB에는 아주 상이한 종류의 대상 O, 특히 움직이는 차량 대상 FO와 건물이나 산과 같은 움직이지 않는 대상 O가 있다.

그 다음 단계 S2에서는 해당 대상 O의 대상 유형 O-TYP를 인식하기 위해 대상 O의 분류가 이루어진다. 예를 들어 도면 2에서 4까지에서 도시한 서라운드 뷰 시스템 1의 분류장치 3에 의해 분류가 이루어질 수 있다.

그 다음의 단계 S3에서는 차량 F 주변을 표시하는 3차원 장면을 생성하기 위해 대상 O의 인식된 대상 유형 O-TYP에 해당하는 3차원 데이터 모델을 삽입한다. 어떤 가능한 모델 형태에서는 수신한 위치 데이터를 분석하여 대상 O의 3차원 데이터 모델 3D-DM을 주변 영상 UB의 적절한 자리에 삽입하거나 또는 거기에 위치하도록 한다. 어떤 가능한 모델 형태에서는 이러한 위치 데이터 또는 위치 좌표를 차량 F의 내비게이션 시스템이 제공한다.

다음 단계 S4에서는 생성된 3차원 장면이 차량 F의 차량 디스플레이에 표시된다.

도 6에는 본 발명에 따른 방법을 변형하여 채용한 시스템 모델이 도시되어 있다. 도 6에서 도시한, 변형된 모델에서는 차량 F가 휴대전화 시스템과 같은 전자 통신 시스템 T-SYS를 통해 다른 차량 대상 FOA, FOB와 통신한다. 예를 들어 차량 F의 근처에 있는 차량 대상 FOA는 업링크 연결 UL을 통해 위치 데이터를 포함하여 자신의 3차원 차량 데이터 모델이나 그에 속하는 ID를 전자 통신 시스템의 기지 스테이션에 전송하고, 그 스테이션은 그에 따라 다운링크 연결 DL을 통해 차량 FOA의 3차원 데이터 모델이나 그에 해당하는 ID를 특히 해당 위치 데이터와 함께 차량 F의 수신기로 전송한다. 거기서 차량 대상 FOA의 차량 데이터 모델이 주변 영상 UB의 적절한 자리에 삽입된다. 그 외에도 차량 F의 자체 송신기가 차량 F의 차량 데이터 모델이나 그에 해당하는 ID를 전자 통신 시스템의 업링크 데이터 연결 UL을 통해, 그리고 거기서 다운링크 연결 DL을 통해 다른 차량 대상 FOB에 전송한다. 이때 자체 차량 F의 차량 데이터 모델 외에 특히 추가로 차량 대상 FOA의 수신한 차량 데이터 모델이나 그에 해당하는 ID를 다른 차량 대상 FOB에 전달한다. 그 외에도 차량 F는 차량 대상 FOA로부터 차량 데이터 모델을 수신한 후 자체 차량 데이터 모델의 ID를 다시 전송하여 수신을 확인할 수 있다. 이러한 방식으로 상이한 차량 대상 FO는 자신의 3차원 차량 데이터 모델이나 그에 속하는 ID를 서로 교환한다. 이때 차량 대상 FO의 위치 데이터를 동시에 서로 교환하는 것이 좋다.

이와 다른 모델 형태에서는 모든 차량 또는 차량 대상 FO에 그 차량임을 명확히 표시하는 해당 차량의 ID가 있다. 이 차량 ID는 차량 FO 사이에서 서로 교환되는 바, 그 경우 데이터베이스 조회에 의해 수신한 차량 ID에 속하는 차량 데이터 모델 ID를 조회한다.

본 발명에 따른 방법에서 가능한 모델 형태에서 서라운드 뷰 시스템 1의 차량 센서장치 2는 주변에 있는 대상 O의 윤곽 및 바탕 또는 색상을 인식한다. 어떤 가능한 모델 형태에서는 분류할 때 바탕을 추가로 이용한다. 그 외에도 삽입장치 5는 차량 F의 근처에 있는, 예컨대 차량 대상과 같은 대상의 인식한 바탕 또는 색상을 표시한 3차원 차량 데이터 모델에 삽입하여 해당 대상 O를 차량 디스플레이 6에 더욱 더 사실적으로 표시할 수 있다.

본 발명에 따른 방법 및 시스템의 또 다른 모델 형태도 가능하다. 따라서 대상 O는 지면에서 움직이는, 특히 차량이나 화물차인 차량 대상 FO일 수 있다. 또한 차량 대상 FO가 선박이나 항공기일 수도 있다. 어떤 가능한 모델 형태에서는 전송된 차량 데이터 모델이 비교적 단순한 차량 데이터 모델인 바, 이 모델은 기본적으로 해당 대상 O의 표면을 나타낸다. 예를 들어 3차원 장면을 만들기 위해 어떤 특정한 차량 유형의 색상과 윤곽을 주변 영상 UB에 삽입한다. 또는 전송된 차량 데이터 모델이 인식한 차량 대상 FO의 복잡한 차량 데이터 모델일 수 있는 바, 이 모델은 차량 F의 표면 외에 해당 차량 대상 FO의 내적 구조와 관련된 데이터도 제공한다. 이렇게 변형된 모델에서는 예를 들어 차량 F의 운전자나 운전기사가 전송된 차량 데이터 모델을 이용하여 주변에 있는 차량 대상 FO의 내적 구조를 들여다 볼 수 있으며, 경우에 따라 그 구조를 확대해서 볼 수 있다. 따라서 이렇게 변경된 모델에서는 차량 F의 운전자가 차량 디스플레이 6의 3차원 장면에 표시된 차량 대상 FO의 구성과 구조에 대한 정보를 필요하면 더 많이 획득할 수 있다.

어떤 가능한 모델 형태에서 주변에 있는 대상 O는 자체 차량 F에 대해 상대적으로 상대 속도로 움직인다. 이러한 상대 속도 V는 어떤 가능한 모델 형태에서 서라운드 뷰 시스템 1에 의해 인식되고 또 그에 속하는 3차원 차량 데이터 모델을 주변 영상 UB의 적절한 위치에 놓을 때 고려된다. 이렇게 변형된 모델에서는 3차원 차량 데이터 모델을 보다 더 정밀하게 적절한 위치에 놓거나 삽입할 수 있는 바, 왜냐하면 3차원 차량 데이터 모델을 3차원 장면에 놓을 위치를 계산할 때 삽입장치 5가 위치 데이터 외에 상대 속도도 고려하기 때문이다.

서라운드 뷰 시스템 1의 분류장치 3은 자체 차량의 주변에 있는 다른 차량 대상 FO의 유형과 색상 등을 인식하여 분류할 수 있다. 그러면 해당 차량 데이터 모델이 3차원 데이터 대상으로서 3차원 장면에 삽입되거나 또는 적절한 자리에 위치하게 된다.

3차원 장면에 삽입된 차량 데이터 모델 3D-DM은 차량 F의 근처에 있는 차량 대상 FO의 모든 면을, 차량의 F의 차량 센서장치 2가 포착할 수 없는 면까지도 표시한다. 그 외에도 다른 대상에 의해, 특히 다른 차량 대상에 의해 지속적으로나 잠깐 동안 숨겨지는 차량 대상의 차량 데이터 모델도 표시할 수 있다. 이러한 방식으로 3차원 장면에 표시된 입체적 차량 주변을 차량 F의 운전자에게 보다 더 사실적으로 표시하여 운전자는 주행과 관련하여 결정을 내리고 자신의 위치를 파악할 때 도움을 준다. 주행과 관련된 결정을 지원함으로써 차량 F를 운전할 때 안전성이 상당히 향상된다.

도 7은 본 발명에 따른 방법의 다른 응용 사례를 나타낸다. 여기서는 주차하기 위해 운전할 때 대상, 특히 다른 차량 대상이 차량 디스플레이의 3차원 장면에 표시된다.

Claims

(a) 센서에 의해 포착된, 차량(F)의 주변에 있는 대상(O)을 나타내는 주변 영상(UB)을 제공하는 단계(S1);
(b) 해당 대상(O)의 대상 유형(O-TYP)을 인식하기 위해 대상의 특징을 이용하여 대상(O)을 분류하는 단계(S2);
(c) 차량(F)의 주변을 나타내는 3차원 장면을 생성하기 위해 대상(O)의 인식된 대상 유형(O-TYP)에 해당하는 입체적 데이터 모델(3D-DM)을 삽입하는 단계; 및
(d) 생성된 3차원 장면을 차량 디스플레이에 표시하는 단계(S4);
를 포함하고,
대상(O)은 차량 대상(FO)을 나타내는 바, 이 차량 대상은 차량(F)의 주변에 있으며 차량 대상(FO)에 속하는 3차원 차량 데이터 모델 및/또는 3차원 차량 데이터 모델의 식별을 무선 인터페이스를 통해 차량(F)에 전송하고,
전자 통신 시스템의 무선 다운링크 연결(DL)을 통해 차량(F)의 수신기에 의해 수신한 3차원 차량 데이터 모델 및/또는 차량(F) 근처에 있는 다른 차량 대상(FO)의 입체적 차량 데이터 모델 식별을 차량(F)의 송신기가 전자 통신 시스템의 무선 업링크 연결(UL)을 통해 차량(F)의 주변에 있는 다른 차량 대상(FO)에 전달하는, 대상을 차량의 차량 디스플레이에 표시하기 위한 방법.
청구항 1에 있어서, 차량(F)의 데이터 메모리에서 나온, 인식한 대상 유형(O-TYP)의 입체적 데이터 모델(3D-DM)을 판독하거나 무선 다운링크 연결(DL)을 통해 멀리 떨어진 데이터베이스에서 다운로드하는, 대상을 차량의 차량 디스플레이에 표시하기 위한 방법.
청구항 1 또는 2에 있어서, 최소한 하나의 차량 센서가, 적어도 하나의 차량의 차량 카메라가 주변 영상(UB)을 제공하는, 대상을 차량의 차량 디스플레이에 표시하기 위한 방법.
삭제
청구항 1에 있어서, 다른 차량 대상(FO)이 제공한 3차원 차량 데이터 모델 및/또는 3차원 차량 데이터 모델의 식별자가 차량(F)의 수신기에 의해 직접 또는 전자 통신 시스템의 무선 다운링크 연결(DL)을 통해 수신되는, 대상을 차량의 차량 디스플레이에 표시하기 위한 방법.
청구항 1에 있어서, 차량(F)의 3차원 차량 데이터 모델 및/또는 3차원 차량 데이터 모델 식별을 차량(F)의 송신기가 직접 또는 전자 통신 시스템의 무선 업링크 연결(UL)을 통해 차량(F)의 근처에 있는 다른 차량 대상(FO)에 송신하는, 대상을 차량의 차량 디스플레이에 표시하기 위한 방법.
삭제
청구항 1에 있어서, 3차원 차량 데이터 모델 및/또는 차량(F) 또는 다른 차량 대상(FO)의 3차원 차량 데이터 모델 식별이 해당 차량(F) 또는 차량 대상(FO)의 현재 위치와 함께 전송되는, 대상을 차량의 차량 디스플레이에 표시하기 위한 방법.
차량(F)용 서라운드 뷰 시스템(1)으로서,
- 최소한 하나의 차량 센서장치 (2), 적어도 하나의 차량(F)의 주변에 있는 대상(O)을 나타내는 주변 영상을 제공하는 차량 카메라; 및
- 대상의 대상 유형을 인식하기 위해 주변 영상에 포함되어 있는 대상(O)을 분류하고 연산장치(8)와 연결된 차량 디스플레이(6)에 표시되는 3차원 장면을 생성하기 위해 분류된 대상의 3차원 데이터 모델을 주변 영상에 삽입하는 상기 연산장치(8)를 포함하고,
다른 대상(O)은, 차량(F) 주변에 있는 차량 대상(FO)은 자체 3차원 차량 모델 및/또는 3차원 데이터 모델 식별자를 무선 데이터 연결을 통해 차량(F)에 전송하고,
차량(F)은 자신의 현재 위치를 포착하고 그 위치를 전자 통신 시스템의 무선 업로드 연결(UL)을 통해 차량(F) 주변에 있는 다른 차량(FO)에 전송하는, 차량용 서라운드 뷰 시스템.
삭제
청구항 9에 있어서, 다른 차량 대상(FO)이 배부한 3차원 데이터 모델 및/3차원 데이터 모델의 식별자를 전자 통신 시스템의 무선 다운링크 연결(DL)을 통해 차량(F)의 수신기에 의해 수신하는, 차량용 서라운드 뷰 시스템.
청구항 9 또는 11에 있어서, 차량(F)은 자체 3차원 차량 모델 및/또는 자체 3차원 차량 모델의 식별자를 전자 통신 시스템의 무선 업로드 연결(UL)을 통해 차량(F) 주변에 있는 다른 차량에 전송하는, 차량용 서라운드 뷰 시스템.
삭제
청구항 9 또는 11에 있어서, 차량(F)은 수신한 3차원 차량 데이터 모델 및/또는 3차원 차량 데이터 모델의 식별자를 전자 통신 시스템의 무선 업로드 연결(UL)을 통해 차량(F)의 주변에 있는 분류된 대상에서 차량(F)의 주변에 있는 다른 차량 대상(FO)로 전달하는, 차량용 서라운드 뷰 시스템.
청구항 9 또는 11에 따른 서라운드 뷰 시스템(1)과 자체 차량(F)의 위치 데이터 및/또는 차량(F)의 주변에 있는 다른 차량 대상(FO)의 위치 데이터를 제공하는 내비게이션 시스템이 장착된 차량.