KR20130088065A - 차량의 환경을 디스플레이하기 위한 뷰잉 시스템 및 방법 - Google Patents

차량의 환경을 디스플레이하기 위한 뷰잉 시스템 및 방법 Download PDF

Info

Publication number
KR20130088065A
KR20130088065A KR1020130008545A KR20130008545A KR20130088065A KR 20130088065 A KR20130088065 A KR 20130088065A KR 1020130008545 A KR1020130008545 A KR 1020130008545A KR 20130008545 A KR20130008545 A KR 20130008545A KR 20130088065 A KR20130088065 A KR 20130088065A
Authority
KR
South Korea
Prior art keywords
vehicle
viewing
virtual
dimensional space
operation unit
Prior art date
Application number
KR1020130008545A
Other languages
English (en)
Other versions
KR101427193B1 (ko
Inventor
베른트 가스만
카이-울리히 스콜
요하네스 쿠아스트
Original Assignee
하만 베커 오토모티브 시스템즈 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만 베커 오토모티브 시스템즈 게엠베하 filed Critical 하만 베커 오토모티브 시스템즈 게엠베하
Publication of KR20130088065A publication Critical patent/KR20130088065A/ko
Application granted granted Critical
Publication of KR101427193B1 publication Critical patent/KR101427193B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

차량(100)의 환경을 디스플레이하기 위한 뷰잉 시스템 및 방법은,
- 복수의 이미지 캡처 유닛(110, 120, 130, 140)의 도움으로 이미지 데이터(RAW) 형태로 차량(100)의 환경(900)의 이미지를 녹화하는 단계와,
- 디스플레이 장치(300)의 도움으로 출력 이미지(330)를 디스플레이하는 단계와,
- 가상의 3차원 공간(600)과, 상기 가상의 3차원 공간(600)을 적어도 부분적으로 제한하는 표면(690)을, 산술 연산 유닛(200)의 도움으로 결정하는 단계와,
- 상기 산술 연산 유닛(200)의 도움으로 상기 표면(690)에 대한 상기 이미지 데이터(RAW)의 투영을 연산하는 단계와,
- 상기 산술 연산 유닛(200)의 도움으로 상기 가상의 3차원 공간(600)에서 컴퓨터-발생 그래픽으로 지정 데이터(Obj)로부터 가상 차량 물체(500)를 연산하는 단계와,
- 상기 가상 차량 물체(500)를 포함하는 뷰잉 볼륨(711, 721)을 렌더링함으로써 상기 산술 연산 유닛(200)의 도움으로 출력 이미지(330)를 발생시키는 단계로서, 상기 뷰잉 볼륨(711, 721)은 상기 표면(690)에 의해 범위가 정하여지고, 상기 뷰잉 볼륨(690)은 상기 가상의 3차원 공간(600)에서 뷰잉 위치(710, 720), 뷰잉 각도(712, 722) 및 줌 팩터(724)에 기초하는, 단계
를 포함한다.

Description

차량의 환경을 디스플레이하기 위한 뷰잉 시스템 및 방법 {VIEWING SYSTEM AND METHOD FOR DISPLAYING AN ENVIRONMENT OF A VEHICLE}
본 발명은 차량의 환경을 디스플레이하기 위한 뷰잉 시스템(viewing system)및 방법에 관한 것이다.
위키피디아 용어, "빌드신세스"(Bildsynthese), http://de.wikipedia.org/wiki/Bildsynthese (영어 버전: "렌더링", http://en.wikipedia.org/wiki/Rendering)로부터 그래픽 파이프라인이 알려져 있다. 가상 관찰자는 갖는 장면에서, 뷰잉 볼륨(viewing volume)은 2개의 클리핑 평면(clipping planes)에 의해 경계가 정하여진다. 장면 내 모든 프리미티브(primitives)들은 가상 관찰자가 z 깊이 축을 따라 보고 있는 것처럼 변환된다. 장면이 광원을 포함할 경우, 대응하는 삼각형의 물성에 기초하여 각각의 정점에 대해 칼라가 연산된다. 관찰자의 시선으로부터 장면의 가시 볼륨은 각뿔대(절두체)다. 이러한 절두체는 다음 단계에서 정육면체로 변환된다. 뷰잉 볼륨의 완전 외부 또는 부분적 외부에 놓이는 프리미티브들은 클리핑 및 컬링(culling) 기술을 이용하여 클리핑 또는 제거된다. 마지막으로, 정점 좌표를 장면의 요망 그림 영역으로 이동시키는 변환이 적용된다. z 좌표는 동일하게 유지되는 데, 이는 z 좌표들이 나중에 감추어진 표면 결정에 필요하기 때문이다. 라스터 단계에서, 모든 나머지 프리미티브들은 이들에 속한 화소들을 칼라링함으로써 라스터화된다. 겹쳐지는 삼각형들의 보이는 부분만이 디스플레이될 것이기 때문에, 감추어진 표면 결정을 실행하는 z 버퍼가 사용된다.
유럽특허공보 1 720 131 B1호는 리얼 마커 물체 식별을 이용한 증강 현실 시스템을 보여준다. 이러한 증강 현실 시스템은 실제 세상 환경을 조사하고, 그 이미지 데이터를 발생시키며, 가상 이미지 데이터를 렌더링하고, 그리고, 가상 이미지 데이터를 추가적인 물체 데이터와 중첩시켜서, 실제 세상 환경을 증강시키도록 구성된다. 실제 환경으로부터 수신되는 실제 이미지 데이터는 처리 및 조작될 수 있고, 따라서, "가상" 물체로부터 물체 이미지 데이터에 의해 보완되어, 가상 물체를 포함한 이미지를 사용자에게 제공할 수 있다.
발명의 목적은 차량용 뷰잉 시스템을 가능한 최대로 개선시키는 것이다.
이 목적은 청구항 제1항의 특징을 갖는 뷰잉 시스템에 의해 달성된다. 유리한 개선사항들은 종속항의 대상이고, 상세한 설명에 포함된다.
따라서, 차량의 뷰잉 시스템이 제공된다. 뷰잉 시스템은 이미지 데이터 형태로 차량의 환경의 이미지를 녹화하기 위한 복수의 이미지 캡처 유닛을 포함한다. 뷰잉 시스템은 출력 이미지를 디스플레이하기 위한 디스플레이 장치를 갖는다. 뷰잉 시스템은 상기 복수의 이미지 캡처 유닛 및 상기 디스플레이 장치에 연결되는 산술 연산 유닛을 갖는다.
상기 산술 연산 유닛은, 가상의 3차원 공간과, 상기 가상의 3차원 공간을 적어도 부분적으로 제한하는(즉, 범위를 정하는) 표면을 결정하도록 구성된다.
상기 산술 연산 유닛은 상기 표면에 대한 상기 이미지 데이터의 투영을 연산하도록 구성된다.
상기 산술 연산 유닛은, 상기 가상의 3차원 공간에서 지정 데이터로부터 컴퓨터-발생 그래픽으로 가상 차량 물체를 연산하도록 구성된다.
상기 산술 연산 유닛은, 상기 가상 차량 물체를 포함하는 뷰잉 볼륨을 렌더링함으로써 상기 출력 이미지를 발생시키도록 구성된다. 상기 뷰잉 볼륨은 표면에 의해 범위가 정해진다. 상기 뷰잉 볼륨은 상기 가상의 3차원 공간에서 뷰잉 위치, 뷰잉 각도 및 줌 팩터에 기초한다.
예를 들어 도면을 참조하여 설명되는 바와 같은, 발명의 구체적 실시예는, 복수의 장점들을 제공한다. 시스템은 디스플레이 상에 출력될 수 있는, 서라운드 뷰를 사용자에게 제공한다. 뷰잉 위치 및 뷰잉 각도는 필요에 따라 자유롭게 선택 및 변경가능하고, 따라서, 환경의 최적 뷰가 사용자에게 항상 제공된다. 사용자는 차량 물체를 디스플레이함으로써 차량 위치와 관련된 환경을 매우 쉽게 캡처할 수도 있고, 따라서, 가능한 충돌을 예측할 수 있다.
발명의 목적은 차량의 환경을 디스플레이하기 위해 가능한 많이 개선된 방법을 명시하는 것이다.
이 목적은 독립항인 청구항 제6항의 특징을 갖는 방법에 의해 달성된다. 유리한 개선사항들이 상세한 설명에 포함된다.
따라서, 차량의 환경을 디스플레이하기 위한 방법이 제공된다.
이 방법에서, 복수의 이미지 캡처 유닛의 도움으로 이미지 데이터 형태로 차량의 환경의 이미지가 녹화된다.
이 방법에서, 디스플레이 장치의 도움으로 출력 이미지가 디스플레이된다.
이 방법에서, 가상의 3차원 공간과, 표면이 산술 연산 유닛의 도움으로 결정된다. 가상의 3차원 공간은 표면에 의해 적어도 부분적으로 제한된다(즉, 범위가 정하여진다).
이 방법에서, 상기 산술 연산 유닛의 도움으로 상기 표면에 대한 상기 이미지 데이터의 투영이 연산된다.
이 방법에서, 상기 산술 연산 유닛의 도움으로 상기 가상의 3차원 공간에서 컴퓨터-발생 그래픽으로 지정 데이터로부터 가상 차량 물체가 연산된다.
이 방법에서, 상기 가상 차량 물체를 포함하는 뷰잉 볼륨을 렌더링함으로써 상기 산술 연산 유닛의 도움으로 출력 이미지가 발생된다. 뷰잉 볼륨은 상기 표면에 의해 범위가 정해진다. 뷰임 볼륨은 표면에 의해, 예를 들어, 깊이가, 정하여진다. 상기 뷰잉 볼륨은 상기 가상의 3차원 공간에서 뷰잉 위치, 뷰잉 각도 및 줌 팩터에 기초한다.
아래 설명되는 실시예는 위 시스템 및 방법에 모두 관련된다.
유리한 일 실시예에 따르면, 표면은 가상 차량 물체와 인접하게 놓이고, 특히, 차량 물체의 복수의 측부에 인접하게 놓인다. 차량 물체는 표면에 인접한 지역을 갖는 것이 유리하다.
유리한 일 실시예에 따르면, 산술 연산 유닛은 관찰 위치의 일 위치로부터 볼 때 적어도 부분적으로 오목한 곡률을 갖는 형상을 이용하여 표면을 결정하도록 구성된다.
유리한 일 실시예에 따르면, 산술 연산 유닛은, 차량 물체에 인접하고 곡면 영역으로 연장되는 지역에서 주로 수평 방식으로 표면을 결정하도록 구성된다. 차량 물체에 인접한 표면의 이러한 영역은 차량 물체의 기저부 지역과 동일한 평면 상에 있는 것이 바람직하다.
유리한 일 실시예에 따르면, 산술 연산 유닛은 기저부 및 벽체를 갖는 그릇 형상의 표면을 결정하도록 구성된다. 그릇 형상의 기저부는 주로 수평하게, 바람직하게는 평면형으로 설계된다. 그릇 형상의 벽체는 곡면으로 설계된다.
유리한 일 실시예에 따르면, 산술 연산 유닛은 3개의 공간 방향으로 가상의 3차원 공간을 결정하도록 구성되고, 상기 3차원 공간은 공간 방향 중 적어도 2개의 방향으로 표면에 의해 범위가 정하여진다. 이는 서라운드 뷰를 달성하여, 사용자로 하여금 차량 주위의 모든 환경을 완전하게, 또는, 예를 들어, 조감도 시선으로부터 단면으로 볼 수 있게 한다. 가상의 3차원 공간은 공간 방향 중 2개의 방향으로 완전하게 범위가 정하여지고, 다른 제 3의 공간 방향으로 적어도 부분적으로 범위가 정하여지는 것이 바람직하다.
유리한 일 실시예에 따르면, 산술 연산 유닛은 가상의 3차원 공간 내에서 고정 위치에서 차량 물체를 결정하도록 구성된다. 차량 물체는, 예를 들어, 확인된 차량 움직임 중 차량 물체의 가상 휠이 회전 및/또는 선회한다는 점에서, 애니메이션화되는 것이 바람직하다.
유리한 일 실시예에 따르면, 산술 연산 유닛은 표면에 이미지 데이터를 투영함으로써 왜곡을 연산하도록 구성된다. 이미지 데이터 영역은, 출력 이미지에서 환경의 일부분을 가능한 크게 출력하기 위해, 그리고, 운전자가 자신을 더욱 쉽게 배향시킬 수 있도록 하기 위해, 압축될 수 있다.
유리한 일 실시예에 따르면, 이미지 캡처 유닛은 예를 들어, CMOS 카메라 또는 CCD 카메라, 등으로 설계된다. 이미지 캡처 유닛은 큰 어안(넓은 각도)을 갖는 것이 바람직하다. 유리한 일 실시예에 따르면, 디스플레이 장치는 터치 스크린 또는 프로젝터, 등으로 설계된다.
특히 유리한 실시예에 따르면, 산술 연산 유닛은 뷰잉 볼륨을 제어하도록 구성된다.
뷰잉 볼륨을 제어하기 위해, 산술 연산 유닛은 가상의 3차원 공간의 제 1 좌표와, 가상의 3차원 공간의 제 2 좌표 사이에서 상기 뷰잉 위치를 변화시키도록 구성되는 것이 바람직하다.
뷰잉 볼륨을 제어하기 위해, 산술 연산 유닛은, 가상의 3차원 공간의 제 1 방향과, 가상의 3차원 공간의 제 2 방향 사이에서 상기 뷰잉 각도를 변화시키도록 구성되는 것이 바람직하다.
뷰잉 볼륨을 제어하기 위해, 산술 연산 유닛은 제 1 줌 값과 제 2 줌 값 사이에서 줌 팩터를 변화시키도록 구성되는 것이 바람직하다.
상기 산술 연산 유닛은, 사용자에 의해 확인된 입력에 기초하여 뷰잉 위치 및/또는 뷰잉 각도 및/또는 줌 팩터를 변화시키도록 구성되는 것이 바람직하다. 산술 연산 유닛은, 특히, 뷰잉 위치 및/또는 뷰잉 각도 및/또는 줌 팩터를 자동적으로 변화시키도록 구성되는 것이 바람직하다. 이 용도로 사용자 입력이 필요하지는 않다.
특히 유리한 실시예에 따르면, 궤도를 따라 뷰잉 위치를 연속적으로 변화시키도록 산술 연산 유닛이 구성된다. 이러한 타입의 궤도는 예를 들어, 원형 형상 또는 타원 형상을 갖는다.
특히 유리한 실시예에 따르면, 산술 연산 유닛은 충돌 확률을 결정하도록 구성된다. 상기 환경 내 물체와 상기 차량의 영역 사이의 충돌에 대한 충돌 확률은 상기 차량의 환경 내 물체까지의 확인된 적어도 하나의 거리에 기초하여 결정된다. 예를 들어, 차량 영역과 물체 사이의 거리가 측정되고 복수의 임계값과 비교된다. 예를 들어, 충돌 확률은 0 (충돌 무) 내지 1 (충돌 임박) 사이의 범위 내의 값을 갖는다.
유리한 일 실시예에 따르면, 산술 연산 유닛은, 환경 내 차량의 움직임과 상관된 적어도 하나의 신호에 기초하여 환경 내 물체와 차량 영역 사이의 충돌의 충돌 확률을 추가적으로 결정하도록 구성된다. 신호는 제어 신호 또는 센서 신호인 것이 바람직하다. 신호는 기어 선택, 특히 전진 및 후진, 및/또는, 차량의 속도, 및/또는, 차량의 가속도, 및/또는, 위성 신호의 도움으로 확인된 위치 변화, 및/또는, 감지된 브레이크 페달 위치, 및/또는, 감지된 가속기 페달 위치, 및/또는, 설정 회전 표시기와 상관되는 것이 바람직하다.
특히 바람직한 실시예에 따르면, 각각의 차량 영역은 적어도 하나의 지정 뷰잉 볼륨과 상관된다. 지정 뷰잉 볼륨은 상기 차량 영역과 상관된 차량 물체의 부분과, 상기 상관된 부분에 인접한 표면의 표면 영역을 갖는다. 산술 연산 유닛은 상기 충돌 확률이 임계치를 넘을 때 차량의 영역과 상관된 지정 뷰잉 볼륨을 제어하도록 구성된다. 차량 영역과 상관된 차량 물체 부분과, 상기 상관된 부분에 인접한 표면의 표면 영역이 렌더링되어 출력 이미지를 발생시킨다.
본 실시예는 충돌 위험이 있을 경우 환경 내 물체와 차량 영역 사이의 공간을 디스플레이하는 출력 이미지가 동적으로 발생된다는 장점을 구현한다. 따라서 사용자는 충돌 가능성을 더욱 정확하게 추정할 수 있다.
충돌 확률이 임계치를 넘어섬을 확인하기 위해, 충돌 확률이 복수의, 특히 고정된, 임계값들과 비교되는 것이 바람직하다. 임계값을 넘어섬과 관련된 뷰잉 위치는 표(LUT - 조사표)에 기초하여 확인된다. 충돌 확률은, 예를 들어, 소정의 값 또는 벡터다. 예를 들어, 벡터는 각각의 차량 영역에 대해 상관된 충돌 확률 값을 갖는다.
다른 유리한 실시예에 따르면, 산술 연산 유닛은 차량의 움직임과 상관된 신호의 복수의 이동값을 검출하기 위해 인터페이스를 갖는다. 예를 들어, 인터페이스는 아날로그 센서 신호를 평가하기 위한 아날로그/디지털 컨버터 및/또는 데이터 버스의 센서 노드에 대한 연결을 위한 버스 연결을 갖는다.
위에서 설명한 실시예들은 개별적으로도, 조합하여서도, 특별히 유리하다. 모든 실시예는 서로 조합될 수 있다. 일부 가능한 조합은 도면에서 예시적인 실시예의 설명에서 설명되고 있다. 그러나, 가능한 실시예의 특징들을 조합하기 위해 설명되고 있는 이러한 가능성들은 최종적인 것이 아니다.
발명은 도면에 도시되는 예시적인 실시예에 기초하여 아래에서 더욱 상세하게 설명된다.
도 1은 소정의 환경 내 차량의 개략적 모습을 도시하고,
도 2는 컴퓨터에 의해 발생된 차량 물체를 포함한, 3차원 공간의 개략적 모습을 도시하며,
도 3a 내지 도 3c는 컴퓨터에 의해 발생된 차량 물체의 뷰잉 위치 및 뷰잉 각도의 뷰를 보여주고,
도 4는 조감도 시각으로부터 출력 이미지의 개략적 모습을 보여주며,
도 5는 충돌 영역에 대한 출력 이미지의 개략적 모습을 보여주고,
도 6은 뷰잉 시스템의 개략적 블록도를 도시하며,
도 7은 개략적 순서도를 도시한다.
도 1은 소정의 환경(900) 내 차량(100)의 개략도를 도시한다. 예시적인 환경(900)은 화분(910), 벽(920), 사람(930), 및 다른 차량(956)을 물체로 갖는다. 차량(100)은 윤곽선으로만 도시된다. 챠량(100)은 환경(900) 내 물체(910, 920, 930, 956)와 충돌할 수 있는 영역(101, 102, 103, 104, 105, 106)들을 갖는다. 추가적으로, 이미지 캡처 유닛으로 복수의 카메라(110, 120, 140, 160) 및 복수의 거리 센서(410, 420, 430, 440, 450, 460)의 구조가 개략적으로 도시된다.
카메라(110, 120, 140, 160)는 차량(100) 외부를 지향하여, 카메라(110, 120, 140, 160)가 환경(900)의 이미지를 녹화하게 된다. 그러나 도 1의 예시적인 실시예에서, 차량(100)은 카메라(110, 120, 140, 160) 자체에 의해서는 녹화되지 않는다. 환경(900)의 이미지를 녹화하기 위해, 비교적 소수의 카메라(110, 120, 140, 160)를 이용하여 차량(100) 주위의 환경(900)의 이미지를 녹화하기 위해, 카메라(110, 120, 140, 160)는 점선으로 도 1에 표시되는 바와 같이, 예를 들어, 175도의, 매우 넓은 시야각(어안)을 갖는다. 따라서, 카메라(110, 120, 140, 160)는 서라운드 뷰용으로 배치된다. 2개의 카메라(예를 들어, (110, 120))의 녹화 영역이 겹쳐질 수 있다.
각각의 거리 센서(410, 420, 430, 440, 450, 460)는 거리를 녹화하도록 설계된다. 거리 센서(410, 420, 430, 440, 450, 460)는 차량(100)과 물체(910, 920, 930, 956) 중 하나 사이의 거리(d1, d2, d3, d5, d6)를 비접촉 방식으로, 예를 들어, 용량성으로, 또는 초음파를 이용하여 측정한다.
카메라(110, 120, 140, 160) 및 거리 센서(410, 420, 430, 440, 450, 460)는, 카메라(110, 120, 140, 160) 및 거리 센서(410, 420, 430, 440, 450, 460)의 신호를 평가하도록 구성되는 신호 및/또는 데이터 프로세서(200)에 연결된다. 도 1의 예시적인 실시예에서, 산술 연산 유닛(200)이 터치 스트린(300)에 또한 연결되고, 터치 스크린(300)은 출력 이미지(330)를 출력하도록 구성되고 사용자에 의해 제어 명령을 입력하도록 구성된다.
도 1에 도시되는 시스템은 카메라(110, 120, 140, 160)에 의해 녹화되는 환경(900)을 출력 이미지(330)에서 사용자에게 디스플레이하는 기능을 갖는다. 출력 이미지(330)는 정적이지 않고, 대신에, 복수의 (가변) 거리(d1, d2, d3, d5, d6)에 기초하여 유리하게 제어된다.
출력 이미지(330)의 발생은 도 2에 개략적으로 도시된다. 차량(100)의 카메라(110, 120, 140, 160)가 외부를 지향하기 때문에, 차량(100) 자체는 카메라(110, 120, 140, 160)에 의해 녹화되지 않는다. 실제 차량(100) 대신에, 차량 물체(500)가 컴퓨터-발생 그래픽으로 지정 데이터로부터 연산된다. 컴퓨터-발생 그래픽은 예를 들어, 동일 타입의 차량을 보여주고, 예를 들어, 차량 물체(500)의 색상은 차량(100)에 적용가능하다. 차량 물체(500)는 복수의 부분(501, 502, 503, 504)을 갖고, 차량 물체(500)의 각각의 부분(501, 502, 503, 504)은 실제 차량(100)의 영역(101, 102, 103, 104)과 상관된다.
차량 물체(500)는 가상의 3차원 공간(600)에 위치한다. 가상의 3차원 공간(600)은 표면(690)에 의해 범위가 정해진다. 도 2의 예시적인 실시예에서, 표면(690)은 그릇 형상의 표면이다. 표면(690)의 기저부(610)는 대부분 수평이다. 다른 한편, 표면(690)의 벽체(620)는 대개 수직이고, 차량 물체(500) 방향으로 오목한 곡면을 갖는다.
표면(690)에 대한 이미지 데이터의 투영이 연산되고, 이미지 데이터는 카메라(110, 120, 140, 160)의 도움으로 녹화된다. 녹화된 이미지 데이터는 도 2에서 그릇의 안쪽에 투영된다. 표면(690)의 형상으로 인해, 이미지 데이터의 왜곡이 출력 이미지(330)에 대해 실현된다. 이러한 왜곡은 오목한 섹션(620)에 비해, 출력 이미지(330)에서 확대되는 방식으로 표면(690)의 대개 수평인 섹션(610) 상에 투영 영역을 디스플레이할 수 있게 한다. 표면(690)은 차량 물체(500) 아래에 구멍(650)을 갖는 데, 이는 카메라(110, 120, 140, 160)가 외부를 지향하고 실제 차량(100) 자체를 캡처하지 않기 때문이다. 도 2의 그릇 형상에 대한 대안으로서, 예를 들어, 반구와 같은 다른 형상이 또한 제공될 수 있다. 그러나, 그릇 형상은 이미지 데이터를 왜곡시키는 장점을 갖는다. 측정되는 변수 및/또는 제어 변수의 함수로 표면(690)의 형상을 적응시키는 것이 또한 가능하다. 측정되는 변수는 예를 들어, 차량 속도다. 제어 변수는 사용자 입력이다. 형상은 예를 들어, 주로 수평 영역(610)의 폭을 변화시킴으로써, 적응된다.
출력 이미지(330)는 뷰잉 볼륨(711, 721)에 기초하여 발생된다. 뷰잉 볼륨(711, 721)은 표면(690)에 의해 3차원 공간에서 범위가 정해진다. 뷰잉 볼륨(711, 721)은 뷰잉 위치(710, 720) 및 뷰잉 각도(712, 722) 및 가상의 3차원 공간(600)에서의 줌 팩터(714, 724)에 기초한다. 뷰잉 위치(710, 720)는 표면(690)에 의해 에워싸이는 영역에 할당되어야만 한다. 줌 팩터(714, 724)는 고정될 수도 있고 조정될 수도 있다. 도 2의 예시적인 실시예에서, 2개의 뷰잉 볼륨(711, 721)은 점선으로 개략적으로 도시된다.
제 1 뷰잉 볼륨(721)은 소위 제 1 클리핑 평면(723)에 의해, 제 1 줌 팩터(724)에 의해, 제 1 뷰잉 각도(722)에 의해, 그리고, 표면(690)에 의한 범위 한정에 의해 형성된다. 표면(690)의 곡률에 기초하여, 제 1 뷰잉 볼륨이 각뿔대 형상으로부터 변형된다. 제 1 줌 팩터(724)는 개방 각도에 의해 단순화된 형태로 디스플레이된다. 차량 물체(500)가 제 1 뷰잉 볼륨(721) 내에 또한 포함되어, 제 1 뷰잉 위치로부터 보이는 출력 이미지(330) 내에서 차량 물체(500) "뒤에서" 표면(690)의 영역이 보이지 않는다. 따라서, 감추어진 표면 결정이 실행된다. 차량 물체(500)의 일부분만이 보이고, 제 1 뷰잉 위치(720)의 경우 부분(503, 502)만이 보인다. 출력 이미지(330)는 제 1 뷰잉 볼륨(721)을 렌더힝함으로써 발생된다.
도 2의 예시적인 실시예는 제 2 뷰잉 위치(710) 및 제 2 뷰잉 각도(712)와 제 2 클리핑 평면(713) 및 제 2 줌 팩터(714)를 갖는 제 2 뷰잉 볼륨(711)을 또한 도시한다. 제 2 뷰잉 볼륨(711)은 표면(690)의 주로 수평 영역(610)과 차량 물체(500)의 전방부(501)을 갖는다. 도 2에 도시되는 표면(690)의 곡률로 인해, 제 2 뷰잉 볼륨(711)은 부정확한 각뿔대 형상을 또한 갖는다 - 즉, 정확한 절두체가 아니다. 제 1 뷰잉 볼륨(721)은 이동 방향으로 출력 이미지(330)로 환경(900)의 우수한 개관을 제공하지만, 제 2 뷰잉 볼륨(711)은 차량 물체(500)의 바로 전방 환경(900)의 우수한 상세도를 제공한다. 두 경우 모두, 차량 물체(500)는 사용자로 하여금 출력 이미지(330) 내에 자신을 배향시키기 쉽게 한다. 추가적으로, 다른 정보, 예를 들어, 미터 단위의 거리(d2) 또는 경고 심벌이 출력 이미지(330)에 디스플레이될 수 있다(도 2에 도시되지 않음).
가장 간단한 경우에 제 1 뷰잉 볼륨(721)과 제 2 뷰잉 볼륨(711) 사이에서 스위칭하는 것이 가능하지만, 제 1 뷰잉 볼륨으로부터 제 2 뷰잉 볼륨으로 매끄러운 변화가 배향을 개선시킨다. 뷰잉 위치는 제 1 뷰잉 위치(720)로부터 제 2 뷰잉 위치(710)로 궤도(790)를 따라 연속적으로 변화하는 것이 유리하다. 뷰잉 각도(722, 712)의 변화는 또한 적응될 수 있다. 이러한 변화의 예시적인 실시예는 도 3a 내지 도 3c에서 예를 들어 설명된다.
관련 뷰잉 각도(722, 732, 742)에서 뷰잉 위치(720, 730, 740)를 변화시키기 위한 궤도(791, 792, 793, 797, 798)에 대한 예시적인 실시예가 도 3에 도시된다. 뷰잉 위치(720, 730, 740)는 가상의 3차원 공간(600) 내에서 변화하고, 가상의 3차원 공간(600)은 도 2와 관련하여 설명한 바와 같이, 상기 표면(690) 및 상기 차량 물체(500)를 추가적으로 갖는다.
도 3a의 차량 물체(500)는 복수의 부분(501, 504, 505, 506)을 갖고, 차량 물체(500)의 각각의 부분(501, 504, 505, 506)은 실제 차량(100)의 영역(101, 104, 105, 106)과 연계된다. 도 3a의 예시적인 실시예에서, 뷰잉 위치(720)는 수평의 타원형 궤도(791) 상에서 변화하고, 이는 차량 물체(500) 주위에서 뷰어의 움직임을 시뮬레이션한다. 도시되는 시작 위치에서, 차량 물체(500)의 부분(504)과 이에 인접한 표면(690)의 영역이 출력 이미지(330)에서 뷰어에게 보인다. 다른 한편, 차량 물체(500)의 전방의 뷰잉 위치(720)가 선순위를 가질 경우, 차량 물체(500)의 부분(501) 및 이에 인접한 표면(690)의 영역이 출력 이미지(330)에서 보인다.
추가적으로, 관련 궤도(793)를 갖는 조감도의 뷰잉 위치(740)와, 최저 뷰잉 위치(720) 및 조감도의 뷰잉 위치(740) 사이의 뷰잉 위치(730)가 서로 다른 높이에서 각각 도시된다. 뷰잉 위치(720, 730, 740)의 높이 변화가 궤도, 예를 들어, 원형 궤도(797, 798)에 의해 또한 도시된다. 충돌 위험이 도 1에 따라 센서(410, 420, 430, 440, 450, 460)의 도움으로 확인될 경우, 뷰잉 위치(720, 730, 740)가 궤도(791, 792, 793, 797, 798)를 따라 변화하여, 투영되는 이미지 데이터에 의해 도시되는, 차량 물체(500)의 부분(501)과 대응 물체(910) 사이의 충돌 가능성이 출력 이미지(330)에 보이게 된다.
도 3b 및 3c는 다른 예시적인 실시예를 보여준다. 차량 물체(500)는 위로부터 도시된다. 도 3b의 뷰잉 위치(720a) 및 도 3c의 뷰잉 위치(720b)는 타원형 궤도(791) 상에 있다. 도 3b의 뷰잉 각도(728)와 도 3c의 뷰잉 각도(729)만이 서로 다르다. 도 3b의 경우에, 충돌 확률이 영역(102, 103) 중 하나인 차량의 우측부 상에서 결정되어, 뷰잉 각도(728)가 차량 물체(500)의 우측부(502, 503)를 향해 지향된다. 다른 한편, 도 3c의 경우에, 영역(104)의 차량 후방에서 충돌 확률이 결정되어, 뷰잉 각도(729)가 차량 물체(500)의 후방부(504)로 선회한다. 뷰잉 위치(720a, 720b)가 보유된다.
출력 이미지(330)가 도 4에 개략적으로 도시되고 도 4의 출력 이미지(330)는 가상의 3차원 공간의 도움으로 발생되며, 3차원 공간(600)은 표면(690)을 포함한다. 제 1 뷰잉 볼륨(721)으로부터 렌더링된 도 2의 제 1 뷰잉 위치(720)로부터의 모습이 도시된다. 카메라(110, 120, 140, 160)의 이미지 데이터로부터 발생되는, 그리고 출력 이미지(330)에 디스플레이되는, 물체 이미지(910', 920', 930', 956')는 그릇-형상 표면(690)으로 인해 출력 이미지(330)에서 왜곡된다.
도 2로부터의 제 2 뷰잉 볼륨(711)에 대한 출력 이미지(330)가 도 5에 개략적으로 도시된다. 출력 이미지(330)는 출력 이미지(330) 내 물체(910)의 투영 이미지(910')와 관련하여 차량 물체(500)의 위로부터 모습을 디스플레이함으로써 차량(100)과 물체(910) 사이의 거리를 사용자에게 명확하게 보여준다. 출력 이미지(330)에서 거리 표시(800)를 디스플레이하는 것도 가능하다.
도 6은 차량(100)에 대한 시스템을 개략적 블록도로 도시한다. 시스템은 복수의 카메라(110-140), 복수의 거리 센서(410-460), 및 상태 센서(810, 820, 830, 840, 850)를 갖는다. 카메라(110-140), 거리 센서(410-460), 및 상태 센서(810, 820, 830, 840, 850)는 산술 연산 유닛(200)의 인터페이스(240)에 연결된다. 예를 들어, 기어 선택을 감지하도록, 제 1 상태 센서(810)가 구성되어, 관련 제 1 센서 신호(S1)를 출력한다. 예를 들어, 핸들 움직임을 감지하도록, 제 2 상태 센서(820)가 구성되어 관련 제 2 센서 신호(S2)를 출력한다. 예를 들어, 가속기 페달 위치를 감지하기 위해, 제 3 상태 센서(830)가 구성되어 관련 제 3 센서 신호(S3)를 출력한다. 예를 들어, 브레이크 압력을 감지하기 위해, 제 4 상태 센서(840)가 구성되어 관련 제 4 센서 신호(S4)를 출력한다. 예를 들어, 회전 표시기 설정을 결정하기 위한 스위치로, 제 5 상태 센서(850)가 구성되어 관련 제 5 센서 신호(S5)를 출력한다. 센서 신호(S1, S2, S3, S4, S5)가 아날로그 신호로 제공될 경우, 인터페이스(240)는 아날로그/디지털 컨버터를 가질 수 있다. 대안으로서, 센서(410-460) 및/또는 (810-850) 및/또는 카메라(110-140)가 데이터 버스를 통해 인터페이스(240)에 연결될 수 있다.
도 6의 예시적인 실시예에서, 산술 연산 유닛(200)은 데이터 연결(320)을 통해 디스플레이(300)에 연결된다. 디스플레이(300)는 예를 들어, 연결(320)을 통해 사용자에 의해 명령을 입력할 수 있게 하는 터치스크린이다. 디스플레이(300)는 산술 연산 유닛(200)에 의해 렌더링되는 출력 이미지(330)를 디스플레이하는 디스플레이 영역(340)을 갖는다. 도 1에 따른 차량(100)의 환경(900)의 이미지가 카메라(110-140)에 의해 녹화되고 인터페이스(240)를 통해 산술 연산 유닛(200)의 버퍼(280)에 이미지 데이터(RAW)로 기록된다. 산술 연산 유닛(200)은 지정 데이터(Obj)가 저장되는 메모리 영역(290)을 갖는다. 산술 연산 유닛(200)의 로직(270)은 3차원 공간에서 가상 차량 물체(500) 형태로 저장되는, 지정 데이터(Obj)로부터 컴퓨터-발생 그래픽을 발생시키도록 구성된다. 예를 들어, 로직(270)은 이 용도로 그래픽 프로세서를 갖는다. 로직(270)은 상태 센서(810-850)의 센서 신호(S1-S5)와, 거리 센서(410-460)의 함수로 이미지 데이터(RAW) 및 차량 물체(500)로부터 출력 이미지(330)를 발생시키도록 또한 구성된다. 3차원 공간에서 뷰잉 위치 및 뷰잉 각도는 센서(410-460, 810-850)의 함수로 제어되어, 출력 이미지(330)가 차량(100)의 환경(900) 변화에 자동적으로 적응되고 주요 충돌 영역이 사용자에게 자동적으로 디스플레이된다.
도 7은 방법 단계(1, 2, 3, 4, 5, 6, 7)를 포함하는 개략적 순서도를 도시한다. 제 1 방법 단계(1)에서, 예를 들어, 도 6에 따른 센서(810, 820, 830, 840, 850) 및 센서 신호(S1, S2, S3, S4, S5)를 포함하는, 상태 센서 시스템이 평가된다. 상태 센서 시스템은 센서 신호(S1, S2, S3, S4 , S5)의 도움으로, 또는, 센서 신호(S1, S2, S3, S4, S5)로부터 획득한 정보의 도움으로, 차량(100)의 예상되는 움직임 경로를 캡처한다. 예를 들어, 기어 선택, 특히 전진 기어 또는 후진 기어 선택, 및/또는 핸들 움직임 및/또는 가속기 페달 위치, 및/또는 브레이크 압력 및/또는 회전 신호 설정이 감지된다. 방법 단계(1)에 따른 상태 센서 시스템의 평가는 연속적으로, 또는, 예를 들어, 1/2초당의 짧은 시간 주기로, 이루어지는 것이 바람직하다.
환경 센서 시스템은 제 2 방법 단계(2)에서 평가된다. 예를 들어, 도 1에 따른 환경 센서 시스템은 거리 센서(410, 420, 430, 440, 450, 460)를 갖는다. 카메라(110, 120, 130, 140)를 센서로 이용하여 이미지 데이터(RAW)로부터 거리 값을 얻는 것도 가능하다. 환경 센서 시스템은 센서 데이터의 도움으로, 또는, 센서 데이터로부터 얻은 정보의 도움으로, 환경을 평가할 수 있게 한다. 특히, 환경(900) 내 물체(910, 920, 930, 956)가 검출될 수 있고, 차량(100)에 대한 거리(d1, d2, d3, d4, d5, d6) 및/또는 방향이 예를 들어, "우전방", "우후방", "중앙 후방", 등과 같이 결정될 수 있다. 물체(910, 920, 930, 956)와 차량(100) 사이의 거리(d1-d6)에 관한 언급은 환경 센서 시스템을 이용하여 이루어지는 것이 바람직할 수 있다. 예를 들어, 초음파 거리 센서가 사용될 수 있다. 초음파 거리 센서에 대한 대안으로서, 또는 이와 조합하여, 물체가 이미지 데이터(RAW)로부터 검출되고, 및/또는 사람(930)이 서모파일(thermopile)의 도움으로 검출된다.
제 3 방법 단계(3)에서, 상태 센서 시스템의 데이터가 해석되고, 차량이 이동할 것으로 예상되는 방향(기어/핸들 모션/회전 신호) 및 속도(가속기 페달/브레이크 압력)가 확인된다. 다른 한편, 환경 센서 시스템이 제 4 방법 단계(4)에서 해석되고, 예를 들어, 물체(910, 920, 930, 956)를 향한 접근 및 물체로부터의 멀어짐, 및/또는 환경(900) 내 이동 방향이 결정될 수 있다.
뷰잉 위치(710, 720) 및/또는 뷰잉 각도(712, 722)를 갖는 지정 뷰잉 볼륨(721, 711)이 제 5 방법 단계(5)에서 확인된다. 그 목표는 지정 뷰잉 볼륨(711, 721)을 렌더링함으로써 출력 이미지(330)를 발생시키는 것이다. 지정 뷰잉 볼륨(711, 721)은 가상 차량 물체(500)를 갖는다. 지정 뷰잉 볼륨(711, 721)은 뷰잉 각도(712, 722)의 방향으로 표면(690)에 의해 또한 범위가 정해진다. 표면(690)에 대한 차량의 환경의 이미지 데이터(RAW)의 투영이 연산된다. 지정 뷰잉 볼륨(711, 721)은 뷰잉 위치(710, 720) 및 뷰잉 각도(712, 722)에 기초하여, 예를 들어, 도 2에 도시되는 바와 같이, 가상의 3차원 공간(600)에서, 고정 또는 가변 줌 팩터(714, 724)에 기초한다. 적어도 하나의 뷰잉 볼륨이 도 1로부터 각각의 영역(101, 102, 103, 104, 105, 106)과 상관된다. 예를 들어, 도 2로부터의 지정 뷰잉 볼륨(711)은 도 1로부터의 영역(101)과 상관된다. 지정 뷰잉 볼륨(711)은 차량 물체(500)의 관련 부분(501)에 인접한 표현(690)의 표면 영역과, 차량(100)의 영역(101)과 연계된 차량 물체(500)의 일부분(501)을 갖는다.
접근할 뷰잉 위치(710, 720)에 관한 결정이 제 5 방법 단계(5)에서 이루어진다. 결정을 하기 위해, 예를 들어, 도 7의 예시적인 실시예에서 임계치 비교가 수행된다. 충돌 확률
Figure pat00001
이 예를 들어, 벡터로, 결정된다. 예를 들어, 벡터의 각각의 요소는 - 도 1에 개략적으로 도시되는 바와 같이 - 특정 차량 영역(101, 102, 103, 104, 105, 106)의 충돌 확률과 연계된다. 예를 들어, 충돌 확률(CP)은 차량(100)의 상태 센서 시스템의 센서 신호(S1, S2, S3, S4 , S5)와, 환경 센서 시스템의 거리(d1, d2, d3, d4, d5, d6)의 함수다.
도 7의 예시적인 실시예에서, 차량(100)의 영역(101)과 관련한 지정 뷰잉 볼륨(711)은, 차량(100)의 영역(101)과 상관된 차량 물체(500)의 부분(501)을 렌더링하기 위해, 그리고, 관련 부분(501)에 인접한 표면(690)의 표면 영역을 렌더링하기 위해, 충돌 확률(CP)이 임계치를 넘을 경우, 제어된다.
예를 들어, 뷰잉 위치 - 가령, 도 2에 따른 (710) - 가, 입력 변수로 충돌 확률(CP)의 벡터를 갖는 조사표(LUT)로부터 출력 변수로 판독된다. 대안으로서, 뷰잉 위치(710)는 다른 방법을 이용하여, 예를 들어, 퍼지 로직의 도움으로, 상태 센서 시스템 및 환경 센서 시스템으로부터 확인될 수 있다. 예를 들어, 센서 데이터, 또는 센서 데이터로부터 얻은 환경 센서 시스템의 정보는 예를 들어, 긴급도 형태로, "정보"(info) 및 "경고"(warning) 및 "위험"(critical)의 요소들을 이용하여, 평가될 수 있다. 예를 들어, 각각의 분류, 예를 들어, "정보", "경고", 및 "위험"은 거리 범위, 예를 들어, "> 3미터"(정보), 또는 "0.5미터 내지 3미터"(경고), 또는 "< 0.5미터"(위험)로 각각 할당된다.
도 2로부터 (710, 720, 등)에 대응하는, 뷰잉 위치는 도 7의 예시적인 실시예에서 클래스로 나누어진다. 클래스 I은 상세도를 위한 다수의 뷰잉 위치, 예를 들어, "우전방", "좌전방", "우후방", "좌후방"을 식별한다. 클래스 II는 "중앙 전방", "중앙 후방"과 같은 개관을 위한 다수의 뷰어 위치를 식별한다. 클래스 III은 조감도 시각으로부터 다수의 뷰잉 위치, 예를 들어, "전방 위", "후방 위"를 식별한다. 클래스 I, II, III는 예를 들어, 조사표(LUT)에 저장될 수 있다. 각각의 경우의 현 클래스는 거리에 기초하여, 예를 들어, 거리 센서(410-460)의 도움으로, 그리고 가능하다면, 환경 센서 시스템의 다른 신호의 도움으로, 그리고 가능하다면, 상태 센서 시스템의 센서 신호의 도움으로, 제어될 수 있다. 결과적으로, 현 뷰잉 위치는 차량의 이동 방향과 가능한 충돌 물체의 위치 또는 그리고 분류(긴급도)의 함수로 결정된다.
예를 들어, (도 1의 (104)에 대응하는) 후방 영역과 (도 1의 (101)에 대응하는) 전방 영역 모두에서 위험 및 충돌 확률이 높다고 제 5 단계(5)에서 결정될 경우, 또는, 충돌 위험이 없다고 확인될 경우, 뷰잉 위치는 이동 방향으로 투영된 이미지 데이터를 주로 보여주는 조감도 시각으로부터 제어된다. 이동 방향으로의 충돌 위험이 차량(100)의 일 측부에서만 존재할 경우, 차량 물체(500)의 관련 부분의 상세 모습을 갖는 뷰잉 볼륨이 제어된다. 다른 한편, 이동 방향으로 충돌 위험이 차량(100)의 양 측부 모두에 있을 경우, 중앙에 뷰잉 위치를 갖는 뷰잉 볼륨이 제어되어, 뷰잉 볼륨은 차량 물체(500)의 양 측부 부분을 포함하게 된다.
뷰잉 볼륨의 변화가 제 6 단계(6)에서 제어된다. 뷰잉 위치는 가상의 3차원 공간의 제 1 좌표와, 가상의 3차원 공간의 제 2 좌표 사이에서 변화한다. 뷰잉 위치는 제 1 좌표와 제 2 좌표 사이에서 궤도를 따른 움직임에서 변화한다. 예를 들어, 궤도는 타원형 궤도를 갖고, 차량 물체는 타원의 중심에 위치한다. 뷰잉 위치는 가상의 3차원 공간에서 제 1 방향과 가상의 3차원 공간에서 제 2 방향 사이에서 또한 변화할 수 있다. 예를 들어, 중 팩터가 영구적으로 설정될 수 있다.
2개의 뷰잉 볼륨 사이의 천이는 로직의 도움으로 통제되어, 뷰잉 위치가 연속적으로 전후로 스윙하지 않게 된다. 예를 들어, 로직의 도움으로 상세 모습을 갖는 뷰잉 볼륨을 위한 뷰잉 위치에 대한 변화는, 중심에서의 대응 뷰잉 위치로부터 시작된 경우에만 허용되고, 그렇지 않을 경우, 중심의 뷰잉 위치가 첫 번째로 제어되고, 상세 모습을 갖는 뷰잉 볼륨에 대한 뷰잉 위치가 그 후에만 제어된다.
중심의 뷰잉 위치로부터 상세 모습을 갖는 뷰잉 볼륨에 대한 뷰잉 위치로의 변화, 및/또는, 중심의 뷰잉 위치로부터 조감도 시각으로부터 뷰잉 위치로의 변화는 시간 지연을 통해 로직의 도움으로 제어된다. 일시적인 충돌 위험이 환경 센서 시스템에 의해 검출되지만, 지연으로 인해 뷰잉 위치의 변화를 유도하지 않으며, 이는 지연 종료 이전에 뷰잉 위치의 변화 제어가 카운터 제어에 의해 이미 묻혔기 때문이다.
뷰잉 위치 변화는 제 7 단계(7)에서 애니메이션화된다. 예를 들어, 궤도를 따른 움직임이 첫 번째로 가속되고, 제 1 뷰잉 위치로부터 시작하여, 제 2 뷰잉 위치에 도달하기 전에 제동된다. 이는 출력 이미지의 뷰어로 하여금 자신을 시각의 변화에 맞게 배향시킬 수 있게 하여, 뷰어가 새 이미지 및 가능한 충돌 위험을 캡처할 수 있게 된다.
발명은 도 1-도 7에 도시된 실시예의 변형들에 제한되지 않는다. 다른 개수의 카메라, 예를 들어, 차량 위의 환경을 디스플레이하기 위한 카메라 또는 단일 서라운드 카메라를 이용하는 것이 가능하다. 레이다 센서, 등과 같이, 환경 센서 시스템 및 상태 센서 시스템의 다른 센서들을 이용하는 것도 가능하다. 도 6에 따른 블록도의 기능은 차량의 인포테인먼트 시스템에 특히 유리하게 사용될 수 있다.
1, 2, 3, 4, 5, 6, 7 방법 단계
100 차량
101, 102, 103, 104 차량 영역
105, 106
110, 120, 140, 160 카메라
200 산술 연산 유닛, 프로세서, 마이크로컨트롤러
240 인터페이스
270 로직, 그래픽 프로세서
280 임시 메모리, 버퍼
290 메모리
300 디스플레이, 스크린, 터치스크린
320 연결
330 출력 이미지
340 디스플레이 영역
410, 420, 430, 440 거리 센서
450, 460
500 차량 물체
501, 502, 503, 504 차량 물체의 일부분
505, 506
600 가상의 3차원 공간
610 주로 수평 영역, 기저부
620 오목한 영역, 벽체
650 표면의 구멍
690 표면
710, 720, 720a, 720b 뷰잉 위치
730, 740
711, 721 뷰잉 볼륨
712, 722, 728, 729 뷰잉 각도
732, 742
713, 723 클리핑 평면
714, 724 줌 팩터
790, 797, 798 위치 변화
791, 792, 793 타원형 궤도
800 텍스트, 경고, 거리 표시
810, 820, 830, 840 센서
850
900 환경
910, 920, 930, 956 물체
910', 920', 930', 956' 투영된 물체
CP 충돌 확률
d1, d2, d3, d5, d6 거리
Obj 지정 데이터, 차량 물체 데이터
LUT 조사표
RAW 이미지 데이터
S1, S2, S3, S4 , S5 센서 신호

Claims (6)

  1. 차량(100)의 뷰잉 시스템(viewing system)에 있어서,
    - 이미지 데이터(RAW) 형태로 차량(100)의 환경(900)의 이미지를 녹화하기 위한 복수의 이미지 캡처 유닛(110, 120, 130, 140)과,
    - 출력 이미지(330)를 디스플레이하기 위한 디스플레이 장치(300)와,
    - 상기 복수의 이미지 캡처 유닛(110, 120, 130, 140) 및 상기 디스플레이 장치(300)에 연결되는 산술 연산 유닛(200)
    을 포함하며, 상기 산술 연산 유닛(100)은,
    - 가상의 3차원 공간(600)과, 상기 가상의 3차원 공간(600)을 적어도 부분적으로 제한하는 표면(690)을 결정하도록 구성되고,
    - 상기 표면(690)에 대한 상기 이미지 데이터(RAW)의 투영을 연산하도록 구성되며,
    - 상기 가상의 3차원 공간(600)에서 지정 데이터(Obj)로부터 컴퓨터-발생 그래픽으로 가상 차량 물체(500)를 연산하도록 구성되고,
    - 상기 가상 차량 물체(500)를 포함하는 뷰잉 볼륨(711, 721)을 렌더링함으로써 상기 출력 이미지(330)를 발생시키도록 구성되며, 상기 뷰잉 볼륨(711, 721)은 표면(690)에 의해 범위가 정하여지고, 상기 뷰잉 볼륨(690)은 상기 가상의 3차원 공간(600)에서 뷰잉 위치(710, 720), 뷰잉 각도(712, 722) 및 줌 팩터(724)에 기초하는,
    차량(100)의 뷰잉 시스템.
  2. 제 1 항에 있어서,
    상기 뷰잉 볼륨(711, 721)을 제어하기 위해, 상기 산술 연산 유닛(200)은,
    - 상기 가상의 3차원 공간(600)의 제 1 좌표와, 상기 가상의 3차원 공간(600)의 제 2 좌표 사이에서 상기 뷰잉 위치(710, 720)를 변화시키는 구성,
    - 상기 가상의 3차원 공간(600)의 제 1 방향과, 상기 가상의 3차원 공간(600)의 제 2 방향 사이에서 상기 뷰잉 각도(712, 722)를 변화시키는 구성,
    - 제 1 줌 값과 제 2 줌 값 사이에서 줌 팩터(714, 724)를 변화시키는 구성
    중 적어도 한가지 구성에 따라 구성되는
    차량(100)의 뷰잉 시스템.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 산술 연산 유닛(200)은,
    - 상기 차량(100)의 환경(900) 내 물체(910)까지의 확인된 적어도 하나의 거리(d1)에 기초하여 상기 환경(900) 내 물체(910)와 상기 차량(100)의 영역(101) 사이의 충돌에 대한 충돌 확률(CP)을 결정하도록 구성되는
    차량(100)의 뷰잉 시스템.
  4. 제 3 항에 있어서, 상기 산술 연산 유닛(200)은,
    - 상기 환경(900) 내 차량(100)의 이동과 상관된 적어도 하나의 신호(S1)에 기초하여 상기 환경(900) 내 물체(910)와 상기 차량(100)의 영역(101) 사이의 충돌에 대한 충돌 확률(CP)을 결정하도록 구성되는
    차량(100)의 뷰잉 시스템.
  5. 제 2 항 또는 제 3 항에 있어서,
    적어도 하나의 지정 뷰잉 볼륨(711, 721)이 상기 차량(100)의 각각의 영역(101, 102, 103, 104, 105, 106)과 상관되고, 상기 지정 뷰잉 볼륨(711, 721)은 상기 차량(100)의 영역(101, 102, 103, 104, 105, 106)과 상관된 차량 물체(500)의 부분(501, 502, 503, 504, 505, 506)과, 상기 상관된 부분(501, 502, 503, 504, 505, 506)에 인접한 상기 표면(690)의 표면 영역을 가지며,
    상기 산술 연산 유닛(200)은,
    - 상기 영역(101, 102, 103, 104, 105, 106)과 상관된 차량 물체(500)의 부분(501, 502, 503, 504, 505, 506)과, 상기 상관된 부분(501, 502, 503, 504, 505, 506)에 인접한 상기 표면(690)의 표면 영역을 렌더링하기 위해, 임계치가 상기 충돌 확률(CP)을 넘어섬에 기초하여 상기 영역(101, 102, 103, 104, 105, 106)과 상관된 지정 뷰잉 볼륨(711, 721)을 제어하도록 구성되는
    차량(100)의 뷰잉 시스템.
  6. 차량(100)의 환경을 디스플레이하기 위한 방법에 있어서,
    - 복수의 이미지 캡처 유닛(110, 120, 130, 140)의 도움으로 이미지 데이터(RAW) 형태로 차량(100)의 환경(900)의 이미지를 녹화하는 단계와,
    - 디스플레이 장치(300)의 도움으로 출력 이미지(330)를 디스플레이하는 단계와,
    - 가상의 3차원 공간(600)과, 상기 가상의 3차원 공간(600)을 적어도 부분적으로 제한하는 표면(690)을, 산술 연산 유닛(200)의 도움으로 결정하는 단계와,
    - 상기 산술 연산 유닛(200)의 도움으로 상기 표면(690)에 대한 상기 이미지 데이터(RAW)의 투영을 연산하는 단계와,
    - 상기 산술 연산 유닛(200)의 도움으로 상기 가상의 3차원 공간(600)에서 컴퓨터-발생 그래픽으로 지정 데이터(Obj)로부터 가상 차량 물체(500)를 연산하는 단계와,
    - 상기 가상 차량 물체(500)를 포함하는 뷰잉 볼륨(711, 721)을 렌더링함으로써 상기 산술 연산 유닛(200)의 도움으로 출력 이미지(330)를 발생시키는 단계로서, 상기 뷰잉 볼륨(711, 721)은 상기 표면(690)에 의해 범위가 정하여지고, 상기 뷰잉 볼륨(690)은 상기 가상의 3차원 공간(600)에서 뷰잉 위치(710, 720), 뷰잉 각도(712, 722) 및 줌 팩터(724)에 기초하는, 단계
    를 포함하는 차량 환경 디스플레이 방법.
KR1020130008545A 2012-01-30 2013-01-25 차량의 환경을 디스플레이하기 위한 뷰잉 시스템 및 방법 KR101427193B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12000590.5A EP2620917B1 (en) 2012-01-30 2012-01-30 Viewing system and method for displaying an environment of a vehicle
EP12000590.5-1522 2012-01-30

Publications (2)

Publication Number Publication Date
KR20130088065A true KR20130088065A (ko) 2013-08-07
KR101427193B1 KR101427193B1 (ko) 2014-08-07

Family

ID=45562704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130008545A KR101427193B1 (ko) 2012-01-30 2013-01-25 차량의 환경을 디스플레이하기 위한 뷰잉 시스템 및 방법

Country Status (5)

Country Link
US (1) US9865169B2 (ko)
EP (1) EP2620917B1 (ko)
JP (1) JP5590688B2 (ko)
KR (1) KR101427193B1 (ko)
CN (1) CN103295265B (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US10171775B1 (en) * 2013-05-31 2019-01-01 Vecna Technologies, Inc. Autonomous vehicle vision system
TWI528325B (zh) * 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
DE102014214667A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
EP3199403B1 (en) * 2016-01-28 2022-06-22 Harman Becker Automotive Systems GmbH System and method for external sound synthesis of a vehicle
DE102016211453A1 (de) * 2016-06-27 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016212687A1 (de) * 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
CN107734223B (zh) * 2017-02-13 2018-06-12 南京锐驰鼎欣科技股份有限公司 基于图像识别的定位装置
JP6889587B2 (ja) * 2017-03-31 2021-06-18 株式会社Ｓｕｂａｒｕ 画像表示装置
DE102017114611A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
CN111033555B (zh) * 2017-08-25 2024-04-26 株式会社索思未来 修正装置、修正程序以及记录介质
FR3071333B1 (fr) 2017-09-15 2021-06-11 Renault Sas Procede d’affichage sur un ecran d’un environnement d’un vehicule automobile, et vehicule automobile dans lequel un tel procede est mis en œuvre
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP7060418B2 (ja) 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP2019156298A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
US11151793B2 (en) * 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
CN111376832A (zh) * 2018-12-28 2020-07-07 奥迪股份公司 图像显示方法、装置、计算机设备和存储介质
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
EP3809377A1 (en) * 2019-10-15 2021-04-21 Continental Automotive GmbH Method and device for providing a visualization of a vehicle
US20210371260A1 (en) * 2020-06-02 2021-12-02 Oceaneering International, Inc. Automatic detection and tracking of pallet pockets for automated pickup

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222557B1 (en) * 1998-06-26 2001-04-24 Visual Insights, Inc. Navigation system and method for viewing a 3D data landscape
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
US6483429B1 (en) 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
DE60028907T2 (de) * 1999-11-24 2007-02-15 Donnelly Corp., Holland Rückspiegel mit Nutzfunktion
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP2002074594A (ja) * 2000-08-25 2002-03-15 Alpine Electronics Inc 障害物検知システム
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
ES2325374T3 (es) * 2005-05-03 2009-09-02 Seac02 S.R.L. Sistema de realidad aumentada con identificacion de objeto marcador real.
US7138938B1 (en) * 2005-05-06 2006-11-21 Ford Global Technologies, Llc System and method for preemptively sensing an object and selectively operating both a collision countermeasure system and a parking assistance system aboard an automotive vehicle
EP1913559B1 (fr) * 2005-08-09 2016-10-19 Qualcomm Connected Experiences, Inc. Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
JP2009026250A (ja) * 2007-07-23 2009-02-05 Panasonic Corp 面成分検出装置、地上面検出装置、及び障害物検出装置
JP5067169B2 (ja) * 2008-01-15 2012-11-07 日産自動車株式会社 車両用駐車支援装置および画像表示方法
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
FR2932595B1 (fr) * 2008-06-13 2010-12-24 Valeo Vision Sas Procede d'affichage d'aide au parking.
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
CN101425181B (zh) * 2008-12-15 2012-05-09 浙江大学 一种全景视觉辅助泊车系统的标定方法
US8665260B2 (en) * 2009-04-16 2014-03-04 Autodesk, Inc. Multiscale three-dimensional navigation
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法

Also Published As

Publication number Publication date
US20130194256A1 (en) 2013-08-01
CN103295265B (zh) 2017-05-17
US9865169B2 (en) 2018-01-09
CN103295265A (zh) 2013-09-11
KR101427193B1 (ko) 2014-08-07
JP2013156981A (ja) 2013-08-15
JP5590688B2 (ja) 2014-09-17
EP2620917A1 (en) 2013-07-31
EP2620917B1 (en) 2019-08-28

Similar Documents

Publication Publication Date Title
KR101427193B1 (ko) 차량의 환경을 디스플레이하기 위한 뷰잉 시스템 및 방법
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
US9479740B2 (en) Image generating apparatus
US10029700B2 (en) Infotainment system with head-up display for symbol projection
JP6091759B2 (ja) 車両のサラウンドビューシステム
JP6423435B2 (ja) 物理的光景を表すための方法および装置
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
US8773534B2 (en) Image processing apparatus, medium recording image processing program, and image processing method
JPWO2015194501A1 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
EP1462762A1 (en) Circumstance monitoring device of a vehicle
KR20180070571A (ko) 이미지 시각화를 생성하기 위한 시스템들 및 방법들
US20170017830A1 (en) Information processing device, information processing method, and program
WO2005088970A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
KR20130072172A (ko) 차량의 디스플레이를 이용한 증강 현실 발생 방법 및 시스템
KR20160060736A (ko) 차량의 주변을 표시하는 운전자 보조 시스템
JPWO2009119110A1 (ja) 死角表示装置
KR20170135952A (ko) 차량의 주변 영역을 표시하기 위한 방법
JP2013207637A (ja) 画像処理装置及び方法、並びにコンピュータプログラム
JP2024032826A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20110088995A (ko) 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
CN110248845B (zh) 用于显示车辆的周围环境的方法和设备
RU2006124242A (ru) Система трехмерной видеоигры
JP2018139107A (ja) 車両の周辺を表示する方法
JP2023006857A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170710

Year of fee payment: 4