KR102327762B1 - 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 보여주는 출력 이미지를 생성하는 방법, 카메라 시스템 및 자동차 - Google Patents

사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 보여주는 출력 이미지를 생성하는 방법, 카메라 시스템 및 자동차 Download PDF

Info

Publication number
KR102327762B1
KR102327762B1 KR1020207010379A KR20207010379A KR102327762B1 KR 102327762 B1 KR102327762 B1 KR 102327762B1 KR 1020207010379 A KR1020207010379 A KR 1020207010379A KR 20207010379 A KR20207010379 A KR 20207010379A KR 102327762 B1 KR102327762 B1 KR 102327762B1
Authority
KR
South Korea
Prior art keywords
camera
image
pixel density
specific
original
Prior art date
Application number
KR1020207010379A
Other languages
English (en)
Other versions
KR20200052357A (ko
Inventor
블라디미르 즐로콜리카
마크 패트릭 그리핀
브라이언 마이클 토마스 디간
배리 디버
존 마헤르
Original Assignee
코너트 일렉트로닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코너트 일렉트로닉스 리미티드 filed Critical 코너트 일렉트로닉스 리미티드
Publication of KR20200052357A publication Critical patent/KR20200052357A/ko
Application granted granted Critical
Publication of KR102327762B1 publication Critical patent/KR102327762B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

본 발명은 적어도 2 개의 차량 측 카메라(5a, 5b, 5c, 5d)에 의해 캡처된 적어도 부분적으로 중첩된 원본 이미지(RC1, RC2, RC3, RC4)에 기초하여 자동차(1) 및 자동차(1)의 환경 영역(4)을 나타내는 사전 지정된 타겟 뷰에서 출력 이미지를 생성하는 방법에 관한 것으로, 이 방법은,
- 각각의 카메라-특정 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)을 특정하는 단계 - 각각의 카메라-특정 픽셀 밀도 맵은 출력 이미지의 생성에 기여하는 연관된 카메라(5a, 5b, 5c, 5d)에 의해 캡처된 원본 이미지(RC1, RC2, RC3, RC4)의 다수의 픽셀의 이미지 영역 의존 분포를 기술함 - 와,
- 연관된 카메라(5a 내지 5d)에 특정된 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)에 기초하여 원본 이미지(RC1, RC2, RC3, RC4)를 공간 적응적으로 필터링하는 단계 - 픽셀 밀도 맵은 필더링의 이미지-영역 의존 범위를 나타냄 - 와,
- 적어도 두 개의 카메라(5a 내지 5d)의 적어도 부분적으로 중첩된 원본 이미지(RC1 내지 RC4)에서 상호 대응하는 이미지 영역(B1a, B1b, B2a, B2b, B3a, B3b, B4a, B4b)을 식별하는 단계와,
- 대응하는 이미지 영역(B1a, B1b, B2a, B2b, B3a, B3b, B4a, B4b) 사이의 선명도 차이를 감소시키기 위해, 하나의 카메라(5a 내지 5d)의 원본 이미지(RC1 내지 RC4)의 이미지 영역(B1a, B1b, B2a, B2b, B3a, B3b, B4a, B4b)을 각각 다른 카메라(5a 내지 5d)에 특정된 픽셀 밀도 맵(PDM1a 내지 PDM2b)에 기초하여 공간 적응적으로 필터링하는 단계와,
- 재 맵핑된 필터링된 원본 이미지(R1 내지 R4)를 생성하기 위해 타겟 뷰에 대응하는 이미지 표면에 필터링된 원본 이미지(RC1 내지 RC4)를 재 맵핑하는 단계와,
- 재 맵핑된 필터링된 원본 이미지(R1 내지 R4)를 결합하여 출력 이미지를 생성하는 단계를 포함한다. 또한, 본 발명은 카메라 시스템(3) 및 자동차(1)에 관한 것이다.

Description

사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 보여주는 출력 이미지를 생성하는 방법, 카메라 시스템 및 자동차
본 발명은 적어도 2 개의 차량 측 카메라에 의해 캡처된 적어도 부분적으로 중첩된 원본(raw) 이미지에 기초하여 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 나타내는 출력 이미지를 생성하는 방법에 관한 것이다. 또한, 본 발명은 자동차뿐만 아니라 자동차용 카메라 시스템에 관한 것이다.
차량 측 카메라 시스템, 예를 들어 서라운드 뷰 카메라 시스템의 카메라에 의해 자동차의 환경 영역을 모니터링하는 것이 종래 기술로 이미 알려졌다. 카메라에 의해 캡처된 원본 이미지 또는 입력 이미지는 디스플레이 장치, 예를 들어 자동차의 승객 칸에 있는 디스플레이상의 자동차 운전자에게 디스플레이될 수 있다. 여기서, 출력 이미지는 또한 상이한 카메라의 원본 이미지로부터 점증적으로 생성되는데, 이는 사전 지정된 타겟 뷰(view) 또는 사전 지정된 타겟 관점(perspective)에서 자동차 및 환경 영역을 나타낸다. 이러한 사전 지정된 타겟 뷰 또는 타겟 관점은 소위 제 3 자 뷰 또는 제 3 자 관점일 수 있으며, 이로 인해 자동차 자체뿐만 아니라 자동차의 환경 영역이 출력 이미지에 차량 외부의 관찰자, 소위 가상 카메라의 뷰에서 표현된다. 이러한 제 3 자 뷰는 예를 들어 평면도(top view)일 수 있다. 원본 이미지로부터 생성된 출력 이미지는 따라서 조감도 이미지 표현(bird's eye view representation)으로도 지칭되는 평면도 이미지이며, 이는 자동차의 상부면뿐만 아니라 자동차를 둘러싼 환경 영역을 이미지화한다.
출력 이미지를 생성하기 위해, 원본 이미지는 타겟 표면, 예를 들어 2 차원 평면 또는 곡면으로 투영된다. 그 후, 원본 이미지는 출력 이미지에 결합되고 렌더링되어 출력 이미지가 임의로 선택 가능한 타겟 관점에서 가상 카메라에 의해 캡처되고 이에 따라 임의로 선택 가능한 디스플레이 영역 또는 뷰 포트를 갖는 것으로 보이도록 한다. 달리 말하면, 원본 이미지는 모자이크와 같은 출력 이미지로 결합 및 병합될 수 있으며, 이는 최종적으로 가상 카메라의 위치에서 하나의 실제 카메라에 의해 캡처되었을 것이라는 인상을 만든다. 평면도 이미지 형태의 출력 이미지에서, 가상 카메라는 예를 들어 차량 바로 위의 차량 수직축 방향으로 차량에 평행하게 위치되어, 디스플레이 영역이 예를 들어 차도와 같은 언더그라운드 영역을 갖도록 한다.
고품질 출력 이미지를 얻기 위해, 서로 다른 카메라에 의해 캡처되었지만 환경 영역에서 기원하는 동일한 3 차원 컨텐츠를 갖는 원본 이미지 내의 상호 대응하는 이미지 영역은 유사한 특성을 가져야 한다. 예를 들어 이미지 영역은 밝기, 색상, 해상도, 선명도 및 노이즈가 비슷해야 한다. 그렇지 않으면, 예를 들어 다른 선명도를 갖는 이미지 영역이 결합되거나 병합되는 경우, 결합된 출력 이미지는 현저한 선명도 차이 및 선명도 전환(sharpness transitions)을 갖는 출력 이미지 영역을 가질 수 있다. 이러한 선명도 차이는 특히 차량이 이동하는 경우 운전자에게 디스플레이되는 출력 이미지의 이미지 품질을 저하시키며 운전자를 괴롭힐 할 수 있다.
본 발명의 목적은 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 보여주는 출력 이미지가 어떻게 고품질로 생성되어 자동차의 운전자에게 디스플레이될 수 있는지에 대한 해결책을 제공하는 것이다.
본 발명에 따르면, 이러한 목적은 각각의 독립항에 따른 특징을 갖는 방법, 카메라 시스템 및 자동차에 의해 해결된다. 본 발명의 유리한 실시예는 종속항, 상세한 설명 및 도면의 발명 대상이다.
적어도 2 개의 차량 측 카메라에 의해 캡처된 적어도 부분적으로 중첩된 원본 이미지에 기초하여 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 나타내는 출력 이미지를 생성하는 방법의 일 측면에 따르면, 각각의 카메라-특정 픽셀 밀도 맵이 구체적으로 지정되며, 이들 각각은 출력 이미지의 생성에 기여하는 연관된 카메라에 의해 캡처된 원본 이미지의 다수의 픽셀의 이미지 영역 의존 분포를 기술한다. 원본 이미지는 연관된 카메라에 특정된 픽셀 밀도 맵에 기초하여 공간 적응적으로 필터링될 수 있으며, 이는 필더링의 이미지-영역 의존 범위를 나타낸다. 특히, 상호 대응하는 이미지 영역은 적어도 두 개의 카메라의 적어도 부분적으로 중첩된 원본 이미지이고, 하나의 카메라의 원본 이미지의 이미지 영역은 상호 대응하는 이미지 영역들 사이의 선명도 차이를 감소시키기 위해 각각 다른 카메라에 특정된 픽셀 밀도 맵에 기초하여 공간 적응적으로 필터링되고, 필터링된 원본 이미지는 재 맵핑된 필터링된 원본 이미지를 생성하기 위해 타겟 뷰에 대응하는 이미지 표면에 재 맵핑된다. 재 맵핑된 필터링된 원본 이미지를 결합하여 출력 이미지가 생성될 수 있다.
특히 바람직하게는, 적어도 2 개의 차량 측 카메라에 의해 캡처된 적어도 부분적으로 중첩된 원본 이미지들에 기초하여 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 나타내는 출력 이미지를 생성하는 방법에서, 각각의 카메라-특정 픽셀 밀도 맵이 특정되며, 이들 각각은 출력 이미지의 생성에 기여하는 연관된 카메라에 의해 캡처된 원본 이미지의 다수의 픽셀의 이미지 영역 의존 분포를 기술한다. 필터링의 이미지-영역 의존 정도를 나타내는, 연관된 카메라에 특정된 픽셀 밀도 맵에 기초하여, 원본 이미지는 공간 적응적으로 필터링된다. 또한, 적어도 2 개의 카메라의 적어도 부분적으로 중첩된 원본 이미지에서 상호 대응하는 이미지 영역이 식별되고, 상호 대응하는 이미지 영역과 필터링된 원본 이미지 사이의 선명도 차이를 감소시키기 위해 하나의 카메라의 원본 이미지의 이미지 영역은 각각 다른 카메라에 특정한 픽셀 밀도 맵에 기초하여 공간 적응적으로 필터링되며, 필터링된 원본 이미지는 재 맵핑된 필터링된 원본 이미지를 생성하기 위해 타겟 뷰에 대응하는 이미지 표면에 재 맵핑된다. 재 맵핑된 필터링된 원본 이미지를 결합하여 출력 이미지가 생성된다.
즉, 이는 제 1 카메라에 의해 캡처된 적어도 하나의 제 1 원본 이미지에 대해, 제 1 픽셀 밀도 맵이 지정되고, 이 맵은 출력 이미지의 생성에 기여하는 제 1 카메라에 의해 캡처된 적어도 하나의 제 1 원본 이미지의 다수의 픽셀의 이미지 영역 의존 분포를 기술한다. 제 1 카메라와 다른 제 2 카메라에 의해 캡처된 적어도 하나의 제 2 원본 이미지에 대해, 제 2 픽셀 밀도 맵이 지정되며, 이 맵은 출력 이미지의 생성에 기여하는 제 2 카메라에 의해 캡처된 적어도 하나의 제 2 원본 이미지의 다수의 픽셀의 이미지 영역 의존 분포를 기술한다. 여기에서, 적어도 하나의 제 1 원본 이미지는 제 1 픽셀 밀도 맵에 기초하여 공간 적응적으로 필터링되고, 적어도 하나의 제 2 원본 이미지는 제 2 픽셀 밀도 맵에 기초하여 공간 적응적으로 필터링된다. 또한, 적어도 하나의 제 1 이미지내의 이미지 영역은 제 2 픽셀 밀도 맵에 기초하여 필터링되고, 적어도 하나의 제 2 이미지내의 대응 이미지 영역은 제 1 픽셀 밀도 맵에 기초하여 필터링된다.
이 방법은 고품질의 출력 이미지를 생성하기 위한 것이며, 이는 사전 지정된 타겟 뷰 또는 사전 지정된 타겟 관점에서 차량 및 차량 주변 환경 영역을 도시한다. 출력 이미지는 차량 측 디스플레이 장치에서 비디오 시퀀스, 특히 실시간 비디오의 형태로 자동차의 운전자에게 디스플레이될 수 있다. 출력 이미지는, 예를 들어 적어도 2 개의 차량 측 카메라에 의해 캡처된 원본 이미지 또는 입력 이미지에 기초한 차량 측 이미지 처리 장치에 의해 생성된다. 여기에서, 원본 이미지는 이미지 표면 또는 타겟 표면, 예를 들어 2 차원 표면으로 재 맵핑되거나 투영되고, 재 맵핑되거나 투영된 원본 이미지는 출력 이미지를 생성하기 위해 결합된다. 차량 측 디스플레이 장치에 출력 이미지를 디스플레이함으로써, 운전자는 자동차를 조종하는 데 있어 도움을 받을 수 있다. 운전자는 디스플레이 장치를 봄으로써 환경 영역을 캡처할 수 있다. 서라운드 뷰 카메라 시스템 및 디스플레이 장치는 카메라 모니터 시스템(CMS)을 구성한다.
특히, 출력 이미지는 차량 측 서라운드 뷰 카메라 시스템의 적어도 4 개의 카메라의 적어도 4 개의 원본 이미지에 기초하여 생성된다. 여기에서, 카메라는 특히 자동차에서 상이한 부착 위치에 배치되므로 상이한 관점 또는 상이하게 오리엔테이션된 검출 범위를 갖는다. 따라서 서로 다른 원본 이미지는 또한 환경 영역의 서로 다른 부분 영역을 보여준다. 예를 들어, 자동차 전방의 환경 영역으로부터의 적어도 하나의 제 1 원본 이미지는 전방 카메라에 의해 캡처될 수 있고, 승객 측 환경 영역으로부터의 적어도 하나의 제 2 이미지는 승객 측 윙 미러 카메라에 의해 캡처될 수 있으며, 차량 후방 환경 영역으로부터의 적어도 하나의 제 3 이미지는 후방 카메라에 의해 캡처될 수 있고, 운전자 측 환경 영역으로부터의 적어도 하나의 제 4 이미지는 운전자 측 윙 미러 카메라에 의해 캡처될 수 있다. 바람직하게는, 출력 이미지는 환경 영역의 평면도 또는 조감도 표현이다. 따라서, 사전 지정된 타겟 뷰는 바람직하게는 평면도에 대응한다.
각각의 카메라의 원본 이미지가 공간 적응적으로 필터링되는 것에 기초하여, 픽셀 밀도 맵이 각각의 카메라에 대해 지정된다. 픽셀 밀도 맵이 일단 결정되면, 예를 들어 이미지 처리 장치를 위한 차량 측 저장 장치에 기록될 수 있으며, 이로 인해 연관된 픽셀 밀도 맵에 기초하여 카메라의 원본 이미지를 공간 적응적으로 필터링할 수 있다. 픽셀 밀도 맵은 픽셀 밀도의 공간 분포에 대응하며, 이는 원본 이미지의 다수의 픽셀 또는 이미지 요소를 기술하고, 이는 출력 이미지 내의 소정의 이미지 영역의 생성에 기여한다. 특정 이미지 영역은 환경 영역에서 소정의 부분 영역 또는 소위 관심 영역(ROI)을 이미징한다. 예를 들어, 분포는 환경 영역, 예를 들어 지표면 또는 도로면을 부분 영역으로 분할하는 것 및 각 부분 영역에 대한 측정치(measure)를 결정하는 것에 의해 결정될 수 있다. 여기에서, 측정치는 원본 이미지의 이미지 요소의 개수와 출력 이미지 사이의 비(ration)를 기술하며, 이는 출력 이미지에서 각각의 부분 영역을 나타내는 데 사용된다. 달리 언급하면, 환경 영역이 분할되고, 환경 영역의 소정의 부분 영역이 선택되며, 픽셀 밀도가 결정된다. 따라서, 이러한 소정의 부분 영역이 원본 이미지 및 출력 이미지에서 각각 얼마나 많은 픽셀을 차지하는지가 결정된다. 따라서, 픽셀 밀도 맵은 원본 이미지 대 결합된 출력 이미지의 픽셀 비율을 측정하기 위한 메트릭이다. 한편, 픽셀 밀도 맵은 출력 이미지에서 간섭 신호, 예를 들어 인공 깜박임 효과 또는 에일리어싱 아티팩트(aliasing artifact)의 이미지 영역 의존 심각도(severity)의 표시를 제공한다. 한편, 픽셀 밀도 맵은 이미지 영역 의존 서브 샘플링 또는 업 샘플링의 양 또는 크기의 표시를 제공한다.
픽셀 밀도 맵으로 인해, 상당한 업 샘플링 규모를 경험하여 이에 따라 출력 이미지에서 블러를 유발하는 이미지 영역이 식별될 수 있다. 각각의 픽셀 밀도 맵 결정하기 위해, 결정된 픽셀 밀도는 그 크기에 기초하여 적어도 2 개의 밀도 구역(zone)으로 그룹화될 수 있다. 다시 말해서, 사전 지정된 값 범위 내의 값을 갖는 픽셀 밀도가 밀도 구역에 할당될 수 있다. 여기에서는, 구체적으로 5 개 이상의 밀도 구역 또는 픽셀 밀도 클러스터가 결정되는 것으로 가정할 수 있다. 따라서, 대응하는 이미지 요소들의 개수 비 또는 대응하는 서브 샘플링 비는 각각의 밀도 구역과 연관될 수 있다. 픽셀 밀도 맵은, 예를 들어 자동차에서의 카메라의 위치에 따라 결정될 수 있다. 즉, 환경 영역의 일부 영역이 카메라에 가까울수록 연관된 이미지 영역에서 픽셀 밀도의 값이 더 커진다. 더 낮은 픽셀 밀도와 연관된 이미지 영역은 일반적으로 더 많은 공간 블러링을 갖는다.
또한, 상호 대응하는 이미지 영역은 각각 동일한 이미지 콘텐츠를 갖는 원본 이미지에서 결정된다. 달리 언급하면, 상호 대응하는 이미지 영역은 환경 영역의 동일한 부분 영역을 나타내지만, 다른 카메라에 의해 캡처된다. 카메라는 특히 광각 카메라이고 광각 렌즈, 예를 들어 어안 렌즈를 갖는다. 이에 의해, 2 개의 인접한 카메라의 캡처 범위가 소정 영역에서 서로 중첩될 수 있어서, 카메라는 소정 영역에서 환경 영역의 동일한 부분 영역을 캡처할 수 있다. 2 개의 원본 이미지의 상호 대응하는 이미지 영역은 재 맵핑된 원본 이미지를 출력 이미지와 결합 할 때 중첩되고, 따라서 출력 이미지를 생성할 때 양자가 고려된다. 따라서 상호 대응하는 이미지 영역은 중첩 영역이다. 여기에서, 이미지 영역이 상이한 선명도를 가지는 일이 발생할 수 있다. 이것은 인접한 두 카메라가 캡처한 부분 영역의 카메라까지의 거리가 상이한 점에서 비롯될 수 있다. 상이한 선명도를 갖는 이러한 중첩된 이미지 영역으로 인해, 결과 출력 이미지는 현저한 선명도 불일치 및 결과 출력 이미지 영역에서 인접한 출력 이미지 영역으로의 조화롭지 않은(non-harmonic) 선명도 전환의 형태로 교란 효과를 가질 것이다. 이에 의해, 출력 이미지의 화질이 저하된다.
이를 방지하기 위해, 각각의 원본 이미지는 연관된 픽셀 밀도 맵에 기초하여 또한 각각의 또 다른 인접한 원본 이미지의 픽셀 밀도 맵에 기초하여 공간 적응적으로 필터링된다. 픽셀 밀도 맵 내의 픽셀 밀도 값으로 인해, 높은 수준의 블러링이 있는 이미지 영역이 특히 간단하고 신속하게 식별되어 필터링될 수 있다. 특히, 이들 이미지 영역은 서브 샘플링이 없는 픽셀 밀도 맵을 통해 식별될 수 있다. 서브 샘플링이 없거나 업 샘플링이 없는 이미지 영역에서만 재 맵핑, 즉 관점 투영(perspective projection)으로 인해 출력 이미지에 추가적인 블러가 도입될 것으로 예상된다. 이들 이미지 영역에서, 선명화가 적용될 수 있으며, 그 후 연관 카메라 및 그 주변 카메라의 픽셀 밀도 값이 필터링, 정점화(peaking) 또는 블러링의 양을 정의하는 데 사용된다. 이에 의해, 이미지 영역의 상이한 선명도가 서로 적응될 수 있고 선명도 차이가 감소될 수 있다.
요약하면, 각각의 원본 이미지는 연관 및 인접 픽셀 밀도 맵에 기초하여 공간 적응적으로 필터링된다. 픽셀 밀도 맵은 공간 적응적 필터가 적용되도록 가이드할 수 있다. 공간 적응적 필터링(spatially adaptive filtering)은, 카메라 연관 픽셀 밀도 맵 및 동일한 중첩 이미지 영역을 공유하는 이웃 카메라의 픽셀 밀도 맵에 따라 공간 평활화 또는 블러링 동작 및 선명화 또는 정점화 동작으로서 작용할 수 있다. 특히, 교란 신호 및 정점화 강도를 감소시키기 위한 공간 저역 통과 필터링은 두 경우 모두 공간 적응적 필터링으로 픽셀 밀도 맵에 적응되도록 형성될 수 있다. 연관 카메라 및 인접 카메라의 픽셀 밀도 맵에 기초한 원본 이미지의 공간 적응적 필터링으로 인해, 블러링된 이미지 영역이 예를 들어 변화도 정점화(gradient peaking)에 의해 선명해질 수 있다. 또한, 다른 원본 이미지내의 대응하는 중첩 이미지 영역이 충분히 선명해질 수 없는 경우, 적절하게는, 하나의 원본 이미지에서의 중첩 이미지 영역이 공간적으로 평활화될 수 있다.
이어서, 필터링된 원본 이미지는 타겟 뷰 또는 타겟 표면에 대응하는 이미지 표면으로 재 맵핑된다. 원본 이미지를 재 맵핑하기 위해, 원본 이미지의 기하학적 변환 및 원본 이미지 픽셀의 보간이 수행된다. 그러한 재 맵핑된 필터링된 원본 이미지는 병합되어 출력 이미지를 생성한다. 사전 지정된 타겟 관점은 특히 제 3 자 관점인데, 이는 자동차 외부의 관찰자의 뷰에서 자동차 및 자동차 주변 환경 영역을 보여 주며, 자동차 자체는 차량 측 카메라에 의해 캡처될 수 없으므로 출력 이미지를 생성하기 위해 자동차 모델이 삽입된다.
인접한 카메라의 픽셀 밀도 맵을 고려함으로써, 결과 출력 이미지에서 조화로운 선명도 진행이 얻어질 수 있고, 따라서 환경 영역에서 동일한 부분 영역을 나타내는 이미지 컨텐츠 내에서 선명도 및 블러의 불안정한 전환(disturbing transition)이 적은 고품질 출력 이미지가 얻어질 수 있으며, 이는 디스플레이 장치에서 자동차의 운전자에게 디스플레이될 수 있다.
바람직하게는, 필터링될 원본 이미지의 각각의 이미지 영역을 나타내기 위해 각각 하나의 수평 픽셀 밀도 맵 및 각각 하나의 수직 픽셀 밀도 맵이 각각의 카메라에 대해 결정된다. 이것은 카메라의 원본 이미지가 연관된 카메라의 수평 픽셀 밀도 맵 및 수직 픽셀 밀도 맵을 이용하여 공간 적응적으로 필터링됨을 의미한다. 또한, 원본 이미지의 대응 이미지 영역은 인접 카메라의 수평 및 수직 픽셀 밀도 맵을 이용하여 공간 적응적으로 필터링된다.
본 발명의 특히 바람직한 실시예에서, 카메라-특정 선명도 마스크는 연관 카메라에 특정된 픽셀 밀도 맵의 함수 및 각각 다른 카메라에 특정된 픽셀 밀도 맵의 함수로서 각각의 카메라에 대해 정의되고, 원본 이미지는 각각의 원본 이미지를 캡처하는 카메라의 각각의 선명도 마스크의 함수로서 공간 적응적으로 필터링된다. 각각의 하나의 수평 및 각각의 하나의 수직 선명도 마스크가 각각의 카메라에 대해 결정된다고 가정할 수 있다. 수평 선명도 마스크는 연관된 카메라에 특정되고 각각의 다른 카메라에 특정된 수평 픽셀 밀도 맵에 따라 결정될 수 있다. 수직 선명도 마스크는 연관된 카메라에 특정되고 각각의 다른 카메라에 특정된 수직 픽셀 밀도 맵에 따라 결정될 수 있다.
특히, 카메라-특정 선명도 마스크는 연관된 카메라의 적어도 하나의 카메라 속성의 함수로서 추가로 정의된다. 바람직하게는, 각각의 카메라의 렌즈 속성 및/또는 각각의 카메라의 적어도 하나의 외부 카메라 파라미터 및/또는 각각의 카메라의 적어도 하나의 외적 카메라 파라미터 및/또는 각각의 카메라의 적어도 하나의 내적 카메라 속성으로서 미리 정의된다. 적어도 하나의 카메라 속성은 또한 카메라의 사전 설정(presetting)을 포함할 수 있으며, 이로 인해 카메라는 이미 소정의 카메라 내부 이미지 처리 단계를 수행하였다.
다시 말해, 특정 카메라에 대한 각각의 선명도 마스크는 특정 카메라의 픽셀 밀도 맵, 인접 카메라의 픽셀 밀도 맵 및 특정 카메라의 적어도 하나의 카메라 속성에 기초하여 결정된다. 카메라-특정 선명도 마스크의 결정을 위해, 각각의 원본 이미지에 대해, 픽셀 밀도 맵, 특히 수직 및 수평 픽셀 밀도 맵이 먼저, 인접 카메라 픽셀 밀도 맵에 기초하여 중첩 영역에서 수정될 수 있다. 그 후, 획득된 수정 픽셀 밀도 맵은 이어서 적어도 하나의 카메라 속성, 예를 들어 카메라 이미지 선명도 및 선명도의 공간 불연속성에 영향을 줄 수 있는 광학 기기 및 특정 카메라 사전 설정을 포함하는 카메라 이미지 모델과 결합된다. 선명도 마스크는 2 차원 마스크이며, 이로 인해 이미지 영역 별로 달라질 선명도의 정도가 미리 정의된다. 여기에서, 픽셀은 특히 선명도 마스크의 각 요소와 연관되며, 선명도 마스크의 요소는 연관된 픽셀이 어느 정도까지 필터링되는지를 특정한다. 선명도 마스크를 사용하면 출력 이미지의 품질에 영향을 미치는 카메라 속성을 픽셀 밀도 맵 자체로는 고려할 수 없는 것으로 간주할 수 있다.
특히 바람직하게는, 각각의 카메라에 대하여, 각각의 원본 이미지를 공간 적응적으로 필터링하기 위한 카메라-특정 공간 적응적 필터 방식이 카메라-특정 선명도 마스크에 따라 결정된다. 따라서, 각각의 카메라 픽셀에 대해, 카메라-특정 픽셀 밀도 맵, 인접 카메라(들)의 밀도 맵 및 카메라 관련 속성, 즉 카메라-특정 선명도 마스크에 의존하는 적응적 필터링 방식이 결정된다. 이런 방식으로 고품질 출력 이미지가 생성될 수 있다.
본 발명의 전개에서, 적어도 2 개의 부분적으로 중첩되는 원본 이미지 내에 대응하는 이미지 영역들의 공간 적응적 필터링을 위해, 원본 이미지들 중 제 1 이미지 내의 이미지 영역의 이미지 컨텐츠가 제 1 원본 이미지를 캡처하는 카메라에 특정된 필터 방식에 의해 선명해지고, 원본 이미지들 중 제 2 원본 이미지 내의 대응하는 이미지 영역의 이미지 콘텐츠는 제 2 원본 이미지를 캡처하는 카메라에 특정된 필터 방식에 의해 흐려지거나 필터링되지 않는다. 특히, 카메라-특정 선명도 마스크에 기초하여, 이러한 원본 이미지는 선명화될 제 1 원본 이미지로 식별되며, 이의 이미지 영역은 다른 제 2 원본 이미지의 이미지 영역과 비교하여 더 낮은 선명도를 갖는다. 이러한 전개는 환경 영역의 연관된 부분 영역이 카메라에서 얼마나 멀리 떨어져 있는지에 따라 이미지 영역에 소정의 선명도 불일치가 있다는 인식에 기초한다. 이제, 이러한 선명도 불일치에 의해 결과 출력 이미지 영역의 이미지 품질이 감소되는 것을 방지하기 위해, 이러한 선명도 불일치가 출력 이미지를 생성하기 전에 감소된다. 달리 언급되지 않으면, 상이한 원본 이미지의 이미지 영역의 선명도는 비슷하다(harmonized). 이에 따라, 동일한 이미지 컨텐츠를 갖는 각각의 이미지 영역의 선명도가 결정되어 중첩 영역의 선명도가 결정될 수 있다. 여기에서, 낮은 제 1 선명도를 갖는 하나의 원본 이미지의 이미지 영역이 선명해지고, 제 1 선명도에 비해 높은 제 2 선명도를 갖는 다른 원본 이미지의 이미지 영역은 흐려지거나 전혀 필터링되지 않는다. 여기에서, 필터 방식의 결정 및 그에 따른 선명도 적응 정도의 결정은 특히 선명도 불일치에 따라 영향을 받으며, 이는 카메라-특정 선명도 마스크에 기초하여 결정될 수 있다.
카메라-특정의 공간 적응적 필터 방식이 다중 스케일 및 다중 오리엔테이션 변화도 접근법에 기초하여 결정되면 유리하다는 것이 입증되었다. 여기에서, 상호 대응하는 이미지 영역을 필터링하기 위한 필터 방식에 대한 필터 본질(nature) 및 강도가 개개의 이미지 영역에서 각 픽셀에 대해 개별적으로 결정되는 것으로 가정할 수 있다. 다중 해상도 변화도 접근법을 사용하면 선명하게 할 원본 이미지의 이미지 영역에서 변화도를 정점에 이르게 하거나 강화시킬 수 있으며, 블러링할 이미지 영역에서 변화도를 부드럽게 할 수 있다. 여기에서, 중첩 영역에서의 선명도 적응의 최적 정도를 달성하기 위해, 중첩 영역 내의 각 픽셀 위치, 대응하는 변화도 크기 및 각각의 카메라 이미지에 대해 필터링 방식이 결정된다.
본 발명의 전개에서, 공간 적응적 필터 방식은 넌-디시메이트 웨이블릿 변환(non-decimated wavele transformation)에 기초하여 수정되며, 여기서 웨이블릿 계수는 카메라-특정 선명도 마스크에 기초하여 적응적으로 수정된다. 특히, 웨이블릿 계수는 카메라-특정 선명도 마스크에 기초하여 적용되는 트랜스퍼 톤 맵핑 함수(transfer-tone-mapping function)에 기초하여 적응적으로 수정된다. 따라서, 원본 이미지의 웨이블릿 기반 필터링이 수행된다. 가장 간단한 경우 톤 맵핑 함수 또는 커브는 고정된 모양을 가질 수 있으며 선명도 마스크를 기반으로 적용된다. 유리하게, 톤 맵핑 커브는 각각의 웨이블릿 밴드별로 상이한 모양을 갖고 대응하는 선명도 마스크에 기초하여 재 형성될 수 있다.
웨이블릿 변환에 기초한 다중 스케일 접근법에서, 원본 이미지가 특히 먼저 다중 해상도 표현으로 분해되고, 이때 각각의 해상도 레벨에서 원본 이미지는 상이한 변화도 오리엔테이션 밴드에서 더 분해된다. 웨이블릿 계수는 트랜스퍼 톤 맵핑 함수 또는 동적 압축 함수에 기초하여 적응적으로 결정되며, 이는 차례로 카메라-특정 선명도 마스크의 함수로서 조정된다. 마지막으로, 웨이블릿 계수에 톤 맵핑 함수를 적용한 후 역 웨이블릿 변환을 적용하여 필터링된 원본 이미지를 획득하고, 이에 기초하여 타겟 뷰의 일부가 생성될 수 있다.
카메라-특정 공간 적응적 필터 방식을 결정하기 위해, 적어도 두 개의 카메라-특정 선명도 마스크가 웨이블릿 변환의 적어도 두 개의 웨이블릿 밴드에 대해 연관된 카메라에 특정된 픽셀 밀도 맵의 함수로서 또한 개개의 다른 카메라에 특정된 픽셀 밀도 맵의 함수로서 정의되는 것이 유리한 것으로 판명되었다. 예를 들어, 수평 선명도 마스크는 수평 오리엔테이션 웨이블릿 밴드에 사용될 수 있는 수평 픽셀 밀도 맵에 기초하여 결정될 수 있고, 수직 선명도 마스크는 수직 오리엔테이션 웨이블릿 밴드에 사용될 수 있는 수직 픽셀 밀도 맵에 기초하여 결정될 수 있다.
본 발명의 일 실시예에서, 적어도 하나의 선명도 마스크는 웨이블릿 밴드에서 공간적으로 인접한 영역 통계와 결합된다. 통계는 각각의 웨이블릿 밴드에서 공간적으로 인접한 영역에서의 웨이블릿 계수의 상관관계에 개별적으로 관련된다. 또한, 영향 콘(cone)을 결정하기 위해 동일한 오리엔테이션 내에서 웨이블릿 계수의 스케일간 상관관계가 사용될 수 있다. 이러한 영향 콘은 각 오리엔테이션의 웨이블릿 계수가 스케일을 통해 어떻게 진행되는지에 대한 정보를 제공한다. 예를 들어, 원본 카메라 이미지의 공간적 인접 위치는 이러한 이웃 내의 대응하는 웨이블릿 계수의 진행(progression)이 많은 해상도 스케일을 통해 확장되는 경우 중요한 특징을 포함하는 것으로 간주된다. 따라서, 진행은 절대 선명도(absolute)를 추정하거나 선명도 강화가 시각적 품질의 면에서 가장 큰 차이를 만드는 장소를 추정하는 데 사용될 수 있다. 더 많은 스케일로 웨이블릿 계수가 확장될수록 이는 더 현저한 특징이 된다. 이어서, 선명도 마스크가 전체적으로 적용되거나 가장 높은 수준의 선명도 파라미터가 사용되는 것이 유리한 것으로 판명되었다. 반대로, 작은 진행은 증폭되어서는 안되는 일부 노이즈를 포함하는 영역에 해당한다. 선명도 마스크와 결합된 이러한 공간적으로 인접한 영역 통계는 적용되는 선명도 마스크의 공간적 로컬 웨이블릿 계수 근방에 대한 더 높은 수준의 적응성을 가능하게 하여 보다 정확한 웨이블릿 처리 방식을 제공한다.
본 발명은 또한 자동차의 환경 영역으로부터 원본 이미지를 캡처하기 위한 적어도 2 개의 카메라 및 본 발명에 따른 방법 또는 그 실시예를 수행하도록 구성된 이미지 처리 장치를 포함하는 자동차용 카메라 시스템에 관한 것이다. 카메라 시스템은 특히 서라운드 뷰 카메라 시스템으로서 형성되는데, 이 시스템은 자동차 전방 환경 영역을 캡처하기 위한 전방 카메라, 자동차 후방 환경 영역을 캡처하기 위한 후방 카메라 및 자동차 옆의 환경 영역을 캡처하기 위한 2 개의 윙 미러 카메라를 포함한다. 이미지 처리 장치는, 예를 들어 차량 측 컨트롤러에 통합될 수 있고, 서라운드 뷰 카메라 시스템의 원본 이미지 또는 입력 이미지에 기초하여 출력 이미지를 생성하도록 형성된다.
본 발명에 따른 자동차는 본 발명에 따른 카메라 시스템을 포함한다. 자동차는 특히 승용차로서 형성된다. 여기에서, 카메라는 특히, 자동차 주변 환경 영역이 모니터링될 수 있도록 자동차에 분포 및 배치된다. 또한, 자동차는 출력 이미지를 디스플레이하기 위한 디스플레이 장치를 포함할 수 있으며, 이는 예를 들어 자동차의 승객칸에 배치된다.
본 발명에 따른 방법 및 그 장점과 관련하여 제시된 바람직한 실시예는 본 발명에 따른 카메라 시스템 및 본 발명에 따른 자동차에도 상응하게 적용된다.
"앞", "뒤", "다음", "위", "왼쪽", "오른쪽", "옆" 등의 표시로 자동차 앞에 서서 차량의 종축 방향을 바라 보고 있는 관찰자에 대한 위치 및 방향이 명시된다.
본 발명의 다른 특징은 청구 범위, 도면 및 도면의 설명으로부터 명백히 알 수 있다. 상세한 설명에서 전술한 특징 및 특징 조합뿐만 아니라 상세한 설명에서 후술하고/하거나 도면에 도시된 특징 및 특징 조합은 본 발명의 범위를 벗어나지 않는 범위에서 각각 지정된 조합뿐만 아니라 다른 조합으로 또는 단독으로 사용될 수 있다. 따라서, 구현은 또한 도면에 명시적으로 도시되거나 설명된 것은 아니나 설명된 구현으로부터 분리된 특징 조합에 의해 발생하고 생성될 수 있는 본 발명에 포함되고 개시되는 것으로 간주되어야 한다. 구현 및 특징 조합은 또한 개시된 것으로 간주되지만 최초 표현된 독립 청구항의 모든 특징을 갖지는 않는다. 더욱이, 구현 및 특징 조합은 특히, 전술한 구현에 의해 개시된 것으로 간주되어야 하며, 이는 청구항과 관련하여 제시된 특징 조합들을 넘어서 확장되거나 이를 벗어날 수 있다.
도 1은 본 발명에 따른 자동차의 실시예의 개략도이다.
도 2a 내지 2d는 자동차의 환경 영역으로부터 자동차의 4 개의 카메라에 의해 캡처된 4 개의 원본 이미지의 개략도이다.
도 3a는 자동차의 환경 영역으로부터 재 맵핑된 원본 이미지의 개략도이다.
도 3b는 재 맵핑된 원본 이미지로부터 생성된 평면도 이미지의 개략도이다.
도 4는 본 발명에 따른 방법 코스의 실시예의 개략도이다.
도 5a 및 5b는 자동차의 윙 미러 카메라의 수평 및 수직 픽셀 밀도 맵의 개략도이다.
도 6은 윙 미러 카메라의 원본 이미지의 개략도이다.
도면에서, 동일한 요소뿐만 아니라 기능적으로 동일한 요소에는 동일한 참조 부호가 제공된다.
도 1은 본 사례에서 승용차로서 형성된 자동차(1)를 도시한다. 여기서, 자동차(1)는 자동차(1)의 운전자가 자동차(1)를 운전하는 것을 보조할 수 있는 운전자 보조 시스템(2)을 가진다. 운전자 보조 시스템(2)은 자동차(1)의 환경 영역(4a, 4b, 4c, 4d)을 모니터링하기 위한 서라운드 뷰 카메라 시스템(3)을 갖는다. 현재, 카메라 시스템(3)은 자동차(1)에 배치된 4 개의 카메라(5a, 5b, 5c, 5d)를 포함한다. 제 1 카메라(5a)는 전방 카메라로서 형성되고 자동차(1)의 전방 영역(6)에 배치된다. 전방 카메라(5a)는 자동차(1)의 전방의 환경 영역(4)으로부터 제 1 원본 이미지(RC1)(도 2a 참조)를 캡처하도록 구성된다. 제 2 카메라(5b)는 우측 윙 미러 카메라로서 형성되고, 자동차(1)의 우측 윙 미러(7)에 배치되거나 이를 대신한다. 우측 윙 미러 카메라(5b)는 환경 영역(4b)으로부터 자동차(1)의 오른쪽 옆으로 제 2 원본 이미지(RC2)(도 2b 참조)를 캡처하도록 구성된다. 제 3 카메라(5c)는 후방 카메라로서 형성되고 자동차(1)의 후방 영역(8)에 배치된다. 후방 카메라(5c)는 자동차(1) 뒤의 환경 영역(4c)으로부터 제 3 원본 이미지(RC3)(도 2c 참조)를 캡처하도록 구성된다. 제 4 카메라(5d)는 좌측 윙 미러 카메라로서 형성되고 자동차(1)의 좌측 윙 미러(7)에 배치되거나 이를 대신한다. 좌측 윙 미러 카메라(5d)는 환경 영역(4d)으로부터 자동차(1) 좌측 옆으로 제 4 원본 이미지(RC4)(도 2d 및 도 6 참조)를 캡처하도록 구성된다. 여기서, 도 2a, 2b, 2c, 2d에 도시된 원본 이미지(RC1, RC2, RC3, RC4)는, 도 3a에 도시된 재 맵핑된 원본 이미지(R1, R2, R3, R4)를 생성하기 위해 타겟 표면(S), 예를 들어 2 차원 평면에 재투영되거나 재 맵핑될 수 있다.
또한, 카메라 시스템(3)은 이미지 처리 장치(10)를 가지며, 이 이미지 처리 장치는 원본 이미지(RC1, RC2, RC3, RC4)를 처리하고 재 맵핑된 이미지를 결합하여 원본 이미지(RC1, RC2, RC3, RC4)로부터 출력 이미지를 생성하도록 구성된다. 출력 이미지는 자동차(1) 및 자동차(1)를 둘러싸는 환경 영역(4)을 사전 지정된 타켓 뷰로 나타낸다. 이러한 타겟 뷰는 평면도일 수 있으며, 평면도 이미지가 자동차 위의 관찰자 또는 가상 카메라의 관점에서 자동차(1) 및 환경 영역(4)을 보여주는 출력 이미지로서 생성될 수 있는 평면도일 수 있다. 이러한 출력 이미지는 차량 측 디스플레이 장치(11)에 디스플레이될 수 있다. 카메라 시스템(3) 및 디스플레이 장치(11)는 운전자가 자유롭게 선택할 수 있는 임의의 원하는 타겟 뷰로 디스플레이 장치(11)에 자동차(1)의 환경 영역(4)을 디스플레이함으로써 운전자를 지원하는 카메라 모니터 시스템의 형태로 운전자 보조 시스템(2)을 형성한다.
여기에서, 2 개의 인접한 카메라(5a, 5b, 5c, 5d)의 재 맵핑된 원본 이미지(R1, R2, R3, R4)뿐만 아니라 원본 이미지(RC1, RC2, RC3, RC4)는 상호 대응하는 이미지 영역(B1a 및 B1b, B2a 및 B2b, B3a 및 B3b, B4a 및 B4b)을 가진다. 예를 들어, 이미지 영역(B1a)은 전방 카메라(5a)에 의해 캡처된 제 1 재 맵핑된 원본 이미지(R1)에 위치된다. 이미지 영역(B1a)에 대응하는 이미지 영역(B1b)은 우측 윙 미러 카메라(5b)에 의해 캡처된 제 2 재 맵핑된 원본 이미지(R2)에 위치된다. 이미지 영역(B2a)은 우측 윙 미러 카메라(5b)에 의해 검출된 제 2 재 맵핑된 원본 이미지(R2)에 위치하고, 대응하는 이미지 영역(B2b)은 후방 카메라(5c)에 의해 캡처된 제 3 재 맵핑된 원본 이미지(R3)에 위치된다. 이것은 상호 대응하는 이미지 영역(B1a 및 B1b, B2a 및 B2b, B3a 및 B3b, B4a 및 B4b)가 각각 동일한 이미지 컨첸츠를 갖는 것을 의미한다. 이는 2 개의 인접한 카메라(5a, 5b, 5c, 5d)의 캡처 범위가 적어도 부분적으로 중첩하게 되므로 발생한다.
특히, 윙 미러 카메라(5b, 5d)의 원본 이미지(RC2, RC4) 및 재 맵핑된 원본 이미지(R2, R4) 내에서, 이미지 영역(B1b, B2a, B3b, B4a)이 흐려지는데 이는이미지 영역(B1b, B2a, B3a, B4a)는 이미지 컨텐츠가 카메라(5b, 5d)의 검출 범위의 에지 영역으로부터 시작되고 또한 카메라(5b, 5d)의 광각 렌즈에 의해 왜곡되기 때문이다. 이러한 흐릿한 이미지 영역(B1b, B2a, B3b, B4a)은 출력 이미지를 생성하기 위해 대응하지만 명확하게 더 선명한 이미지 영역(B1a, B2b, B3a, B4b)과 결합되면, 생성된 출력 이미지에는 명확히 보이는 선명도 불일치 및 불규칙한 선명도 전환이 나타난다. 도 3b에는, 평면도 이미지(T) 형태의 출력 이미지가 예시적으로 도시되어 있다. 평면도 이미지(T)는 재 맵핑된 원본 이미지(R1, R2, R3, R4)로부터 생성되며, 이에 의해 자동차(1)의 모델(1')이 삽입되는데, 이는 자동차(1) 자체가 카메라(5a, 5b, 5c, 5d)에 의해 검출될 수 없기 때문이다. 상이한 선명도의 대응하는 이미지 영역(B1a 및 B1b, B2a 및 B2b, B3a 및 B3b, B4a 및 B4b)의 조합으로 인해, 평면도 이미지(T)는 선명가 불일치하는 개개의 이미지 영역(A1, A2, A3, A4)을 포함한다. 따라서, 도 3b에 도시된 평면도(T)는 평면도(T) 내의 현저한 선명도 전환의 형태로 이미지 품질이 감소된다.
이와 같이 명확하게 보이는 선명도 전환을 적어도 약화시키고 따라서 출력 이미지의 이미지 품질을 증가시키기 위해, 카메라 시스템(3)의 이미지 처리 장치(10)는 도 4의 흐름도(12)를 참조하여 개략적으로 도시된 방법을 수행하도록 설계된다. 이 방법에 의해, 타겟 표면(S) 상에 투영될 원본 이미지(RC1, RC2, RC3, RC4)를 공간 적응적으로 필터링하고 투영된 필터링된 원본 이미지(R1, R2, R3, R4)를 출력 이미지로 보간함으로써 결과 출력 이미지에서 선명도 조화가 달성될 수 있다.
이를 위해, 제 1 단계(13)에서, 카메라-특정 픽셀 밀도 맵이 각각의 카메라(5a 내지 5d)에 대해 규정된다. 각각의 카메라-특정 픽셀 밀도 맵은 타겟 뷰와 함께 출력 이미지에 사용될 원본 이미지(RC1, RC2, RC3, RC4) 또는 대응하는 재 맵핑된 원본 이미지(R1, R2, R3, R4)에서 두 개의 인접 픽셀 위치 사이의 거리의 비율을 나타낸다. 타겟 뷰에서 거리는 특정 기준 값을 가지므로, 픽셀 밀도 맵은 그러한 특정 위치에서 타겟 뷰와 함께 출력에서 픽셀을 생성하는 데 사용되는 원본 이미지(RC1, RC2, RC3, RC4)의 해당 인접 픽셀의 거리에 기초하여 계산된다. 기준 값에 따라 이것은 공간 가변형 서브 샘플링 또는 업 샘플링에 대응한다. 수평 픽셀 밀도의 경우 거리는 수평 방향의 수평 인접 거리이고, 수직 픽셀 밀도의 경우 거리는 수직 방향의 수직 인접 거리이다. 픽셀 밀도 맵에 의해, 필터가 적용되는 원본 이미지(R1 내지 R4)의 각각의 이미지 영역 또는 관심 영역(ROI)의 위치 및 이들 이미지 영역에 적용되는 필터의 범위가 지정될 수 있다.
여기서, 특히, 픽셀 밀도 맵으로서의 수평 픽셀 밀도 맵 및 수직 픽셀 밀도 맵이 각각의 카메라(5a 내지 5d)에 대해 결정된다. 도 5a는 수평 이미지 방향으로 공간 적응적 필터링을 위한 수평 픽셀 밀도 맵(PDM1a, PDM2a)을 도시하며, 여기서 제 1 수평 픽셀 밀도 맵(PDM1a)은 좌측 윙 미러 카메라(5d)에 할당되고 제 2 수평 픽셀 밀도 맵(PDM2a)은 우측 윙 미러 카메라(5b)에 할당된다. 도 5b는 수직 이미지 방향으로 공간 적응적 필터링을 위한 수직 픽셀 밀도 맵(PDM1b, PDM2b)을 도시하며, 여기서 제 1 수직 픽셀 밀도 맵(PDM1b)은 좌측 윙 미러 카메라(5d)에 할당되고 제 2 수직 픽셀 밀도 맵(PDM2b)은 우측 윙 미러 카메라(5b)에 할당된다. 전방 카메라(5a) 및 후방 카메라(5b)의 픽셀 밀도 맵은 명확성을 위해 여기에 도시되지 않는다.
여기서 픽셀 밀도는 그 값의 크기에 기초하여 각각의 픽셀 밀도 맵(PDM1a, PDM2a, PDM1b, PDM2b)에서 밀도 구역(Z1, Z2, Z3, Z4, Z5)으로 그룹화 또는 클러스터링된다. 따라서, 각각의 밀도 구역(Z1, Z2, Z3, Z4, Z5)은 소정의 대응하는 픽셀 수 비 또는 대응하는 서브 샘플링 비에 할당된다. 여기에서, 제 1 밀도 구역(Z1)에 가장 높은 값을 갖는 픽셀 밀도가 그룹화되며, 밀도 값은 제 5 밀도 구역(Z5)의 방향으로 점차 감소한다. 따라서, 제 5 밀도 구역(Z5)에서, 가장 낮은 값을 갖는 픽셀 밀도가 그룹화된다. 밀도 구역(Z1, Z2, Z3, Z4, Z5)은 이미지 영역에 따라 원본 이미지(RC1, RC2, RC3, RC4)에서 교란 효과(일명 에일리어싱 아티팩트)의 심각도를 지정하는 데 사용될 수 있으며, 교란 효과는, 예를 들어 자갈 도로 표면에서서 높은 수준의 텍스처 서브 샘플링으로 인해 원본 이미지(RC1, RC2, RC3, RC4)에서 발생할 수 있다. 픽셀 밀도가 높을수록, 밀도 구역(Z1, Z2, Z3, Z4, Z5)에 속하는 원본 이미지(RC1, RC2, RC3, RC4)의 이미지 영역에서 교란 효과가 더 강해진다.
제 2 단계(14)에서, 서로 다른 선명도의 대응하는 중첩 영역 또는 이미지 영역(B1a 및 B1b, B2a 및 B2b, B3a 및 B3b, B4a 및 B4b)으로 인한 출력 이미지에서의 선명도 불일치 문제를 제거하기 위해 서로 대응하는 이미지 영역(B1a 및 B1b, B2a 및 B2b, B3a 및 B3b, B4a 및 B4b)이 식별된다. 제 3 단계(15)에서, 카메라-특정 선명도 마스크가 각각의 카메라(5a, 5b, 5c, 5d)에 대해 결정된다. 선명도 마스크는 각각의 카메라-특정 픽셀 밀도 맵(여기서는 픽셀 밀도 맵(PDM1a, PDM2a, PDM1b, PDM2b)만이 도시됨)의 함수로서 또한 인접 카메라(5a, 5b, 5c, 5d)의 픽셀 밀도 맵에 대해 결정된다. 예를 들어, 전방 카메라(5a)의 선명도 마스크, 특히 수평 및 수직 선명도 마스크는 전방 카메라(5a)의 픽셀 밀도 맵, 우측 윙 미러 카메라(5b)의 픽셀 밀도 맵(PDM2a, PDM2b) 및 좌측 윙 미러 카메라(5d)의 픽셀 밀도 맵(PDM1a, PDM1b)에 기초하여 결정된다. 우측 윙 미러 카메라(5b)의 선명도 마스크, 특히 수평 및 수직 선명도 마스크는 우측 윙 미러 카메라(5b)의 픽셀 밀도 맵(PDM2a, PDM2b), 전방 카메라(5a)의 픽셀 밀도 맵 및 후방 카메라(5c)의 픽셀 밀도 맵 등에 기초하여 결정된다. 또한, 카메라-특정 선명도 마스크는 적어도 하나의 카메라 속성, 예를 들어 카메라 렌즈 모델, 카메라(5a, 5b, 5c, 5d)의 이미지 센서, 카메라 설정 및 각각의 카메라(5a, 5b, 5c, 5d)의 관심 이미지 영역의 이미지 위치에 기초하여 결정된다. 따라서, 각각의 카메라 이미지(RC1, RC2, RC3, RC4)는 카메라-특정 선명도 마스크에 의해 각각의 원본 이미지(RC1, RC2, RC3, RC4)를 검출하는 카메라(5a, 5b, 5c, 5d)의 카메라 특성을 고려함으로써 독립적으로 고려된다. 선명도 마스크에 의해, 예를 들어 카메라(5a, 5b, 5c, 5d)의 광각 렌즈에 의해 발생되는 원본 이미지(RC1, RC2, RC3, RC4)의 변형은 픽셀 단위로 모델링될 수 있다.
도 6에 도시된 좌측 윙 미러 카메라(5d)의 원본 이미지(RC4)에 기초하여, 원본 이미지(RC4)는 이미지 중심(M)에서 가장 선명하고, 이미지 영역, 예를 들어 이미지 영역(B3b, B4a)에서 멀어 질수록 더 흐려진다. 이러한 왜곡은, 예를 들어 좌측 윙 미러 카메라(5d)의 어안 렌즈 형태의 광각 렌즈에 기인한다. 원본 이미지(RC4)에서의 그러한 열화를 맵핑하거나 기술하는 카메라-특정 선명도 마스크는 공간 적응적 필터링을 위해 원본 이미지(RC1, RC2, RC3, RC4)에 대한 필터 방식을 결정하기 위해 제 4 단계(16)에서 사용된다. 필터 방식은 특히 공간 적응적 필터 방식이며, 이는 웨이블릿과 같은 다중 스케일 및 다중 오리엔테이션 변화도 접근법을 기반으로 한다. 특히, 웨이블릿 계수가 구체적으로 설계된 트랜스퍼 톤 맵핑 함수를 이용하여 적응적으로 수정되는 넌 데시메이트 웨이블릿 변환이 사용될 수 있다. 트랜스퍼 톤 맵핑 함수는 카메라-특정 선명도 마스크에 기초하여 조정될 수 있다.
제 5 단계(17)에서, 원본 이미지(RC1, RC2, RC3, RC4)는 결정된 필터 방식을 사용하여 각각의 카메라(5a, 5b, 5c, 5d)의 선명도 마스크에 기초하여 공간 적응적으로 필터링된다. 이에 의해, 각각의 원본 이미지(RC1, RC2, RC3, RC4)는 연관된 카메라(5a, 5b, 5c, 5d)의 선명도 마스크에 기초하여, 특히 수평 및 수직으로 필터링된다. 전방 카메라(5a)의 원본 이미지(RC1)는 전방 카메라(5a)의 선명도 마스크에 기초하여 필터링되고, 우측 윙 미러 카메라(5b)의 원본 이미지(RC2)는 우측 윙 미러 카메라(5b)의 선명도 마스크에 기초하여 필터링되며, 후방 카메라(5c)의 미가동 이미지(RC3)는 후방 카메라(5c)의 선명도 마스크에 기초하여 필터링되고, 좌측 윙 미러 카메라(5d)의 원본 이미지 RC4는 좌측 윙 미러 카메라(5d)의 선명도 마스크에 기초하여 필터링된다. 특히, 선명도 마스크는 필터, 예를 들어 저역 통과 필터 또는 변화도 피킹의 필터 강도를 예를 들어 공간적으로 제한할 수 있는 가이드 이미지로서 기능한다. 예를 들어 픽셀 밀도의 값이 높을수록, 저역 통과 필터 강도를 더 높게 선택할 수 있어 예를 들어, 원본 이미지(RC1, RC2, RC3, RC4)에서 플리커 효과로서 발생할 수 있는 교란 효과를 감소시킬 수 있다. 카메라-특정 또는 원본 이미지 특정 선명도 마스크에 따라 그리고 원본 이미지(RC1, RC2, RC3, RC4)에서 교란 신호의 이미지 영역 의존 심각도에 따라 수행되는 필터링은 원본 이미지(RC1, RC2, RC3, RC4)가 소정의 이미지 영역에서 불필요하게 강하거나 너무 약한 방식으로 필터링되는 것을 방지한다.
대응하는 이미지 영역들 또는 중첩 영역들(B1a 및 B1b, B2a 및 B2b, B3a 및 B3b, B4a 및 B4b)에서의 이중 필터링에 의해, 출력 이미지 내의 하나의 원본 이미지(RC1, RC2, RC3, RC4)로부터 다른 원본 이미지(RC1, RC2, RC3, RC4)로의 더 부드러운 선명도 전환이 얻어질 수 있다. 이로써, 그러한 원본 이미지(RC2, RC4)의 이미지 영역(B1b, B2a, B3b, B4a)에 대한 감소된 필터 강도가 개개의 선명도 마스크에 의해 제공될 수 있으며, 여기서 이미지 영역(B1b, B2a, B3b, B4a)은 이들 각각의 인접 원본 이미지(RC1, RC3)의 대응하는 이미지 영역(B1a, B2b, B3a, B4b)보다 덜 선명하다. 예를 들어, 이미지 영역(B1b, B2a, B3b, B4a)은 윙 미러 카메라(5b, 5d)에 의해 검출되고, 이로써 전방 카메라(5a) 및 후방 카메라(5c)에 의해 검출된 이미지 영역(B1a, B2b, B3a, B4b)보다 큰 왜곡에 노출되기 쉽다. 흐릿하고 모호한 이미지 영역(B1b, B2a, B3b, B4a)에서 필터 강도를 줄임으로써 이들이 선명해 진다. 이것을 "업 샘플링"이라고도 한다. 반대로, 이들 이미지 영역(B1a, B2b, B3a, B4b)에 대한 필터 강도를 증가시킴으로써 더 선명한 이미지 영역(B1a, B2b, B3a, B4b)이 흐려진다. 이것을 "다운 샘플링"이라고도 한다. 각각의 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)은 따라서 "업 샘플링" 및 "다운 샘플링" 양자의 역할을 한다. 이는 원본 이미지(RC1, RC2, RC3, RC4)에 강한 필터링만 적용되거나 약한 필터링만 적용되는 것을 방지한다.
제 6 단계(18)에서, 필터링된 원본 이미지(RC1, RC2, RC3, RC4)는 이미지 표면(S)에 재 맵핑되어 재 맵핑된 필터링된 이미지(R1, R2, R3, R4)를 생성한다. 제 7 단계(19)에서, 그러한 재 맵핑된 필터링된 원본 이미지(R1, R2, R3, R4)는 사전 지정된 타겟 뷰, 예를 들어 평면도에서 자동차(1) 및 환경 영역(4)을 도시하는 출력 이미지에 병합된다.
요약하면, 픽셀 밀도 맵, 특히 각각의 수직 및 수평 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)은 각각의 카메라(5a, 5b, 5c, 5d)에 대해 개별적으로 결정될 수 있고, 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)은 인접 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)의 함수로서 조정될 수 있다. 이를 기초로, 각각의 카메라(5a, 5b, 5c, 5d)의 카메라 설정 및 렌즈 장착 및 특정 필터의 함수로서 각각의 카메라(5a, 5b, 5c, 5d)에 대해 2 차원 공간 선명도 마스크가 결정될 수 있고, 공간 적응적 필터링을 위한 특정 필터 방식은 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b) 및 선명도 마스크의 함수로서 각각의 카메라(5a, 5b, 5c)에 대해 결정될 수 있다. 이는 출력 이미지가 조화로운 선명도와 그에 따른 높은 이미지 품질을 가지도록 결정되는 것을 가능하게 한다.

Claims (14)

  1. 적어도 2 개의 차량 측 카메라(5a, 5b, 5c, 5d)에 의해 캡처된 적어도 부분적으로 중첩된 원본(raw) 이미지(RC1, RC2, RC3, RC4)에 기초하여 자동차(1) 및 자동차(1)의 환경 영역(4)을 나타내는 사전 지정된 타겟 뷰에서 출력 이미지를 생성하는 방법으로서,
    각각의 카메라-특정 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)을 특정하는 단계 - 상기 각각의 카메라-특정 픽셀 밀도 맵은 상기 출력 이미지의 생성에 기여하는 연관된 카메라(5a, 5b, 5c, 5d)에 의해 캡처된 원본 이미지(RC1, RC2, RC3, RC4)의 다수의 픽셀의 이미지 영역 의존 분포를 기술함 - 와,
    상기 연관된 카메라(5a, 5b, 5c, 5d)에 특정된 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)에 기초하여 상기 원본 이미지(RC1, RC2, RC3, RC4)를 공간 적응적으로 필터링하는 단계 - 상기 픽셀 밀도 맵은 상기 필터링의 이미지-영역 의존 범위를 나타냄 - 와,
    적어도 두 개의 카메라(5a, 5b, 5c, 5d)의 상기 적어도 부분적으로 중첩된 원본 이미지(RC1, RC2, RC3, RC4)에서 상호 대응하는 이미지 영역(B1a, B1b, B2a, B2b, B3a, B3b, B4a, B4b)을 식별하는 단계와,
    상기 대응하는 이미지 영역(B1a, B1b, B2a, B2b, B3a, B3b, B4a, B4b) 사이의 선명도 차이를 감소시키기 위해, 하나의 카메라(5a, 5b, 5c, 5d)의 원본 이미지(RC1, RC2, RC3, RC4)의 이미지 영역(B1a, B1b, B2a, B2b, B3a, B3b, B4a, B4b)을 각각 다른 카메라(5a, 5b, 5c, 5d)에 특정된 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)에 기초하여 공간 적응적으로 필터링하는 단계와,
    재 맵핑된 필터링된 원본 이미지(R1, R2, R3, R4)를 생성하기 위해 상기 타겟 뷰에 대응하는 이미지 표면에 상기 필터링된 원본 이미지(RC1, RC2, RC3, RC4)를 재 맵핑하는 단계와,
    상기 재 맵핑된 필터링된 원본 이미지(R1, R2, R3, R4)를 결합하여 상기 출력 이미지를 생성하는 단계
    를 포함하고,
    각각의 카메라(5a, 5b, 5c, 5d)에 대해, 카메라-특정 선명도 마스크는 상기 연관된 카메라(5a, 5b, 5c, 5d)에 특정된 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)의 함수로서 그리고 각각 다른 카메라(5a, 5b, 5c, 5d)에 특정된 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)의 함수로서 정의되며,
    상기 원본 이미지(RC1, RC2, RC3, RC4)는 각 원본 이미지(RC1, RC2, RC3, RC4)를 캡처하는 카메라(5a, 5b, 5c, 5d)의 각각의 선명도 마스크의 함수로서 공간 적응적으로 필터링되고,
    각각의 카메라(5a, 5b, 5c, 5d)에 대해, 상기 각각의 원본 이미지(RC1, RC2, RC3, RC4)를 공간 적응적으로 필터링하기 위한 카메라-특정 공간 적응적 필터 방식은 상기 연관된 카메라-특정 선명도 마스크에 따라 결정되며,
    상기 카메라-특정 공간 적응적 필터 방식은 다중 스케일 및 다중-오리엔테이션 변화도 접근법(multi-orientation gradient approach)에 기초하여 결정되고,
    상기 공간 적응적 필터 방식은 넌 데시메이트 웨이블릿 변환(non-decimated wavelet transform)에 기초하여 결정되고, 여기서 웨이블릿 계수는 상기 카메라-특정 선명도 마스크에 기초하여 공간 적응적으로 수정되는
    방법.
  2. 제 1 항에 있어서,
    각각의 카메라(5a, 5b, 5c, 5d)에 대해, 필터링될 원본 이미지(RC1, RC2, RC3, RC4)의 각각의 이미지 영역을 나타내기 위해 가로 및 세로 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)이 결정되는
    방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 카메라-특정 선명도 마스크는 상기 연관된 카메라(5a, 5b, 5c, 5d)의 적어도 하나의 카메라 속성의 함수로서 추가로 정의되는
    방법.
  5. 제 4 항에 있어서,
    상기 적어도 하나의 카메라 속성으로서, 상기 각각의 카메라(5a, 5b, 5c, 5d)의 렌즈 속성 및/또는 상기 각각의 카메라(5a, 5b, 5c, 5d)의 적어도 하나의 외적 카메라 파라미터 및/또는 상기 각각의 카메라(5a, 5b, 5c, 5d)의 적어도 하나의 내적 카메라 파라미터가 정의되는
    방법.
  6. 삭제
  7. 제 1 항에 있어서,
    적어도 2 개의, 상기 적어도 부분적으로 중첩된 원본 이미지(RC1, RC2, RC3, RC4)에서 대응하는 이미지 영역(B1a, B1b, B2a, B2b, B3a, B3b, B4a, B4b)의 공간 적응적 필터링(spatially adaptive filtering)을 위해, 상기 원본 이미지 중 제 1 원본 이미지(RC2, RC4) 내의 상기 이미지 영역(B1b, B2a, B3b, B4a)의 이미지 컨텐츠는 상기 제 1 원본 이미지(RC2, RC4)를 캡처하는 상기 카메라(5b, 5d)에 특정된 필터 방식에 의해 선명해지고, 상기 원본 이미지 중 제 2 원본 이미지(RC1, RC3) 내의 상기 대응하는 이미지 영역(B1a, B2b, B3a, B4b)의 이미지 컨텐츠는 상기 제 2 원본 이미지(RC1, RC2)를 캡처하는 상기 카메라(5a, 5c)에 특정된 필터 방식에 의해 필터링되지 않거나 흐려지는
    방법.
  8. 삭제
  9. 삭제
  10. 제 1 항에 있어서,
    상기 웨이블릿 계수는 상기 카메라-특정 선명도 마스크에 정렬되는 트랜스퍼 톤 맵핑 함수(transfer-tone-mapping function)에 기초하여 적응적으로 수정되는
    방법.
  11. 제 1 항에 있어서,
    상기 카메라-특정 공간 적응적 필터 방식을 결정하기 위해, 적어도 2 개의 카메라-특정 선명도 마스크가 상기 연관된 카메라(5a, 5b, 5c, 5d)에 특정된 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)의 함수로서 그리고 각각 다른 카메라(5a, 5b, 5c, 5d)에 특정된 픽셀 밀도 맵(PDM1a, PDM1b, PDM2a, PDM2b)의 함수로서 상기 웨이블릿 변환의 적어도 2 개의 웨이블릿 밴드에 대해 정의되는
    방법.
  12. 제 1 항에 있어서,
    상기 적어도 하나의 선명도 마스크는 웨이블릿 밴드에서 공간적으로 인접한 영역 통계와 결합되며, 상기 통계는 각각의 웨이블릿 밴드에서 공간적으로 인접한 영역의 웨이블릿 계수의 상관관계를 개별적으로 기술하는
    방법.
  13. 자동차(1)용 카메라 시스템(3)으로서,
    상기 자동차(1)의 환경 영역(4)으로부터 적어도 부분적으로 중첩되는 원본 이미지(RC1, RC2, RC3, RC4)를 캡처하기 위한 적어도 2 개의 카메라(5a, 5b, 5c, 5d)와,
    제 1 항, 제 2 항, 제 4항, 제 5 항, 제 7 항, 및 제 10 항 내지 제 12 항 중 어느 한 항에 따른 방법을 수행하도록 설계된 이미지 처리 장치(10)
    를 포함하는 카메라 시스템(3).
  14. 제 13 항에 따른 카메라 시스템(3)을 포함하는
    자동차(1).
KR1020207010379A 2017-10-10 2018-10-10 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 보여주는 출력 이미지를 생성하는 방법, 카메라 시스템 및 자동차 KR102327762B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017123452.7 2017-10-10
DE102017123452.7A DE102017123452A1 (de) 2017-10-10 2017-10-10 Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug
PCT/EP2018/077588 WO2019072909A1 (en) 2017-10-10 2018-10-10 METHOD FOR GENERATING AN OUTPUT IMAGE REPRESENTING A MOTOR VEHICLE AND AN ENVIRONMENTAL AREA OF THE MOTOR VEHICLE IN A PREDETERMINED TARGET VIEW, A CAMERA SYSTEM, AND A MOTOR VEHICLE

Publications (2)

Publication Number Publication Date
KR20200052357A KR20200052357A (ko) 2020-05-14
KR102327762B1 true KR102327762B1 (ko) 2021-11-17

Family

ID=63840843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207010379A KR102327762B1 (ko) 2017-10-10 2018-10-10 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 보여주는 출력 이미지를 생성하는 방법, 카메라 시스템 및 자동차

Country Status (7)

Country Link
US (1) US20200396394A1 (ko)
EP (1) EP3695374A1 (ko)
JP (1) JP7053816B2 (ko)
KR (1) KR102327762B1 (ko)
CN (1) CN111406275B (ko)
DE (1) DE102017123452A1 (ko)
WO (1) WO2019072909A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
CN112132751B (zh) * 2020-09-28 2023-02-07 广西信路威科技发展有限公司 基于频域变换的视频流车身全景图像拼接装置和方法
CN115145442A (zh) * 2022-06-07 2022-10-04 杭州海康汽车软件有限公司 一种环境图像的显示方法、装置、车载终端及存储介质
DE102022120236B3 (de) 2022-08-11 2023-03-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum harmonisierten Anzeigen von Kamerabildern in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267603A (ja) 2008-04-23 2009-11-12 Alpine Electronics Inc 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法
WO2016012288A1 (en) * 2014-07-25 2016-01-28 Connaught Electronics Ltd. Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110077693A (ko) * 2009-12-30 2011-07-07 주식회사 동부하이텍 이미지 처리 방법
CN102142130B (zh) * 2011-04-11 2012-08-29 西安电子科技大学 基于小波域增强型图像掩膜的水印嵌入方法及装置
DE102013114996A1 (de) * 2013-01-07 2014-07-10 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Bildsuperauflösung für dynamischen Rückspiegel
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
EP3107279B1 (en) * 2015-06-15 2018-08-22 Coherent Synchro, S.L. Method, device and installation for composing a video signal
US20170195560A1 (en) * 2015-12-31 2017-07-06 Nokia Technologies Oy Method and apparatus for generating a panoramic view with regions of different dimensionality
DE102016224905A1 (de) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Fusionieren von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug
CN107154022B (zh) * 2017-05-10 2019-08-27 北京理工大学 一种适用于拖车的动态全景拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267603A (ja) 2008-04-23 2009-11-12 Alpine Electronics Inc 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法
WO2016012288A1 (en) * 2014-07-25 2016-01-28 Connaught Electronics Ltd. Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle

Also Published As

Publication number Publication date
JP2020537250A (ja) 2020-12-17
KR20200052357A (ko) 2020-05-14
CN111406275A (zh) 2020-07-10
CN111406275B (zh) 2023-11-28
WO2019072909A1 (en) 2019-04-18
US20200396394A1 (en) 2020-12-17
DE102017123452A1 (de) 2019-04-11
JP7053816B2 (ja) 2022-04-12
EP3695374A1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
KR102327762B1 (ko) 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 보여주는 출력 이미지를 생성하는 방법, 카메라 시스템 및 자동차
GB2559760B (en) Apparatus and method for displaying information
US9549164B2 (en) Image processing apparatus and method, and related computer program
CN103914810B (zh) 用于动态后视镜的图像超分辨率
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
DE112018000858T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE102008031784A1 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
WO2016012288A1 (en) Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle
US9836818B2 (en) Method and device for color interpolation
KR20140109801A (ko) 3d이미지 품질을 향상시키는 방법과 장치
EP1943626B1 (en) Enhancement of images
JP2006119843A (ja) 画像生成方法およびその装置
WO2018060409A1 (en) Method for reducing disturbing signals in a top view image of a motor vehicle, computing device, driver assistance system as well as motor vehicle
KR102257727B1 (ko) 자동차 및 자동차의 주변 영역의 적어도 하나의 병합된 투시도 이미지를 생성하는 방법, 카메라 시스템 및 자동차
WO2019057807A1 (en) HARMONIZING IMAGE NOISE IN A CAMERA DEVICE OF A MOTOR VEHICLE
JP2018074191A (ja) 車載映像表示システム、車載映像表示方法、およびプログラム
US20190043174A1 (en) Image processor and method for image processing
DE102018121280A1 (de) Graphikprozessor und Verfahren zum Filtern eines Ausgangsbildes zum Reduzieren eines Aliasing-Effekts
US20200090307A1 (en) Surround View System for a Vehicle
DE102016112483A1 (de) Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, Fahrerassistenzsystem sowie Kraftfahrzeug

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)