KR20180067612A - 다중-카메라 정렬을 갖는 차량 카메라 시스템 - Google Patents
다중-카메라 정렬을 갖는 차량 카메라 시스템 Download PDFInfo
- Publication number
- KR20180067612A KR20180067612A KR1020187013207A KR20187013207A KR20180067612A KR 20180067612 A KR20180067612 A KR 20180067612A KR 1020187013207 A KR1020187013207 A KR 1020187013207A KR 20187013207 A KR20187013207 A KR 20187013207A KR 20180067612 A KR20180067612 A KR 20180067612A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- output image
- rectified output
- image data
- feature points
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000003750 conditioning effect Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000116 mitigating effect Effects 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000001143 conditioned effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- H04N5/23238—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G06K9/00791—
-
- G06K9/4671—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/247—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
룩-업 테이블을 이용하여 각 카메라로부터 정류된 출력 이미지로 원시 이미지를 변환함으로써 중첩하는 시야들을 갖는 다중 카메라들로부터의 이미지 데이터에 기초하여 통합 출력 이미지를 생성하기 위한 시스템들 및 방법들이 개시된다. 카메라 오정렬들은 중첩하는 시야들에서의 특징 포인트 결정 및 매칭에 기초하여 업데이트된 룩-업 테이블을 생성함으로써 완화된다.
Description
본 발명은 차량 주변의 영역의 이미지들을 캡처하고 차량의 운전자에게 이미지 데이터를 표시하거나 이미지 데이터를 이용하여 다른 차량 시스템을 작동시키는 차량 카메라 시스템들에 관한 것이다.
중첩된 시야를 가진 카메라들로부터 비디오 또는 스틸 이미지 데이터를 디스플레이할 때, 산만한 불연속성들을 제거하고 통합 이미지를 제공하기 위해 카메라들이 정렬되도록 하는 것이 바람직하다. 본원에 기술된 시스템들 및 방법들 중 일부는 중첩된 시야와 중앙 프로세서를 갖는 차량 상에 적어도 두 개의 카메라들을 포함하는 차량용 다중 카메라 시스템을 제공한다.
프로세서는 카메라들로부터 이미지 데이터를 수신하고, 이미지 데이터를 해석하고, 초기 카메라 배치로부터 인접한 카메라들 간의 카메라 방향 오정렬을 결정한다. 오정렬이 결정되면 프로세서는 들어오는 이미지들을 변환하여 카메라들 둘 모두의 이미지 데이터를 포함한 통합 이미지를 제공할 수 있다.
일부 구현들에서, 시스템은 "탑-뷰 (top-view)" 이미지 및/또는 비디오 데이터를 생성하여, 위에서 차량을 내려다보도록 위치된 카메라에 의해 캡쳐된 이미지를 시뮬레이션하도록 구성된다. 이후, 탑-뷰 이미지는 차량의 내부에 위치된 디스플레이 스크린 상에 차량의 운전자에게 디스플레이될 수 있다. 탑-뷰 이미지는 또한 차선 이탈 경고 시스템들, 백업 지원 시스템들, 및 적응형 순항 제어 시스템들을 포함하는 다른 자동화 또는 반자동 차량 시스템들에서도 이용될 수 있다.
일 실시예에서, 본 발명은 차량 상에 위치된 적어도 두 개의 카메라들로부터의 이미지 데이터를 이용하여 정렬된 통합 이미지를 생성하는 방법을 제공한다. 원시 이미지 데이터(raw image data)는 차량 상에 위치된 제 1 카메라로부터 수신되고, 제 1 룩-업 테이블을 이용하여 제 1 정류된 출력 이미지로 변환된다. 제 1 룩-업 테이블은 제 1 정류된 출력 이미지의 각 픽셀에 대응하는 원시 이미지 데이터로부터 적어도 하나의 픽셀 위치를 정의한다. 제 1 정류된 출력 이미지는 제 1 카메라로부터의 원시 이미지 데이터와 상이한 원근법을 갖는다. 원시 이미지 데이터는 또한 차량 상에 위치된 제 2 카메라로부터 수신되고 제 2 룩-업 테이블을 이용하여 제 2 정류된 출력 이미지로 변환된다. 제 2 카메라의 시야는 제 1 카메라의 시야와 부분적으로 중첩된다. 제 1 통합 출력 이미지는 제 1 정류된 출력 이미지와 제 2 정류된 출력 이미지를 합성함으로써 생성된다. 그러나, 제 1 정류된 출력 이미지로부터의 이미지 데이터는 제 1 통합 출력 이미지 내의 제 2 정류된 출력 이미지로부터의 이미지 데이터에 대해 오정렬된다. 제 1 정류된 출력 이미지 및 제 2 정류된 출력 이미지의 각각에서 복수의 특징 포인트들이 검출된다. 제 1 정류된 출력 이미지로부터의 특징 포인트들은 제 2 정류된 출력 이미지로부터의 특징 포인트들과 매칭되고, 제 1 카메라의 요, 피치, 및 롤은 매칭된 특징 포인트들의 오정렬에 기초하여 결정된다. 제 1 룩-업 테이블은 제 1 카메라의 결정된 요, 피치, 및 롤에 기초하여 업데이트된다.
다른 실시예에서, 본 발명은 제 1 카메라, 제 2 카메라, 프로세서, 및 메모리를 포함하는 다중-카메라 차량 이미징 시스템을 제공한다. 메모리는 프로세서에 의해 실행될 때, 제 1 및 제 2 카메라들로부터의 이미지 데이터를 처리하여 정렬 된 정류된 이미지를 생성하는 제 1 룩-업 테이블, 제 2 룩-업 테이블, 및 컴퓨터-실행 가능한 명령들을 저장한다.
원시 이미지 데이터는 차량 상에 위치한 제 1 카메라로부터 수신되고, 제 1 룩-업 테이블을 이용하여 제 1 정류된 출력 이미지로 변환된다. 제 1 룩-업 테이블은 제 1 정류된 출력 이미지의 각 픽셀에 대응하는 원시 이미지 데이터로부터 적어도 하나의 픽셀 위치를 정의한다. 제 1 정류된 출력 이미지는 제 1 카메라로부터의 원시 이미지 데이터와 상이한 원근법을 갖는다. 원시 이미지 데이터는 또한 제 2 카메라로부터 수신되고 제 2 룩-업 테이블을 이용하여 제 2 정류된 출력 이미지로 변환된다. 제 2 카메라는 또한 차량 상에 위치되고, 제 1 카메라의 시야와 부분적으로 중첩하는 시야를 갖는다.
다중-카메라 이미징 시스템은 제 1 정류된 출력 이미지와 제 2 정류된 출력 이미지를 결합함으로써 제 1 통합 출력 이미지를 생성한다. 그러나, 제 1 정류된 출력 이미지로부터의 이미지 데이터는 제 1 통합 출력 이미지 내의 제 2 정류된 출력 이미지로부터의 이미지 데이터에 대해 오정렬된다. 제 1 정류된 출력 이미지 및 제 2 정류된 출력 이미지의 각각에서 복수의 특징 포인트들이 검출된다. 제 1 정류된 출력 이미지로부터의 특징 포인트들은 제 2 정류된 출력 이미지로부터의 특징 포인트들에 매칭되고, 제 1 카메라의 요, 피치, 및 롤은 상기 매칭된 특징 포인트들의 오정렬들에 기초하여 결정된다. 제 1 룩-업 테이블은 제 1 카메라의 결정된 요, 피치, 및 롤에 기초하여 업데이트되고, 이미지 데이터를 후속으로 처리할 때 이용하기 위해 메모리에 저장된다.
본 발명의 다른 양태들은 상세한 설명 및 첨부 도면들을 고려함으로써 명백해질 것이다.
도 1a는 일 실시예에 따른 차량용 다중-카메라 이미징 시스템의 블록도.
도 1b는 도 1a의 다중-카메라 이미징 시스템이 장착된 차량의 조감도.
도 2는 카메라 오정렬과 함께 도 1a의 다중-카메라 이미징 시스템에 의해 생성된 탑-뷰 이미지의 예시도.
도 3은 도 1a의 다중-카메라 이미징 시스템에서 카메라 오정렬을 완화하기 위한 방법의 흐름도.
도 4는 도 1a의 다중-카메라 이미징 시스템에서 카메라 이미지들의 신호 조절을 수행하는 방법의 흐름도.
도 5a는 도 1a의 다중-카메라 이미징 시스템의 카메라들 중 두 카메라에 의해 캡쳐된 무조건 이미지들(unconditioned images)의 예시도.
도 5b 는 도 4의 신호 조절 방법을 적용한 후의 도 5a의 카메라 이미지들의 예시도.
도 6은 도 1a의 다중-카메라 이미징 시스템에서 중첩하는 시야를 갖는 카메라들에서 특징 포인트들을 검출하고 매칭시키기 위한 방법의 흐름도.
도 7은 도 6의 방법에 따라 검출되고 매칭된 특징 포인트들을 강조 표시하는, 도 1a의 시스템에서 중첩하는 시야를 갖는 세 개의 카메라들로부터의 탑-뷰 통합 이미지.
도 8은 도 1a의 다중-카메라 이미징 시스템에 대한 요, 피치, 및 롤 조정들을 결정하기 위한 방법의 흐름도.
도 9는 도 1a의 다중-카메라 이미징 시스템에서 카메라 오정렬을 정정하기 위해 업데이트된 룩-업 테이블을 생성하기 위한 방법의 흐름도.
도 1b는 도 1a의 다중-카메라 이미징 시스템이 장착된 차량의 조감도.
도 2는 카메라 오정렬과 함께 도 1a의 다중-카메라 이미징 시스템에 의해 생성된 탑-뷰 이미지의 예시도.
도 3은 도 1a의 다중-카메라 이미징 시스템에서 카메라 오정렬을 완화하기 위한 방법의 흐름도.
도 4는 도 1a의 다중-카메라 이미징 시스템에서 카메라 이미지들의 신호 조절을 수행하는 방법의 흐름도.
도 5a는 도 1a의 다중-카메라 이미징 시스템의 카메라들 중 두 카메라에 의해 캡쳐된 무조건 이미지들(unconditioned images)의 예시도.
도 5b 는 도 4의 신호 조절 방법을 적용한 후의 도 5a의 카메라 이미지들의 예시도.
도 6은 도 1a의 다중-카메라 이미징 시스템에서 중첩하는 시야를 갖는 카메라들에서 특징 포인트들을 검출하고 매칭시키기 위한 방법의 흐름도.
도 7은 도 6의 방법에 따라 검출되고 매칭된 특징 포인트들을 강조 표시하는, 도 1a의 시스템에서 중첩하는 시야를 갖는 세 개의 카메라들로부터의 탑-뷰 통합 이미지.
도 8은 도 1a의 다중-카메라 이미징 시스템에 대한 요, 피치, 및 롤 조정들을 결정하기 위한 방법의 흐름도.
도 9는 도 1a의 다중-카메라 이미징 시스템에서 카메라 오정렬을 정정하기 위해 업데이트된 룩-업 테이블을 생성하기 위한 방법의 흐름도.
본 발명의 임의의 실시예들이 상세히 설명되기 전에, 본 발명은 그 적용에 있어서 다음의 명세에 설명되거나 다음의 도면들에 도시된 구성 요소들의 구성 및 배열에 한정되지 않는다는 것이 이해되어야 한다. 본 발명은 다른 실시예들이 가능하고 다양한 방식들로 실시되거나 수행될 수 있다.
본 발명을 구현하기 위해 다수의 상이한 구조적 구성요소들뿐만 아니라 다수의 하드웨어 및 소프트웨어 기반 장치들이 구현될 수 있다는 것을 주목해야한다. 또한, 본 발명의 실시예들은 하드웨어, 소프트웨어, 및 논의의 목적으로 구성요소들의 대부분이 하드웨어로만 구현되는 것처럼 도시되고 기술될 수 있는 전자 구성 요소들 또는 모듈들을 포함할 수 있음이 이해되어야 한다. 그러나, 당업자는 이 상세한 설명을 읽음으로써, 적어도 하나의 실시예에서, 본 발명의 전자 기반 측면들이 하나 이상의 프로세서들에 의해 실행 가능한 소프트웨어(예를 들어, 비-일시적, 컴퓨터-판독 가능 매체)로 구현될 수 있음을 인지할 것이다. 이와 같이,
다수의 하드웨어 및 소프트웨어 기반 장치들뿐만 아니라 다수의 상이한 구조적 구성요소들이 본 발명을 구현하는데 이용될 수 있다는 것을 알아야 한다. 예를 들어, 명세서에 기술된 "제어 유닛들(control units)" 및 "제어기들(controllers)"은 하나 이상의 프로세서들, 비-일시적 컴퓨터-판독 가능 매체를 포함한 하나 이상의 메모리 모듈들, 하나 이상의 입력/출력 인터페이스들, 구성요소들에 접속하는 다양한 접속들(예를 들어, 시스템 버스)를 포함할 수 있다.
도 1a는 차량용 다중-카메라 이미징 시스템(100)의 예를 도시한다. 상기 시스템은 차량 상에 장착할 수 있는 4개의 카메라들을 포함한다. 4개의 카메라들은 전방 카메라(101), 후방 카메라(103), 좌측 카메라(105), 및 우측 카메라(107)를 포함한다. 도 1b에 도시된 바와 같이, 전방 카메라(101)는 차량의 전방 영역을 포함하는 시야와 차량의 전방(예를 들어, 차량의 전방 범퍼 근처)에 장착되어야한다. 마찬가지로, 후방 카메라(103)는 차량 후방 영역을 포함하는 시야를 갖도록 차량의 후방(예를 들어, 후방 번호판 근처)에 장착되어야한다. 좌측 카메라(105)는 차량의 좌측 영역을 포함하는 시야를 갖도록 차량의 좌측면(예를 들어, 좌측-외부 후방 뷰 미러 하우징)에 장착되어야한다. 우측 카메라(107)는 차량의 우측 영역을 포함하는 시야를 갖도록 차량의 우측면(예를 들어, 우측-외부 후방 미러 하우징)에 장착되어야한다.
일부 실시예들에서, 카메라들(101, 103, 105, 107)은 각 카메라의 시야각을 증가시키기 위해 "물고기 눈(fish eye)"/옴니-방향 렌즈를 갖추고 있다. 다른 구현들에서, 보다 전통적인 "직선(rectilinear)" 이미지 데이터를 포착하는 광각 렌즈 시스템이 이용될 수 있다. 그러나, 어느 경우이든, 이 예에서 카메라들(101, 103, 105, 107)은 각 카메라의 시야가 2개의 인접한 카메라들의 시야와 부분적으로 중척하도록 구성되고 배치된다. 예를 들어, 도 1b에 도시된 바와 같이, 전방 카메라(101) 및 좌측 카메라(105)의 시야는 관심 영역(ROI: region of interest) A로 표시된 영역에서 중첩된다. 좌측 카메라(105) 및 후방 카메라(103)의 시야는 ROI B로 표시된 영역에서 중첩되고, 후방 카메라(103) 및 우측 카메라(107)의 시야는 ROI C로 표시된 영역에서 중첩되고, 우측 카메라(107) 및 전방 카메라(101)는 ROI D로 표시된 영역에서 중첩된다.
이제 도 1a로 되돌아가서, 이미징 시스템(100)은 또한 각 4개의 카메라들(101, 103, 105, 107)로부터 이미지 데이터를 수신하는 이미징 처리 유닛(109)을 포함한다. 이미지 처리 유닛(109)은 프로세서(111) 및 메모리(113)를 포함한다. 메모리(113)는 예를 들어, RAM, ROM, 하드 디스크, 플래시 등을 포함하는 다양한 방식들의 하나 이상의 비-일시적인 컴퓨터-판독가능한 메모리 장치들을 포함할 수 있다. 메모리(113)는 프로세서에 의해 실행될 때, 이미지 프로세싱 유닛이 이하에서 설명되는 기능성을 제공하는 것을 가능하게 하는 명령들을 저장한다. 메모리(113)는 또한 이미지 처리 시스템에 의해 이용되어 다중 카메라들로부터의 원시 카메라 데이터를 하기에 더 상세히 설명되는 바와 같이 룩-업 테이블들을 포함하는 통합된 출력 이미지로 변환하는 정보를 저장한다.
이미지 처리 유닛(109)은 하나 이상의 접속된 카메라들(101, 103, 105, 107)로부터의 이미지 데이터를 처리하고, 차량의 내부에 위치된 디스플레이 스크린(115) 상에 차량의 운전자에게 디스플레이되는 출력 이미지를 생성하도록 구성된다. 선택적으로 또는 부가적으로, 이미지 처리 유닛(109)은 이미지 데이터에 기초하여 동작하도록 구성된 다른 자동 또는 반자동 차량 제어 시스템들(117)에 로컬 또는 원격으로 위치된 다른 디스플레이 스크린으로 이미지 데이터를 (유선 또는 무선 인터페이스를 통해) 전송할 수 있다. 이러한 차량 제어 시스템들은, 예를 들어 차선 이탈 경고 시스템, 백업 보조 시스템, 주차 보조 시스템, 및 다양한 다른 자동 크루즈 제어 시스템들을 포함할 수 있다.
[0026] 일부 구현들에서, 도 1a의 이미징 시스템(100)은 각각의 카메라(101, 103, 105, 107)로부터의 원시 이미지 데이터를 처리하고 각각의 카메라로부터의 이미지 데이터를 "탑-뷰" 원근법으로 변환하도록 구성된다. 이후, 탑-뷰 정류된 이미지들이 단일 이미지 출력으로 조립되어 위에서 차량을 내려다 보도록 배치된 카메라로 캡처되는 이미지를 시뮬레이션한다. 도 2는 이미지 처리 유닛(109)에 의해 생성되고 디스플레이 스크린(115)에 도시된 하나의 그러한 "탑-뷰" 이미지(201)의 예를 도시한다. 4개의 카메라들(101, 103, 105, 107)은 부분적으로 중첩된 시야로 차량 주위에 위치되기 때문에, 촬영된 이미지 데이터는 차량 주위의 그라운드의 이미지 데이터를 포함한다. 이 화상 데이터는 도 2에 도시된 바와 같이 4개의 카메라들(101, 103, 105, 107)에 의해 포착된 조립된 이미지 데이터의 중간에 삽입된 차량 자체(203)의 저장된 "탑-뷰" 이미지와 결합된다.
이러한 예시에서, 이미징 시스템(100)의 4개의 카메라들 각각에 의해 제공되는 이미지 데이터는 각 비디오 이미지가 균질한 탑-뷰(또는 다른 결합된 뷰)로 적절하게 통합될 수 있도록 다수의 교정 파라미터들에 의존한다. 이들 매개 변수들은: 내부 파라미터들과 외부 파라미터들의 두 가지 범주들로 나누어질 수 있다.
내부 파라미터들은 각 개별적인 카메라와 관련된 기본 특성들이며, 카메라 렌즈/이미지 중심점(2D 좌표들 mO, nO로 정의), 카메라 종횡비(ar), 카메라 초점 거리(aO), 어안/무지향성(fisheye/omnidirectrional) 렌즈들의 경우, 이미지를 어안 렌즈에 맞추기 위한 카메라 다항식(a)을 포함할 수 있다. 외부 파라미터들은 차량 상의 카메라들의 물리적 위치들과 장착을 정의하고, 카메라의 물리적 장착 위치(Xc, Yc, Zc)와 세 개의 카메라 장착 각도들 - 요, 피치, 및 롤을 포함한다.
카메라 시스템에 대한 내부 및 외부 파라미터들의 매개 변수의 초깃값은 보정 프로세스에 의해 결정될 수 있다. 예를 들어, 이미징 시스템(100)이 장착된 차량은 도 1a에 도시된 바와 같이 편평한 지면상의 타일된 그리드 상에 위치될 수 있다. 타일 그리드는 정해진 참조 포인트들을 포함할 수 있으며, 각 카메라에 대한 내부 & 외부 파라미터들은 타일 그리드상의 하나 이상의 정의된 기준점들의 각 카메라들 주관적 뷰에 기초하여 개별적으로 보정될 수 있다.
외부 파라미터들(즉, 카메라 장착 위치들 및 각도들)은 보정 프로세스 동안 타일 그리드 상의 기준점들에 대해 식별된다. 이러한 참조 포인트들 간의 거리들이 알려져 있기 때문에 각 카메라의 원시 이미지 데이터를 "탑-뷰" 이미지 데이터로 변환하는 데 이용할 룩업 테이블을 생성할 때 절대 카메라 위치 및 각도를 확인할 수 있다. 룩-업 테이블의 생성은 각각의 카메라의 파라미터들과 x & y 좌표를 기준점으로 입력해야한다. 이 기준점은 차량의 중심과 지상 평면을 기준으로 정의된다. LUT 생성 알고리즘은 위치, 방향, 시야, 및 스케일 등을 포함하는 "가상 카메라" 파라미터들의 세트를 이용하고, 출력 이미지의 모양을 화면 화면 출력 특성을 이용하여 정의한다. 생성된, 정렬되지 않은 LUT는 정렬되어 압축되어 이미지 처리 유닛(109)에 의해 이용되어 각각의 카메라로부터의 원시 이미지 데이터를 "가상 카메라"의 관점에서 통합된 출력 이미지로 변환한다(예를 들면, 도 2의 "탑-뷰" 이미지).
내부 카메라 파라미터들은 일반적으로 카메라의 수명 동안 변화하지 않으며, 따라서 제조 또는 설치시에 보정 중에 결정되면, 전원 공급 또는 요구에 따라 이미지 처리 유닛(109)으로 전송될 수 있다. 디지털 시스템들의 경우, 데이터는 LVDS I2C 백-채널을 통해 전송될 수 있다. 아날로그 시스템의 경우, 데이터는 LIN 백-채널 또는 오버레이 메커니즘을 통해 전송될 수 있다.
대략적인 카메라 위치와 방향은 차량에 장착되어 보정될 때 알려질 것이다. 그러나, 카메라들은 공차 누적 및 수명주기 변경과 같이 차량 수명 동안 정렬되지 않을 수 있다. 도 2는 좌측 카메라가 오정렬 상태에 있을 때 이미징 시스템(100)의 출력의 예를 도시한다. 도 2에 도시된 바와 같이, 노면 상에 그려진 선들은 스크린 상에 디스플레이 될 때 오정렬을 쉽게 눈에 띄게 한다. 좌측 카메라 이미지로부터의 페인트 라인은 영역(205)에서의 전면 카메라로부터의 페인트 라인 및 영역(207)에서의 후면 카메라로부터의 페인트 라인에 비례하여 비뚤어진다. 이러한 정렬 불일치는 결과적으로 디스플레이된 이미지의 품질에 영향을 미칠 뿐만 아니라, 또한 차량의 기동을 위해 이미지 데이터에 의존할 경우 안전 위험을 초래할 수 있다.
이와 같이, 이미징 시스템(100)의 이미지 처리 유닛(109)은 카메라들의 자동 정렬을 제공하도록 구성된다. 자동 정렬은 이용자 또는 기술자에 의해 시작될 때, 예를 들어, 생산 종료 또는 차량 서비스 동안 자동 정렬이 수행되도록 "주문형" 방식으로 제공될 수 있다. 대안적으로, 시스템(100)은 이미징 시스템의 출력을 연속적으로 모니터링하고 타이어 압력 변화 또는 차량 부하 변화와 같은 상황으로 인해 야기된 편차를 보상하기 위해 "실시간" 방식으로 조정하도록 구성될 수 있다.
도 3은 도 1a의 이미징 시스템(100)을 이용하여 도 2에 도시된 바와 같은 좌측 카메라(105)의 카메라 오정렬을 평가, 검출, 및 완화하는 방법을 도시한다. 전술 한 바와 같이, 일부 구현에서, 이미지 처리 유닛(109)의 메모리(113)는 프로세서(111)에 의해 실행될 때 이미지 처리 유닛(109)이 도 3의 방법을 수행하게 하는 명령들을 저장한다. 메모리(113)는 또한 전방 카메라(101), 후방 카메라 (103), 및 우측 카메라(107)를 포함하는 시스템(100)에서 다른 카메라들의 오정렬을 평가, 검출, 및 완화한다.
이미지 처리 유닛(IPU)(109)은 좌측 카메라(105)로부터 원시 이미지 데이터를 수신하고(단계 301), 룩-업 테이블(LUT)을 이용하여 원시 이미지 데이터를 탑-뷰 이미지로 변환한다(단계 303). 룩-업 테이블은 입력 이미지에서의 픽셀 위치들 사이에의, 출력 이미지에서 픽셀 위치들에 대응하는 관계를 정의한다. 이와 같이, 좌측 카메라로부터의 원시 이미지는 원시 이미지의 픽셀 위치로부터 출력 탑-뷰 이미지의 대응하는 픽셀 위치로 픽셀 데이터를 복사함으로써 탑-뷰 이미지로 변환할 수 있다. 이후, IPU(109)는 전방 카메라(ROI A) 및 후방 카메라(ROI B)와 중첩될 관심 영역과 중첩될 정류된 탑-뷰 이미지에서 관심 영역을 식별하고(단계 305), 이하에서 더 상세하게 설명되는 바와 같이(전체 탑-뷰 이미지에 대해서 또는 관심 대상의 식별된 영역에 대해서만) 이미지 데이터에 대한 신호/이미지 컨디셔닝을 수행한다(단계 307).
IPU(109)는 마찬가지로 프론트 카메라로부터 원시 이미지 데이터를 수신하고(단계 309), 다른 룩-업 테이블(LUT)을 이용하여 원시 이미지 데이터를 탑-뷰 이미지로 변환하고(단계 311), 좌측 카메라의 카메라 시점 이미지 데이터 (ROI A)에서 중첩하는 관심 영역에 해당하는 정류된 탑-뷰 영상에서 관심 영역을 식별하고 (단계 313), 유사한 신호/이미지 컨디셔닝을 수행한다(단계 315). IPU(109)는 또한 후방 카메라로부터 원시 이미지 데이터를 수신하고(단계 317), 또 다른 룩-업 테이블을 이용하여 원시 이미지 데이터를 탑-뷰 이미지로 변환하고(단계 319), 상기 좌측 카메라 탑-뷰 이미지에서 상기 중첩된 관심 영역에 대응하는 상기 정류된 탑-뷰 이미지에서 관심 영역을 식별하고, (즉, ROI B)를 수신하고(단계 321), 유사한 신호/이미지 컨디셔닝을 다시 수행한다(단계 323).
원시 이미지 데이터가 탑-뷰 정류된 이미지 데이터로 변환된 후, 신호/이미지 컨디셔닝이 수행되고, 전방 카메라로부터의 이미지 데이터 및 식별된 관심 영역(ROI A)의 좌측 카메라는 이미지 데이터에서 특징 포인트들을 검출, 추출, 및 매칭시키도록 분석된다(단계 325). 특징 포인트들이 또한 좌측 카메라로부터 ROI B의 후방 카메라 이미지 데이터에서 검출되고, 추출되고, 매칭된다(단계 327). 관심의 중첩 영역에서 특징 포인트를 검출, 추출 및 매칭시키는 방법의 상세한 예가 이하에서 더 상세하게 설명된다.
각 중첩하는 관심 영역에서 특징 포인트들이 검출되고 매칭된 후에, 특징 포인트들이 필터링되고(단계 329), 특징 포인트들의 제한된 서브-세트가 각 관심 영역에서 선택된다(단계 331). 아래에서 더 상세히 설명하는 바와 같이, 이 예에서, 4개의 매칭된 특징 포인트들이 각 관심 영역에서 식별되고, 좌측 카메라에 대한 적절한 요, 피치, 및 롤 조정을 위해 이용된다(단계 333). 적절한 요), 피치, 및 롤 조정이 결정된 후, 새로운 업데이트된 룩-업 테이블이 생성되고(단계 335), 이어서 좌측 카메라로부터의 이미지 데이터를 디스플레이에 표시된 통합된 탑-뷰 이미지로 통합될 탑-뷰 이미지 데이터로 변환하는데 이용된다(단계 303).
원시 이미지 데이터를 탑-뷰의 정류된 비디오 이미지로 변환하는 상기 기술한 방법을 이용하는 것은 몇 가지 문제점들을 야기할 수 있다. 예를 들어, 이미지 변환 프로세스는 가시적인 에일리어징 아티팩트들을 유발하는 다운 샘플링을 필요로 할 수 있다. 중첩 영역들만이 이용되고 중첩 영역들은 덜 심각한 다운-샘플링을 나타내기 때문에, 이들 아티팩트들은 이미징 시스템(100)에서 다소 감소된다. 프리 런 카메라들은 색상과 밝기가 가장 뛰어날 수 있으며 정렬이 잘못되어 기존의 밝기 및 색상 일치 알고리즘이 최적의 결과를 얻지 못할 수 있다. 이들 문제를 보완하고 대응하는 특징 포인트들이 양 카메라로부터의 중첩 화상 데이터에서보다 쉽게 검출되도록 보장하기 위해, 입력 이미지 데이터는 조건이다(도 3의 단계(307), (315), 및 (323)).
도 4는 이러한 신호/이미지 컨디셔닝의 일 예시이다. 상기 방법은 컨디셔닝 되지 않은 탑-뷰 정류된 이미지로 시작한다(단계 401). 계산 시간을 최소화하기 위해, (전체 이미지 또는 중첩 ROI만의) 비디오 데이터가 ARGB로부터 그레이 스케일로 변환된다(단계 403). 이러한 그레이 스케일로의 변환은 또한 비디오 데이터가 변경되지 않고 히스토그램 균등화를 위해 이미지 데이터를 준비할 수 있도록 비디오 데이터를 "등록" 하는 두 가지 다른 용도로도 이용된다. 그레이 스케일로 변환 한 후, 가우시안 흐림 필터가 일부 에일리어징 아티팩트들을 감소시키기 위해 적용된다(단계 405). 일부 구현들에서, 이러한 필터링은 하향 변환 전에 수행된다. 마지막으로, 히스토그램 등화가 수행되어, 두 카메라(즉, 좌측 카메라 및 전면 카메라 또는 좌측 카메라 및 후면 카메라)로부터의 중첩된 이미지 데이터가 가능한 한 유사하게된다(단계 407). 신호 조절된, 탑-뷰 정류된 이미지 데이터는 특징 포인트 분석을 위해 전달된다(단계 409).
도 5a는 전방 카메라 및 좌측 카메라로부터 ROI A에 대한 탑-뷰 정류된 이미지 데이터의 예를 도시한다. 도 5b는 도 4의 신호 컨디셔닝이 완료된 후의 동일한 이미지 데이터를 도시한다.
탑-뷰 정류된 이미지들이 컨디셔닝 된 후, IPU(109)는 각 중첩하는 관심 영역 내의 2개의 상이한 카메라들로부터 특징 포인트를 검출, 추출 및 매칭시키는 루틴들을 적용한다. 도 6은 중첩하는 관심 영역에서 특징 포인트들을 검출하고 매칭시키는 방법의 일례를 도시한다. 먼저, 전방 카메라, 좌측 카메라, 및 후방 카메라로부터의 탑-뷰 정류된 이미지 데이터는 도 4를 참조하여 전술 한 바와 같이 각각 컨디셔닝된다 (각각 단계 601, 603 및 605). 이후, IPU(109)는 각 카메라 이미지에 대한 ORB 특징 검출을 수행한다(각각 단계 607, 609 및 611). ORB(Oriented FAST and Rotated BRIEF)는 밝기, 확대/축소 및 아핀 변환(affine transformations)의 사소한 차이를 충분히 보정할 수 있는 강력한 특징 포인트 탐지 알고리즘이다. ORB 기능 감지기는 FAST 감지 알고리즘을 기반으로 하지만 두 개의 겹치는 이미지 간의 아핀 차이를 보다 잘 지원할 수 있도록 기능 지점 방향 정보도 제공한다.
특징 포인트들이 검출된 후, IPU(109)는 3개의 카메라들 각각에 대해 관심 영역에 ORB 기술자 추출기 알고리즘을 적용한다(각각 단계 613, 615 및 617). ORB 기술자 추출기는 감지된 각 특징 지점들에 대해 32개의 2진 설명자를 제공한다.
특징 포인트들이 3개의 카메라 이미지들 각각에서 검출되고 추출된 후에, 각각의 중첩하는 관심 영역 내의 특징 포인트들의 매칭은 3단계로 수행된다. 첫째, 중첩하는 ROI에서 두 개의 이미지들 사이의 가장 가까운 2개의 설명자 매칭이 발견된다. 가장 가까운 두 개의 일치 항목은 두 지점 사이의 해밍 거리가 가장 작은 항목이다. 둘째, 이 거리의 비율을 정의된 임계값과 비교하여 포인트 중 하나가 다른 포인트보다 훨씬 더 잘 일치하는지 확인한다. 다른 카메라 이미지에서 하나의 해당 지점과 "고유하게" 일치하지 않는 지점은 버려진다. "가장 가까운 이웃" 매칭 및 비율 매칭 단계들은 전방-좌측 중첩하는 관심 영역(단계 619 및 621 각각) 및 좌측-후방 중첩하는 관심 영역(단계 623 및 625)에 대해 개별적으로 수행된다. 두 개의 매칭들을 일치시키기 위해, 대칭 매칭이 수행되어 어느 방향에 대한 일치가 존재하는지를 결정되어야 한다(단계 627). 대칭 매칭은 카메라 A에서 카메라 B까지의 매칭된 포이트들이 카메라 B에서 카메라 A까지 매칭된 포인트들의 대응하는 세트와 일치하도록 한다. 동일한 쌍이 양방향들(즉, 좌측에서 전방으로 및 전방에서 좌측으로)에서 발견되면, 그 후, 시스템은 적절한 매칭이 있다고 결론을 내린다.
도 7은 전방 카메라(703)에 대한 탑-뷰 정류된 이미지의 중첩하는 부분 및 후방 카메라(705)에 대한 탑-뷰 정류된 이미지의 중첩하는 부분 옆에 위치한 좌측 카메라(701)에 대한 탑-뷰 정류된 이미지의 일례를 도시한다. 단계(607, 609 및 611)에 의해 검출된 특징 포인트들은 도 7에 표시되어있다. 도 7은 또한 중첩하는 카메라 이미지들에서 "매칭된" 포인트들을 연결하는 선들을 도시한다.
도 6의 예에서, 알고리즘은 다수의 특징 포인트들을 획득하고 이후 매칭 동작들로 "나쁜" 것들을 필터링하도록 설계된다. 대안적으로, 검출/매칭 알고리즘은 특징 포인트들을 식별하는데 보다 선택적으로 적용될 수 있고, 그 후, 보다 느슨한 "매칭" 요구사항들을 적용할 수 있다. 그러나, 알고리즘이 획득에 대한 매칭이 더 많아져서, 덜 식별된 매칭을 허용하도록 조정된다면, IPU(109)는 신뢰성있는 결과들을 보장하기 위해 히스토그램 아웃라이어 필터를 적용하도록 구성될 수 있다(예를 들어, 도 3의 단계(329) 참조). 히스토그램 아웃라이어 필터는 포인트들의 각각의 매칭되는 쌍에서 거리 ΔX와 ΔY에 기초하여 따라 거친 막대 그래프를 구성하여 수행된다. 아웃라잉 포인트들(즉, 최대 히스토그램 빈으로부터 서로 가장 멀리 떨어져 있는 점들)은 분석으로부터 제거된다. 일단 필터가 수행되면, 각각의 영역 관심에서 4개의 극단적인 매칭된 포인트들(즉, 서로 가장 멀리 떨어져 있는 4개의 매칭된 점들)이 선택되고(도 3의 단계331), 카메라의 요, 피치, & 롤을 결정하기 위해 이용된다.
매칭 후에, 특징 포인트들이 식별되고, 각 ROI에서 4개의 극단적인 매칭된 포인트들이 식별되고, IPU(109)는 좌측 카메라의 적절한 요, 피치, 및 롤을 해결하도록 식별된 극단적인 매칭된 포인트들을 이용하도록 시작한다. 도 8은 YPR을 해결하는 방법의 일례를 도시한다. 각 카메라의 매칭된 특징 포인트들 사이의 유클리드 오차(Euclidean error)를 최소화함으로써 카메라의 요, 피치, 및 롤을 해결하기 위한 기본이 전제된다. YPR을 해결하기 위한 제 1 부분 거친 반복이다. 이 거친 반복은 요, 피치, 및 롤 조정의 전체 범위를 순환하여 근사 솔루션(즉, 에러가 최소 인곳)을 찾는다(단계 801). 일단 이러한 대략적인 근사가 이루어지면(단계 803), 정제된 정렬 솔루션이 식별될 때 까지(단계 809), 정렬된 포인트와 오정렬된 포인트 사이의 평균 제곱 에러(MSE)를 최소화함으로써(단계 807) 비-선형 최적화가 초기 근삿값을 정제하도록 수행된다(단계 805).
좌측 카메라의 요, 피치, 및 롤(YPR)이 결정되었으므로, IPU (109)는 결정된 YPR에 기초하여 업데이트된 LUT를 생성한다(예를 들어, 도 3의 단계 335 참조). 업데이트된 LUT는, 좌측 카메라로부터의 원시 이미지 데이터를 변환하는데 이용될 때, 탑-뷰 정류된 이미지가 전방 카메라 이미지 데이터 및 후방 카메라 이미지 데이터와 적절하게 정렬되도록 구성될 것이다. 도 9에 도시된 바와 같이, IPU(109)는 먼저 선별되지 않은 LUT를 생성한다(단계 901). IPU(109)는 사전-정의된 특성들(예를 들어, 내부 카메라 파라미터들, 외부 카메라 파라미터들, 기준 포인트들, 가상 카메라 파라미터들, 및 스크린 출력 파라미터들)을 이용하여 결과 탑-뷰 이미지에서 각 출력 픽셀을 생성하기 위해 어느 입력 스트림 픽셀들이 이용되어야 하는지를 결정하는 LUT 생성 알고리즘을 실행하도록 프로그램된다. 정렬되지 않은 LUT를 생성하는 것은, 어떤면에서는 정류의 역변환이다. 이 스테이지의 출력은 출력 픽셀들 및 해당 입력 픽셀들의 관점에서 정의되는 "정렬되지 않은" LUT이다.
LUT 생성의 제 2 단계(단계 903)는 입력 픽셀 순서와 관련하여 "정렬되지 않은" UT를 분류하는 것이다. "정렬된" LUT는 이미지 처리 하드웨어가 들어오는 비디오 스트림에서 가장 빨리 정류를 수행할 수 있도록 최적화되어 있다. 그 후, 정렬된 LUT는 적절히 포맷팅된다(단계 905). 그 후, 정렬되고 포맷된 LUT는 메모리 대역폭 요건들을 최소화하고 메모리에 효율적으로 기록될 수 있도록 수신 데이터를 프레임화하도록 최종적으로 압축된다(단계 907).
상기 기술된 바와 같이, 좌측 카메라의 정렬을 조정하는 것을 구체적으로 언급하였지만, 일부 구현들에서, IPU(109)는 이미징 시스템(100) 내의 다른 카메라들의 오정렬을 유사하게 평가하고 완화하도록 구성된다. 예를 들어, 일부 구현들에서, IPU(109)는 2개의 인접한 카메라들 간의 오정렬을 검출하도록 구성된다. 오정렬이 검출되면, IPU(109)는 각 카메라가 다른 인접 카메라와 정렬되어 있는지를 평가한다. 예를 들어, 좌측 카메라와 전방 카메라 사이에서 오정렬이 검출되면, IPU(109)는 좌측 카메라와 후방 카메라 사이의 오정렬을 검사하고, 전방 카메라와 우측 카메라 간의 오정렬을 검사할 것이다. IPU(109)가 좌측 카메라가 후방 카메라와 적절하게 정렬되었지만, 전방 카메라가 또한 우측 카메라와 정렬되지 않는다고 결정하면, IPU(109)는 전방 카메라가 정렬되지 않았다고 결정하고, 전방 카메라에 대한 업데이트된 LUT를 생성하기 위해 도 3의 정렬 방법을 실행할 것이다.
또한, 전술한 예들은 4-카메라 시스템을 논의하지만, 다른 구현들에서, 본 명세서에서 설명된 방법들 및 시스템들은 보다 많거나 적은 카메라들을 갖는 시스템들에 적용될 수 있다.
또한, 위에서 설명된 예들, 특히 탑-뷰 출력 이미지를 생성하도록 구성된 시스템들을 구체적으로 설명하지만, 다른 구현들에서, 이미징 시스템(100)은 다수의 카메라들로부터의 이미지 데이터를 중첩된 시야와 결합함으로써 다른 유형의 통합 이미지 출력을 생성하도록 구성될 수 있다. 예를 들어, "탑-뷰" 이미지 대신, 시스템은 파노라믹 서라운드 뷰를 생성하도록 구성될 수 있다.
마지막으로, 본원에 기술된 많은 예들에서, 카메라의 오정렬은 "가상 카메라"의 위치를 정의하기 위해 이용되는 요, 피치, 및 롤을 조정함으로써 완화된다는 것을 주목해야한다. 달리 말하면, 일부 구현들에서, 물리적 카메라 자체는 오정렬 조건을 정정하기 위해 이동되지 않을 수 있다. 대신에, LUT가 카메라로부터의 원시 이미지 데이터를 변환하는데 이용될 때, 탑-뷰 이미지 데이터가 적절한 정렬을 갖도록 LUT가 조정된다. 그러나, 다른 구현들에서, 이미징 시스템(100)은 이미지 시스템(100) 내의 하나 이상의 카메라들의 물리적 위치 및/또는 방위를 제어 가능하게 조정하기 위한, 모터들과 같은 메커니즘들을 또한 포함할 수 있다. 이러한 구현들에서, 상기 시스템은 도 3의 단계(333)에서 결정된 요, 피치, 및 롤 조정들에 기초하여 오정렬된 카메라의 물리적 위치 또는 방위를 조정하도록 구성될 수 있다. 그 후, LUT는 물리적으로 조정된 카메라의 출력 이미지 데이터의 정렬을 "미세 조정" 하도록 추가 조정될 수 있다.
그러므로, 본 발명은, 다른 것들 중에서, 룩-업 테이블을 이용하여 각각의 카메라로부터의 원시 이미지를 정류된 출력 이미지로 변화함으로써 중첩하는 시야를 갖는 다수의 카메라들로부터의 이미지 데이터에 기초하여 통합된 출력 이미지를 생성하기 위한 및 특정 포인트 검출 및 매칭에 기초하여 업데이트된 룩-업 테이블을 생성함으로써 카메라 오정렬을 완화하기 위한 시스템 밑 방법을 제공한다. 본 발명의 다양한 특징들 및 이점들은 하기 청구 범위에 기재되어있다.
Claims (15)
- 차량 상에 위치된 적어도 두 개의 카메라들로부터의 이미지 데이터를 이용하여 정렬된 통합 이미지를 생성하는 방법에 있어서:
상기 차량 상에 위치된 제 1 카메라로부터 원시 이미지 데이터(raw image data)를 수신하는 단계;
제 1 룩-업 테이블을 이용하여 상기 제 1 카메라로부터의 상기 원시 이미지 데이터를 제 1 정류된 출력 이미지로 변환하는 단계로서, 상기 제 1 룩-업 테이블은 상기 제 1 정류된 출력 이미지의 각 픽셀에 대응하는 상기 원시 이미지 데이터로부터 적어도 하나의 픽셀 위치를 정의하고, 상기 제 1 정류된 출력 이미지는 상기 제 1 카메라로부터의 상기 원시 이미지 데이터와 상이한 원근법을 갖는, 상기 변환 단계;
상기 차량 상에 위치된 제 2 카메라로부터 원시 이미지 데이터를 수신하는 단계로서, 상기 제 2 카메라의 시야는 상기 제 1 카메라의 시야와 부분적으로 중첩되는, 상기 제 2 카메라로부터 원시 이미지 데이터를 수신하는 단계;
제 2 룩-업 테이블을 이용하여 상기 제 2 카메라로부터의 상기 원시 이미지 데이터를 제 2 정류된 출력 이미지로 변환하는 단계;
상기 제 1 정류된 출력 이미지와 상기 제 2 정류된 출력 이미지를 결합함으로써 제 1 통합 출력 이미지를 생성하는 단계로서, 상기 제 1 통합 출력 이미지의 상기 제 1 정류된 출력 이미지로부터의 이미지 데이터는 상기 제 1 통합 출력 이미지 내의 상기 제 2 정류된 출력 이미지로부터의 상기 이미지 데이터에 대해 오정렬되는, 상기 제 1 통합 출력 이미지를 생성하는 단계;
상기 제 1 정류된 출력 이미지 내의 복수의 특징 포인트들 및 상기 제 2 정류된 출력 이미지 내의 복수의 특징 포인트들을 검출하는 단계;
상기 제 1 정류된 출력 이미지 내의 복수의 특징 포인트들 중 각 특징 포인트를 상기 제 2 정류된 출력 이미지 내의 복수의 특징 포인트들 중 대응하는 특징 포인트에 매칭시키는 단계;
상기 매칭된 특징 포인트들의 오정렬들에 기초하여 상기 제 1 카메라의 요(yaw), 피치, 및 롤(roll)을 결정하는 단계; 및
상기 제 1 카메라의 상기 결정된 요, 피치, 및 롤에 기초하여 상기 제 1 룩-업 테이블을 업데이트하는 단계를 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 1 항에 있어서:
상기 제 1 카메라로부터 추가의 원시 이미지 데이터를 수신하는 단계;
상기 업데이트된 제 1 룩-업 테이블을 이용하여 상기 제 1 카메라로부터의 상기 추가의 원시 이미지 데이터를 제 3 정류된 출력 이미지로 변환하는 단계;
상기 제 2 카메라로부터 추가의 원시 이미지 데이터를 수신하는 단계;
상기 제 2 룩-업 테이블을 이용하여 상기 제 2 카메라로부터의 상기 추가의 원시 이미지 데이터를 제 4 정류된 출력 이미지로 변환하는 단계;
상기 제 3 정류된 출력 이미지 및 상기 제 4 정류된 출력 이미지를 결합함으로써 제 2 통합 출력 이미지를 생성하는 단계로서, 상기 제 2 통합 출력 이미지 내의 상기 제 3 정류된 출력 이미지로부터의 이미지 데이터는 상기 제 4 정류된 출력 이미지로부터 상기 이미지 데이터에 대해 적절하게 정렬되는, 상기 제 2 통합 출력 이미지를 생성하는 단계를 더 포함하고,
상기 제 3 정류된 출력 이미지의 상기 적절한 정렬은 상기 제 1 룩-업 테이블을 업데이트하는 동작에 의해 달성되는, 정렬된 통합 이미지를 생성하는 방법. - 제 2 항에 있어서,
상기 제 1 카메라의 물리적 위치는 상기 제 1 통합 출력 이미지와 상기 제 2 통합 출력 이미지의 생성 사이에서 변경되지 않는, 정렬된 통합 이미지를 생성하는 방법. - 제 2 항에 있어서,
상기 제 1 카메라로부터 추가의 원시 이미지 데이터를 수신하는 단계는 상기 제 1 카메라로부터 비디오 이미지 데이터를 수신하는 단계를 포함하고, 상기 제 2 카메라로부터 추가의 원시 이미지 데이터를 수신하는 단계는 상기 제 2 카메라로부터 비디오 이미지 데이터를 수신하는 단계를 포함하고, 상기 방법은:
상기 제 1 카메라로부터의 정류된 비디오 이미지 데이터를 상기 제 2 카메라로부터의 정류된 비디오 이미지 데이터와 결합함으로써 통합 비디오 출력을 생성하는 단계를 더 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 4 항에 있어서,
상기 차량의 내부에 위치된 디스플레이 스크린 상에 상기 통합 비디오 출력을 디스플레이하는 단계를 더 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 1 항에 있어서,
상기 복수의 특징 포인트들을 검출하기 전에, 상기 제 1 정류된 출력 이미지와 상기 제 2 정류된 출력 이미지를 컨디셔닝하는 단계를 더 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 6 항에 있어서,
상기 제 1 정류된 출력 이미지와 상기 제 2 정류된 출력 이미지를 컨디셔닝하는 단계는:
상기 제 1 정류된 출력 이미지와 상기 제 2 정류된 출력 이미지를 그레이스케일로 변환하는 단계, 및
상기 제 1 정류된 출력 이미지 및 상기 제 2 정류된 출력 이미지 상에서 히스토그램 균등화를 수행하는 단계를 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 1 항에 있어서:
상기 차량 상에 위치된 제 3 카메라로부터 원시 이미지 데이터를 수신하는 단계로서, 상기 제 3 카메라의 시야는 상기 제 2 카메라의 시야와 부분적으로 중첩하는, 상기 제 3 카메라로부터 원시 이미지 데이터를 수신하는 단계;
제 3 룩-업 테이블을 이용하여 상기 제 3 카메라로부터의 상기 원시 이미지 데이터를 제 3 정류된 출력 이미지로 변환하는 단계;
상기 차량 상에 위치된 제 4 카메라로부터 원시 이미지 데이터를 수신하는 단계로서, 상기 제 4 카메라의 시야는 상기 제 3 카메라의 시야와 부분적으로 중첩하고, 상기 제 1 카메라의 시야와 부분적으로 중첩하는, 상기 제 4 카메라로부터 원시 이미지 데이터를 수신하는 단계; 및
제 4 룩-업 테이블을 이용하여 상기 제 4 카메라로부터의 상기 원시 이미지 데이터를 제 4 정류된 출력 이미지로 변환하는 단계를 더 포함하고,
상기 제 1 정류된 출력 이미지를 생성하는 단계는 상기 제 1 정류된 출력 이미지, 상기 제 2 정류된 출력 이미지, 상기 제 3 정류된 출력 이미지, 및 상기 제 4 정류된 출력 이미지를 결합함으로써 상기 제 1 통합 출력 이미지를 생성하는 단계를 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 8 항에 있어서,
상기 제 1 정류된 출력 이미지의 원근법은 상기 차량 위에 위치된 가상 카메라의 탑-뷰 원근법(top-view perspective)이고, 상기 제 1 통합 출력 이미지는 상기 차량의 탑-다운 뷰 및 상기 차량을 둘러싸는 영역들을 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 8 항에 있어서,
상기 제 1 카메라, 상기 제 2 카메라, 상기 제 3 카메라, 및 상기 제 4 카메라는 상기 차량의 전방 끝에 장착된 카메라, 상기 차량의 좌측에 장착된 카메라, 상기 차량의 우측에 장착된 카메라, 및 상기 차량의 후방에 장착된 카메라를 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 1 항에 있어서,
상기 제 1 정류된 출력 이미지 내의 상기 복수의 특징 포인트들 및 상기 제 2 정류된 출력 이미지 내의 상기 복수의 특징 포인트들을 검출하는 단계는 상기 제 1 정류된 출력 이미지 내의 제 2 복수의 특징 포인트들을 검출하는 단계를 더 포함하고,
상기 제 1 정류된 출력 이미지 내의 상기 특징 포인트들의 상기 제 2 출력 이미지 내의 대응하는 특징 포인트들에의 매칭은, 상기 제 2 복수의 특징 포인트들의 상기 특징 포인트들을 상기 제 2 정류된 출력 이미지 내의 상기 복수의 특징 포인트들의 상기 검출된 특징 포인트들 중 어느 하나에 매칭시킬 수 없고,
상기 방법은 상기 제 1 카메라의 요, 피치, 및 롤을 검출하기 전에, 상기 제 1 정류된 출력 이미지 내의 매칭되지 않은 제 2 복수의 특징 포인트들을 필터링하는 단계를 더 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 1 항에 있어서,
상기 제 1 정류된 출력 이미지 내의 상기 복수의 특징 포인트들 중 각 특징 포인트를 상기 제 2 정류된 출력 이미지 내의 상기 복수의 특징 포인트들 중 상기 대응하는 특징 포인트에 매칭시키는 단계는:
상기 제 1 정류된 출력 이미지 내의 상기 복수의 특징 포인트들의 각 특징 포인트들에 대해, 상기 제 1 정류된 출력 이미지로부터의 상기 특징 포인트에 초기에 매칭시키는 상기 제 2 정류된 출력 이미지 내의 상기 복수의 특징 포인트들 중 한 특징 포인트를 식별함으로써 제 1 초기 매칭 단계를 수행하는 단계;
상기 제 2 정류된 출력 이미지의 상기 복수의 특징 포인트들의 각 특징포인트에 대해, 상기 제 2 정류된 출력 이미지로부터의 상기 특징 포인트를 초기에 매칭시키는 상기 제 1 정류된 출력 이미지 내의 상기 복수의 특징 포인트들의 특징 포인트를 식별함으로써 제 2 초기 매칭 단계를 수행하는 단계; 및
상기 제 1 초기 매칭 단계에서의 매칭된 특징 포인트들의 쌍이 상기 제 2 초기 매칭 단계에 의해서도 매칭됨을 확인함으로써 대칭 매칭 단계를 수행하는 단계를 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 1 항에 있어서,
서로 가장 멀리 떨어져 있는 관심 영역에서 매칭된 특징 포인트들의 정해진 수를 식별하는 단계를 더 포함하고,
상기 매칭된 특징 포인트들의 오정렬들에 기초하여 상기 제 1 카메라의 요, 피치, 및 롤을 결정하는 단계는 상기 매칭된 특징 포인트들의 상기 식별된 정해진 수의 상기 오정렬들에만 기초하여 상기 제 1 카메라의 요, 피치, 및 롤을 결정하는 단계를 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 제 13 항에 있어서,
상기 매칭된 특징 포인트들의 상기 정해진 수는 4개의 매칭된 특징 포인트들이고, 상기 제 1 카메라의 요, 피치, 및 롤을 결정하는 단계는 상기 4개의 식별된 매칭된 특징 포인트들의 상기 오정렬에만 기초하여 상기 제 1 카메라의 요, 피치, 및 롤을 결정하는 단계를 포함하는, 정렬된 통합 이미지를 생성하는 방법. - 다중-카메라 차량 이미징 시스템에 있어서:
차량 상에 위치가능한 제 1 카메라;
상기 제 1 카메라의 시야와 부분적으로 중첩하는 시야를 갖는 차량 상에 위치가능한 제 2 카메라;
프로세서; 및
상기 프로세서에 의해 실행될 때, 상기 다중-카메라 차량 이미징 시스템으로 하여금,
상기 제 1 카메라로부터 원시 이미지 데이터를 수신하고;
비-일시적 컴퓨터-판독가능한 메모리 상에 저장된 제 1 룩-업 테이블을 이용하여 상기 제 1 카메라로부터의 상기 원시 이미지 데이터를 제 1 정류된 출력 이미지로 변환하고, 상기 제 1 룩-업 테이블은 상기 제 1 정류된 출력 이미지의 각 픽셀에 대응하는 상기 원시 이미지 데이터로부터 적어도 하나의 픽셀 위치를 정의하고, 상기 제 1 정류된 출력 이미지는 상기 제 1 카메라로부터의 상기 원시 데이터와 상이한 원근법을 갖고;
상기 제 2 카메라로부터 원시 이미지 데이터를 수신하고;
제 2 룩-업 테이블을 이용하여 상기 제 2 카메라로부터의 상기 원시 이미지 데이터를 제 2 정류된 출력 이미지로 변환하고;
제 1 정류된 출력 이미지와 상기 제 2 정류된 출력 이미지를 결합함으로써 상기 제 1 통합 출력 이미지를 생성하고, 상기 제 1 통합 출력 이미지 내의 상기 제 1 정류된 출력 이미지로부터의 이미지 데이터는 상기 제 1 통합 출력 이미지 내의 상기 제 2 정류된 출력 이미지로부터의 상기 이미지 데이터에 대해 오정렬되고;
상기 제 1 정류된 출력 이미지 내의 복수의 특징 포인트들 및 상기 제 2 정류된 출력 이미지 내의 복수의 특징 포인트들을 검출하고;
상기 제 1 정류된 출력 이미지 내의 상기 복수의 특징 포인트들 중 각 특징 포인트를 상기 제 2 정류된 출력 이미지 내의 상기 복수의 특징 포인트들 중 대응하는 특징 포인트에 매칭시키고;
상기 매칭된 특징 포인트들의 오정렬에 기초하여 상기 제 1 카메라의 요, 피치, 및 롤을 결정하고;
상기 제 1 카메라의 상기 결정된 요, 피치, 및 롤에 기초하여 상기 제 1 룩-업 테이블을 업데이트하게 하는 명령들을 저장하는 비-일시적 컴퓨터-판독가능한 메모리를 포함하는, 다중-카메라 차량 이미징 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/939,149 | 2015-11-12 | ||
| US14/939,149 US9950669B2 (en) | 2015-11-12 | 2015-11-12 | Vehicle camera system with multiple-camera alignment |
| PCT/EP2016/074688 WO2017080753A1 (en) | 2015-11-12 | 2016-10-14 | Vehicle camera system with multiple-camera alignment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180067612A true KR20180067612A (ko) | 2018-06-20 |
| KR102069494B1 KR102069494B1 (ko) | 2020-01-28 |
Family
ID=57184420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187013207A KR102069494B1 (ko) | 2015-11-12 | 2016-10-14 | 다중-카메라 정렬을 갖는 차량 카메라 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9950669B2 (ko) |
| EP (1) | EP3374965B1 (ko) |
| JP (1) | JP6674022B2 (ko) |
| KR (1) | KR102069494B1 (ko) |
| CN (1) | CN108352057B (ko) |
| WO (1) | WO2017080753A1 (ko) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015013685A1 (en) | 2013-07-25 | 2015-01-29 | Convida Wireless, Llc | End-to-end m2m service layer sessions |
| DE102015223175A1 (de) * | 2015-11-24 | 2017-05-24 | Conti Temic Microelectronic Gmbh | Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung |
| KR101766077B1 (ko) * | 2015-12-08 | 2017-08-07 | 현대자동차주식회사 | 차량 주변 영상 정보 제공 시스템 및 방법 |
| WO2017196670A1 (en) | 2016-05-13 | 2017-11-16 | Vid Scale, Inc. | Bit depth remapping based on viewing parameters |
| EP3482566B1 (en) | 2016-07-08 | 2024-02-28 | InterDigital Madison Patent Holdings, SAS | Systems and methods for region-of-interest tone remapping |
| US10580135B2 (en) | 2016-07-14 | 2020-03-03 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for splicing images |
| EP3488615A1 (en) * | 2016-07-22 | 2019-05-29 | VID SCALE, Inc. | Systems and methods for integrating and delivering objects of interest in video |
| KR102538592B1 (ko) * | 2016-08-31 | 2023-05-31 | 현대모비스 주식회사 | 탑-뷰 영상 생성 장치 및 그 방법 |
| US10932276B2 (en) | 2016-11-03 | 2021-02-23 | Convida Wireless, Llc | Frame structure in NR |
| EP3583780B1 (en) | 2017-02-17 | 2023-04-05 | InterDigital Madison Patent Holdings, SAS | Systems and methods for selective object-of-interest zooming in streaming video |
| CN110383848B (zh) | 2017-03-07 | 2022-05-06 | 交互数字麦迪逊专利控股公司 | 用于多设备呈现的定制视频流式传输 |
| US11164332B2 (en) | 2017-08-25 | 2021-11-02 | Chris Hsinlai Liu | Stereo machine vision system and method for identifying locations of natural target elements |
| DE112018004150B4 (de) * | 2017-09-13 | 2023-12-28 | Robert Bosch Gesellschaft mit beschränkter Haftung | Anhängerrückwärtsfahrassistenzsystem |
| JP2019180016A (ja) * | 2018-03-30 | 2019-10-17 | パナソニックＩｐマネジメント株式会社 | 画像合成装置、画像合成方法及びプログラム |
| TWI687064B (zh) * | 2018-04-25 | 2020-03-01 | 凌通科技股份有限公司 | 通用序列匯流排連接埠之影像資料傳輸方法以及使用其之雙鏡頭行車記錄器 |
| US20190347822A1 (en) * | 2018-05-11 | 2019-11-14 | Qualcomm Incorporated | Automatic determination and calibration for spatial relationship between multiple cameras |
| CN110654382A (zh) * | 2018-06-28 | 2020-01-07 | 比亚迪股份有限公司 | 车道偏航预警系统的标定方法、标定系统及车辆 |
| CN108961155B (zh) * | 2018-07-13 | 2023-06-27 | 惠州市德赛西威汽车电子股份有限公司 | 一种高保真的鱼眼镜头畸变校正方法 |
| KR20210066856A (ko) | 2018-09-27 | 2021-06-07 | 콘비다 와이어리스, 엘엘씨 | 새로운 라디오의 비허가 스펙트럼들에서의 부대역 동작들 |
| CN109389650B (zh) * | 2018-09-30 | 2021-01-12 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
| KR20200055596A (ko) * | 2018-11-13 | 2020-05-21 | 삼성전자주식회사 | 차량에 탑재되는 단말 장치가 영상을 전송하는 방법 및 차량의 주행을 제어하는 원격 제어 장치가 영상을 수신하는 방법 |
| WO2020164744A1 (en) * | 2019-02-15 | 2020-08-20 | Toyota Motor Europe | Systems and methods for image normalization |
| US10997737B2 (en) * | 2019-05-02 | 2021-05-04 | GM Global Technology Operations LLC | Method and system for aligning image data from a vehicle camera |
| CN112837227B (zh) * | 2019-11-22 | 2023-07-04 | 杭州海康威视数字技术股份有限公司 | 一种参数校正方法、装置、系统、电子设备及存储介质 |
| EP3905655A1 (en) | 2020-04-30 | 2021-11-03 | Motherson Innovations Company Ltd. | Method for aligning a camera of a vehicle camera monitor system and vehicle |
| US20230360317A1 (en) * | 2022-05-04 | 2023-11-09 | Microsoft Technology Licensing, Llc | Digital image sub-division |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014064224A (ja) * | 2012-09-24 | 2014-04-10 | Clarion Co Ltd | カメラのキャリブレーション方法及び装置 |
| US20150302561A1 (en) * | 2014-04-21 | 2015-10-22 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7565029B2 (en) * | 2005-07-08 | 2009-07-21 | Seiko Epson Corporation | Method for determining camera position from two-dimensional images that form a panorama |
| JP2008187564A (ja) | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
| JP5132249B2 (ja) | 2007-10-23 | 2013-01-30 | アルパイン株式会社 | 車載用撮像装置 |
| JP5439890B2 (ja) | 2009-03-25 | 2014-03-12 | 富士通株式会社 | 画像処理方法、画像処理装置及びプログラム |
| CN101626513A (zh) * | 2009-07-23 | 2010-01-13 | 深圳大学 | 全景视频生成方法及系统 |
| GB2472793B (en) * | 2009-08-17 | 2012-05-09 | Pips Technology Ltd | A method and system for measuring the speed of a vehicle |
| US9491450B2 (en) | 2011-08-01 | 2016-11-08 | Magna Electronic Inc. | Vehicle camera alignment system |
| US9516277B2 (en) | 2012-05-02 | 2016-12-06 | GM Global Technology Operations LLC | Full speed lane sensing with a surrounding view system |
| CN102937816B (zh) * | 2012-11-22 | 2015-05-27 | 四川华雁信息产业股份有限公司 | 摄像机预置位偏差校准方法及装置 |
| US10179543B2 (en) | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| US9384551B2 (en) * | 2013-04-08 | 2016-07-05 | Amazon Technologies, Inc. | Automatic rectification of stereo imaging cameras |
| CN103338325A (zh) * | 2013-06-14 | 2013-10-02 | 杭州普维光电技术有限公司 | 基于全景摄像机的车底盘图像采集方法 |
| CN105474634A (zh) * | 2013-08-30 | 2016-04-06 | 歌乐株式会社 | 摄像机校准装置、摄像机校准系统及摄像机校准方法 |
| CN104268867B (zh) * | 2014-09-22 | 2017-12-12 | 国家电网公司 | 一种自适应的鱼眼镜头快速校正方法 |
| US9986150B2 (en) * | 2015-09-30 | 2018-05-29 | Ricoh Co., Ltd. | Algorithm to estimate yaw errors in camera pose |
-
2015
- 2015-11-12 US US14/939,149 patent/US9950669B2/en active Active
-
2016
- 2016-10-14 EP EP16784829.0A patent/EP3374965B1/en active Active
- 2016-10-14 KR KR1020187013207A patent/KR102069494B1/ko active IP Right Grant
- 2016-10-14 WO PCT/EP2016/074688 patent/WO2017080753A1/en active Application Filing
- 2016-10-14 JP JP2018523517A patent/JP6674022B2/ja active Active
- 2016-10-14 CN CN201680066147.8A patent/CN108352057B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014064224A (ja) * | 2012-09-24 | 2014-04-10 | Clarion Co Ltd | カメラのキャリブレーション方法及び装置 |
| US20150302561A1 (en) * | 2014-04-21 | 2015-10-22 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018534696A (ja) | 2018-11-22 |
| EP3374965B1 (en) | 2020-03-25 |
| US20170136948A1 (en) | 2017-05-18 |
| JP6674022B2 (ja) | 2020-04-01 |
| US9950669B2 (en) | 2018-04-24 |
| CN108352057A (zh) | 2018-07-31 |
| KR102069494B1 (ko) | 2020-01-28 |
| EP3374965A1 (en) | 2018-09-19 |
| CN108352057B (zh) | 2021-12-31 |
| WO2017080753A1 (en) | 2017-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102069494B1 (ko) | 다중-카메라 정렬을 갖는 차량 카메라 시스템 | |
| US9621798B2 (en) | Grid-based image resolution enhancement for video processing module | |
| Zhang et al. | A surround view camera solution for embedded systems | |
| CN106101635B (zh) | 车辆周围影像处理方法及装置 | |
| US11535154B2 (en) | Method for calibrating a vehicular vision system | |
| CN108496056B (zh) | 摄像装置 | |
| EP2924654A2 (en) | Image processing apparatus and image processing method | |
| US20090009604A1 (en) | Image processing system and method | |
| EP2551817B1 (en) | Vehicle rear view camera system and method | |
| US9984444B2 (en) | Apparatus for correcting image distortion of lens | |
| CN108495066B (zh) | 广角镜头的畸变矫正方法、装置及系统 | |
| KR101478980B1 (ko) | 어안 렌즈를 이용한 다중 채널 디스플레이 시스템 | |
| CN114765667A (zh) | 用于多视图拼接的固定图案校准 | |
| KR20130111789A (ko) | 두 개의 촬영장치를 이용하여 구현한 차량용 블랙박스 및 무왜곡 영상을 제공하기 위한 유효화소 추출 방법 | |
| KR101504335B1 (ko) | 어라운드뷰 제공 장치, 방법 및 차량 | |
| CN116245722A (zh) | 一种应用于重高型车辆的全景影像拼接系统及方法 | |
| US11373282B2 (en) | Image processing apparatus and method | |
| JP6701327B2 (ja) | グレア検出方法及び装置 | |
| CN108010005B (zh) | 调节图像亮度的方法、装置及车辆 | |
| CN102905077B (zh) | 一种图像暗角亮度调节方法及装置 | |
| KR101230909B1 (ko) | 차량용 광각 영상 처리장치 및 그 방법 | |
| KR20190054703A (ko) | 듀얼 카메라 영상 화질 보정 방법 | |
| KR101708620B1 (ko) | Avm 시스템의 카메라 공차 보정 방법 및 장치 | |
| CN107403404A (zh) | 车辆的三维环景系统及其方法 | |
| KR101969235B1 (ko) | 어안렌즈와 영상 정보 개선을 통한 가혹한 환경에서의 후방 차량 감지 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |