KR102656128B1 - 후방 파노라마 뷰 생성 장치 및 방법 - Google Patents
후방 파노라마 뷰 생성 장치 및 방법 Download PDFInfo
- Publication number
- KR102656128B1 KR102656128B1 KR1020220103395A KR20220103395A KR102656128B1 KR 102656128 B1 KR102656128 B1 KR 102656128B1 KR 1020220103395 A KR1020220103395 A KR 1020220103395A KR 20220103395 A KR20220103395 A KR 20220103395A KR 102656128 B1 KR102656128 B1 KR 102656128B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vehicle
- images
- panoramic view
- cameras
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000010191 image analysis Methods 0.000 claims abstract description 39
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명에 따르면, 차량에 부착되어 상기 차량의 주변에 대한 제1 사이드미러 영상 및 제2 사이드미러 영상을 촬영하는 복수의 사이드미러 카메라 및 후방 영상을 촬영하는 후방 카메라를 포함하는 복수의 카메라; 상기 제1 사이드미러 영상, 상기 제2 사이드미러 영상 및 상기 후방 영상을 포함하는 복수의 영상으로부터 자세 추정 데이터를 획득하고, 상기 자세 추정 데이터를 기반으로 상기 복수의 카메라의 자세를 추정하여 상기 복수의 영상에 대한 LUT를 생성하는 영상 분석부; 및 상기 LUT를 상기 복수의 영상에 적용하여 후방 파노라마 뷰 영상을 생성하는 영상 합성부를 포함하고, 상기 영상 분석부는 기 설정된 기준점 보다 크게 상기 LUT를 생성하는 후방 파노라마 뷰 생성 장치이다.
Description
본 발명은 후방 파노라마 뷰 생성 장치 및 방법에 관한 것이다.
일반적으로 차량의 디자인과 공기저항계수를 줄이기 위해 후방 카메라는 차량 후면에 설치한다. 그러나 설치된 카메라는 화각의 한계가 있어 영상으로 볼 수 없는 사각지대가 생기게 된다.
한편, 차량 편의기능과 운전자 보조기능의 수요 증가로 사이드미러 카메라의 공급이 증가하고 있다. 사이드미러 카메라는 운전자에게 왜곡 없이 넓은 화각을 제공한다. 또한, 공기저항계수를 크게 감소할 수 있어 운전자와 생산자에게 관심을 받고 있다.
이러한 편의기능과 보조기능에도 불구하고 차량 후측방의 사각지대는 여전히 존재하고 있다. 후방 카메라와 사이드미러 카메라로 차량의 리어범퍼와 후미등 방향의 장애물탐지 및 다른 차량의 위치, 차량의 예상 진로 등을 탐지하지 못해 운전자의 감각과 경험에 의존하고 있으나, 초보 운전자에게는 감각과 경험이 부족하여 장애물과 충돌 가능성이 매우 높다.
또한, 각각의 카메라 위치와 출력 장치가 상이하여 운전자의 시선 분산을 야기하여 운전의 집중을 방해하는 요소가 될 수 있다. 또한, 주행정보를 고려하지 않고 고정된 화면만 표출하여 후진 시 공간을 표현하기에 부족함이 있다.
본 발명은 상술한 과제를 해결하기 위한 것으로서, 본 발명의 목적은 차량 후방 카메라의 부족한 화각과 영상의 공간표현을 개선하며, 운전자의 시선의 분산을 집중시켜 운전의 편의성과 안전성을 향상시킬 수 있는 후방 파노라마 뷰 영상을 제공하는데 있다.
본 발명은 후방 파노라마 뷰 생성 장치로서, 차량에 부착되어 상기 차량의 주변에 대한 제1 사이드미러 영상 및 제2 사이드미러 영상을 촬영하는 복수의 사이드미러 카메라 및 후방 영상을 촬영하는 후방 카메라를 포함하는 복수의 카메라; 상기 제1 사이드미러 영상, 상기 제2 사이드미러 영상 및 상기 후방 영상을 포함하는 복수의 영상으로부터 자세 추정 데이터를 획득하고, 상기 자세 추정 데이터를 기반으로 상기 복수의 카메라의 자세를 추정하여 상기 복수의 영상에 대한 LUT를 생성하는 영상 분석부; 및 상기 LUT를 상기 복수의 영상에 적용하여 후방 파노라마 뷰 영상을 생성하는 영상 합성부를 포함하고, 상기 영상 분석부는 기 설정된 기준점 보다 크게 상기 LUT를 생성한다.
본 발명의 일 실시 예에 있어서, 상기 영상 분석부는 상기 복수의 영상에 대하여 기 정의된 왜곡 파라미터 및 상기 복수의 영상에 대하여 정의된 영상 패턴에 기초하여 자세 추정 데이터를 도출할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 영상 합성부는 상기 후방 파노라마 뷰 영상에서 중첩 영역의 조도 및 잡음 중 적어도 하나를 보정한다.
본 발명의 일 실시 예에 있어서, 상기 후방 파노라마 뷰 영상은 상기 차량의 직진 시야 관점에서 정의되는 제1 영상, 상기 차량의 우측 시야 관점에서 정의되는 제2 영상 및 상기 차량의 좌측 시야 관점에서 정의되는 제3 영상을 포함한다.
본 발명의 일 실시 예에 있어서, 차량 정보를 기반으로 상기 후방 파노라마 뷰 영상을 선택적으로 출력하는 영상 출력부를 더 포함하고, 상기 영상 출력부는, 상기 차량 정보에 포함된 상기 차량의 속도, 요, 스티어링 정보 및 기어 정보 중 적어도 하나를 수신하는 통신 모듈; 및 상기 차량 정보에 기초하여 상기 제1 영상 내지 상기 제3 영상 중 어느 하나를 출력하는 영상 선택부를 더 포함한다.
본 발명의 일 실시 예에 있어서, 상기 기 설정된 기준점은 상기 제1 영상 내지 상기 제3 영상 각각에 대하여 정의한다.
상기 복수의 영상으로부터 전체 통합된 LUT를 포함한다.
본 발명의 일 실시 예에 있어서, 후방 파노라마 뷰 영상 생성 장치에 의해 수행되는 방법으로서, 차량에 부착된 복수의 사이드미러 카메라 및 후방 카메라를 포함하는 복수의 카메라로부터 상기 차량의 주변에 대한 제1 사이드미러 영상 및 제2 사이드미러 영상을 촬영하는 복수의 사이드미러 카메라 및 후방 영상을 촬영하는 단계; 상기 제1 사이드미러 영상, 상기 제2 사이드미러 영상 및 상기 후방 영상을 포함하는 복수의 영상으로부터 자세 추정 데이터를 획득하고, 상기 자세 추정 데이터를 기반으로 상기 복수의 카메라의 자세를 추정하여 상기 복수의 영상에 대한 LUT를 생성하는 단계; 및 상기 LUT를 상기 복수의 영상에 적용하여 후방 파노라마 뷰 영상을 생성하는 단계를 포함하고, 상기 영상 분석 단계는 기 설정된 기준점 보다 크게 상기 LUT를 생성한다.
본 발명의 일 실시 예에 있어서, 상기 영상 분석 단계는 상기 복수의 영상에 대하여 기 정의된 왜곡 파라미터 및 상기 복수의 영상에 대하여 정의된 영상 패턴에 기초하여 자세 추정 데이터를 도출한다.
본 발명의 일 실시 예에 있어서, 상기 영상 합성 단계는 상기 후방 파노라마 뷰 영상에서 중첩 영역의 조도 및 잡음 중 적어도 하나를 보정하는 단계를 더 포함한다.
본 발명의 일 실시 예에 있어서, 상기 후방 파노라마 뷰 영상은 상기 차량의 직진 시야 관점에서 정의되는 제1 영상, 상기 차량 우측 제2 영상 및 상기 차량 좌측 제2 영상을 포함한다.
본 발명의 일 실시 예에 있어서, 차량 정보를 기반으로 상기 후방 파노라마 뷰 영상을 선택적으로 출력하는 영상 출력 단계를 더 포함하고, 상기 영상 출력 단계는, 상기 차량 정보에 포함된 상기 차량의 속도, 요, 스티어링 정보 및 기어 정보 중 적어도 하나를 포함하는 차량 정보를 수신하는 통신 방법; 및 상기 차량 정보에 기초하여 상기 제1 영상 내지 상기 제3 영상 중 어느 하나를 출력하는 영상 선택 단계를 포함한다.
본 발명의 일 실시 예에 있어서, 상기 기 설정된 기준점은 상기 제1 영상 내지 상기 제3 영상 각각에 대하여 정의한다.
본 발명에 의하면, 후방 파노라마 뷰 생성 방법 및 이를 지원하는 장치는 복수의 카메라 영상을 보정하고 합성하여 차량의 사각지대를 줄이고 정보를 집중하여 제공함으로써 차량 운행에 편의와 안전에 기여할 수 있다.
또한, 차량의 운행정보를 기반으로 유의미한 공간표현을 생성하여 제공할 수 있다.
또한, 기존에 설치된 카메라를 이용하므로, 별도의 카메라 설치가 필요 없어 비용을 절감할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 후방 파노라마 뷰 생성 장치 및 방법의 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 후방 파노라마 뷰 영상을 예시한다.
도 3은 본 발명의 다른 일 실시예에 따른 후방 파노라마 뷰 생성 장치 및 방법의 블럭도이다.
도 4a는 본 발명의 일 실시예에 따른 조향각 차이에 따라 변화하는 후방 파노라마 뷰 영상을 예시한다.
도 4b는 본 발명의 일 실시예에 따른 차량 주행시 조향각 차이에 따라 변화하는 후방 파노라마 뷰 영상을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 후방 파노라마 뷰 영상을 생성하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 영상 분석부의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 카메라 자세 추정 방법의 순서도이다.
도 8은 본 발명의 일 실시예에 따른 영상 출력부의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 후방 파노라마 뷰 영상을 예시한다.
도 3은 본 발명의 다른 일 실시예에 따른 후방 파노라마 뷰 생성 장치 및 방법의 블럭도이다.
도 4a는 본 발명의 일 실시예에 따른 조향각 차이에 따라 변화하는 후방 파노라마 뷰 영상을 예시한다.
도 4b는 본 발명의 일 실시예에 따른 차량 주행시 조향각 차이에 따라 변화하는 후방 파노라마 뷰 영상을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 후방 파노라마 뷰 영상을 생성하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 영상 분석부의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 카메라 자세 추정 방법의 순서도이다.
도 8은 본 발명의 일 실시예에 따른 영상 출력부의 순서도이다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
도 1은 본 출원의 실시 예에 따른 후방 파노라마 뷰 생성 장치 블록도이다.
도 1을 참조하면, 후방 파노라마 뷰 생성 장치는 복수의 카메라(100) 및 영상 생성부(200)를 포함한다.
복수의 카메라(100)은 제1의 후방 카메라(130)와 제2-1의 좌측 사이드미러 카메라(110) 및 제2-2의 우측 사이드미러 카메라(120)를 포함한다.
복수의 카메라(100)는 차량의 좌측과 우측 사이드미러 영상과 후방 영상을 촬영한다. 이러한 복수의 카메라(100)는 일반적으로 큰 화각을 갖는 광각렌즈가 주로 사용되며, 180° 이상의 화각을 갖는 초광각 렌즈인 어안 렌즈(Fisheys Lens)가 사용될 수 있으나, 이에 한정되는 것은 아니고 그 밖에 다양한 렌즈들이 사용될 수 있다.
영상 생성부(200)는 복수의 카메라(100)에서 수신한 영상으로 적응형 후방 파노라마 뷰 영상을 만들기 위해 영상을 분석 및 합성할 수 있다.
영상 생성부(200)는 상술한 동작을 위하여, 영상 분석부(210), 영상 합성부(220)를 포함한다.
영상 분석부(210)는 복수의 카메라(100)로부터 좌측과 우측 사이드미러 영상과 후방 영상을 수신하며, 영상 합성부(220)에서 영상 합성을 위한 LUT(Look Up Table)를 생성한다.
이를 위하여, 영상 분석부(210)는 복수의 카메라(100)로부터 수신한 복수의 영상에 대하여 기 정의된 왜곡 파라미터 및 상기 복수의 영상에 대하여 정의된 영상 패턴에 기초하여 상기 자세 추정 데이터를 도출할 수 있다.
일 실시예로, 영상 분석부(210)는 공차보정 패턴을 포함한 좌, 우 및 후방 영상을 분석하기 위해 카메라 캘리브레이션(Camera Calibration)방법을 사용할 수 있다. 카메라 캘리브레이션은 3차원 점들이 영상에 투영된 위치를 구하거나 반대로 영상좌표로부터 3차원 공간좌표를 복원할 때 사용하는 방법으로서, 카메라의 자세를 추정을 하기 위해 동작한다.
카메라 캘리브레이션의 방법으로는 캘리브레이션 패턴(Calibration), 기하학적 단서(Geometric Clues) 및 딥 러닝 기반(Deep Learning Based)등이 있으며, 이하 본 발명에서는 편의상 캘리브레이션 패턴을 예로 설명하나 이에 제한되는 것은 아닐 것이다. 또한, 카메라 캘리브레이션은 OpenCV나 SolvePnP 등의 알고리즘을 사용될 수 있으나 이에 한정되는 것은 아니다.
캘리브레이션 패턴은 체커보드(Checkerboard) 기반 방식으로 흑백 패턴에 대한 교점을 이용한다. 체커보드는 이미지나 영상을 통한 3차원 정보 획득에 있어 사용되는 방법이다. 체커보드는 카메라의 촬영 거리와 화각 등을 고려하여 다양한 크기와 형태로 제작될 수 있다.
영상 분석부(210)는 카메라 캘리브레이션을 이용하여 카메라 자세를 추정하기 위해 카메라의 내부 요인인 카메라 내부 파라미터와 카메라 외부 파라미터를 도출할 수 있다. 카메라 내부 파라미터는 초점거리(Focal Length), 주점(Principal Point), 비대칭 계수(Skew coefficient)가 있다. 카메라 외부 파라미터는 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 요소이다.
영상 분석부(210)는 내부 파라미터를 산출하기 위하여, 우선 하기 수학식 1로 정의되는 렌즈 왜곡 좌표를 계산할 수 있다.
[수학식 1]
= (1+++) , = +
여기서, 공간상의 한점은 렌즈를 통해 이미지 상의 한점(, )으로 투영되며, 영상 분석부(210)는 중심까지의 거리 , 방사왜곡 계수 k를 이용하여 렌즈의 왜곡이 반영된 좌표(, )를 구할 수 있다.
다음으로, 영상 분석부(210)는 하기 수학식 2에 기초하여 내부 파라미터를 산출할 수 있다.
[수학식 2]
=
여기서 내부 파라미터의 요소는 초점거리(, ), 주점( , ), 비대칭계수()이며 영상 분석부(210)는 왜곡이 반영된 좌표(, ) 및 실제 영상 픽셀 좌표인 (, )를 통하여 내부 파라미터를 얻을 수 있다.
영상 분석부(210)는 도출한 내부 파라미터를 미리 알고 있는 카메라 영상 샘플의 3차원 월드 좌표와 2차원 영상 좌표 매칭하여 외부 파라미터를 구하고, 왜곡 파라미터를 구할 수 있다.
영상 분석부(210)는 카메라 자세 추정을 위해 기 정의된 패턴을 렌즈를 통해 촬영된 기준 이미지 또는 영상을 획득한다. 이후, 영상 분석부는 기준 이미지 또는 영상과 다른 이미지 또는 영상 내에서 검출된 패턴을 상술한 동작에 기초하여 도출한 외부 파라미터를 기반으로 왜곡을 보정 및 예상 패턴을 도출하여 기준 이미지 또는 영상의 패턴과 동일한 정보(크기, 길이, 모양 등)와 동일하게 계산될 때까지 카메라 자세를 추정한다. 영상 분석부는 만약 패턴의 정보가 동일하지 않으면 예상 패턴과 기존 이미지 또는 영상의 패턴의 정보 편차를 최소화하기 위해 반복 수행할 수 있다.
카메라 자세가 추정되면, 영상 분석부(210)는 3차원 공간에 영상의 픽셀 위치를 매핑하여 영상의 LUT를 생성할 수 있다.
구체적으로, 영상 분석부(210)는 예상 패턴과 영상의 패턴 정보 편차를 최소화하여 얻은 카메라 자세 추정의 데이터를 수신하고 3차원의 공간 매핑을 수행한다.
3차원의 공간 매핑을 수행하기 위하여, 영상 분석부(210)는 3차원 공간에 임의의 원형통 매쉬를 설정하고, 추정한 카메라 자세를 이용하여 영상 각 픽셀의 정보가 카메라의 중심으로 연결되는 직선을 계산한다. 이후, 영상 분석부(210)는 투영되는 직선과 설정된 메쉬의 교점을 계산하고 교점의 위치와 투영된 직전의 영상 좌표를 매칭하여 LUT를 생성할 수 있다. 또한, 본 발명의 일 실시예로 원통형 매쉬를 기반으로 설명하였지만 이에 한정되는 것은 아니다.
영상 분석부(210)에서의 LUT를 생성하는 이유로는 주어진 연산에 대한 미리 계산된 결과들의 집합을 나타내는 것으로, 주어진 연산에 대한 결과를 빠르게 계산할 수 있다.
본 발명의 실시예에 따르면, 후방 파노라마 뷰 영상은 조향각에 따라 시점이 변화하며 실시간성과 연속성을 갖춰야 하기 때문에, 기 설정된 기준점은 상기 제1 영상 내지 상기 제3 영상 각각에 대하여 정의된다. 다시 말해서, 복수의 영상의 각 기준점별로 별개의 LUT가 아닌 기준점보다 큰 통합된 영상의 LUT를 생성하여 데이터의 계산량을 감소하여 개선된 영상을 생성할 수 있다.
영상 합성부(220)는 영상 분석부(210)로부터 생성된 통합 LUT를 기반으로 영상을 합성하고 감소된 데이터 계산량으로 실시간성을 갖춘 후방 파노라마 뷰 영상을 생성한다.
일 실시예에 따른 영상 합성부(220)는 후방 파노라마 뷰 영상에서 중첩 영역의 조도 및 잡음 중 적어도 하나를 보정할 수 있다. 다시 말해서, 영상 합성부(220)는 후방 파노라마 뷰 영상 합성에 사용되는 복수의 영상들에서 중첩된 영역에 대한 보정을 수행할 수 있는 영상 합성부(220)를 포함한다. 예를 들어, 영상 합성부(220)는 합성된 영상의 보정을 위해 모든 픽셀의 세기(Intensity)에 모두 같은 값을 더하거나 빼서 밝기값이 다른 픽셀의 세기를 조절하여 영상의 밝기값을 동일하게 맞출 수 있다. 또한, 영상 합성부(220)에서 영상의 중첩된 영역 일부에 불투명도를 개선하여 후방 파노라마 뷰 영상을 생성할 수 있다.
도 1의 실시예에 따라 생성된 후방 파노라마 뷰 영상은 기존의 후방 카메라 영상보다 넓은 화각을 가지며, 영상의 중첩된 영역이 처리되고 보정되어 자연스러운 영상을 생성할 수 있다. 또한, 개별의 영상의 LUT가 아닌 통합된 영상의 LUT를 기반으로 하기에 데이터의 계산량이 향상되어 영상을 실시간으로 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 합성부에 따라 생성된 후방 파노라마 뷰 영상을 도시한 것이다.
도 2에 도시된 바와 같이 본 발명은 우측 사이드미러 영상(501), 후방 카메라 영상(502) 및 좌측 사이드미러 영상(503)을 합성하여 중첩된 영역을 처리 및 보정하여 기존의 후방 카메라 영상(502)보다 넓은 후측방의 시각적인 정보를 제공할 수 있는 후방 파노라마 뷰 영상(500)을 생성할 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 후방 파노라마 뷰 생성 장치의 블록도이다. 이하에서는, 앞서 설명한 부분과 중복되는 부분에 대한 상세한 설명은 생략한다.
도 3을 참조하면, 다른 일 실시예에 따른 후방 파노라마 뷰 생성 장치는 복수의 카메라(100)과 영상 생성부(200)에 더하여, 영상 출력부(300)를 추가로 포함할 수 있다.
복수의 카메라(100)는 좌측 및 우측의 사이드미러 영상과 후방 영상을 촬영하고, 영상 생성부(200)에서 영상을 수신하여 카메라의 자세 추정 및 LUT를 생성하고 LUT를 기반으로 영상을 합성하여 후방 파노라마 뷰 영상(500)을 생성한다.
영상 출력부(300)는 차량의 정보를 기반으로 후방 파노라마 뷰 영상(500)을 선택적으로 출력할 수 있으며, 이를 위하여 통신 모듈(310) 및 영상 선택부(320)를 포함한다.
통신 모듈(310)은 예를 들어 CAN BUS(Controller Area Network Bus)로서 차량 내에서 호스트 컴퓨터 없이 장치들이 서로 통신할 수 있다. 통신 모듈(310)을 통해 송수신되는 차량의 정보는 예를 들어 상기 차량의 속도, 요, 스티어링 정보 및 기어 정보 중 적어도 하나를 수신할 수 있다.
영상 선택부(320)는 차량의 속도, 요, 스티어링 정보 및 기어 정보에 기초하여 상기 제1 영상 내지 상기 제3 영상 중 어느 하나의 출력 영상 시점을 선택할 수 있다. 예를 들어, 차량의 조향각의 정보를 기반으로 얻은 차량의 방향과 동일한 방향으로 영상의 시점이 변경되는 작업을 수행할 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 차량 정보에 기초하여 영상을 선택적으로 출력하는 영상 선택부의 동작을 설명하기 위한 것이다.
도 4a 및 도 4b를 참조하면, 영상 출력부(300)는 차량의 자세 및 방향의 데이터를 기반으로 차량의 조향각의 차이에 따라 직진 혹은 후진 방향의 후방 파노라마 뷰 영상(500), 우측으로 조향각이 적은 합성 영상(511) 및 우측으로 조향각이 많은 합성 영상(512)을 출력할 수 있다. 여기서, 상기 차량의 직진 시야 관점에서 정의되는 제1 영상, 상기 차량의 우측 시야 관점에서 정의되는 제2 영상 및 상기 차량의 좌측 시야 관점에서 정의되는 제3 영상으로 칭할 수 있다. 이에 따라, 차량의 후측방 사각지대를 최대한 줄일 수 있으며, 차량 방향에 따라 차선 진입 시 차량 방향과 동일하게 화각을 변경하여 근접한 차량의 위치와 예상 진로 등의 정보를 사용자에게 제공할 수 있다.
도 5는 후방 파노라마 뷰 영상 생성 방법을 수행하기 위한 흐름도이다.
상술한 본 발명의 다양한 실시예들에 따른 후방 파노라마 뷰 영상 생성 장치의 동작 방법에 대한 자세한 설명을, 이하 도 5를 참조하여 함께 설명한다.
도 5에 도시된 바와 같이, 후방 파노라마 뷰 생성 장치는 복수의 카메라(100)를 이용하여 영상 수집(S100)한다. 영상 생성부(200)는 수집된 영상을 바탕으로 차량의 진행 방향 및 기어 정보 등의 차량 정보 분석(S200)을 수행한다. 영상 분석부(210)는 차량의 정보를 기반으로 영상을 분석하여 카메라 자세 추정과 영상의 포괄적인 LUT를 생성하는 영상 분석 및 LUT생성(S300)을 수행한다. 영상 합성부(220)는 LUT가 생성된 영상을 합성(S400)하여 중첩영역 처리 및 보정(S500)을 하고, 보정된 후방 파노라마 뷰 영상을 출력(S600)한다.
도 6은 영상 분석 및 LUT 생성 방법을 수행하기 위한 흐름도이다.
도 6에 도시된 바와 같이, 영상 분석부(210)는 공차보정 패턴을 포함한 좌, 우 사이드미러 카메라 영상과 후방 카메라 영상을 취득(S310)하여, 각각의 카메라 자세를 추정(S320)한다. 영상 분석부(210)는 카메라 자세가 추정된 영상을 기반으로 3차원 공간 매핑(S330)하여 적응형 파노라마 뷰 영상용 LUT를 생성(S340)한다.
도 7은 카메라 자세 추정 방법을 수행하기 위한 흐름도이다.
도 7에 도시된 바와 같이, 영상 분석부(210)는 복수의 카메라(100)에서 복수의 영상을 수집(S321)하며, 영상 내에 규격이 정해진 형태의 패턴을 검출(S322)한다. 영상 분석부(210)는 검출된 패턴을 카메라 캘리브레이션을 이용하여 도출한 왜곡 파라미터를 이용하여 검출된 패턴을 왜곡 보정(S323)하고 예상 패턴을 추정(S324)한다. 영상 분석부(210)는 예상 패턴과 기 입력된 실제 패턴의 정보(크기, 길이, 모양 등)가 동일 여부를 판단(S325)한다. 동일하지 않으면 반복적으로 검출된 패턴을 왜곡 보정(S323) 및 예상패턴 추정(S324)를 진행하여 예상 패턴과 실제 패턴의 정보의 동일할 때까지 최적화를 진행한다. 최적화 진행 후 정보가 동일하면 카메라 자세를 추정(S326)하여 종료한다.
도 8은 영상 출력을 수행하기 위한 흐름도이다.
도 8에 도시된 바와 같이, 영상 출력부(300)는 통신 모듈을 통해 차량 정보를 수신(S601)하고, 차량 조향각을 분석(S602)한다. 영상 출력부(300)는 차량 조향각을 기반으로 차량 방향과 동일한 방향의 영상을 선택(S603)하여 영상을 출력(S604)한다.
상술한 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술한 실시 예들 이외에도, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술한 실시 예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
100 : 복수의 카메라 320 : 영상 선택부
110 : 좌측 사이드미러 카메라 500 : 파노라마 뷰 영상
120 : 우측 사이드미러 카메라 501 : 우측 사이드미러 영상
130 : 후방 카메라 502 : 후방 영상
200 : 영상 생성부 503 : 좌측 사이드미러 영상
210 : 영상 분석부 510 : 조향각에 따른 합성 영상
220 : 영상 합성부 511 : 직진 혹은 후진 합성 영상
300 : 영상 출력부 512 : 우측으로 조향각이 적은 합성 영상
310 : 통신 모듈 513 : 우측으로 조향각이 많은 합성 영상
110 : 좌측 사이드미러 카메라 500 : 파노라마 뷰 영상
120 : 우측 사이드미러 카메라 501 : 우측 사이드미러 영상
130 : 후방 카메라 502 : 후방 영상
200 : 영상 생성부 503 : 좌측 사이드미러 영상
210 : 영상 분석부 510 : 조향각에 따른 합성 영상
220 : 영상 합성부 511 : 직진 혹은 후진 합성 영상
300 : 영상 출력부 512 : 우측으로 조향각이 적은 합성 영상
310 : 통신 모듈 513 : 우측으로 조향각이 많은 합성 영상
Claims (12)
- 차량에 부착되어 상기 차량의 주변에 대한 제1 사이드미러 영상 및 제2 사이드미러 영상을 촬영하는 복수의 사이드미러 카메라 및 후방 영상을 촬영하는 후방 카메라를 포함하는 복수의 카메라;
상기 제1 사이드미러 영상, 상기 제2 사이드미러 영상 및 상기 후방 영상을 포함하는 복수의 영상으로부터 자세 추정 데이터를 획득하고, 상기 자세 추정 데이터를 기반으로 상기 복수의 카메라의 자세를 추정하여 상기 복수의 영상에 대한 LUT를 생성하는 영상 분석부; 및
상기 LUT를 상기 복수의 영상에 적용하여 후방 파노라마 뷰 영상을 생성하는 영상 합성부를 포함하고,
상기 영상 분석부는 기 설정된 기준점 보다 크게 상기 LUT를 생성하는 후방 파노라마 뷰 생성 장치. - 제1항에 있어서,
상기 영상 분석부는 상기 복수의 영상에 대하여 기 정의된 왜곡 파라미터 및 상기 복수의 영상에 대하여 정의된 영상 패턴에 기초하여 상기 자세 추정 데이터를 도출하는, 후방 파노라마 뷰 생성 장치. - 제1항에 있어서,
상기 영상 합성부는 상기 후방 파노라마 뷰 영상에서 중첩 영역의 조도 및 잡음 중 적어도 하나를 보정하는, 후방 파노라마 뷰 생성 장치. - 제1항에 있어서,
상기 후방 파노라마 뷰 영상은 상기 차량의 직진 시야 관점에서 정의되는 제1 영상, 상기 차량의 우측 시야 관점에서 정의되는 제2 영상 및 상기 차량의 좌측 시야 관점에서 정의되는 제3 영상을 포함하는, 후방 파노라마 뷰 생성 장치. - 제4항에 있어서,
차량 정보를 기반으로 상기 후방 파노라마 뷰 영상을 선택적으로 출력하는 영상 출력부를 더 포함하고,
상기 영상 출력부는,
상기 차량 정보에 포함된 차량의 속도, 요, 스티어링 정보 및 기어 정보 중 적어도 하나를 수신하는 통신 모듈; 및
상기 차량 정보에 기초하여 상기 제1 영상 내지 상기 제3 영상 중 어느 하나를 출력하는 영상 선택부를 더 포함하는, 후방 파노라마 뷰 생성 장치. - 제4항에 있어서,
상기 기 설정된 기준점은 상기 제1영상 내지 상기 제3 영상 각각에 대하여 정의되는, 후방 파노라마 뷰 생성 장치. - 후방 파노라마 뷰 영상 생성 장치에 의해 수행되는 후방 파노라마 뷰 생성 방법으로서,
차량에 부착된 복수의 사이드미러 카메라 및 후방 카메라를 포함하는 복수의 카메라로부터 상기 차량의 주변에 대한 제1 사이드미러 영상 및 제2 사이드미러 영상을 촬영하는 복수의 사이드미러 카메라 및 후방 영상을 촬영하는 단계;
상기 제1 사이드미러 영상, 상기 제2 사이드미러 영상 및 상기 후방 영상을 포함하는 복수의 영상으로부터 자세 추정 데이터를 획득하고, 상기 자세 추정 데이터를 기반으로 상기 복수의 카메라의 자세를 추정하여 상기 복수의 영상에 대한 LUT를 생성하는 단계; 및
상기 LUT를 상기 복수의 영상에 적용하여 후방 파노라마 뷰 영상을 생성하는 단계를 포함하고,
상기 LUT를 생성하는 단계는 기 설정된 기준점 보다 크게 상기 LUT를 생성하는 후방 파노라마 뷰 생성 방법. - 제7항에 있어서,
상기 LUT를 생성하는 단계는 상기 복수의 영상에 대하여 기 정의된 왜곡 파라미터 및 상기 복수의 영상에 대하여 정의된 영상 패턴에 기초하여 상기 자세 추정 데이터를 도출하는, 후방 파노라마 뷰 생성 방법. - 제7항에 있어서,
상기 영상을 생성하는 단계는 상기 후방 파노라마 뷰 영상에서 중첩 영역의 조도 및 잡음 중 적어도 하나를 보정하는 단계를 더 포함하는, 후방 파노라마 뷰 생성 방법. - 제7항에 있어서,
상기 후방 파노라마 뷰 영상은 상기 차량의 직진 시야 관점에서 정의되는 제1 영상, 상기 차량의 우측 시야 관점에서 정의되는 제2 영상 및 상기 차량의 좌측 시야 관점에서 정의되는 제3 영상을 포함하는, 후방 파노라마 뷰 생성 방법. - 제10항에 있어서,
차량 정보를 기반으로 상기 후방 파노라마 뷰 영상을 선택적으로 출력하는 단계를 더 포함하고,
상기 후방 파노라마 뷰 영상을 선택적으로 출력하는 단계는:
상기 차량 정보에 포함된 상기 차량의 속도, 요, 스티어링 정보 및 기어 정보 중 적어도 하나를 수신하는 단계; 및
상기 차량 정보에 기초하여 상기 제1 영상 내지 상기 제3 영상 중 어느 하나를 출력하는 영상 선택 단계를 더 포함하는, 후방 파노라마 뷰 생성 방법. - 제10항에 있어서,
상기 기 설정된 기준점은 상기 제1 영상 내지 상기 제3 영상 각각에 대하여 정의되는, 후방 파노라마 뷰 생성 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220103395A KR102656128B1 (ko) | 2022-08-18 | 2022-08-18 | 후방 파노라마 뷰 생성 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220103395A KR102656128B1 (ko) | 2022-08-18 | 2022-08-18 | 후방 파노라마 뷰 생성 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20240025323A KR20240025323A (ko) | 2024-02-27 |
| KR102656128B1 true KR102656128B1 (ko) | 2024-04-09 |
Family
ID=90058878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220103395A KR102656128B1 (ko) | 2022-08-18 | 2022-08-18 | 후방 파노라마 뷰 생성 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102656128B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020507837A (ja) | 2017-01-04 | 2020-03-12 | 日本テキサス・インスツルメンツ合同会社 | リアビュー可視化のためのリアスティッチされたビューパノラマ |
| KR102140526B1 (ko) | 2019-04-26 | 2020-08-04 | 주식회사 켐트로닉스 | 어라운드 뷰 장치 |
| KR102164702B1 (ko) | 2019-04-26 | 2020-10-14 | 주식회사 켐트로닉스 | 자동 주차 장치 및 자동 주차 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102288952B1 (ko) | 2014-12-18 | 2021-08-12 | 현대모비스 주식회사 | 차량 및 그 제어 방법 |
| KR102522609B1 (ko) * | 2016-08-16 | 2023-04-17 | 현대모비스 주식회사 | 어라운드 뷰 모니터링 시스템 및 이의 동작 방법 |
| KR102328031B1 (ko) * | 2016-12-08 | 2021-11-17 | 현대모비스 주식회사 | 탑-뷰 영상 생성 장치 및 그 방법 |
| KR102089343B1 (ko) | 2018-06-26 | 2020-03-16 | 주식회사 수올리나 | 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법 |
-
2022
- 2022-08-18 KR KR1020220103395A patent/KR102656128B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020507837A (ja) | 2017-01-04 | 2020-03-12 | 日本テキサス・インスツルメンツ合同会社 | リアビュー可視化のためのリアスティッチされたビューパノラマ |
| KR102140526B1 (ko) | 2019-04-26 | 2020-08-04 | 주식회사 켐트로닉스 | 어라운드 뷰 장치 |
| KR102164702B1 (ko) | 2019-04-26 | 2020-10-14 | 주식회사 켐트로닉스 | 자동 주차 장치 및 자동 주차 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240025323A (ko) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7054293B2 (ja) | リアビュー可視化のためのリアスティッチされたビューパノラマ | |
| JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
| JP5108605B2 (ja) | 運転支援システム及び車両 | |
| JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
| WO2012096058A1 (ja) | 画像生成装置 | |
| JP4874280B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
| EP2437494B1 (en) | Device for monitoring area around vehicle | |
| US10007853B2 (en) | Image generation device for monitoring surroundings of vehicle | |
| JP4681432B2 (ja) | 車載周辺画像表示装置 | |
| US20080136912A1 (en) | Image generating apparatus and image generating method | |
| JP2004021307A (ja) | 運転支援装置 | |
| JP5516998B2 (ja) | 画像生成装置 | |
| JP2010081245A (ja) | 車両用表示装置および表示方法 | |
| EP3098777B1 (en) | Drawing apparatus, drawing method, and drawing program | |
| JP5861871B2 (ja) | 俯瞰画像提示装置 | |
| KR102656128B1 (ko) | 후방 파노라마 뷰 생성 장치 및 방법 | |
| JP6293089B2 (ja) | 後方モニタ | |
| US12080075B2 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
| KR20160107529A (ko) | 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법 | |
| WO2018016274A1 (ja) | 画像処理装置 | |
| JP6967013B2 (ja) | 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 | |
| KR102714350B1 (ko) | 인공지능 기반 어라운드 뷰 제공 장치 및 방법 | |
| US20230191998A1 (en) | Method for displaying a virtual view of the area surrounding a vehicle, computer program, control unit, and vehicle | |
| JP2007028442A (ja) | 画像表示システム | |
| JP2007028443A (ja) | 画像表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |