KR20190051571A - 차량 주변 모니터링 장치 및 그의 영상 보정 방법 - Google Patents

차량 주변 모니터링 장치 및 그의 영상 보정 방법 Download PDF

Info

Publication number
KR20190051571A
KR20190051571A KR1020170147392A KR20170147392A KR20190051571A KR 20190051571 A KR20190051571 A KR 20190051571A KR 1020170147392 A KR1020170147392 A KR 1020170147392A KR 20170147392 A KR20170147392 A KR 20170147392A KR 20190051571 A KR20190051571 A KR 20190051571A
Authority
KR
South Korea
Prior art keywords
vehicle
cameras
ground
change amount
controller
Prior art date
Application number
KR1020170147392A
Other languages
English (en)
Inventor
정동혁
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170147392A priority Critical patent/KR20190051571A/ko
Publication of KR20190051571A publication Critical patent/KR20190051571A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량 주변 모니터링 장치 및 그의 영상 보정 방법에 관한 것으로, 차량에 각각 설치되는 복수 개의 카메라들, 차량 자세를 감지하는 모션 감지기, 룩업테이블을 저장하고 있는 메모리, 및 상기 차량 자세에 근거하여 상기 복수 개의 카메라들 각각의 각도 변화량과 위치 변화량을 추정하여 상기 룩업테이블을 보정하고, 보정된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 합성하여 차량 주변 모니터링 영상을 생성하는 제어기를 포함한다.

Description

차량 주변 모니터링 장치 및 그의 영상 보정 방법{VEHICLE ENVIRONMENT MONITORING APPARATUS AND IMAGE CORRECTION METHOD THEREOF}
본 발명은 차량 주변 모니터링 장치 및 그의 영상 보정 방법에 관한 것으로, 더욱 상세하게는 차량이 요철로를 주행할 때 변화하는 차량 자세를 고려하여 영상 왜곡을 보정하는 차량 주변 모니터링 장치 및 그의 영상 보정 방법에 관한 것이다.
어라운드 뷰 모니터링(Around View Monitoring, AVM) 장치는 차량의 전, 후, 좌 및 우에 장착된 카메라들을 통해 촬영한 영상들을 탑 뷰(top view) 영상으로 재구성하여 AVM 영상을 제공한다. 이러한 AVM 영상은 차량이 평평한 지면과 수평으로 주행한다는 가정하에 제어기가 차량의 전후좌우에 각각 장착된 4개의 카메라로부터 입력받은 영상들을 내부적 연산을 통해 합성한 영상이다.
도 1에 도시된 바와 같이, 차량의 4개 바퀴 중 2개의 후륜이 과속방지턱(요철)을 동시에 통과하는 경우, 각 카메라들의 촬영각 및 지면으로부터의 높이가 변화하게 된다. 이러한 촬영각 변화 및 높이 변화로 인해 AVM 영상에 왜곡이 발생하게 된다.
이와 같이, 종래의 AVM 장치(Surround View Monitor, SVM)는 차량이 요철을 통과할 때 순간적으로 차량 자세가 지면과 수평을 이루지 못해 발생하는 차체에 장착된 카메라의 각도(촬영각) 및 위치(높이)의 변화를 반영하지 않은 왜곡된 AVM 영상(차량 주변 영상)을 출력하므로 운전자의 감성품질을 저해하게 된다.
[문헌 1] KR 1020170045059 A
본 발명은 차량이 요철로를 주행할 때 변화하는 차량 자세를 고려하여 영상 왜곡을 보정하는 차량 주변 모니터링 장치 및 그의 영상 보정 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량 주변 모니터링 장치는 차량에 각각 설치되는 복수 개의 카메라들, 차량 자세를 감지하는 모션 감지기, 룩업테이블을 저장하고 있는 메모리, 및 상기 차량 자세에 근거하여 상기 복수 개의 카메라들 각각의 각도 변화량과 위치 변화량을 추정하여 상기 룩업테이블을 보정하고, 보정된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 합성하여 차량 주변 모니터링 영상을 생성하는 제어기를 포함하는 것을 특징으로 한다.
상기 복수 개의 카메라들은, 광각 카메라 또는 파노라마카메라로 구성되는 것을 특징으로 한다.
상기 모션 감지기는, IMU(Inertial Measurement Unit) 센서로 구현되는 것을 특징으로 한다.
상기 모션 감지기는, 각속도계와 가속도계를 구비하는 것을 특징으로 한다.
상기 제어기는, 상기 모션 감지기에 의해 감지된 차량 자세에 근거하여 상기 차량이 지면과 수평한지를 확인하는 것을 특징으로 한다.
상기 제어기는, 상기 차량이 지면과 수평하지 않으면, 상기 보정된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 생성하는 것을 특징으로 한다.
상기 제어기는, 상기 차량이 지면과 수평한 경우, 상기 메모리에 저장된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 생성하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 차량 주변 모니터링 장치의 영상 보정 방법은 모션 감지기를 통해 차량 자세를 감지하는 단계, 상기 차량 자세에 근거하여 복수 개의 카메라들 각각의 각도 변화량과 위치 변화량을 추정하는 단계, 상기 추정된 각도 변화량과 위치 변화량을 이용하여 룩업테이블을 보정하는 단계, 및 보정된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 합성하여 차량 주변 모니터링 영상을 생성하는 단계를 포함한다.
상기 차량 자세를 감지하는 단계는, 각속도계 및 가속도계를 사용하여 차량의 6축 모션을 측정하는 것을 특징으로 한다.
상기 차량 자세를 감지하는 단계는, 상기 차량의 6축 모션에 근거하여 상기 차량이 지면과 수평한지를 확인하는 것을 특징으로 한다.
상기 각도 변화량과 위치 변화량을 추정하는 단계는, 상기 차량이 지면과 수평하지 않으면 상기 각도 변화량과 위치 변화량을 추정하는 것을 특징으로 한다.
상기 각도 변화량은, 지면을 기준으로 각 카메라의 상대적인 회전각 변화량인 것을 특징으로 한다.
상기 위치 변화량은, 지면을 기준으로 각 카메라의 높이 변화량인 것을 특징으로 한다.
상기 차량 주변 모니터링 장치의 영상 보정 방법은 상기 차량이 지면과 수평한 경우 메모리에 기저장된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 차량이 요철로 주행 시 변화하는 차량 자세를 고려하여 영상 왜곡을 보정할 수 있다. 따라서, 본 발명은 왜곡에 의해 발생되는 지면의 사각 영역을 최소화할 수 있으며, 실도로 형상과 달리 영상 내 도로 형상이 일그러져 보이는 문제를 보완하여 감성품질을 향상시킬 수 있다.
도 1은 종래기술의 문제점을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 차량 주변 모니터링 장치의 블록구성도.
도 3은 본 발명과 관련된 차량의 6축 모션을 도시한 도면.
도 4는 본 발명과 관련된 왜곡 보정을 도시한 도면.
도 5는 본 발명과 관련된 카메라의 시점 이동을 도시한 도면.
도 6은 본 발명과 관련된 이미지 좌표 변환을 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 차량 주변 모니터링 장치의 영상 보정 방법을 도시한 흐름도.
도 8은 본 발명에 따른 차량 주변 모니터링 장치가 제공하는 영상.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 2는 본 발명의 일 실시예에 따른 차량 주변 모니터링 장치의 블록구성도를 도시하고, 도 3은 본 발명과 관련된 차량의 6축 모션을 도시한 도면이며, 도 4는 본 발명과 관련된 왜곡 보정을 도시한 도면이고, 도 5는 본 발명과 관련된 카메라의 시점 이동을 도시한 도면이며, 도 6은 본 발명과 관련된 이미지 좌표 변환을 도시한 도면이다.
차량 주변 모니터링 장치는 영상 획득부(110), 모션 감지기(120), 메모리(130), 디스플레이(140), 및 제어기(150)를 포함한다. 차량 주변 모니터링 장치는 AVM(Around View Monitoring) 장치 또는 SVM(Surround View Monitor)라고 불린다.
영상 획득부(110)는 차량의 주변을 촬영하고 그 촬영된 영상을 메모리(130)에 저장한다. 영상 획득부(110)는 차량의 전후좌우에 각각 장착되는 제1카메라(111) 내지 제4카메라(114)를 포함할 수 있다. 본 실시예에서는 4개의 카메라들(111 내지 114)을 통해 차량의 주변영상을 획득하는 것을 개시하고 있으나, 이에 한정되지 않고 차량에 5개 이상의 카메라들을 설치하고 그 5개 이상의 카메라들을 통해 차량 주변의 영상을 획득할 수도 있다.
제1카메라 내지 제4카메라(111 내지 114)는 광각카메라 또는 파노라마카메라 등으로 구현될 수 있다.
모션 감지기(120)는 차량 자세를 실시간으로 감지한다. 모션 감지기(120)는 관성 측정 장치(Inertial Measurement Unit, IMU)로, 제어기(150)의 내부에 장착되거나 또는 외부에 구비되어 통신을 통하여 측정된 차량 자세 정보를 제어기(150)로 전송할 수 있다. 제어기(150)는 주행 중 모션 감지기(120)를 통해 실시간으로 차량 자세를 감지할 수 있다.
이러한 IMU(120)는 회전운동을 측정하는 각속도계(gyroscope)와 직선운동을 측정하는 가속도계(accelerometer)를 이용하여 차량의 6축 모션을 측정하는 센서이다. 즉, IMU(120)는 각 축당 존재하는 각속도계와 가속도계를 통해 6축의 물리량을 측정한다. 도 3에 도시된 바와 같이, IMU(120)는 3축 가속도(x축, y축 및 z축 가속도)와 3축 각속도(roll, pitch 및 yaw 각속도)를 측정한다.
메모리(130)는 제어기(150)의 동작을 위한 프로그램을 저장할 수 있고, 영상 획득부(110)에서 획득한 영상들을 저장할 수 있다. 또한, 메모리(130)는 제어기(150)의 입/출력 데이터를 임시 저장할 수도 있다.
메모리(130)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), 및 웹 스토리지(web storage) 등의 저장매체 중 어느 하나 이상의 저장매체로 구현될 수 있다.
메모리(130)는 제1카메라(111) 내지 제4카메라(114)로부터 입력되는 영상들을 합성하여 차량 주변 모니터링 영상을 생성하기 위한 룩업테이블(look up table)을 저장하고 있다. 룩업테이블은 제1카메라(111) 내지 제4카메라(114)로부터 입력되는 각 촬영영상의 각 픽셀이 차량 주변 모니터링 영상의 픽셀 좌표로 매칭하기 위한 수치적인 테이블이다. 룩업테이블은 차량이 평평한 지면과 수평으로 주행한다는 가정하에 생성된 것이다.
디스플레이(140)는 차량 주변 모니터링 장치의 동작에 따른 상태 및 처리 결과 등을 출력한다. 예를 들어, 차량 주변 모니터링 장치의 동작 제어와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 디스플레이(140)는 제어기(150)에 의해 재구성된(합성된) 차량 주변 모니터링 영상을 표시한다.
이러한 디스플레이(140)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 및 터치스크린 중 어느 하나 이상의 형태로 구현될 수 있다.
제어기(150)는 차량 주변 모니터링 장치의 전반적인 동작을 제어한다. 제어기(150)는 이미지 프로세서(image processor), ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 어느 하나로 구현될 수 있다.
제어기(150)는 모션 감지기(120)를 통해 차량 자세를 감지한다. 제어기(150)는 감지된 차량 자세가 지면과 수평한지를 확인한다. 제어기(150)는 각속도계 및 가속도계에 의해 측정된 값들의 변동이 기설정된 임계 범위를 벗어나는지를 확인한다. 예컨대, 제어기(150)는 각속도계에 의해 현재 측정된 피치(pitch) 각속도와 이전에 측정된 피치 각속도의 차이가 5도/sec 이상이면 차량이 지면과 수평하지 않다고 판정하고, 그 차이가 5도/sec 미만이면 차량이 지면과 수평하다고 판정한다.
제어기(150)는 감지된 차량 자세가 지면과 수평하지 않으면, 각 카메라(111, 112, 113 및 114)의 지면에 대한 각도 변화량(촬영각 변화량) 및 위치 변화량(높이 변화량)을 추정(산출)한다. 각도 변화량은 지면을 기준으로 각 카메라의 상대적인 회전각 변화량이고, 위치 변화량은 지면을 기준으로 각 카메라의 높이 변화량이다.
제어기(150)는 추정된 각도 변화량 및 높이 변화량에 근거하여 메모리(130)에 기저장된 룩업테이블을 보정한다. 이때, 제어기(150)는 보정된 룩업테이블을 메모리(130)에 저장할 수 있다.
제어기(150)는 보정된 룩업테이블을 참조하여 제1카메라 내지 제4카메라(111 내지 114)로부터 입력되는 영상들을 재구성(합성)하여 차량 주변 모니터링 영상을 제공한다. 제어기(150)는 재구성된 차량 주변 모니터링 영상을 디스플레이(140)로 출력한다.
한편, 제어기(150)는 감지된 차량 자세가 지면과 수평한 경우, 메모리(130)에 기저장된 룩업테이블을 참조하여 제1카메라 내지 제4카메라(111 내지 114)로부터 입력되는 영상들을 합성하여 차량 주변 모니터링 영상을 제공한다.
차량 주변 모니터링 영상을 생성하기 위한 룩업테이블을 생성하는 과정을 설명한다. 본 실시예에서는 제1카메라(111) 내지 제4카메라(114)가 광각카메라로 구현된 경우를 예로 들어 설명한다.
먼저, 광각카메라에 의해 촬영된 영상(이미지)의 왜곡을 보정한다. 도 4에 도시된 바와 같이, 광각카메라로 촬영된 영상에서 발생되는 왜곡을 보정한다. 여기서, 보정기법은 공지된 다양한 보정기법 중 어느 하나가 적용될 수 있다.
다음, 실제 카메라의 위치를 지면 기준으로 가상 카메라의 좌표 변환 과정을 거친다. 본 발명에서는 차량 자세 변동에 따라 가상 카메라의 좌표가 변경되는 것이다.
카메라에 의해 획득한 영상 내 왜곡이 보정된 영상은 도 5에 도시된 바와 같이 카메라(111 내지 114)의 시점(Preal)을 가상 시점(virtual view point, Pvirtual)으로 이동시켜 생성한 차량 주변 모니터링 영상이다. 제어기(150)는 [수학식 1]을 이용하여 각 카메라(111, 112, 113 및 114)의 시점(Preal)을 가상 시점(Pvirtual)으로 이동시킬 수 있다.
Figure pat00001
여기서, s는 확대 또는 축소를 위한 스케일 값, R은 카메라 시점 이동을 위한 회전 행렬, t는 카메라 시점 이동을 위한 이동 행렬, K는 초점거리(focal lengths)와 주점(principal point)으로 이루어진 값으로, 고정된 상수 행렬이다.
도 6를 참조하면, 왜곡 보정된 영상의 실제 좌표(월드좌표)의 한 점 P(X, Y, Z)는 차량 주변 모니터링 영상을 위한 이미지 평면 좌표(x, y)가 [수학식 1]에 의해 변환된 좌표이다. 초점거리 (fx, fy)와 주점 (cx, cy)은 카메라에 따라 고정된 파라미터이다.
카메라의 지면에 대한 각도 변화량과 지면에 대한 높이 변화량에 따라 [수학식 2]를 적용할 수 있다.
Figure pat00002
여기서, scur은 지면과 카메라의 높이 차이에 따른 스케일 값으로, [수학식 3]과 같이 변경된다.
Figure pat00003
여기서, sref는 기존의 스케일 값이고, simu는 IMU(120)를 통하여 파악된 스케일 값 변경량이다.
카메라의 각도 변화량 값 Rcur은 다음 [수학식 4]와 같다.
Figure pat00004
여기서, Rref는 기존의 카메라 회전(rotation) 값(회전각)이고, Rimu는 IMU(120)를 통해 파악된 회전 값(회전각) 변경량이다.
카메라의 가상 시점 카메라 변환을 위한 위치 이동값 tcur은 다음 [수학식 5]와 같다.
Figure pat00005
여기서, tref는 기존의 카메라 가상위치 변환 값이고, timu는 IMU(120)를 통해 파악된 가상위치 변경량이다.
도 7은 본 발명의 일 실시예에 따른 차량 주변 모니터링 장치의 영상 보정 방법을 도시한 흐름도이고, 도 8은 본 발명에 따른 차량 주변 모니터링 장치가 제공하는 영상이다.
먼저, 제어기(150)는 모션 감지기(120)를 통해 차량 자세를 감지한다(S110). 제어기(150)는 주행 중 가속도계와 각속도계를 통해 차량의 6축 모션을 실시간으로 측정한다.
제어기(150)는 감지된 차량 자세에 근거하여 상기 차량이 지면과 수평인지를 확인한다(S120). 제어기(150)는 측정된 차량의 6축 모션에 근거하여 차량이 요철을 통과하고 있는지를 확인할 수 있다.
제어기(150)는 감지된 차량 자세가 지면과 수평하지 않으면, 지면을 기준으로 각 카메라(111, 112, 113 및 114)의 각도 변화량 및 높이 변화량(위치 변화량)을 추정한다(S130). 제어기(150)는 지면을 기준으로 각 카메라(111, 112, 113 및 114)의 상대적인 회전각 변화량을 추정하고, 각 카메라(111, 112, 113 및 114)에 대한 지면으로부터의 높이 변화량을 추정한다.
제어기(150)는 추정된 각도 변화량 및 높이 변화량에 근거하여 메모리(130)에 기저장된 룩업테이블을 보정한다(S140). 제어기(150)는 모션 감지기(120)를 통해 파악된 스케일 값 변경량, 카메라의 회전각 변경량, 및 카메라의 가상위치 변경량을 적용하여 [수학식 1]의 스케일 값, 회전 행렬, 및 이동 행렬을 보정한다.
제어기(150)는 메모리(130)에 기저장된 룩업테이블과 별도로 보정된 룩업테이블을 메모리(130)에 저장할 수 있다.
제어기(150)는 보정된 룩업테이블을 참조하여 제1카메라(111) 내지 제4카메라(114)로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 제공한다(S150). 제어기(150)는 차량 자세 변동에 따라 변화하는 각 카메라의 각도(촬영각) 및 높이(위치)의 변화를 고려하여 차량 주변 모니터링 영상을 생성하므로, 차량의 요철로 주행으로 발생되는 차량 주변 모니터링 영상 내 왜곡을 보정할 수 있다.
S120에서, 제어기(150)는 감지된 차량 자세가 지면과 수평이면, 메모리(130)에 기저장된 룩업테이블을 참조하여 제1카메라(111) 내지 제4카메라(114)로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 제공한다(S150). 예컨대, 제어기(150)는 차량이 요철이 없는 도로를 주행하는 경우 기존과 같이 메모리(130)에 기저장된 룩업테이블을 참조하여 제1카메라(111) 내지 제4카메라(114)로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 생성한다. 즉, 제어기(150)는 광각렌즈를 구비한 카메라를 이용함에 따라 발생되는 왜곡을 보정한 차량 주변 모니터링 영상을 제공한다.
본 실시예에 따른 영상 보정 기술을 적용하면 도 8에 도시된 바와 같이 기존에 요철로 주행 시 차량 주변 모니터링 영상 내 발생하는 왜곡 현상을 보정할 수 있다. 따라서, 본 발명은 요철로 주행 시 발생되는 차량 주변 모니터링 영상 일그러짐으로 발생하는 지면의 사각 영역을 사라지게 할 수 있다. 또한, 본 발명은 요철로 주행 시 차량 주변 모니터링 영상이 실도로 형상과 달리 일그러져 보이는 문제를 보완하여 사용자의 감성품질을 향상시킬 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 획득부
111 내지 114: 제1카메라 내지 제4카메라
120: 모션 감지기
130: 메모리
140: 디스플레이
150: 제어기

Claims (14)

  1. 차량에 각각 설치되는 복수 개의 카메라들,
    차량 자세를 감지하는 모션 감지기,
    룩업테이블을 저장하고 있는 메모리, 및
    상기 차량 자세에 근거하여 상기 복수 개의 카메라들 각각의 각도 변화량과 위치 변화량을 추정하여 상기 룩업테이블을 보정하고, 보정된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 합성하여 차량 주변 모니터링 영상을 생성하는 제어기를 포함하는 것을 특징으로 하는 차량 주변 모니터링 장치.
  2. 제1항에 있어서,
    상기 복수 개의 카메라들은,
    광각 카메라 또는 파노라마카메라로 구성되는 것을 특징으로 하는 차량 주변 모니터링 장치.
  3. 제1항에 있어서,
    상기 모션 감지기는,
    IMU(Inertial Measurement Unit) 센서로 구현되는 것을 특징으로 하는 차량 주변 모니터링 장치.
  4. 제1항에 있어서,
    상기 모션 감지기는,
    각속도계와 가속도계를 구비하는 것을 특징으로 하는 차량 주변 모니터링 장치.
  5. 제1항에 있어서,
    상기 제어기는,
    상기 모션 감지기에 의해 감지된 차량 자세에 근거하여 상기 차량이 지면과 수평한지를 확인하는 것을 특징으로 하는 차량 주변 모니터링 장치.
  6. 제5항에 있어서,
    상기 제어기는,
    상기 차량이 지면과 수평하지 않으면, 상기 보정된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 생성하는 것을 특징으로 하는 차량 주변 모니터링 장치.
  7. 제5항에 있어서,
    상기 제어기는,
    상기 차량이 지면과 수평한 경우, 상기 메모리에 저장된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 생성하는 것을 특징으로 하는 차량 주변 모니터링 장치.
  8. 모션 감지기를 통해 차량 자세를 감지하는 단계,
    상기 차량 자세에 근거하여 복수 개의 카메라들 각각의 각도 변화량과 위치 변화량을 추정하는 단계,
    상기 추정된 각도 변화량과 위치 변화량을 이용하여 룩업테이블을 보정하는 단계, 및
    보정된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 합성하여 차량 주변 모니터링 영상을 생성하는 단계를 포함하는 차량 주변 모니터링 장치의 영상 보정 방법.
  9. 제8항에 있어서,
    상기 차량 자세를 감지하는 단계는,
    각속도계 및 가속도계를 사용하여 차량의 6축 모션을 측정하는 것을 특징으로 하는 차량 주변 모니터링 장치의 영상 보정 방법.
  10. 제9항에 있어서,
    상기 차량 자세를 감지하는 단계는,
    상기 차량의 6축 모션에 근거하여 상기 차량이 지면과 수평한지를 확인하는 것을 특징으로 하는 차량 주변 모니터링 장치의 영상 보정 방법.
  11. 제10항에 있어서,
    상기 각도 변화량과 위치 변화량을 추정하는 단계는,
    상기 차량이 지면과 수평하지 않으면 상기 각도 변화량과 위치 변화량을 추정하는 것을 특징으로 하는 차량 주변 모니터링 장치의 영상 보정 방법.
  12. 제11항에 있어서,
    상기 각도 변화량은,
    지면을 기준으로 각 카메라의 상대적인 회전각 변화량인 것을 특징으로 하는 차량 주변 모니터링 장치의 영상 보정 방법.
  13. 제11항에 있어서,
    상기 위치 변화량은,
    지면을 기준으로 각 카메라의 높이 변화량인 것을 특징으로 하는 차량 주변 모니터링 장치의 영상 보정 방법.
  14. 제10항에 있어서,
    상기 차량이 지면과 수평한 경우 메모리에 기저장된 룩업테이블을 참조하여 상기 복수 개의 카메라들로부터 입력되는 영상들을 재구성하여 차량 주변 모니터링 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변 모니터링 장치의 영상 보정 방법.
KR1020170147392A 2017-11-07 2017-11-07 차량 주변 모니터링 장치 및 그의 영상 보정 방법 KR20190051571A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170147392A KR20190051571A (ko) 2017-11-07 2017-11-07 차량 주변 모니터링 장치 및 그의 영상 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170147392A KR20190051571A (ko) 2017-11-07 2017-11-07 차량 주변 모니터링 장치 및 그의 영상 보정 방법

Publications (1)

Publication Number Publication Date
KR20190051571A true KR20190051571A (ko) 2019-05-15

Family

ID=66579643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170147392A KR20190051571A (ko) 2017-11-07 2017-11-07 차량 주변 모니터링 장치 및 그의 영상 보정 방법

Country Status (1)

Country Link
KR (1) KR20190051571A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210085856A (ko) * 2019-12-31 2021-07-08 현대모비스 주식회사 차량용 카메라
KR102331168B1 (ko) * 2020-08-13 2021-12-01 주식회사 아이비시스 다관절 차량의 다채널 입력 영상에 대한 실시간 어라운드뷰 영상 구현 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045059A (ko) 2015-10-16 2017-04-26 현대자동차주식회사 카메라 영상 보정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045059A (ko) 2015-10-16 2017-04-26 현대자동차주식회사 카메라 영상 보정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210085856A (ko) * 2019-12-31 2021-07-08 현대모비스 주식회사 차량용 카메라
KR102331168B1 (ko) * 2020-08-13 2021-12-01 주식회사 아이비시스 다관절 차량의 다채널 입력 영상에 대한 실시간 어라운드뷰 영상 구현 방법

Similar Documents

Publication Publication Date Title
CN109688392B (zh) Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
JP5491235B2 (ja) カメラキャリブレーション装置
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
CN102109348B (zh) 定位载体、估测载体姿态与建地图的系统与方法
JP2018058544A (ja) 車載表示制御装置
US11436742B2 (en) Systems and methods for reducing a search area for identifying correspondences between images
CN110296717B (zh) 一种事件数据流的处理方法及计算设备
US20140085409A1 (en) Wide fov camera image calibration and de-warping
US11361455B2 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
US10539790B2 (en) Coordinate matching apparatus for head-up display
US11451760B2 (en) Systems and methods for correcting rolling shutter artifacts
US11568555B2 (en) Dense depth computations aided by sparse feature matching
US11915441B2 (en) Systems and methods for low compute depth map generation
Wientapper et al. A camera-based calibration for automotive augmented reality head-up-displays
US11430086B2 (en) Upsampling low temporal resolution depth maps
US11651506B2 (en) Systems and methods for low compute high-resolution depth map generation using low-resolution cameras
US11393066B2 (en) Display system, electronic apparatus, mobile body, and display method
US20240281987A1 (en) Systems and methods for updating continuous image alignment of separate cameras
KR102679727B1 (ko) 이미지 처리 장치, 시스템, 이미지 처리 방법, 및 이미지 처리 프로그램
JP6669182B2 (ja) 乗員監視装置
KR20190051571A (ko) 차량 주변 모니터링 장치 및 그의 영상 보정 방법
US11443718B2 (en) Circuit device, electronic apparatus, and mobile body for generating latency compensated display
JP2021111317A (ja) 回路装置、電子機器及び移動体
WO2023162504A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20240380913A1 (en) Motion compensation via inertial tracking and optical flow

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171107

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201020

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20171107

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210622

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20211204

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210622

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I