KR101825343B1 - Apparatus and system for processing rear view video of a car - Google Patents

Apparatus and system for processing rear view video of a car Download PDF

Info

Publication number
KR101825343B1
KR101825343B1 KR1020160166817A KR20160166817A KR101825343B1 KR 101825343 B1 KR101825343 B1 KR 101825343B1 KR 1020160166817 A KR1020160166817 A KR 1020160166817A KR 20160166817 A KR20160166817 A KR 20160166817A KR 101825343 B1 KR101825343 B1 KR 101825343B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
camera
distortion
side mirror
Prior art date
Application number
KR1020160166817A
Other languages
Korean (ko)
Inventor
훈 강
Original Assignee
주식회사 엠씨넥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠씨넥스 filed Critical 주식회사 엠씨넥스
Priority to KR1020160166817A priority Critical patent/KR101825343B1/en
Application granted granted Critical
Publication of KR101825343B1 publication Critical patent/KR101825343B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to an apparatus and a system for processing a rear view image of a vehicle, capable of reducing distortion in an image synthesis process by correcting the distortion of a central rear view image of the vehicle captured by a rear camera of the vehicle to an image level captured by a side mirror camera and generating a rear view image by stitching the central rear view image of the vehicle whose distortion is corrected between a left rear view image of the vehicle captured by a left side mirror camera of the vehicle and a right rear view image of the vehicle captured by a right side mirror camera.

Description

차량의 후방 뷰 영상 처리 장치 및 시스템{Apparatus and system for processing rear view video of a car}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a rear view image processing apparatus and system for a vehicle,

본 발명은 차량의 후방 뷰 영상 생성 기술에 관련한 것으로, 특히 차량의 후방 뷰 영상 처리 장치 및 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a rear view image generation technique of a vehicle, and more particularly, to a rear view image processing apparatus and system of a vehicle.

대한민국 공개특허 제10-2013-0006906호(2013.01.18)에서 차량의 전후좌우에 장착된 각 카메라의 영상을 합성했을 때, 합성된 영상의 경계라인에 위화감이 드는 현상을 없앨 수 있도록 한 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 기술을 제안하고 있다.Korean Patent Laid-Open No. 10-2013-0006906 (2013.01.18) discloses an surround view for eliminating the phenomenon of discomfort in the boundary line of the synthesized image when the images of the respective cameras mounted on the front, rear, left, and right sides of the vehicle are synthesized We propose a technology to improve the image quality between the cameras of the monitor system.

차량에 장착되는 다수의 카메라 영상들을 합성할 때 합성된 영상의 경계면 뿐만 아니라, 카메라들간의 거리 차이, 높이 차이 및 카메라 기울기에 의해서도 왜곡이 발생하고, 카메라들간의 거리 차이, 높이 차이 및 카메라 기울기에 의한 왜곡을 보정하지 않으면 합성된 영상은 매우 위화감이 들 것이다. When synthesizing a plurality of camera images mounted on a vehicle, not only the boundary of the synthesized image but also the distances between the cameras, the height difference and the camera tilt are distorted, and the distances between the cameras, the height difference and the camera tilt The synthesized image will be very uncomfortable.

대한민국 공개특허 제10-2013-0006906호(2013.01.18)Korean Patent Publication No. 10-2013-0006906 (2013.01.18)

본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있는 차량의 후방 뷰 영상 처리 장치 및 시스템을 제공함을 그 목적으로 한다.The present invention corrects a distortion of a center rear image of a vehicle photographed by a rear camera of a vehicle to a level of an image photographed by a side mirror camera and displays the center rear image of the distorted vehicle by a left side mirror camera And a rear view image is generated by stitching between a left rear image of the vehicle that is captured by the left side mirror camera of the vehicle and a right rear image of the vehicle that is captured by the right side mirror camera of the vehicle, And an object of the present invention is to provide a rear view image processing apparatus and system.

상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 차량의 후방 뷰 영상 처리 장치가 왜곡 보정 파라미터들의 설정값들을 저장하는 메모리와; 상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성하는 제어부를; 포함하여 이루어지는 것을 특징으로 한다.According to an aspect of the present invention for achieving the above object, there is provided a rear view image processing apparatus for a vehicle, comprising: a memory for storing set values of distortion correction parameters; Corrects the distortion of the center rear image of the vehicle photographed by the rear camera of the vehicle to the image level photographed by the side mirror camera with reference to the set values of the distortion correction parameters stored in the memory, And a rear view image is generated by stitching the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle ; And the like.

본 발명의 부가적인 양상에 따르면, 상기 제어부가 상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 독출하는 설정값 독출부와; 상기 설정값 독출부에 의해 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정하는 왜곡 보정부와; 상기 왜곡 보정부에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성하는 후방 뷰 영상 생성부를; 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the control unit includes: a set value reading unit that reads set values of distortion correction parameters stored in the memory; A distortion correcting unit for correcting a distortion of a center rear image of a vehicle photographed by a rear camera of the vehicle by reflecting setting values of distortion correction parameters read out by the setting value reading unit; The center rear image of the vehicle corrected by the distortion correction unit is connected between the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle A rear view image generating unit for generating a rear view image by stitching the rear view image; .

본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정 파라미터가 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 영상 왜곡을 보정하기 위한 거리 왜곡 보정 파라미터를 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the distortion correction parameter includes a distance-distortion correction parameter for correcting image distortion due to a difference in distance between a left side mirror camera of a vehicle and a right side-side mirror camera of a vehicle and a rear- .

본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 거리 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상 및 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 해상도 크기로 리사이징(Resizing) 또는 디와핑(Dewarping) 하여 카메라 거리 차이에 따른 왜곡을 보정하는 것을 특징으로 한다.According to a further aspect of the present invention, the distortion correction section may set the resolution magnitude of the center rear image of the vehicle photographed by the rear camera to the left side of the vehicle photographed by the left side mirror camera of the vehicle And corrects the distortion due to the camera distance difference by resizing or dewapping the rear image and the right rear image resolution size of the vehicle photographed by the right side mirror camera of the vehicle.

본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정 파라미터가 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 영상 왜곡을 보정하기 위한 높이 왜곡 보정 파라미터를 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the distortion correction parameter further includes a height distortion correction parameter for correcting image distortion due to a height difference between a left side mirror camera of the vehicle and a rear side camera of the vehicle, .

본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 높이 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 y축 방향으로 이동(Moving)시켜 카메라 높이 차이에 따른 왜곡을 보정하는 것을 특징으로 한다.According to a further aspect of the present invention, the coordinates of the central rearward image of the vehicle photographed by the rear camera are moved in the y-axis direction according to the height-distortion correction parameter setting value, Thereby correcting the distortion.

본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정 파라미터가 차량의 후방 카메라의 기울기에 의한 영상 왜곡을 보정하기 위한 기울기 왜곡 보정 파라미터를 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the distortion correction parameter further includes a tilt distortion correction parameter for correcting image distortion caused by the tilt of the rear camera of the vehicle.

본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 기울기 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 z축 방향으로 회전(Rotating)시켜 후방 카메라의 기울기에 따른 왜곡을 보정하는 것을 특징으로 한다.According to a further aspect of the present invention, the distortion correcting unit rotates the coordinates of the central rearward image of the vehicle photographed by the rear camera in the z-axis direction according to the tilt distortion correction parameter setting value, And corrects the distortion caused by the distortion.

본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 화질 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절하는 것을 특징으로 한다.According to a further aspect of the present invention, in order to eliminate the heterogeneity due to the image quality difference between the center rear image of the vehicle whose resolution size is resized or de-wiped, the left rear image of the vehicle and the right rear image of the vehicle The image quality of the center rear image of the resized or de-wiped vehicle is adjusted to the image quality level of the left rear image of the vehicle and the right rear image of the vehicle.

본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 명도 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절하는 것을 특징으로 한다.According to a further aspect of the present invention, in order to solve the heterogeneity due to the brightness difference between the center rear image of the vehicle whose resolution is resized or de-wiped, the left rear image of the vehicle and the right rear image of the vehicle The brightness of the center rear image of the vehicle whose resolution size is resized or de-emphasized is adjusted to the brightness level of the left rear image of the vehicle and the right rear image of the vehicle.

본 발명의 또 다른 양상에 따르면, 차량의 후방 뷰 영상 처리 시스템이 차량의 좌측 후방 영상을 촬영하는 좌측 사이드 미러 카메라와; 차량의 우측 후방 영상을 촬영하는 우측 사이드 미러 카메라와; 차량의 중앙 후방 영상을 촬영하는 후방 카메라와; 왜곡 보정 파라미터들의 설정값들을 저장하는 메모리와; 상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성하는 제어부와; 상기 제어부에 의해 생성된 후방 뷰 영상을 화면 표시하는 디스플레이를; 포함하여 이루어지는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a rear view image processing system for a vehicle, comprising: a left side mirror camera for photographing a left rear image of a vehicle; A right side mirror camera for photographing a right rear image of the vehicle; A rear camera for photographing a center rear image of the vehicle; A memory for storing set values of distortion correction parameters; Corrects the distortion of the center rear image of the vehicle photographed by the rear camera of the vehicle to the image level photographed by the side mirror camera with reference to the set values of the distortion correction parameters stored in the memory, And a rear view image is generated by stitching the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle Wow; A display for displaying a rear view image generated by the control unit on a screen; And the like.

본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있는 효과가 있다. The present invention corrects a distortion of a center rear image of a vehicle photographed by a rear camera of a vehicle to a level of an image photographed by a side mirror camera and displays the center rear image of the distorted vehicle by a left side mirror camera A rear view image is generated by stitching between a left rear image of a vehicle that is a vehicle and a right rear image of a vehicle that is photographed by a right side mirror camera of the vehicle, There is an effect that a rear view image without distortion can be provided.

도 1 은 차량의 사이드 미러 카메라와 후방 카메라간의 거리 차이를 예시한 도면이다.
도 2 는 차량의 사이드 미러 카메라와 후방 카메라간의 높이 차이를 예시한 도면이다.
도 3 은 차량의 후방 카메라 기울기를 예시한 도면이다.
도 4 는 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 5 는 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 후방 뷰 영상 처리 과정의 일 예를 도시한 흐름도이다.
도 6 은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 일 실시예의 구성을 도시한 블럭도이다.
도 7 은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 후방 뷰 영상 처리 과정의 일 예를 도시한 흐름도이다.1 is a diagram illustrating a distance difference between a side mirror camera and a rear camera of a vehicle.
2 is a diagram illustrating a height difference between a side mirror camera and a rear camera of a vehicle.
3 is a view illustrating a rear camera tilt of the vehicle.
4 is a block diagram showing a configuration of an embodiment of a rear view image processing apparatus for a vehicle according to the present invention.
5 is a flowchart illustrating an example of a rear view image processing process of the rear view image processing apparatus of the vehicle according to the present invention.
6 is a block diagram showing a configuration of an embodiment of a rear view image processing system of a vehicle according to the present invention.
FIG. 7 is a flowchart illustrating an example of a rear view image processing process of the rear view image processing system of the vehicle according to the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms used throughout the specification of the present invention have been defined in consideration of the functions of the embodiments of the present invention and can be sufficiently modified according to the intentions and customs of the user or operator. It should be based on the contents of.

도 1 은 차량의 사이드 미러 카메라와 후방 카메라간의 거리 차이를 예시한 도면이다. 도 1 에 도시한 바와 같이 차량의 좌/우측 사이드 미러 카메라와 물체의 거리가 S1이고, 차량의 후방 카메라와 물체의 거리가 S2라면, 좌/우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이는 S1-S2가 된다.1 is a diagram illustrating a distance difference between a side mirror camera and a rear camera of a vehicle. As shown in Fig. 1, if the distance between the left and right side mirror cameras of the vehicle and the object is S1 and the distance between the rear camera and the object is S2, the difference in distance between the left and right side mirror cameras and the rear camera of the vehicle S1-S2.

그런데, 차량의 좌/우측 사이드 미러 카메라 보다 차량의 후방 카메라가 물체에 더 가까우므로, 좌/우측 사이드 미러 카메라에 의해 촬영된 물체의 크기보다 후방 카메라에 의해 촬영된 물체의 크기가 더 커보인다.However, since the rear camera of the vehicle is closer to the object than the left / right side mirror camera of the vehicle, the size of the object photographed by the rear camera is larger than the size of the object photographed by the left / right side mirror camera.

이에 따라, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성할 때, 좌/우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 물체 크기 왜곡을 보정하지 않으면 합성된 영상은 이질감이 들게 된다.Accordingly, the central rearward image of the vehicle, which is photographed by the rear camera of the vehicle, is positioned between the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle When the rear view image is generated by stitching, the synthesized image becomes heterogeneous unless the object size distortion due to the difference in distance between the left and right side mirror cameras and the rear camera of the vehicle is corrected.

도 2 는 차량의 사이드 미러 카메라와 후방 카메라간의 높이 차이를 예시한 도면이다. 도 2 에 도시한 바와 같이 차량의 좌/우측 사이드 미러 카메라의 지면에 대한 높이가 H1이고, 차량의 후방 카메라의 지면에 대한 높이가 H2라면, 좌/우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이는 H1-H2가 된다.2 is a diagram illustrating a height difference between a side mirror camera and a rear camera of a vehicle. As shown in Fig. 2, when the height of the left and right side mirror cameras of the vehicle with respect to the ground is H1 and the height of the vehicle with respect to the ground surface of the rear camera is H2, the height between the left / right side mirror camera and the rear camera The difference becomes H1-H2.

그런데, 차량의 좌/우측 사이드 미러 카메라 높이와 차량의 후방 카메라 높이 차이가 있다면, 좌/우측 사이드 미러 카메라에 의해 촬영되는 영상내에서의 물체의 좌표들과, 후방 카메라에 의해 촬영되는 영상내에서의 물체의 좌표들은 y축 방향(세로 방향)으로 차이가 발생한다. However, if there is a difference between the height of the left and right side mirror cameras of the vehicle and the height of the rear camera of the vehicle, the coordinates of the object in the image photographed by the left / right side mirror camera, (Vertical direction) of the object in the y-axis direction.

이에 따라, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성할 때, 좌/우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 물체의 y축 방향(세로 방향) 불일치 왜곡을 보정하지 않으면 합성된 영상은 이질감이 들게 된다.Accordingly, the central rearward image of the vehicle, which is photographed by the rear camera of the vehicle, is positioned between the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle If the mismatch distortion in the y-axis direction (vertical direction) of the object due to the height difference between the left / right side mirror camera and the rear camera of the vehicle is not corrected when the rear view image is generated by stitching, The image becomes heterogeneous.

도 3 은 차량의 후방 카메라 기울기를 예시한 도면이다. 도 3 에 도시한 바와 같이, 후방 카메라를 후방 감시용 및 후방 주차용으로 동시에 사용할 경우, 후방 카메라는 지면 방향으로 특정 기울기를 가지도록 설치된다. 3 is a view illustrating a rear camera tilt of the vehicle. As shown in Fig. 3, when the rear camera is simultaneously used for rearward surveillance and rear parking, the rear camera is installed so as to have a specific inclination in the paper surface direction.

그런데, 지면 방향으로 특정 기울기를 가지도록 설치되는 차량의 후방 카메라에 의해 촬영되는 영상은 지면과 수평한 방향으로 설치되는 좌/우측 사이드 미러 카메라에 의해 촬영되는 영상에 비해 z축 방향(전면 방향)으로 후방 카메라 기울기 만큼 회전된 영상이 된다.However, the image taken by the rear camera of the vehicle, which is installed to have a specific inclination in the direction of the paper surface, is smaller in the z-axis direction (front direction) than the image taken by the left / right side mirror camera, Which is rotated by the backward camera tilt.

이에 따라, 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성할 때, 지면 방향으로 특정 기울기를 가지도록 설치되는 차량의 후방 카메라 기울기에 의한 물체의 z축 방향(전면 방향) 회전 왜곡을 보정하지 않으면 합성된 영상은 이질감이 들게 된다.Accordingly, the center rear image of the vehicle is stitched between the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle, Rear View) When the image is generated, the synthesized image becomes heterogeneous unless the rotational distortion of the object in the z axis direction (front direction) is corrected by the inclination of the rear camera of the vehicle installed to have a specific inclination in the paper surface direction.

도 4 는 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 4 에 도시한 바와 같이, 이 실시예에 따른 차량의 후방 뷰 영상 처리 장치(100)는 메모리(110)와, 제어부(120)를 포함하여 이루어진다.4 is a block diagram showing a configuration of an embodiment of a rear view image processing apparatus for a vehicle according to the present invention. As shown in Fig. 4, the rear view image processing apparatus 100 of the vehicle according to this embodiment includes a memory 110 and a control unit 120. Fig.

상기 메모리(110)는 왜곡 보정 파라미터들의 설정값들을 저장한다. 이 때, 상기 왜곡 보정 파라미터가 거리 왜곡 보정 파라미터, 높이 왜곡 보정 파라미터, 기울기 왜곡 보정 파라미터를 포함할 수 있다.The memory 110 stores settings of distortion correction parameters. At this time, the distortion correction parameter may include a distance distortion correction parameter, a height distortion correction parameter, and a tilt distortion correction parameter.

상기 거리 왜곡 보정 파라미터는 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.The distance distortion correction parameter is a distortion correction parameter for correcting image distortion due to the difference in distance between the left side mirror camera of the vehicle and the right side camera of the vehicle and the rear camera of the vehicle.

상기 높이 왜곡 보정 파라미터는 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.The height distortion correction parameter is a distortion correction parameter for correcting image distortion due to a height difference between the left side mirror camera of the vehicle and the right side camera of the vehicle and the rear camera of the vehicle.

상기 기울기 왜곡 보정 파라미터는 차량의 후방 카메라의 기울기에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.The tilt distortion correction parameter is a distortion correction parameter for correcting image distortion due to a tilt of the rear camera of the vehicle.

이 때, 차량의 후방 카메라가 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라 보다 높은 화소수를 가지거나 또는 큰 화각의 렌즈를 사용한 카메라일 수 있다.At this time, the rear camera of the vehicle may have a higher pixel count than the left side mirror camera of the vehicle and the right side mirror camera of the vehicle, or may be a camera using a lens of a large angle of view.

한편, 왜곡 보정 파라미터들의 설정값들은 왜곡 보정 파라미터 설정을 위한 프로그램을 통해 설정될 수 있다. 예컨대, 차량의 좌측 사이드 미러 카메라, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라의 차량 설치 환경과 동일한 환경으로 차량의 좌측 사이드 미러 카메라, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라를 실험실에 설치하고, 이들에 의해 획득되는 프리뷰 영상들을 왜곡 보정 파라미터 설정을 위한 프로그램을 통해 분석하여 왜곡 보정 파라미터들의 설정값들을 결정하여 실제 차량의 후방 뷰 영상 처리 장치(100)의 메모리(110)에 저장함으로써 왜곡 보정 파라미터들의 설정값들을 설정할 수 있다.On the other hand, the set values of the distortion correction parameters can be set through a program for distortion correction parameter setting. For example, the left side mirror camera of the vehicle, the right side mirror camera of the vehicle, and the rear camera of the vehicle are installed in the laboratory in the same environment as the vehicle installation environment of the left side mirror camera of the vehicle, the right side mirror camera of the vehicle, The preview images obtained by these are analyzed through a program for setting the distortion correction parameters to determine the set values of the distortion correction parameters and stored in the memory 110 of the rearview image processing apparatus 100 of the actual vehicle, The setting values of the correction parameters can be set.

예컨대, PC를 통해 왜곡 보정 파라미터 설정을 위한 프로그램을 실행하여 차량의 좌측 사이드 미러 카메라와 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라 각각의 프리뷰 영상들을 불러와 화면의 서로 다른 영역에 표시하고, 사용자 조작을 통해 차량의 후방 카메라 프리뷰 영상을 리사이징(Resizing) 또는 디와핑(Dewarping), 이동(Moving), 회전(Rotating)시키면, 왜곡 보정 파라미터 설정을 위한 프로그램이 자동으로 왜곡 보정 파라미터들의 설정값들을 변경하여 왜곡 보정 파라미터들의 설정값들을 결정하도록 구현될 수 있다.For example, a program for setting a distortion correction parameter is executed through a PC to display preview images of the left side mirror camera of the vehicle, the right side mirror camera of the vehicle and the rear camera of the vehicle, and display them in different areas of the screen, When the rear camera preview image of the vehicle is resized or dewarped, moved, or rotated through manipulation, the program for distortion correction parameter setting automatically sets the values of the distortion correction parameters To determine the set values of the distortion correction parameters.

상기 제어부(120)는 상기 메모리(110)에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성한다.The control unit 120 refers to the set values of the distortion correction parameters stored in the memory 110 to correct the distortion of the center rear image of the vehicle photographed by the rear camera of the vehicle to the image level captured by the side mirror camera The center rear image of the distorted vehicle is stitched between the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle, (Rear View) image.

예컨대, 상기 제어부(120)가 설정값 독출부(121)와, 왜곡 보정부(122)와, 후방 뷰 영상 생성부(123)를 포함할 수 있다. 이 때, 제어부(120)는 프로세서와 같은 하드웨어일 수 있고, 설정값 독출부(121)와, 왜곡 보정부(122)와, 후방 뷰 영상 생성부(123)는 프로세서에 의해 실행되는 소프트웨어 모듈일 수 있다.For example, the control unit 120 may include a set value reading unit 121, a distortion correction unit 122, and a rear view image generating unit 123. The set value reading unit 121, the distortion correction unit 122, and the rear view image generating unit 123 may be software modules executed by the processor, .

상기 설정값 독출부(121)는 상기 메모리(110)에 저장된 왜곡 보정 파라미터들의 설정값들을 독출한다. 설정값 독출부(121)에 의해 메모리(110)로부터 왜곡 보정 파라미터들의 설정값들이 독출되면, 왜곡 보정부(122)가 왜곡 보정 파라미터들의 설정값들 이용해 왜곡 보정을 수행한다.The set value reading unit 121 reads the set values of the distortion correction parameters stored in the memory 110. [ When the set value readout unit 121 reads the set values of the distortion correction parameters from the memory 110, the distortion correction unit 122 performs distortion correction using the set values of the distortion correction parameters.

상기 왜곡 보정부(122)는 상기 설정값 독출부(121)에 의해 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정한다.The distortion correction unit 122 reflects the set values of the distortion correction parameters read out by the setting value reading unit 121 and corrects the distortion of the center rear image of the vehicle photographed by the rear camera of the vehicle.

예컨대, 상기 왜곡 보정부(122)가 거리 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상 및 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 해상도 크기로 리사이징(Resizing) 또는 디와핑(Dewarping) 하여 카메라 거리 차이에 따른 왜곡을 보정하도록 구현될 수 있다.For example, the distortion correction unit 122 corrects the resolution magnitude of the center rear image of the vehicle photographed by the rear camera to the left rear image of the vehicle photographed by the left side mirror camera of the vehicle, It may be implemented to correct distortion due to camera distance difference by resizing or dewapping to the right rear image resolution size of the vehicle photographed by the right side mirror camera of the vehicle.

예컨대, 상기 왜곡 보정부(122)가 높이 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 y축 방향(세로 방향)으로 이동(Moving)시켜 카메라 높이 차이에 따른 왜곡을 보정하도록 구현될 수 있다.For example, the distortion correction unit 122 moves the coordinates of the center rear image of the vehicle photographed by the rear camera in the y-axis direction (vertical direction) according to the height distortion correction parameter setting value, To compensate for the distortion caused by the distortion.

예컨대, 상기 왜곡 보정부(122)가 기울기 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 z축 방향(전면 방향)으로 회전(Rotating)시켜 후방 카메라의 기울기에 따른 왜곡을 보정하도록 구현될 수 있다.For example, the distortion correction unit 122 rotates the coordinates of the center rear image of the vehicle photographed by the rear camera in the z-axis direction (front direction) according to the tilt distortion correction parameter setting value, As shown in FIG.

상기 후방 뷰 영상 생성부(123)는 상기 왜곡 보정부(122)에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성한다. 상기 후방 뷰 영상 생성부(123)에 의해 생성된 후방 뷰 영상은 차량내의 네비게이션 장치 화면 등과 같은 디스플레이를 통해 화면 표시된다.The rear view image generating unit 123 generates a rearward image of the vehicle corrected by the distortion correcting unit 122 based on the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the left rear image of the vehicle, The back view image is generated by stitching between the right rear image of the vehicle and the back view image. The rear view image generated by the rear view image generation unit 123 is displayed on a display such as a navigation device screen in the vehicle.

이와 같이 구현함에 의해 본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있다.According to the present invention, the distortion of the center rear image of the vehicle captured by the rear camera of the vehicle is corrected to the image level captured by the side mirror camera, and the center rear image of the distortion- A rear view image is generated by stitching between the left rear image of the vehicle photographed by the mirror camera and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle, It is possible to provide a distortion-free rear view image.

한편, 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부(122)가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 화질 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절하도록 구현될 수 있다.On the other hand, according to a further aspect of the present invention, the distortion correction unit 122 corrects the distortion of the image by the difference in image quality between the center rear image of the resized or de-wiped resolution size, the left rear image of the vehicle, The image quality of the center rear image of the resized or de-wiped vehicle can be adjusted to the image quality level of the left rear image of the vehicle and the right rear image of the vehicle so as to eliminate the sense of heterogeneity.

해상도 크기가 리사이징 또는 디와핑 되어 차량의 중앙 후방 영상의 해상도가 변하면, 차량의 중앙 후방 영상의 화질은 변하게 되어, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질과 차이가 나게 되므로, 영상 합성 후 이질감이 발생되는데, 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절함으로써 영상 합성 후 이질감 발생을 방지할 수 있다.When the resolution size is resized or de-wiped and the resolution of the center rear image of the vehicle is changed, the image quality of the central rear image of the vehicle is changed, and the image quality of the left rear image and the right rear image of the vehicle are different from each other. The image quality of the center rear image of the resized or de-wiped image of the resolution size is adjusted to the image quality level of the left rear image of the vehicle and the right rear image of the vehicle, have.

한편, 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부(122)가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 명도 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절하도록 구현될 수 있다.On the other hand, according to a further aspect of the present invention, the distortion correction unit 122 corrects distortion of the vehicle by the difference in brightness between the center rear image of the resized or de-wiped resolution size, the left rear image of the vehicle, The resolution magnitude may be adjusted to adjust the brightness of the center rear image of the resized or de-wiped vehicle to the brightness level of the left rear image of the vehicle and the right rear image of the vehicle.

해상도 크기가 리사이징 또는 디와핑 되어 차량의 중앙 후방 영상의 해상도가 변하면, 차량의 중앙 후방 영상의 명도도 변하게 되어, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도와 차이가 나게 되므로, 영상 합성 후 이질감이 발생되는데, 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절함으로써 영상 합성 후 이질감 발생을 방지할 수 있다.When the resolution of the center rear image of the vehicle is changed due to the resizing or de-pinging of the resolution size, the brightness of the center rear image of the vehicle is also changed and the brightness of the left rear image and the right rear image of the vehicle are different from each other. By adjusting the brightness of the center rear image of the resized or de-wiped image of the resolution size to the brightness level of the left rear image of the vehicle and the right rear image of the vehicle, it is possible to prevent the occurrence of heterogeneity have.

이상에서 설명한 바와 같은 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 후방 뷰 영상 처리 동작을 도 5 를 통해 알아본다. 도 5 는 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 후방 뷰 영상 처리 과정의 일 예를 도시한 흐름도이다.The rear view image processing operation of the rear view image processing apparatus of the vehicle according to the present invention as described above will be described with reference to FIG. 5 is a flowchart illustrating an example of a rear view image processing process of the rear view image processing apparatus of the vehicle according to the present invention.

먼저, 단계 210에서 차량의 후방 뷰 영상 처리 장치가 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과, 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상과, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상을 수신한다.First, in step 210, the rear view image processing apparatus of the vehicle carries out the following processing: the left rear image of the vehicle photographed by the left side mirror camera of the vehicle, the right rear image of the vehicle photographed by the right side mirror camera of the vehicle, And receives the center rear image of the vehicle photographed by the camera.

그 다음, 단계 220에서 차량의 후방 뷰 영상 처리 장치가 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 독출한다. 이 때, 상기 왜곡 보정 파라미터가 거리 왜곡 보정 파라미터, 높이 왜곡 보정 파라미터, 기울기 왜곡 보정 파라미터를 포함할 수 있다.Then, in step 220, the rear view image processing apparatus of the vehicle reads the settings of the distortion correction parameters stored in the memory. At this time, the distortion correction parameter may include a distance distortion correction parameter, a height distortion correction parameter, and a tilt distortion correction parameter.

그 다음, 단계 230에서 차량의 후방 뷰 영상 처리 장치가 메모리로부터 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정한다.Then, in step 230, the rear view image processing apparatus of the vehicle reflects the set values of the distortion correction parameters read out from the memory to correct the distortion of the central rear image of the vehicle photographed by the rear camera of the vehicle.

그 다음, 단계 240에서 차량의 후방 뷰 영상 처리 장치가 상기 단계 230에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성한다.Then, in step 240, the rear view image processing apparatus of the vehicle compares the center rear image of the vehicle, which has been distortion-corrected by the step 230, with the left rear image of the vehicle photographed by the left side mirror camera of the vehicle, The back view image is generated by stitching between the right rear image of the vehicle and the back view image.

이와 같이 구현함에 의해 본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있다.According to the present invention, the distortion of the center rear image of the vehicle captured by the rear camera of the vehicle is corrected to the image level captured by the side mirror camera, and the center rear image of the distortion- A rear view image is generated by stitching between the left rear image of the vehicle photographed by the mirror camera and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle, It is possible to provide a distortion-free rear view image.

도 6 은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 일 실시예의 구성을 도시한 블럭도이다. 도 6 에 도시한 바와 같이, 이 실시예에 따른 차량의 후방 뷰 영상 처리 시스템(300)은 좌측 사이드 미러 카메라(310)와, 우측 사이드 미러 카메라(320)와, 후방 카메라(330)와, 메모리(340)와, 제어부(350)와, 디스플레이(360)를 포함하여 이루어진다.6 is a block diagram showing a configuration of an embodiment of a rear view image processing system of a vehicle according to the present invention. 6, the rear view image processing system 300 of the vehicle according to this embodiment includes a left side mirror camera 310, a right side mirror camera 320, a rear camera 330, A display unit 340, a control unit 350, and a display 360.

상기 좌측 사이드 미러 카메라(310)는 차량의 좌측 사이드 미러 위치에 사이드 미러 대신 설치되어 차량의 좌측 후방 영상을 촬영한다.The left side mirror camera 310 is installed in place of the side mirror at the left side mirror position of the vehicle to photograph the left rear image of the vehicle.

상기 우측 사이드 미러 카메라(320)는 차량의 우측 사이드 미러 위치에 사이드 미러 대신 설치되어 차량의 우측 후방 영상을 촬영한다.The right side mirror camera 320 is installed at the right side mirror position of the vehicle in place of the side mirror to photograph the right rear image of the vehicle.

상기 후방 카메라(330)는 차량의 후방 중앙 부위에 설치되어 차량의 중앙 후방 영상을 촬영한다.The rear camera 330 is installed at a rear central portion of the vehicle to photograph a rear rearward image of the vehicle.

상기 메모리(340)는 왜곡 보정 파라미터들의 설정값들을 저장한다. 이 때, 상기 왜곡 보정 파라미터가 거리 왜곡 보정 파라미터, 높이 왜곡 보정 파라미터, 기울기 왜곡 보정 파라미터를 포함할 수 있다.The memory 340 stores the settings of the distortion correction parameters. At this time, the distortion correction parameter may include a distance distortion correction parameter, a height distortion correction parameter, and a tilt distortion correction parameter.

상기 거리 왜곡 보정 파라미터는 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.The distance distortion correction parameter is a distortion correction parameter for correcting image distortion due to the difference in distance between the left side mirror camera of the vehicle and the right side camera of the vehicle and the rear camera of the vehicle.

상기 높이 왜곡 보정 파라미터는 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.The height distortion correction parameter is a distortion correction parameter for correcting image distortion due to a height difference between the left side mirror camera of the vehicle and the right side camera of the vehicle and the rear camera of the vehicle.

상기 기울기 왜곡 보정 파라미터는 차량의 후방 카메라의 기울기에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.The tilt distortion correction parameter is a distortion correction parameter for correcting image distortion due to a tilt of the rear camera of the vehicle.

이 때, 차량의 후방 카메라(330)가 차량의 좌측 사이드 미러 카메라(310) 및 차량의 우측 사이드 미러 카메라(320) 보다 높은 화소수를 가지거나 또는 큰 화각의 렌즈를 사용한 카메라일 수 있다.At this time, the rear camera 330 of the vehicle may have a higher pixel count than the left side mirror camera 310 of the vehicle and the right side mirror camera 320 of the vehicle, or may be a camera using a lens of a large angle of view.

한편, 왜곡 보정 파라미터들의 설정값들은 왜곡 보정 파라미터 설정을 위한 프로그램을 통해 설정될 수 있다. 예컨대, 차량의 좌측 사이드 미러 카메라, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라의 차량 설치 환경과 동일한 환경으로 차량의 좌측 사이드 미러 카메라, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라를 실험실에 설치하고, 이들에 의해 획득되는 프리뷰 영상들을 왜곡 보정 파라미터 설정을 위한 프로그램을 통해 분석하여 왜곡 보정 파라미터들의 설정값들을 결정하여 실제 차량의 후방 뷰 영상 처리 시스템(300)의 메모리(340)에 저장함으로써 왜곡 보정 파라미터들의 설정값들을 설정할 수 있다.On the other hand, the set values of the distortion correction parameters can be set through a program for distortion correction parameter setting. For example, the left side mirror camera of the vehicle, the right side mirror camera of the vehicle, and the rear camera of the vehicle are installed in the laboratory in the same environment as the vehicle installation environment of the left side mirror camera of the vehicle, the right side mirror camera of the vehicle, And preview images obtained by these are analyzed through a program for distortion correction parameter setting to determine the set values of the distortion correction parameters and stored in the memory 340 of the rearview image processing system 300 of the actual vehicle, The setting values of the correction parameters can be set.

예컨대, PC를 통해 왜곡 보정 파라미터 설정을 위한 프로그램을 실행하여 차량의 좌측 사이드 미러 카메라와 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라 각각의 프리뷰 영상들을 불러와 화면의 서로 다른 영역에 표시하고, 사용자 조작을 통해 차량의 후방 카메라 프리뷰 영상을 리사이징(Resizing) 또는 디와핑(Dewarping), 이동(Moving), 회전(Rotating)시키면, 왜곡 보정 파라미터 설정을 위한 프로그램이 자동으로 왜곡 보정 파라미터들의 설정값들을 변경하여 왜곡 보정 파라미터들의 설정값들을 결정하도록 구현될 수 있다.For example, a program for setting a distortion correction parameter is executed through a PC to display preview images of the left side mirror camera of the vehicle, the right side mirror camera of the vehicle and the rear camera of the vehicle, and display them in different areas of the screen, When the rear camera preview image of the vehicle is resized or dewarped, moved, or rotated through manipulation, the program for distortion correction parameter setting automatically sets the values of the distortion correction parameters To determine the set values of the distortion correction parameters.

상기 제어부(350)는 상기 메모리(340)에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여 차량의 후방 카메라(330)에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라(310)에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라(320)에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성한다.The control unit 350 refers to the set values of the distortion correction parameters stored in the memory 340 to detect distortion of the center rear image of the vehicle photographed by the rear camera 330 of the vehicle, And the center rear image of the vehicle whose distortion has been corrected is corrected by the left rear image of the vehicle photographed by the left side mirror camera 310 of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera 320 of the vehicle Thereby generating a rear view image.

예컨대, 상기 제어부(350)가 설정값 독출부(351)와, 왜곡 보정부(352)와, 후방 뷰 영상 생성부(353)를 포함할 수 있다. 이 때, 제어부(350)는 프로세서와 같은 하드웨어일 수 있고, 설정값 독출부(351)와, 왜곡 보정부(352)와, 후방 뷰 영상 생성부(353)는 프로세서에 의해 실행되는 소프트웨어 모듈일 수 있다.For example, the control unit 350 may include a set value reading unit 351, a distortion correcting unit 352, and a rear view image generating unit 353. [ The set value reading unit 351, the distortion correcting unit 352 and the rear view image generating unit 353 may be software modules executed by the processor .

상기 설정값 독출부(351)는 상기 메모리(340)에 저장된 왜곡 보정 파라미터들의 설정값들을 독출한다. 설정값 독출부(351)에 의해 메모리(340)로부터 왜곡 보정 파라미터들의 설정값들이 독출되면, 왜곡 보정부(352)가 왜곡 보정 파라미터들의 설정값들 이용해 왜곡 보정을 수행한다.The set value readout unit 351 reads the set values of the distortion correction parameters stored in the memory 340. When the set value readout unit 351 reads the set values of the distortion correction parameters from the memory 340, the distortion correction unit 352 performs distortion correction using the set values of the distortion correction parameters.

상기 왜곡 보정부(352)는 상기 설정값 독출부(351)에 의해 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정한다.The distortion correction unit 352 reflects the set values of the distortion correction parameters read by the setting value reading unit 351 to correct the distortion of the center rear image of the vehicle photographed by the rear camera of the vehicle.

예컨대, 상기 왜곡 보정부(352)가 거리 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상 및 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 해상도 크기로 리사이징(Resizing) 또는 디와핑(Dewarping) 하여 카메라 거리 차이에 따른 왜곡을 보정하도록 구현될 수 있다.For example, the distortion correcting unit 352 corrects the resolution magnitude of the center rear image of the vehicle photographed by the rear camera based on the distance distortion correction parameter setting value to the left rear image of the vehicle photographed by the left side mirror camera of the vehicle, It may be implemented to correct distortion due to camera distance difference by resizing or dewapping to the right rear image resolution size of the vehicle photographed by the right side mirror camera of the vehicle.

예컨대, 상기 왜곡 보정부(352)가 높이 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 y축 방향(세로 방향)으로 이동(Moving)시켜 카메라 높이 차이에 따른 왜곡을 보정하도록 구현될 수 있다.For example, the distortion correction unit 352 moves the coordinates of the center rear image of the vehicle photographed by the rear camera in the y-axis direction (vertical direction) according to the height distortion correction parameter setting value, To compensate for the distortion caused by the distortion.

예컨대, 상기 왜곡 보정부(352)가 기울기 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 z축 방향(전면 방향)으로 회전(Rotating)시켜 후방 카메라의 기울기에 따른 왜곡을 보정하도록 구현될 수 있다.For example, the distortion correction unit 352 rotates the coordinates of the center rear image of the vehicle photographed by the rear camera in the z-axis direction (front direction) according to the tilt distortion correction parameter setting value, As shown in FIG.

상기 후방 뷰 영상 생성부(353)는 상기 왜곡 보정부(352)에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성한다. The rear view image generation unit 353 generates a rearward image of the vehicle corrected by the distortion correction unit 352 by using the left rear image of the vehicle photographed by the left side mirror camera of the vehicle, The back view image is generated by stitching between the right rear image of the vehicle and the back view image.

상기 디스플레이(360)는 상기 후방 뷰 영상 생성부(353)에 의해 생성된 후방 뷰 영상을 화면 표시하는 것으로, 예컨대, 상기 디스플레이(360)가 차량내의 네비게이션 장치 화면일 수 있다.The display 360 displays the rear view image generated by the rear view image generator 353. For example, the display 360 may be a navigation device screen in the vehicle.

이와 같이 구현함에 의해 본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있다.According to the present invention, the distortion of the center rear image of the vehicle captured by the rear camera of the vehicle is corrected to the image level captured by the side mirror camera, and the center rear image of the distortion- A rear view image is generated by stitching between the left rear image of the vehicle photographed by the mirror camera and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle, It is possible to provide a distortion-free rear view image.

한편, 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부(352)가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 화질 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절하도록 구현될 수 있다.On the other hand, according to a further aspect of the invention, the distortion correcting section 352 corrects the distortion of the image by the image quality difference between the center rear image of the resized or de-wiped resolution size, the left rear image of the vehicle, The image quality of the center rear image of the resized or de-wiped vehicle can be adjusted to the image quality level of the left rear image of the vehicle and the right rear image of the vehicle so as to eliminate the sense of heterogeneity.

해상도 크기가 리사이징 또는 디와핑 되어 차량의 중앙 후방 영상의 해상도가 변하면, 차량의 중앙 후방 영상의 화질은 변하게 되어, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질과 차이가 나게 되므로, 영상 합성 후 이질감이 발생되는데, 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절함으로써 영상 합성 후 이질감 발생을 방지할 수 있다.When the resolution size is resized or de-wiped and the resolution of the center rear image of the vehicle is changed, the image quality of the central rear image of the vehicle is changed, and the image quality of the left rear image and the right rear image of the vehicle are different from each other. The image quality of the center rear image of the resized or de-wiped image of the resolution size is adjusted to the image quality level of the left rear image of the vehicle and the right rear image of the vehicle, have.

한편, 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부(352)가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 명도 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절하도록 구현될 수 있다.On the other hand, according to a further aspect of the present invention, the distortion correcting section 352 corrects the distortion of the vehicle by the difference in brightness between the center rear image of the resized or de-wiped resolution size and the left rear image of the vehicle and the right rear image of the vehicle The resolution magnitude may be adjusted to adjust the brightness of the center rear image of the resized or de-wiped vehicle to the brightness level of the left rear image of the vehicle and the right rear image of the vehicle.

해상도 크기가 리사이징 또는 디와핑 되어 차량의 중앙 후방 영상의 해상도가 변하면, 차량의 중앙 후방 영상의 명도도 변하게 되어, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도와 차이가 나게 되므로, 영상 합성 후 이질감이 발생되는데, 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절함으로써 영상 합성 후 이질감 발생을 방지할 수 있다.When the resolution of the center rear image of the vehicle is changed due to the resizing or de-pinging of the resolution size, the brightness of the center rear image of the vehicle is also changed and the brightness of the left rear image and the right rear image of the vehicle are different from each other. By adjusting the brightness of the center rear image of the resized or de-wiped image of the resolution size to the brightness level of the left rear image of the vehicle and the right rear image of the vehicle, it is possible to prevent the occurrence of heterogeneity have.

이상에서 설명한 바와 같은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 후방 뷰 영상 처리 동작을 도 7 을 통해 알아본다. 도 7 은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 후방 뷰 영상 처리 과정의 일 예를 도시한 흐름도이다.The rear view image processing operation of the rear view image processing system of the vehicle according to the present invention as described above will be described with reference to FIG. FIG. 7 is a flowchart illustrating an example of a rear view image processing process of the rear view image processing system of the vehicle according to the present invention.

먼저, 단계 410에서 차량의 후방 뷰 영상 처리 시스템의 차량의 좌측 사이드 미러 카메라와, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라에 의해 각각 차량의 좌측 후방 영상과, 차량의 우측 후방 영상과, 차량의 중앙 후방 영상이 촬영된다.First, in step 410, the left rear side image of the vehicle, the right rear side image of the vehicle, and the rear side image of the vehicle, respectively, are detected by the left side mirror camera of the vehicle and the right side mirror camera of the vehicle and the rear camera of the vehicle, The center rear image is photographed.

그 다음, 단계 420에서 차량의 후방 뷰 영상 처리 시스템이 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 독출한다. 이 때, 상기 왜곡 보정 파라미터가 거리 왜곡 보정 파라미터, 높이 왜곡 보정 파라미터, 기울기 왜곡 보정 파라미터를 포함할 수 있다.Then, in step 420, the rear view image processing system of the vehicle reads out the set values of the distortion correction parameters stored in the memory. At this time, the distortion correction parameter may include a distance distortion correction parameter, a height distortion correction parameter, and a tilt distortion correction parameter.

그 다음, 단계 430에서 차량의 후방 뷰 영상 처리 시스템이 메모리로부터 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정한다.Then, in step 430, the rear view image processing system of the vehicle corrects the distortion of the central rear image of the vehicle photographed by the rear camera of the vehicle, reflecting the set values of the distortion correction parameters read out from the memory.

그 다음, 단계 440에서 차량의 후방 뷰 영상 처리 시스템이 상기 단계 430에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성한다.Next, in step 440, the rear view image processing system of the vehicle compares the center rear image of the vehicle, which is distortion-corrected by the step 430, with the left rear image of the vehicle photographed by the left side mirror camera of the vehicle, The back view image is generated by stitching between the right rear image of the vehicle and the back view image.

그 다음, 단계 450에서 차량의 후방 뷰 영상 처리 시스템이 상기 단계 440에 의해 생성된 후방 뷰 영상을 차량 내부의 네비게이션 장치 화면 등의 디스플레이를 통해 화면 표시한다.Then, in step 450, the rear view image processing system of the vehicle displays the rear view image generated by the step 440 on the screen through a display such as a navigation device screen in the vehicle.

이와 같이 구현함에 의해 본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있다.According to the present invention, the distortion of the center rear image of the vehicle captured by the rear camera of the vehicle is corrected to the image level captured by the side mirror camera, and the center rear image of the distortion- A rear view image is generated by stitching between the left rear image of the vehicle photographed by the mirror camera and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle, It is possible to provide a distortion-free rear view image.

본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. .

본 발명은 차량의 후방 뷰 영상 처리 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.INDUSTRIAL APPLICABILITY The present invention is industrially applicable in the field of rear view image processing technology of a vehicle and its application field.

100 : 차량의 후방 뷰 영상 처리 장치
110 : 메모리
120 : 제어부
121 : 설정값 독출부
122 : 왜곡 보정부
123 : 후방 뷰 영상 생성부
300 : 차량의 후방 뷰 영상 처리 시스템
310 : 좌측 사이드 미러 카메라
320 : 우측 사이드 미러 카메라
330 : 후방 카메라
340 : 메모리
350 : 제어부
351 : 설정값 독출부
352 : 왜곡 보정부
353 : 후방 뷰 영상 생성부
360 : 디스플레이100: rearview image processing device of a vehicle
110: Memory
120:
121: Setting value reading section
122: Distortion correction unit
123: rearview image generating unit
300: rear view image processing system of a vehicle
310: Left side mirror camera
320: Right side mirror camera
330: rear camera
340: Memory
350:
351: Setting value reading section
352: Distortion correction unit
353: rear view image generation unit
360: Display

Claims (10)

차량의 좌측 후방 영상을 촬영하는 좌측 사이드 미러 카메라와;
차량의 우측 후방 영상을 촬영하는 우측 사이드 미러 카메라와;
차량의 중앙 후방 영상을 촬영하는 후방 카메라와;
왜곡 보정 파라미터들의 설정값들을 저장하는 메모리와;
상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 리사이징(Resizing) 또는 디와핑(Dewarping)하거나, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들의 이동(Moving) 또는 회전(Rotating)시켜, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성하는 제어부와;
상기 제어부에 의해 생성된 후방 뷰 영상을 화면 표시하는 디스플레이를;
포함하여 이루어지는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.A left side mirror camera for photographing a left rear image of the vehicle;
A right side mirror camera for photographing a right rear image of the vehicle;
A rear camera for photographing a center rear image of the vehicle;
A memory for storing set values of distortion correction parameters;
By resizing or dewapping the resolution size of the central rear image of the vehicle photographed by the rear camera of the vehicle with reference to the set values of the distortion correction parameters stored in the memory, Moving or rotating the coordinates of the center rear image of the vehicle corrects the distortion of the center rear image of the vehicle photographed by the rear camera of the vehicle to the image level captured by the side mirror camera, The center rear image of the vehicle is stitched between the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle, A control unit for generating an image;
A display for displaying a rear view image generated by the control unit on a screen;
And a rear view image processing unit for processing the back view image of the vehicle. 제 1 항에 있어서,
상기 제어부가:
상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 독출하는 설정값 독출부와;
상기 설정값 독출부에 의해 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정하는 왜곡 보정부와;
상기 왜곡 보정부에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성하는 후방 뷰 영상 생성부를;
포함하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.The method according to claim 1,
Wherein the control unit comprises:
A set value reading unit for reading set values of distortion correction parameters stored in the memory;
A distortion correcting unit for correcting a distortion of a center rear image of a vehicle photographed by a rear camera of the vehicle by reflecting setting values of distortion correction parameters read out by the setting value reading unit;
The center rear image of the vehicle corrected by the distortion correction unit is connected between the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right rear image of the vehicle photographed by the right side mirror camera of the vehicle A rear view image generating unit for generating a rear view image by stitching the rear view image;
The rear view image processing system comprising: 제 2 항에 있어서,
상기 왜곡 보정 파라미터가:
차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 영상 왜곡을 보정하기 위한 거리 왜곡 보정 파라미터를 포함하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.3. The method of claim 2,
Wherein the distortion correction parameter is:
And a distance distortion correction parameter for correcting image distortion due to a distance difference between a left side mirror camera of the vehicle and a right side mirror camera of the vehicle and a rear camera of the vehicle. 제 3 항에 있어서,
상기 왜곡 보정부가:
거리 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상 및 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 해상도 크기로 리사이징(Resizing) 또는 디와핑(Dewarping) 하여 카메라 거리 차이에 따른 왜곡을 보정하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.The method of claim 3,
The distortion correcting unit:
According to the distance distortion correction parameter setting value, the resolution magnitude of the center rear image of the vehicle photographed by the rear camera is taken by the left rear image of the vehicle photographed by the left side mirror camera of the vehicle and the right side image of the vehicle And corrects a distortion due to a camera distance difference by resizing or dewapping the right rear image resolution size of the vehicle. 제 4 항에 있어서,
상기 왜곡 보정 파라미터가:
차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 영상 왜곡을 보정하기 위한 높이 왜곡 보정 파라미터를 더 포함하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.5. The method of claim 4,
Wherein the distortion correction parameter is:
Further comprising a height distortion correction parameter for correcting image distortion due to a height difference between a left side mirror camera of a vehicle and a rear side camera of a vehicle and a side mirror camera of a right side of the vehicle. 제 5 항에 있어서,
상기 왜곡 보정부가:
높이 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 y축 방향으로 이동(Moving)시켜 카메라 높이 차이에 따른 왜곡을 보정하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.6. The method of claim 5,
The distortion correcting unit:
The rear view image of the vehicle captured by the rear camera is moved in the y-axis direction according to the height difference correction parameter setting value to correct the distortion corresponding to the camera height difference, Processing system. 제 3 항 내지 제 6 항 중의 어느 한 항에 있어서,
상기 왜곡 보정 파라미터가:
차량의 후방 카메라의 기울기에 의한 영상 왜곡을 보정하기 위한 기울기 왜곡 보정 파라미터를 더 포함하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.The method according to any one of claims 3 to 6,
Wherein the distortion correction parameter is:
Further comprising a tilt distortion correction parameter for correcting image distortion caused by a tilt of the rear camera of the vehicle. 제 7 항에 있어서,
상기 왜곡 보정부가:
기울기 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 z축 방향으로 회전(Rotating)시켜 후방 카메라의 기울기에 따른 왜곡을 보정하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.8. The method of claim 7,
The distortion correcting unit:
Wherein a coordinate of the center rear image of the vehicle photographed by the rear camera is rotated in the z-axis direction according to the tilt distortion correction parameter setting value to correct the distortion of the rear camera due to the inclination of the rear camera Image processing system. 제 8 항에 있어서,
상기 왜곡 보정부가:
해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 화질 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.9. The method of claim 8,
The distortion correcting unit:
In order to resolve the disparity due to the difference in image quality between the center rear image of the resized or de-wiped vehicle of the resolution size, the left rear image of the vehicle, and the right rear image of the vehicle, Wherein the image quality of the image is adjusted to the image quality level of the left rear image of the vehicle and the right rear image of the vehicle. 제 8 항에 있어서,
상기 왜곡 보정부가:
해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 명도 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.9. The method of claim 8,
The distortion correcting unit:
In order to resolve the disparity due to the brightness difference between the center rear image of the resized or de-wiped vehicle of the resolution size, the left rear image of the vehicle, and the right rear image of the vehicle, Wherein the brightness of the image is adjusted to the brightness level of the left rear image of the vehicle and the right rear image of the vehicle.
KR1020160166817A 2016-12-08 2016-12-08 Apparatus and system for processing rear view video of a car KR101825343B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160166817A KR101825343B1 (en) 2016-12-08 2016-12-08 Apparatus and system for processing rear view video of a car

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166817A KR101825343B1 (en) 2016-12-08 2016-12-08 Apparatus and system for processing rear view video of a car

Publications (1)

Publication Number Publication Date
KR101825343B1 true KR101825343B1 (en) 2018-02-05

Family

ID=61224697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166817A KR101825343B1 (en) 2016-12-08 2016-12-08 Apparatus and system for processing rear view video of a car

Country Status (1)

Country Link
KR (1) KR101825343B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022119205A1 (en) * 2020-12-02 2022-06-09 주식회사 텔레칩스 Apparatus and method for rear view camera image processing
KR20220077837A (en) * 2020-12-02 2022-06-09 주식회사 텔레칩스 Apparatus and method for rear camera image processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박민우 외3, "차량의 사각 지대 제거를 위한 측/후방 카메라 영상 정합 시스템", 정보과학회논문지, 2009.8.*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022119205A1 (en) * 2020-12-02 2022-06-09 주식회사 텔레칩스 Apparatus and method for rear view camera image processing
KR20220077837A (en) * 2020-12-02 2022-06-09 주식회사 텔레칩스 Apparatus and method for rear camera image processing
KR102478458B1 (en) 2020-12-02 2022-12-19 주식회사 텔레칩스 Apparatus and method for rear camera image processing

Similar Documents

Publication Publication Date Title
JP4874280B2 (en) Image processing apparatus and method, driving support system, and vehicle
JP5222597B2 (en) Image processing apparatus and method, driving support system, and vehicle
JP6323729B2 (en) Image processing apparatus, imaging system including the same, and calibration method
TWI524306B (en) Image transformation and multi-view output systems and methods
TWI578271B (en) Dynamic image processing method and dynamic image processing system
JP4975592B2 (en) Imaging device
JP6099333B2 (en) Image generation apparatus, image display system, parameter acquisition apparatus, image generation method, and parameter acquisition method
JP2011182236A (en) Camera calibration apparatus
KR20130112574A (en) Apparatus and method for improving quality of enlarged image
KR20160013337A (en) Apparatus and method for correcting image distortion of wide angle camera for vehicle
US20040201768A1 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
JP2010183265A (en) Image display device and method for calculating camera-mounting angle of the same
JP2006277738A (en) On-vehicle image processor and image processing method for vehicle
JP5178454B2 (en) Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method
WO2019026746A1 (en) Image processing device and method, imaging device,, and program
JP2010188765A (en) Device and method for determining photometric region
KR101825343B1 (en) Apparatus and system for processing rear view video of a car
JP4853434B2 (en) Image processing device
JP2007158639A (en) Car driving support apparatus
WO2019182101A1 (en) Multi-eye camera system, multi-eye photographing camera head, image processing device, multi-eye photographing program and multi-eye photographing method
JP2009123131A (en) Imaging apparatus
US20210027439A1 (en) Orientation adjustment of objects in images
JP4977556B2 (en) Semiconductor integrated circuit device and drawing processing display system
US11119396B1 (en) Camera system with a plurality of image sensors
JPWO2011158344A1 (en) Image processing method, program, image processing apparatus, and imaging apparatus

Legal Events

Date Code Title Description
GRNT Written decision to grant