KR101406073B1 - Method and apparatus for generating around view image - Google Patents

Method and apparatus for generating around view image Download PDF

Info

Publication number
KR101406073B1
KR101406073B1 KR1020130025971A KR20130025971A KR101406073B1 KR 101406073 B1 KR101406073 B1 KR 101406073B1 KR 1020130025971 A KR1020130025971 A KR 1020130025971A KR 20130025971 A KR20130025971 A KR 20130025971A KR 101406073 B1 KR101406073 B1 KR 101406073B1
Authority
KR
South Korea
Prior art keywords
control signal
camera
image
generating
color
Prior art date
Application number
KR1020130025971A
Other languages
Korean (ko)
Inventor
금병직
오형석
허윤강
이종윤
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020130025971A priority Critical patent/KR101406073B1/en
Application granted granted Critical
Publication of KR101406073B1 publication Critical patent/KR101406073B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Abstract

The present invention relates to a method and an apparatus for producing an around view image by synthesizing peripheral images photographed through a camera. The method includes the steps of receiving exposure control signals and color control signals for peripheral images from a camera; generating an integrated control signal using the exposure control signals and the color control signals through a predetermined algorithm; transmitting the integrated control signal to the camera; receiving peripheral images photographed by the camera; and producing an around view image by synthesizing the received peripheral images. According to the present invention, a controlled image can be synthesized by reapplying an integrated signal to cameras which may be present in difference environments, thereby making it possible to reduce differences of the photographed images and providing a natural around view image for the driver.

Description

어라운드 뷰 영상을 생성하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING AROUND VIEW IMAGE}METHOD AND APPARATUS FOR GENERATING AROUND VIEW IMAGE [0002]

본 발명은 어라운드 뷰 영상을 생성하는 방법 및 장치에 관한 것이다.
The present invention relates to a method and apparatus for generating an overview image.

어라운드 뷰 시스템은 차량 주변에 4개 이상의 카메라를 설치하여 운전자가 운전석에 앉아서 차량 주변의 360도를 훤히 내다볼 수 있도록 도와주는 주차보조시스템이다. 이를 위해 4개의 카메라는 차량 전후좌우에 각각 설치되어 서로 다른 시야를 촬영한다. 이때 각각의 카메라가 속하는 조명 환경이 서로 다를 수 있고 카메라 설치 위치 및 각도가 다를 수 있어 각각의 카메라로부터 취득한 영상은 노출, 색상이 등이 다를 수 있다.The AroundView system is a parking assist system that allows the driver to sit in the driver's seat and see 360 degrees around the vehicle by installing four or more cameras around the vehicle. For this purpose, four cameras are mounted on the front, rear, left and right sides of the vehicle, respectively, to capture different views. In this case, the lighting environment to which each camera belongs may be different from each other, and the installation position and angle of the camera may be different, so that the image obtained from each camera may have different exposure, color, and the like.

이러한 문제를 극복하기 위해 어라운드 뷰 시스템을 구성할 때 일반적으로 후처리 단계가 추가된다. 후처리 단계에서는 각각의 카메라 영상을 흑백과 색상성분으로 나누어 단순히 평균을 취하는 등의 방식으로 영상을 보정한다.To overcome this problem, a post-processing step is usually added when configuring the surround view system. In the post-processing step, the image is corrected in such a manner that each camera image is divided into black and white and color components and simply averaged.

종래의 이런 단순한 방법을 사용하면 다음과 같은 문제점이 발생할 수 있다. Using such a simple method of the prior art may cause the following problems.

이미 디지털화된 영상의 밝기를 강제로 높일 수 있어 잡음에 취약해질 수 있고, 색상 정보를 평균하기 위해 각 카메라의 평균치를 구할 때 화면에 들어온 물체에 따라 추정 오차가 크게 발생할 수 있다. The brightness of the already digitized image can be forcibly increased, and it may be vulnerable to noise. When the average value of each camera is obtained in order to average color information, the estimation error may be large depending on the object entering the screen.

특히, 도2와 같이 아주 밝은 야외에서 강한 그림자가 함께 있고 한쪽 카메라가 어두운 그림자 환경에 들어가 있을 때에는 같은 그림자인데 한쪽 면에서는 아주 어둡고 다른 면에서는 아주 밝아 마치 합성 면에서 제3의 물체가 있는 것처럼 영상의 이질감이 발생한다. 이러한 환경에서 기존의 후처리 방법으로 각 영상의 밝기를 구하면 차이가 거의 없으므로 이를 극복하지 못한다. Particularly, as shown in FIG. 2, when a strong shadow is present in a very bright outdoor and one camera enters a dark shadow environment, it is the same shadow, which is very dark on one side and very bright on the other side. A sense of heterogeneity occurs. In this environment, the brightness of each image can not be found by the conventional post-processing method.

이렇게 기존 후처리 방법은 차량에 설치된 각 카메라의 촬영 영상이 다른 환경을 가지는 경우 후처리 단계를 거치더라도 이전과 차이가 거의 없어 차량 내부에서 보는 운전자가 바라볼 때 영상의 자연스러움을 느끼지 못하고 위화감이 드는 단점이 존재한다.
In the conventional post-processing method, if the captured images of the respective cameras installed in the vehicle have different environments, even if the post-processing step is performed, there is no difference from the previous one, so that when the driver watching inside the vehicle does not feel the naturalness of the image, There are disadvantages.

본 발명은 각각 다른 환경에 있을 수 있는 카메라에 통합신호를 재적용하여 제어된 영상을 합성함으로써, 각 촬영 영상 간의 이질감이 개선되어 운전자에게 자연스러운 어라운드 뷰 영상을 제공할 수 있는 어라운드 뷰 영상을 생성하는 방법 및 장치를 제공하는 것을 목적으로 한다.The present invention generates an averaged view image capable of providing a natural surrounding view image to a driver by improving the sense of heterogeneity between the captured images by reusing the integrated signals to the cameras that may be in different environments and synthesizing the controlled images A method and an apparatus are provided.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명으로 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description and more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.

이와 같은 목적을 달성하기 위한 본 발명은 카메라를 통해 촬영된 주변 영상을 합성하여 어라운드 뷰 영상을 생성하는 방법에 있어서, 상기 카메라로부터 상기 주변 영상에 대한 노출 제어신호 및 색상 제어신호를 입력받는 단계, 소정의 알고리즘을 통해 상기 노출 제어신호 및 상기 색상 제어신호를 이용하여 통합 제어신호를 생성하는 단계, 상기 통합 제어신호를 상기 카메라에 전송하는 단계, 상기 카메라로부터 촬영된 주변 영상을 입력받는 단계 및 입력받은 주변 영상을 합성하여 어라운드 뷰 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of generating an ambient view image by synthesizing peripheral images captured through a camera, the method comprising: receiving an exposure control signal and a color control signal for the peripheral image from the camera; Generating an integrated control signal using the exposure control signal and the color control signal through a predetermined algorithm, transmitting the integrated control signal to the camera, receiving a peripheral image photographed from the camera, And synthesizing the received peripheral images to generate an overview view image.

또한, 본 발명은 카메라를 통해 촬영된 주변 영상을 합성하여 어라운드 뷰 영상을 생성하는 장치에 있어서, 상기 카메라로부터 상기 주변 영상에 대한 노출 제어신호 및 색상 제어신호를 입력받고, 상기 카메라로부터 촬영된 주변 영상을 입력받는 입력부, 소정의 알고리즘을 통해 상기 노출 제어신호 및 상기 색상 제어신호를 이용하여 통합 제어신호를 생성하고, 상기 통합 제어신호를 상기 카메라에 전송하는 통합 제어부, 입력받은 주변 영상을 합성하여 어라운드 뷰 영상을 생성하는 합성부를 포함하는 것을 특징으로 한다.
According to another aspect of the present invention, there is provided an apparatus for generating an ambient view image by synthesizing peripheral images captured through a camera, the apparatus comprising: an input unit for receiving an exposure control signal and a color control signal for the peripheral image from the camera, An integrated controller for generating an integrated control signal using the exposure control signal and the hue control signal through a predetermined algorithm and transmitting the integrated control signal to the camera through a predetermined algorithm, And a synthesizing unit for generating an surround view image.

전술한 바와 같은 본 발명에 의하면, 각각 다른 환경에 있을 수 있는 카메라에 통합신호를 재적용하여 제어된 영상을 합성함으로써, 각 촬영 영상 간의 이질감이 개선되어 운전자에게 자연스러운 어라운드 뷰 영상을 제공할 수 있는 장점이 있다.
According to the present invention as described above, it is possible to provide a natural surround view image to the driver by improving the sense of heterogeneity between the respective shot images by reusing the integrated signals to the cameras, which may be in different environments, There are advantages.

도 1은 종래의 어라운드 뷰 영상 합성 방법의 흐름도.
도 2는 본 발명의 실시예에 따른 어라운드 뷰 영상 화면.
도 3은 본 발명에 연결되는 카메라의 실시예를 도시한 구성도.
도 4는 본 발명의 실시예에 따른 어라운드 뷰 영상 생성 장치의 구성도.
도 5는 본 발명의 실시예에 따른 어라운드 뷰 영상 생성 방법을 설명하기 위한 순서도.FIG. 1 is a flowchart of a conventional method for synthesizing an overview image. FIG.
FIG. 2 is a perspective view image screen according to an embodiment of the present invention; FIG.
3 is a block diagram showing an embodiment of a camera connected to the present invention;
FIG. 4 is a block diagram of an apparatus for generating an overview image according to an embodiment of the present invention; FIG.
5 is a flowchart illustrating a method of generating an overview image according to an exemplary embodiment of the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above and other objects, features, and advantages of the present invention will become more apparent by describing in detail exemplary embodiments thereof with reference to the attached drawings, which are not intended to limit the scope of the present invention. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to denote the same or similar elements.

최근 차량의 고급화 및 다기능화에 따라 주행 중 안전을 도모하고 편리한 주차를 위하여 어라운드 뷰 시스템이 장착된다.In recent years, as the car is becoming more sophisticated and multifunctional, the surround view system is installed for safety while driving and convenient parking.

도 1은 종래의 어라운드 뷰 영상 합성 방법의 흐름도를 나타낸다. 종래의 어라운드 뷰 합성 방법은 도 1과 같이 카메라에 장착된 렌즈의 왜곡을 보정하는 단계(104), 카메라의 시점을 변환하는 단계(106), 각 영상을 합성하는 단계(108), 합성된 영상을 후처리하는 단계(110)를 거치는 것이 일반적이다. 보다 상세하게는, 각각의 카메라로부터 취득한 영상의 노출, 색상이 다르기 때문에 이를 보정하기 위한 후처리 단계가 추가된다. 이때 각각의 카메라 영상을 흑백과 색상 성분으로 나누어 단순히 평균을 취하는 등의 방식으로 영상을 보정한다. Fig. 1 shows a flowchart of a conventional method for synthesizing an overview image. The conventional method for synthesizing the surround view includes a step 104 of correcting the distortion of the lens mounted on the camera, a step 106 of transforming the viewpoint of the camera, a step of synthesizing each image 108, (Step 110). ≪ / RTI > More specifically, since the exposure and color of the image acquired from each camera are different, a post-processing step for correcting it is added. At this time, the image is corrected in such a manner that each camera image is divided into black and white and color components and simply averaged.

도 2는 본 발명의 실시예에 따른 어라운드 뷰 영상 화면이다. 문제는 도 2와 같이 차량 일부분은 밝은 조명 아래에 있고, 나머지 일부는 그림자에 가려져 있을 때 발생한다. 도 2는 위와 같은 환경 아래에서의 어라운드 뷰 영상(202)을 나타낸 것이다. 도 2를 참조하면, 차량의 전면 영상(208)과 좌측면 영상(204)의 일부, 후면 영상(210)의 일부는 밝은 조명하에 노출되어 있고, 우측면 영상(206)과 전면 영상(208)의 일부, 후면 영상(210)의 일부는 그림자에 가려져 있다. 다시 말하면, 어라운드 뷰 영상은 우측면 영상(206)과 전면부 영상(208)의 일부, 후면 영상(210)의 일부가 같은 그림자 아래에 있음에도 우측면 영상(206)의 화면은 아주 어둡게, 전면 영상(208)의 일부와 후면 영상(210) 일부의 그림자는 보다 밝게 나타난다. 따라서 합성 면에서는 마치 제3의 물체가 있는 것처럼 영상의 이질감이 발생한다. 이러한 환경에서 기존의 후처리 방법으로 각 영상의 밝기를 구하면 차이가 거의 없으므로 이를 극복하지 못한다. FIG. 2 is an overview view image screen according to an embodiment of the present invention. The problem arises when part of the vehicle is under bright light and part of the vehicle is covered by shadows, as shown in Fig. 2 shows the surrounding view image 202 under the above environment. 2, a part of the front image 208 and the left side image 204 of the vehicle, and a part of the rear image 210 are exposed under bright illumination, and the right side image 206 and the front image 208 In part, a portion of the back image 210 is shaded. In other words, although the right side image 206 and a part of the front side image 208 and a part of the rear side image 210 are under the same shadow, the screen of the right side image 206 is very dark, And the shadow of a part of the rear image 210 appear brighter. Therefore, in the composite surface, there is a feeling of heterogeneity in the image as if there is a third object. In this environment, the brightness of each image can not be found by the conventional post-processing method.

본 발명은 이와 같은 문제점을 해결하기 위한 것으로, 각각 다른 환경에 있을 수 있는 카메라에 통합 제어신호를 재적용하여 제어된 주변 영상을 합성함으로써, 각 촬영 영상 간의 이질감이 개선되어 운전자에게 자연스러운 어라운드 뷰 영상을 제공할 수 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a method and an apparatus for controlling a camera in which an integrated control signal is re- Can be provided.

도 3은 본 발명에 연결되는 카메라의 실시예를 구성도로 나타낸 것이고, 도 4는 본 발명의 실시예에 따른 어라운드 뷰 영상 생성 장치의 구성도이다. FIG. 3 is a block diagram of an embodiment of a camera connected to the present invention, and FIG. 4 is a block diagram of an apparatus for generating an overview image according to an embodiment of the present invention.

한편, 도 4의 각 카메라(404a, 404b, 404c, 404d)는 도 3의 카메라(302)와 같은 구성을 가질 수 있다.Each camera 404a, 404b, 404c, and 404d in FIG. 4 may have the same configuration as the camera 302 in FIG.

도 3을 참조하면, 카메라(302)는 렌즈(316), 센서(314), 노출 조절부(308), 색상 조절부(310), 노출 제어신호 생성부(304), 색상 제어신호 생성부(306), 송수신부(312)를 포함한다. 또한 도 4에 도시한 바와 같이 어라운드 뷰 영상 생성 장치(402)는 입력부(406), 통합제어부(408), 합성부(410), 송신부(412)를 포함한다.3, the camera 302 includes a lens 316, a sensor 314, an exposure control unit 308, a color control unit 310, an exposure control signal generation unit 304, a color control signal generation unit 306, and a transmission / reception unit 312. 4, the surround view image generating apparatus 402 includes an input unit 406, an integrated control unit 408, a combining unit 410, and a transmitting unit 412.

도 3에서, 카메라(302)의 렌즈(316)와 센서(314)로부터 주변 영상이 입력되면 노출 제어신호 생성부(304)는 노출 제어신호를 생성하고, 색상 제어신호 생성부(306)는 색상 제어신호를 생성한다. 3, when a peripheral image is input from the lens 316 and the sensor 314 of the camera 302, the exposure control signal generation unit 304 generates an exposure control signal, and the color control signal generation unit 306 generates color And generates a control signal.

카메라(302)의 송수신부(312)는 생성된 노출 제어신호와 색상 제어신호를 어라운드 뷰 영상 생성 장치(402)로 송신하고, 통합 제어신호를 수신한다.The transmission / reception unit 312 of the camera 302 transmits the generated exposure control signal and color control signal to the surround-view image generation apparatus 402 and receives the integrated control signal.

카메라(302)의 노출 조절부(308)는 어라운드 뷰 영상 생성 장치(402)로부터 수신한 통합 제어신호의 제어를 받아 노출을 조절하고, 카메라(302)의 색상 조절부(310)는 어라운드 뷰 영상을 생성하는 장치(402)로부터 수신한 통합 제어신호의 제어를 받아 색상을 조절한다.The exposure control unit 308 of the camera 302 controls the exposure by controlling the integrated control signal received from the surround view image generating apparatus 402 and the color adjusting unit 310 of the camera 302 controls the exposure of the surround view image And controls the color by receiving control of the integrated control signal received from the device 402 for generating the color signal.

입력부(406)는 다수개의 카메라(404a, 404b, 404c, 404d)로부터 주변 영상을 입력받는 기능을 수행하고, 카메라(404a, 404b, 404c, 404d)로부터 주변 영상에 대한 노출 제어신호 및 색상 제어신호를 입력받는 기능을 수행한다.The input unit 406 receives a peripheral image from a plurality of cameras 404a, 404b, 404c and 404d and receives an exposure control signal and a color control signal for peripheral images from the cameras 404a, 404b, 404c and 404d, As shown in FIG.

통합 제어부(408)는 입력부(406)로부터 전송된 노출 제어신호 및 색상 제어신호를 이용하여 소정의 알고리즘을 통합 제어신호를 생성하는 기능을 수행한다. The integrated control unit 408 performs a function of generating an integrated control signal using a predetermined algorithm using the exposure control signal and the color control signal transmitted from the input unit 406. [

여기서 통합 제어신호는 노출, 색상의 조절을 위한 조리개의 수치, 셔터 속도, 아날로그 게인, 디지털 게인, HDR(high dynamic range) 설정, 색상 게인, 노이즈 필터 설정 중 적어도 하나를 포함할 수 있다. 또한, 통합 제어신호는 카메라를 제어하기 위한 다른 카메라의 설정 값을 더 포함할 수 있다. The integrated control signal may include at least one of exposure, a numerical aperture value for adjusting the color, a shutter speed, an analog gain, a digital gain, a high dynamic range (HDR) setting, a color gain, and a noise filter setting. Further, the integrated control signal may further include setting values of other cameras for controlling the camera.

한편, 통합 제어부(408)가 이용하는 소정의 알고리즘은 노출 제어 알고리즘, 색상 제어 알고리즘, HDR 제어 알고리즘을 포함할 수 있으며, 그 밖에 다른 영상 제어 알고리즘도 포함할 수 있다.Meanwhile, the predetermined algorithm used by the integrated control unit 408 may include an exposure control algorithm, a color control algorithm, an HDR control algorithm, and other image control algorithms.

예를 들어, 노출 제어 알고리즘을 사용할 경우, 통합 제어부(408)는 노출 제어신호 중 가장 낮은 값을 선택하여 모든 카메라(404a, 404b, 404c, 404d)에 적용하거나 노출 제어신호 중 가장 높은 값과 가장 낮은 값을 제외한 나머지 값들의 평균치를 선택하여 모든 카메라(404a, 404b, 404c, 404d)에 적용시키는 통합 제어신호를 생성할 수 있다.  For example, when using the exposure control algorithm, the integrated control unit 408 selects the lowest value among the exposure control signals and applies it to all the cameras 404a, 404b, 404c, and 404d, An average value of the remaining values except the low value may be selected to generate an integrated control signal to be applied to all the cameras 404a, 404b, 404c, and 404d.

송신부(412)는 통합 제어부(408)에서 생성된 통합 제어신호를 각 카메라(404a, 404b, 404c, 404d)로 전송하는 기능을 수행한다.The transmission unit 412 transmits the integrated control signal generated by the integrated control unit 408 to each of the cameras 404a, 404b, 404c, and 404d.

합성부(410)는 입력된 주변 영상화면을 합성하여 어라운드 뷰 영상을 생성하는 기능을 수행한다.The synthesizer 410 synthesizes the input peripheral image and generates an overview image.

이하에서는 도 3, 4에 나타난 실시예를 통해 본 발명의 어라운드 뷰 영상 생성 장치(402)의 구성 및 동작을 설명한다. 이 실시예 에서는 차량의 전후좌우에 설치된 4개의 카메라(404a, 404b, 404c, 404d)가 연결된다. 그러나 본 발명이 이에 한정되는 것은 아니며, 카메라의 개수 및 종류가 다른 경우에도 본 발명은 적용할 수 있다.Hereinafter, the configuration and operation of the surround view image generating apparatus 402 of the present invention will be described with reference to FIGS. 3 and 4. FIG. In this embodiment, four cameras 404a, 404b, 404c, and 404d installed on the front, rear, left, and right sides of the vehicle are connected. However, the present invention is not limited thereto, and the present invention can be applied even when the number and types of cameras are different.

도 3, 도 4를 참조하면, 먼저 카메라(302)로부터 주변 영상이 입력되면, 노출 제어신호 생성부(304)와 색상 제어신호 생성부(306)는 노출 제어신호 및 색상 제어신호를 생성한다. 이는 카메라의 송수신부(312)를 통하여 어라운드 뷰 영상 생성 장치(402)의 입력부(406)로 입력된다. 노출 제어신호 및 색상 제어신호가 입력되면 알고리즘을 통하여 통합 제어신호로 생성하며, 생성된 통합 제어신호에는 카메라의 제어를 위한 노출과 색상의 조절을 위한 조리개의 수치, 셔터 속도, 아날로그게인, 디지털게인, HDR(high dynamic range)설정, 색상게인, 노이즈 필터설정 중 적어도 하나 이상이 포함된다. 통합 제어신호가 어라운드 뷰 영상 생성 장치(402)에 연결된 각 카메라(404a, 404b, 404c, 404d)로 전송되면, 노출 조절부(308), 색상 조절부(310)에서 설정 값을 변경하고, 변경된 설정 값으로 촬영된 주변 영상이 입력부(406)로 입력된다. 입력된 주변 영상은 합성부(410)에 의하여 어라운드 뷰 영상으로 생성된다. 생성된 영상은 어라운드 뷰 장치(402)에 연결된 디스플레이 장치(414)를 통하여 출력될 수 있다.3 and 4, when a peripheral image is input from the camera 302, the exposure control signal generator 304 and the hue control signal generator 306 generate an exposure control signal and a hue control signal. Which is input to the input unit 406 of the far view image generation apparatus 402 through the transmission / reception unit 312 of the camera. When the exposure control signal and the color control signal are input, the integrated control signal is generated as an integrated control signal through an algorithm. The generated integrated control signal includes the aperture value for controlling the camera and the aperture, the shutter speed, the analog gain, , A high dynamic range (HDR) setting, a color gain, and a noise filter setting. When the integrated control signal is transmitted to each camera 404a, 404b, 404c, 404d connected to the surround view image generating device 402, the exposure adjusting unit 308 and the color adjusting unit 310 change the setting value, The peripheral image photographed with the set value is input to the input unit 406. [ The input peripheral image is generated by the synthesizer 410 as an ambient view image. The generated image may be output through a display device 414 connected to the surround view device 402.

예컨대 통합 제어부(408)에서 노출 제어를 수행하는 실시예를 설명하면 다음과 같다. 도 2, 도 3 및 도 4를 참조하면, 주변 영상과 노출 제어신호 및 색상 제어신호가 입력되면 통합 제어부(408)는 노출제어 알고리즘을 통하여 좌측면 영상(204)의 카메라로부터 수신한 노출 제어신호와 우측면 영상(206)의 카메라로부터 수신한 노출 제어신호를 제외한 전면부 영상(208), 후면부 영상(210)의 노출 제어신호의 평균값을 통합 제어신호로 생성한다. 이러한 통합 제어신호로 우측면 영상(206)의 카메라는 조리개를 열어 더 밝은 영상을 촬영하고, 좌측면 영상(204)의 카메라는 조리개를 조여 더 어둡게 촬영한다. 그 결과, 각 영상이 합성된 어라운드 뷰 영상의 이질감이 개선된다. For example, an embodiment of performing the exposure control in the integrated controller 408 will be described as follows. 2, 3, and 4, when the peripheral image, the exposure control signal, and the color control signal are input, the integrated controller 408 controls the exposure control signal received from the camera of the left side image 204 through the exposure control algorithm, The average value of the exposure control signals of the front side image 208 and the rear side image 210 except for the exposure control signal received from the camera of the right side image 206 is generated as an integrated control signal. With this integrated control signal, the camera of the right side image 206 opens the iris to capture a brighter image, and the camera of the left side image 204 captures a darker image by tightening the diaphragm. As a result, the sense of heterogeneity of the surround view image in which the respective images are combined is improved.

도 5는 본 발명의 실시예에 따른 어라운드 뷰 영상 생성 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating a method of generating an overview image according to an embodiment of the present invention.

먼저 카메라로부터 노출 제어신호 및 색상 제어신호가 입력된다(502). 입력된 노출 제어신호 및 색상 제어신호를 제어 알고리즘에 따라 통합 제어신호로 변환한다(504). 여기서 알고리즘은 노출제어 알고리즘, 색상제어 알고리즘, HDR제어 알고리즘, 기타제어 알고리즘 중 적어도 하나를 포함할 수 있다. 또한, 통합 제어신호는 노출과 색상 조절을 위한 조리개 수치, 셔터 속도, 아날로그 게인, 디지털 게인, HDR(high dynamic range) 설정, 색상 게인, 노이즈 필터 설정 값 중 적어도 하나를 포함할 수 있다. First, an exposure control signal and a color control signal are inputted from a camera (502). The input exposure control signal and color control signal are converted into an integrated control signal according to a control algorithm (504). Wherein the algorithm may include at least one of an exposure control algorithm, a color control algorithm, an HDR control algorithm, and other control algorithms. In addition, the integrated control signal may include at least one of an aperture value for exposure and color adjustment, a shutter speed, an analog gain, a digital gain, a high dynamic range (HDR) setting, a color gain, and a noise filter setting value.

그다음, 통합 제어신호로 제어된 영상을 입력받는다(506). 단계 504에서 생성된 통합 제어신호는 카메라의 노출 조절부 및 색상 조절부로 입력된다. 따라서 통합 제어신호가 입력된 이후 카메라로부터 수신되는 영상은 통합 제어신호에 의해 설정된 값으로 촬영된 영상이 될 것이다. Then, an image controlled by the integrated control signal is input (506). The integrated control signal generated in step 504 is input to the exposure control unit and the color control unit of the camera. Therefore, the image received from the camera after the integrated control signal is input will be the image captured at the value set by the integrated control signal.

그다음, 입력받은 주변 영상을 합성하여 어라운드 뷰 영상을 생성한다(508). 도 5에는 나타나 있지 않으나 단계 502 내지 508의 과정은 실시간(real-time)으로 이루어질 수 있고 반복될 수 있다.Then, the input peripheral image is synthesized to generate the surround view image (508). Although not shown in FIG. 5, the processes of steps 502 to 508 may be performed in real-time and may be repeated.

전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, But the present invention is not limited thereto.

Claims (10)

카메라를 통해 촬영된 주변 영상을 합성하여 어라운드 뷰 영상을 생성하는 방법에 있어서,
상기 카메라로부터 상기 주변 영상에 대한 노출 제어신호 및 색상 제어신호를 입력받는 단계;
소정의 알고리즘을 통해 상기 노출 제어신호 및 상기 색상 제어신호를 이용하여 통합 제어신호를 생성하는 단계;
상기 통합 제어신호를 상기 카메라에 전송하는 단계;
상기 카메라로부터 촬영된 주변 영상을 입력받는 단계; 및
상기 통합 제어신호에 의해 설정된 값으로 촬영된 주변 영상을 합성하여 어라운드 뷰 영상을 생성하는 단계를
포함하는 어라운드 뷰 영상 생성 방법.
A method for generating an overview image by combining peripheral images captured through a camera, the method comprising:
Receiving an exposure control signal and a color control signal for the peripheral image from the camera;
Generating an integrated control signal using the exposure control signal and the color control signal through a predetermined algorithm;
Transmitting the integrated control signal to the camera;
Receiving a peripheral image photographed by the camera; And
Synthesizing the peripheral images photographed at the values set by the integrated control signal to generate the surround view image
A method of generating an overview image comprising:
제1항에 있어서,
상기 소정의 알고리즘은 노출제어 알고리즘, 색상제어 알고리즘, HDR제어 알고리즘, 기타제어 알고리즘 중 적어도 하나를 포함하는
어라운드 뷰 영상 생성 방법.The method according to claim 1,
The predetermined algorithm includes at least one of an exposure control algorithm, a color control algorithm, an HDR control algorithm, and other control algorithms
A method of generating an overview image. 제1항에 있어서,
상기 통합 제어신호는 노출과 색상 조절을 위한 조리개 수치, 셔터 속도, 아날로그 게인, 디지털 게인, HDR(high dynamic range) 설정, 색상 게인, 노이즈 필터 설정 중 적어도 하나를 포함하는
어라운드 뷰 영상 생성 방법.
The method according to claim 1,
The integrated control signal includes at least one of an aperture value for exposure and color adjustment, a shutter speed, an analog gain, a digital gain, a high dynamic range (HDR) setting, a color gain,
A method of generating an overview image.
제2항에 있어서,
상기 노출제어 알고리즘은 카메라에서 받은 상기 노출 제어신호 중 가장 낮은 값을 선택하는 것인
어라운드 뷰 영상 생성 방법.
3. The method of claim 2,
Wherein the exposure control algorithm selects the lowest value of the exposure control signals received from the camera
A method of generating an overview image.
제2항에 있어서,
상기 노출제어 알고리즘은 카메라에서 받은 상기 노출 제어신호 중 가장 높은 값과 가장 낮은 값을 제외한 나머지 값들의 평균치를 선택하는 것인
어라운드 뷰 영상 생성 방법.
3. The method of claim 2,
The exposure control algorithm selects an average value of the remaining values except for the highest value and the lowest value among the exposure control signals received from the camera
A method of generating an overview image.
카메라를 통해 촬영된 주변 영상을 합성하여 어라운드 뷰 영상을 생성하는 장치에 있어서,
상기 카메라로부터 상기 주변 영상에 대한 노출 제어신호 및 색상 제어신호를 입력받고, 상기 카메라로부터 촬영된 주변 영상을 입력받는 입력부;
소정의 알고리즘을 통해 상기 노출 제어신호 및 상기 색상 제어신호를 이용하여 통합 제어신호를 생성하고, 상기 통합 제어신호를 상기 카메라에 전송하는 통합 제어부; 및
상기 통합 제어신호에 의해 설정된 값으로 촬영된 주변 영상을 합성하여 어라운드 뷰 영상을 생성하는 합성부를
포함하는 어라운드 뷰 영상 생성 장치.
An apparatus for generating an ambient view image by combining peripheral images captured through a camera,
An input unit receiving an exposure control signal and a color control signal for the peripheral image from the camera and receiving a peripheral image photographed by the camera;
An integrated control unit for generating an integrated control signal using the exposure control signal and the color control signal through a predetermined algorithm and transmitting the integrated control signal to the camera; And
And a synthesis unit for synthesizing the peripheral images photographed at the values set by the integrated control signal to generate an overview image
And the surround view image generation device.
제6항에 있어서,
상기 소정의 알고리즘은 노출제어 알고리즘, 색상제어 알고리즘, HDR 제어 알고리즘, 기타제어 알고리즘 중 적어도 하나를 포함하는
어라운드 뷰 영상 생성 장치.
The method according to claim 6,
The predetermined algorithm includes at least one of an exposure control algorithm, a color control algorithm, an HDR control algorithm, and other control algorithms
An apparatus for generating an averaged view image.
제6항에 있어서,
상기 통합 제어신호는 노출과 색상 조절을 위한 조리개 수치, 셔터 속도, 아날로그 게인, 디지털 게인, HDR(high dynamic range) 설정, 색상 게인, 노이즈 필터 설정 중 적어도 하나를 포함하는
어라운드 뷰 영상 생성 장치.
The method according to claim 6,
The integrated control signal includes at least one of an aperture value for exposure and color adjustment, a shutter speed, an analog gain, a digital gain, a high dynamic range (HDR) setting, a color gain,
An apparatus for generating an averaged view image.
제7항에 있어서,
상기 노출제어 알고리즘은 카메라에서 받은 상기 노출 제어신호 중 가장 낮은 값을 선택하는 것인
어라운드 뷰 영상 생성 장치.
8. The method of claim 7,
Wherein the exposure control algorithm selects the lowest value of the exposure control signals received from the camera
An apparatus for generating an averaged view image.
제7항에 있어서,
상기 노출제어 알고리즘은 카메라에서 받은 상기 노출 제어신호 중 가장 높은 값과 가장 낮은 값을 제외한 나머지 값들의 평균치를 선택하는 것인
어라운드 뷰 영상 생성 장치.8. The method of claim 7,
The exposure control algorithm selects an average value of the remaining values except for the highest value and the lowest value among the exposure control signals received from the camera
An apparatus for generating an averaged view image.
KR1020130025971A 2013-03-12 2013-03-12 Method and apparatus for generating around view image KR101406073B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130025971A KR101406073B1 (en) 2013-03-12 2013-03-12 Method and apparatus for generating around view image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130025971A KR101406073B1 (en) 2013-03-12 2013-03-12 Method and apparatus for generating around view image

Publications (1)

Publication Number Publication Date
KR101406073B1 true KR101406073B1 (en) 2014-06-11

Family

ID=51132467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130025971A KR101406073B1 (en) 2013-03-12 2013-03-12 Method and apparatus for generating around view image

Country Status (1)

Country Link
KR (1) KR101406073B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006543A (en) 2015-07-08 2017-01-18 주식회사 와이즈오토모티브 System and method for eliminating noise of around view
KR20190026421A (en) * 2017-09-05 2019-03-13 현대자동차주식회사 Svm system for providing bvm image and operation method of the same
KR20190062794A (en) * 2017-11-29 2019-06-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 Image merging method and system using viewpoint transformation
KR20200009327A (en) * 2018-07-18 2020-01-30 전대형 Cellular phone having multiple camera and push buttons therefor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333052A (en) 2005-05-26 2006-12-07 Pentax Corp Exposure adjusting device
KR20110088680A (en) * 2010-01-29 2011-08-04 (주) 에투시스템 Image processing apparatus which can compensate a composite image obtained from a plurality of image
KR20120053764A (en) * 2010-11-18 2012-05-29 현대모비스 주식회사 Apparatus for processing image of camera in vehicle and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333052A (en) 2005-05-26 2006-12-07 Pentax Corp Exposure adjusting device
KR20110088680A (en) * 2010-01-29 2011-08-04 (주) 에투시스템 Image processing apparatus which can compensate a composite image obtained from a plurality of image
KR20120053764A (en) * 2010-11-18 2012-05-29 현대모비스 주식회사 Apparatus for processing image of camera in vehicle and method thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006543A (en) 2015-07-08 2017-01-18 주식회사 와이즈오토모티브 System and method for eliminating noise of around view
KR20190026421A (en) * 2017-09-05 2019-03-13 현대자동차주식회사 Svm system for providing bvm image and operation method of the same
KR102429490B1 (en) * 2017-09-05 2022-08-05 현대자동차주식회사 Svm system for providing bvm image and operation method of the same
KR20190062794A (en) * 2017-11-29 2019-06-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 Image merging method and system using viewpoint transformation
KR101997991B1 (en) * 2017-11-29 2019-07-08 재단법인 다차원 스마트 아이티 융합시스템 연구단 Image merging method and system using viewpoint transformation
US10972712B2 (en) 2017-11-29 2021-04-06 Center For Integrated Smart Sensors Foundation Image merging method using viewpoint transformation and system therefor
KR20200009327A (en) * 2018-07-18 2020-01-30 전대형 Cellular phone having multiple camera and push buttons therefor
KR102407175B1 (en) 2018-07-18 2022-06-10 전대형 Cellular phone having multiple camera and push buttons therefor

Similar Documents

Publication Publication Date Title
US9338371B2 (en) Imaging device
JP5367640B2 (en) Imaging apparatus and imaging method
KR101406073B1 (en) Method and apparatus for generating around view image
JP5860663B2 (en) Stereo imaging device
US10097733B2 (en) Image correction parameter output apparatus, camera system and correction parameter output method
US9214034B2 (en) System, device and method for displaying a harmonized combined image
US11758283B2 (en) Image capture device and image adjusting method
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP2013029995A (en) Imaging system
JP5487581B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
KR101753261B1 (en) Photographing system and method for synchronizing image quality thereof
JP6411644B2 (en) Automatic vehicle camera device with histogram diffusion
JP2016058889A (en) Image processing apparatus and image processing method
JP6827394B2 (en) Image pickup device, image pickup processing logic element and image pickup device
JP2012010141A (en) Image processing apparatus
JP2017063362A (en) Imaging apparatus and imaging method
WO2015008383A1 (en) Imaging device
JP2007281988A (en) Image recognition device
JP6266022B2 (en) Image processing device, alarm device, and image processing method
JP2011181019A (en) Bird's-eye view image generation device
JP6725105B2 (en) Imaging device and image processing method
US20230215131A1 (en) Video signal processing apparatus, video signal processing method, and imaging apparatus
JP2019129339A (en) Photographed image display system and electronic mirror system
JP2005303785A (en) White balance adjusting device, and white balance adjusting method
JP2023122897A (en) Image synthesizing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 6