KR20120055824A - Image acquiring method of vehicle camera system - Google Patents

Image acquiring method of vehicle camera system Download PDF

Info

Publication number
KR20120055824A
KR20120055824A KR1020100117235A KR20100117235A KR20120055824A KR 20120055824 A KR20120055824 A KR 20120055824A KR 1020100117235 A KR1020100117235 A KR 1020100117235A KR 20100117235 A KR20100117235 A KR 20100117235A KR 20120055824 A KR20120055824 A KR 20120055824A
Authority
KR
South Korea
Prior art keywords
image
camera
exposure
digital signal
high luminance
Prior art date
Application number
KR1020100117235A
Other languages
Korean (ko)
Other versions
KR101601324B1 (en
Inventor
나카무라 히로시
Original Assignee
현대자동차일본기술연구소
기아자동차주식회사
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차일본기술연구소, 기아자동차주식회사, 현대자동차주식회사 filed Critical 현대자동차일본기술연구소
Priority to KR1020100117235A priority Critical patent/KR101601324B1/en
Publication of KR20120055824A publication Critical patent/KR20120055824A/en
Application granted granted Critical
Publication of KR101601324B1 publication Critical patent/KR101601324B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Abstract

PURPOSE: An image obtaining method of a camera system for a vehicle is provided to reset a light exposure control value of a digital signal processing unit for an image sensor module, thereby eliminating influences of high brightness of disturbance light from a corresponding area. CONSTITUTION: A camera control unit detects a high brightness area due to an interior light source from an image signal. The camera control unit selects a new light exposure weight value about an area with the high brightness area. The camera control unit resets a light exposure control value about an image sensor module of a digital signal processing unit. The digital signal processing unit controls light exposure about the image sensor module. A system control unit obtains a photographed image from the digital image signal of the digital signal processing unit.

Description

차량용 카메라 시스템의 영상 획득 방법{Image acquiring method of vehicle camera system}Image Acquiring Method of Vehicle Camera System

본 발명은 차량용 카메라 시스템의 영상 획득 방법에 관한 것으로서, 더욱 상세하게는 불량 영상의 원인이 되는 차량 내 고정된 실내 광원의 영향을 제거하고 보정할 수 있는 차량용 카메라 시스템의 영상 획득 방법에 관한 것이다.
The present invention relates to an image acquisition method of a vehicle camera system, and more particularly, to an image acquisition method of a vehicle camera system capable of removing and correcting the influence of a fixed indoor light source that causes a bad image.

최근에는 차량의 주행 제어, 운전 편의, 안전 등의 여러 목적으로 차량에 카메라 시스템을 부착하는 경우가 증가하고 있다.Recently, camera systems are increasingly attached to a vehicle for various purposes such as driving control, driving convenience, and safety.

그 예로, 카메라에서 얻어지는 영상을 기초로 차량의 동작을 제어하기 위한 시스템, 야간 주행 중 전방의 상황을 카메라로 촬영하여 사고 방지에 기여할 수 있도록 한 시스템, 운전 중 주변 상황을 기록하기 위한 차량용 블랙박스(LDW)나 운전기록장치(driver recorder) 등에 널리 사용되고 있다.For example, a system for controlling the operation of the vehicle based on the image obtained from the camera, a system for contributing to the prevention of accidents by photographing the situation in front of the camera while driving at night, and a black box for the vehicle for recording the surrounding situation while driving (LDW) and driver recorders are widely used.

상기와 같은 시스템에서 차량의 전방을 촬영하기 위한 카메라, 특히 차량의 실내에 장착되는 전방 카메라는 통상 전면 유리나 운전석, 조수석의 주변 또는 룸미러 등에 장착되어 전면 유리를 통해 나타나는 전방의 상황을 촬영하게 된다.In the above system, the camera for photographing the front of the vehicle, in particular, the front camera mounted in the interior of the vehicle is usually mounted on the front glass, the driver's seat, the passenger's seat, or the room mirror to photograph the front situation displayed through the windshield. .

그러나, 카메라의 촬영범위 내에 실내 광원이 존재하는 경우 카메라의 노광 제어가 영향을 받게 되고, 이에 전방의 상황을 양호한 상태로 촬영하지 못하여 원하는 영상을 얻기가 어렵게 된다.However, when there is an indoor light source within the shooting range of the camera, the exposure control of the camera is affected, and thus it is difficult to obtain a desired image because the front situation cannot be taken in a good state.

예를 들어, 도 1에 도시된 바와 같이, 실내 전방의 대시 보드(dash board)나 전면 유리에 내비게이션(1)이 장착된 경우 내비게이션 화면이 카메라의 촬영범위에 위치할 수 있고, 야간 주행시에는 내비게이션의 고휘도 화면이 전방 카메라의 촬영에 영향을 주게 된다.For example, as illustrated in FIG. 1, when the navigation 1 is mounted on a dash board or windshield in front of the room, the navigation screen may be located at a shooting range of the camera, and the navigation may be performed at night. High brightness screen will affect the shooting of the front camera.

도 2는 전방 카메라에 의해 촬영된 영상의 일례를 보여주는 것으로, 카메라의 촬영범위에서 하부에 내비게이션의 화면(2)이 나타남을 보이고 있다.FIG. 2 shows an example of an image captured by the front camera, and shows that the screen 2 of the navigation appears at the lower portion of the camera in the shooting range.

이와 같이 카메라 전방의 촬영범위 내에 내비게이션이 위치할 경우 고휘도의 화면에 의해 카메라의 노광 제어가 영향을 받게 된다.As such, when the navigation is located within the photographing range in front of the camera, the exposure control of the camera is affected by the high brightness screen.

종래의 차량용 카메라 시스템에서는 고정 영역에서 작용하는 외란 광의 영향에 대응하기 위한 노광 제어 기술이 적용되어 있지 않으므로 외란 광의 영향을 받은 불량 영상을 얻을 수밖에 없다.In the conventional vehicle camera system, since an exposure control technique for coping with the influence of the disturbance light acting in the fixed region is not applied, it is necessary to obtain a defective image affected by the disturbance light.

특히, 불량 영상으로 인해 카메라 시스템과 연계된 차량 내 시스템의 기능이 저하될 수 있고, 촬영된 영상 내에서 물체의 식별이 어려우므로 블랙박스나 운전기록장치로서의 기능 및 효과가 제대로 구현될 수 없다.
In particular, the bad image may degrade the function of the in-vehicle system associated with the camera system, and since it is difficult to identify the object in the captured image, the function and effect as a black box or a driving recorder may not be properly implemented.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 발명한 것으로서, 물체의 식별이 불가능하거나 상황 확인이 어려운 불량 영상의 원인이 되는 외란 광의 영향, 특히 카메라의 촬영범위 또는 그 주변에 위치되는 차량 내 고정된 실내 광원의 영향을 제거하고 보정할 수 있는 차량용 카메라 시스템의 영상 획득 방법을 제공하는데 그 목적이 있다.
Accordingly, the present invention has been invented to solve the above problems, and the influence of disturbance light, which is the cause of a bad image that is difficult to identify the object or difficult to check the situation, in particular in the camera shooting range or in the vicinity of the camera It is an object of the present invention to provide a method for acquiring an image of a vehicle camera system capable of removing and correcting the influence of a fixed indoor light source.

상기한 목적을 달성하기 위해, 본 발명은, a) 카메라 제어부가 이미지 센서 모듈 및 디지털신호처리부를 통해 획득된 영상신호에서 실내 광원으로 인한 고휘도 영역을 검출하는 단계와; b) 카메라 제어부가 실내 광원으로 인한 고휘도 영역을 포함하는 영역에 대해 새로운 노광 가중치를 선정하는 단계와; c) 카메라 제어부가 고휘도 영역에 대한 새로운 노광 가중치 정보에 기초하여 디지털신호처리부의 이미지 센서 모듈에 대한 노광 제어값을 재설정하는 단계와; d) 디지털신호처리부가 재설정된 노광 제어값으로 이미지 센서 모듈에 대한 노광 제어를 수행함과 동시에 이미지 센서 모듈의 광전변환신호를 디지털 영상신호로 변환하여 출력하는 단계와; e) 시스템 제어부가 디지털신호처리부에서 입력되는 디지털 영상신호를 화상 처리하여 촬영 영상을 획득하는 단계;를 포함하여 이루어지는 차량용 카메라 시스템의 영상 획득 방법을 제공한다.
In order to achieve the above object, the present invention comprises the steps of: a) the camera control unit to detect a high luminance region due to the indoor light source from the image signal obtained through the image sensor module and the digital signal processing unit; b) the camera control unit selecting a new exposure weight for an area including the high luminance area due to the indoor light source; c) resetting the exposure control value of the image sensor module of the digital signal processor based on the new exposure weight information of the high luminance region by the camera controller; d) converting the photoelectric conversion signal of the image sensor module into a digital image signal while performing exposure control on the image sensor module with the exposure control value reset by the digital signal processor; and e) acquiring a captured image by image processing the digital image signal input from the digital signal processor by the system controller.

이에 따라, 본 발명에 따른 차량용 카메라 시스템의 영상 획득 방법에 의하면, 실내 광원으로 인한 외란 광 작용 영역을 검출하여 새로운 노광 가중치가 적용되도록 이미지 센서 모듈에 대한 디지털신호처리부의 노광 제어값을 재설정하고, 이로써 해당 영역에 대해 외란 광의 고휘도 영향이 제거되는 노광 제어, 및 외란 광의 고휘도 영향이 제거된 영상을 획득할 수 있는 효과가 있다.
Accordingly, according to the image acquisition method of the vehicle camera system according to the present invention, by detecting the disturbance light action area due to the indoor light source and reset the exposure control value of the digital signal processing unit for the image sensor module to apply a new exposure weight, As a result, the exposure control in which the high luminance influence of the disturbance light is removed for the corresponding region, and the image in which the high luminance influence of the disturbance light is removed can be obtained.

도 1 및 도 2는 종래기술에 따른 문제점을 설명하기 위한 도면으로서, 도 1은 실내 광원으로서 내비게이션이 장착된 예를, 도 2는 전방 카메라에 의해 촬영된 영상의 일례를 보여주는 것이다.
도 3은 본 발명에 따른 영상 획득 과정에 의해 노광 제어가 이루어진 상태의 영상을 나타내는 도면이다.
도 4는 본 발명에 따른 영상 획득 과정을 수행하기 위한 카메라 시스템의 구성을 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 영상 획득 과정을 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따른 영상 획득 과정을 설명하는 도면이다.1 and 2 are diagrams for explaining a problem according to the prior art, Figure 1 shows an example in which the navigation is mounted as an indoor light source, Figure 2 shows an example of the image taken by the front camera.
3 is a diagram illustrating an image in a state where exposure control is performed by an image acquisition process according to the present invention.
4 is a block diagram showing the configuration of a camera system for performing an image acquisition process according to the present invention.
5 is a flowchart illustrating an image acquisition process according to an embodiment of the present invention.
6 is a diagram illustrating an image acquisition process according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

본 발명은 물체의 식별이 불가능하거나 상황 확인이 어려운 불량 영상의 원인이 되는 외란 광의 영향, 특히 카메라의 촬영범위 또는 그 주변에 위치되는 차량 내 고정된 실내 광원의 영향을 제거하고 보정할 수 있는 차량용 카메라 시스템의 영상 획득 방법에 관한 것이다.The present invention is for a vehicle that can remove and correct the influence of disturbance light, which is the cause of a poor image that is difficult to identify the object or check the situation, in particular the effect of a fixed indoor light source in the vehicle located in or around the camera shooting range An image acquisition method of a camera system.

도 3은 본 발명에 따른 영상 획득 과정에 의해 노광 제어가 이루어진 상태의 영상을 나타내는 도면으로, 좌측은 통상의 야간 촬영 영상을 나타내고, 우측은 학습 과정 후 노광 제어된 영상을 나타낸다.3 is a view showing an image of the exposure control state by the image acquisition process according to the present invention, the left side shows a normal night photographing image, the right side shows the exposure controlled image after the learning process.

본 발명에서는 야간시 이미지 센서 모듈의 광전변환신호(입사광을 변환한 전기신호)로부터 얻어지는 각 화소의 휘도 정보에 기초하여 일정 시간 동안 같은 위치에 나타나는 고휘도 화소 영역을 실내 광원으로 인한 외란 광의 작용 영역으로 판정하고, 이 부분의 외란 광 영향을 제거하기 위해 노광 제어값을 재설정하게 된다.According to the present invention, a high-brightness pixel region appearing at the same position for a predetermined period of time based on the luminance information of each pixel obtained from the photoelectric conversion signal (electric signal converted from incident light) of the image sensor module at night is a working region of disturbance light caused by the indoor light source. It determines and resets exposure control value in order to remove the disturbance light influence of this part.

카메라에 의해 촬영된 영상에 내비게이션의 고휘도 화면 또는 그 화면으로 인한 고휘도 영역이 포함되어 있다고 할 때, 운전자나 승객이 내비게이션의 위치를 변경하지 않는 한 촬영된 영상에서 항상 같은 영역에 고휘도 화면 또는 그 작용으로 인한 고휘도 영역이 위치하게 된다.If the image taken by the camera contains a high-brightness screen of the navigation or a high-brightness area resulting from the screen, the high-brightness screen or its action is always in the same area of the recorded image unless the driver or passenger changes the position of the navigation. The high brightness region due to this is located.

따라서, 본 발명에서는 영상신호의 화소별 휘도 정보로부터 일정 시간 동안 고정되어 있는 고휘도 화소 영역을 실내 광원으로 인한 외란 광 작용 영역으로 판정하고 노광 가중치를 선정하는 학습 과정을 수행한 뒤, 새로운 노광 가중치가 적용되도록 이미지 센서 모듈에 대한 디지털신호처리부의 노광 제어값을 재설정함으로써, 그 이후부터는 해당 영역에 대해 외란 광의 고휘도 영향이 제거될 수 있는 노광 제어가 이루어지도록 한다.Therefore, in the present invention, after determining the high luminance pixel area fixed for a predetermined time from the luminance information for each pixel of the image signal as the disturbance light action area caused by the indoor light source and selecting an exposure weight, a new exposure weight is applied. By resetting the exposure control value of the digital signal processing unit with respect to the image sensor module so as to be applied, an exposure control can be made thereafter in which the high luminance influence of the disturbance light is removed for the corresponding area.

이 경우, 촬영범위 내에 고정 실내 광원으로 인한 고휘도의 외란 광 작용 영역이 포함되어 있다 하더라도 사용자의 별도 조작 없이 양호한 영상을 얻을 수 있고, 차량용 카메라 시스템 본래의 성능을 유지할 수 있게 된다.In this case, even if a high brightness disturbance light action area due to the fixed indoor light source is included in the shooting range, a good image can be obtained without a user's separate operation, and the original performance of the vehicle camera system can be maintained.

이러한 본 발명은 차량의 전방 상황을 촬영하여 영상 정보를 획득하는 차량 전방 카메라 시스템에 유용하게 적용될 수 있다.The present invention can be usefully applied to a vehicle front camera system for capturing the front situation of a vehicle to obtain image information.

이하, 상기와 같은 영상 획득 과정을 수행하는 카메라 시스템의 구성에 대해 먼저 설명한다.Hereinafter, the configuration of a camera system that performs the image acquisition process as described above will be described first.

도 4는 본 발명에 따른 영상 획득 과정을 수행하기 위한 카메라 시스템의 구성을 나타내는 블록도이다.4 is a block diagram showing the configuration of a camera system for performing an image acquisition process according to the present invention.

도시된 바와 같이, 카메라 시스템은, 카메라 렌즈(11)와, 상기 카메라 렌즈(11)를 통해 들어온 입사광을 전기신호로 변환하여 출력하는 이미지 센서 모듈(12)과, 상기 이미지 센서 모듈(12)의 노광을 제어하는 동시에 이미지 센서 모듈(12)에서 입력되는 전기신호를 디지털 영상신호로 변환하여 출력하는 디지털신호처리부(DSP:Digital Signal Processor)(13)와, 상기 이미지 센서 모듈(12)과 디지털신호처리부(13)의 기본 동작을 설정하는 카메라 제어부(MCU:Micro Control Unit)(14)와, 상기 디지털신호처리부(13)로부터 전달되는 디지털 영상신호를 화상 처리하는 시스템 제어부(15)를 포함하여 구성된다.As illustrated, the camera system includes a camera lens 11, an image sensor module 12 for converting incident light entering through the camera lens 11 into an electrical signal, and outputting the electrical signal. A digital signal processor (DSP) 13 which controls exposure and simultaneously converts an electrical signal input from the image sensor module 12 into a digital image signal, and outputs the digital signal processor (DSP), the image sensor module 12 and the digital signal. And a camera control unit (MCU) 14 for setting basic operations of the processing unit 13 and a system control unit 15 for image processing the digital image signal transmitted from the digital signal processing unit 13. do.

이러한 구성에서 디지털신호처리부(13)는 이미지 센서 모듈(12)의 노광 및 계조(階調)(gradation) 표현을 제어하는 동시에 영상신호의 각 화소별 휘도 정보를 카메라 제어부(14)로 전달하게 된다. In this configuration, the digital signal processor 13 controls exposure and gradation expression of the image sensor module 12 and simultaneously transmits luminance information for each pixel of the image signal to the camera controller 14. .

카메라 제어부(14)는 디지털신호처리부(13)로부터 입력되는 화소별 휘도 정보를 기초로 하여 노광 제어용 화면 분할을 수행하고, 각 분할된 화면 영역의 노광 가중치를 선정한다.The camera controller 14 performs screen division for exposure control based on the luminance information for each pixel input from the digital signal processing unit 13 and selects an exposure weight of each divided screen region.

또한 카메라 제어부(14)는 노광 제어용 화면 분할 정보와 분할된 각 화면 영역의 노광 가중치 정보에 기초하여 이미지 센서 모듈(12)에 대한 디지털신호처리부(13)의 노광 제어값을 재설정한다.Also, the camera controller 14 resets the exposure control value of the digital signal processing unit 13 with respect to the image sensor module 12 based on the exposure control screen division information and the divided exposure weight information of each screen area.

시스템 제어부(15)는 디지털신호처리부(13)로부터 전달되는 디지털 영상신호를 화상 처리하여 촬영된 영상 정보로 획득하고, 아울러 촬영된 영상 정보를 저장하는 한편 표시부를 통해 표시되도록 한다.The system controller 15 acquires the digital image signal transmitted from the digital signal processor 13 as captured image information by storing the captured image information, and displays the captured image information on the display unit.

여기서, 시스템 제어부(15)는 촬영된 영상을 이용하는 차량 내 연계 시스템의 제어부가 될 수 있으며, 이 경우 촬영된 영상으로부터 차량 내 카메라 연계 시스템의 작동을 제어하거나 경고 등 동작이 수행되도록 제어하는 역할을 추가로 수행하게 된다. Here, the system control unit 15 may be a control unit of the in-vehicle linkage system using the captured image. In this case, the system control unit 15 controls the operation of the in-vehicle linkage system or controls such that a warning or the like is performed. In addition.

예컨대, 시스템 제어부(15)는 촬영된 영상을 기초로 차량의 동작을 제어하는 시스템이나 사고 방지에 기여할 수 있도록 한 시스템의 제어부, 또는 운전 중 주변 상황을 기록하기 위한 차량용 블랙박스나 운전기록장치 등의 제어부가 될 수 있다.For example, the system controller 15 may be a system for controlling the operation of the vehicle based on the photographed image, a controller of the system for contributing to the prevention of an accident, a vehicle black box or a driving recorder for recording surrounding conditions while driving, and the like. Can be a control unit.

이하, 상기한 구성의 카메라 시스템에 의해 수행되는 영상 획득 과정에 대해 설명하면 다음과 같다.Hereinafter, an image acquisition process performed by the camera system having the above configuration will be described.

도 5는 본 발명의 실시예에 따른 영상 획득 과정을 나타내는 순서도이고, 도 6은 본 발명의 실시예에 따른 영상 획득 과정을 설명하는 도면이다.5 is a flowchart illustrating an image acquisition process according to an embodiment of the present invention, and FIG. 6 is a diagram illustrating an image acquisition process according to an embodiment of the present invention.

본 발명에 따른 영상 획득 과정은 영상신호의 화소별 휘도 정보로부터 일정 시간 동안 고정되어 있는 고휘도 화소 영역을 실내 광원으로 인한 외란 광 작용 영역으로 판정하고 외란 광 작용 영역의 노광 가중치를 선정하는 학습 과정을 포함한다.The image acquisition process according to the present invention is to determine the high luminance pixel region fixed for a predetermined time from the luminance information for each pixel of the image signal as the disturbance light action area due to the indoor light source and to select the exposure weight of the disturbance light action area. Include.

이러한 학습 과정은 야간시 수행되도록 설정될 수 있는데, 이전의 노광 제어 설정 상태에서 카메라 제어부(14)가 차량 내 센서나 스위치(16)의 신호로부터 현재가 야간 상태임을 판정하게 되면 학습 모드로 전환하여 일련의 과정을 수행한다.The learning process may be set to be performed at night. When the camera control unit 14 determines that the current state is a night state from a signal of the sensor or the switch 16 in the vehicle in the previous exposure control setting state, the learning mode is switched to the learning mode. Follow the process of.

상기 센서로는 차량에 기 장착된 일사량 센서나 오토 라이트 시스템(auto light system)의 조도센서가 될 수 있고, 상기 스위치로는 헤드램프 스위치가 될 수 있다.The sensor may be a solar radiation sensor or an illuminance sensor of an auto light system, and the switch may be a headlamp switch.

이에 카메라 제어부(14)는 센서의 검출값으로부터 현재의 일사량 또는 조도가 기준치 이하이거나 헤드램프 스위치로부터 온(On) 조작에 따른 신호가 입력되는 경우 야간 상태로 판정하여 학습 모드로 진입한다.Accordingly, the camera controller 14 determines to enter the learning mode at night when the current solar radiation or illuminance is less than the reference value from the detection value of the sensor or when a signal according to an on operation is input from the headlamp switch.

이와 같이 학습 모드로 진입한 상태에서, 이미지 센서 모듈(12)이 카메라 렌즈(11)를 통해 들어온 입사광을 전기신호로 변환하여 출력하고, 이에 디지털신호처리부(13)가 이미지 센서 모듈(12)에서 입력되는 전기신호를 디지털 영상신호로 변환하게 된다.In the state of entering the learning mode as described above, the image sensor module 12 converts the incident light entered through the camera lens 11 into an electrical signal and outputs the digital signal processor 13 to the image sensor module 12. The input electrical signal is converted into a digital video signal.

이와 더불어 디지털신호처리부(13)는 영상신호의 화소별 휘도 정보를 카메라 제어부(14)로 전달하게 된다. In addition, the digital signal processor 13 transmits the luminance information for each pixel of the image signal to the camera controller 14.

이에 카메라 제어부(14)는 각 화소의 휘도 정보로부터 촬영 영상의 휘도 분포를 분석하여 일정 시간 동안 기준치 이상의 고휘도로 나타나는 화소 집합 영역을 검출하게 된다.Accordingly, the camera controller 14 analyzes the luminance distribution of the captured image from the luminance information of each pixel to detect a pixel set region that appears at high luminance over a reference value for a predetermined time.

통상의 차량용 카메라 시스템에서는 맞은 편에서 주행하여 오는 상대 차량의 헤드램프 등 이동 광원에 대해서는 일시적인 역광 보정으로 대응할 수 있으나, 항상 같은 위치에 나타나는 고휘도 영역은 노광 제어에 영향을 주게 된다.In a typical vehicle camera system, a moving backlight such as a headlamp of a counterpart vehicle traveling from the opposite side can be coped with temporary backlight correction, but a high luminance region always present at the same position affects exposure control.

따라서, 본 발명에서는 항상 같은 영역에서 고휘도로 나타나는 외란 광 작용 영역에 대해서 디지털신호처리부(13)의 노광 제어값을 변경하는데, 이를 위해 카메라 제어부(14)가 고휘도 상태가 일정 시간 이상 지속되는 고휘도 화소 집합 영역을 검출하여 고정된 외란 광 작용 영역으로 판정하고, 이어 디지털신호처리부(13)의 노광 제어값을 재설정하게 된다.Therefore, in the present invention, the exposure control value of the digital signal processing unit 13 is changed in the disturbance light action region always appearing in the same region at high brightness. For this purpose, the camera control unit 14 has a high luminance pixel in which the high luminance state lasts for a predetermined time or more. The collection area is detected and determined as a fixed disturbance light action area, and then the exposure control value of the digital signal processing unit 13 is reset.

즉, 같은 위치에서 일정 시간 이상 고휘도로 나타나는 화소 집합 영역을 검출하게 되면, 카메라 제어부(14)는 영상신호에서 검출된 고휘도 화소 집합 영역이 포함된 영역(도 6에서 'A')을 별도로 구분하는 노광 제어용 화면 분할을 수행하고, 이어 고휘도 화소 집합 영역이 포함된 영역과 나머지 구획된 각 영역에 대해서 노광 가중치를 선정하게 된다(도 6 참조).That is, when detecting the pixel set region appearing at high brightness for a predetermined time or more at the same position, the camera controller 14 separately separates an area ('A' in FIG. 6) including the high luminance pixel set region detected from the image signal. The exposure control screen division is performed, and then the exposure weight is selected for the region including the high luminance pixel set region and the remaining divided regions (see FIG. 6).

이때, 고휘도 화소 집합 영역이 포함된 분할 영역에 대해서는 노광을 감소시키는 미리 설정된 낮은 값의 노광 가중치를 선정하게 된다.In this case, a predetermined low value of the exposure weight for reducing the exposure is selected for the divided region including the high luminance pixel set region.

이와 같이 노광 가중치를 선정하고 나면 노광 제어용 화면 분할 정보와 분할된 각 화면 영역의 노광 가중치 정보를 새로운 야간용 제어 설정값으로 메모리에 저장하여 학습을 완료한다.After the exposure weight is selected in this way, the exposure control screen division information and the exposure weight information of each divided screen area are stored in the memory as a new nighttime control setting value to complete the learning.

그리고, 학습 완료 후 카메라 제어부(14)는 노광 제어용 화면 분할 정보와 각 분할된 화면 영역의 노광 가중치 정보에 기초하여 이미지 센서 모듈(12)에 대한 디지털신호처리부(13)의 노광 제어값을 재설정한다.After the learning is completed, the camera controller 14 resets the exposure control value of the digital signal processing unit 13 with respect to the image sensor module 12 based on the exposure control screen division information and the exposure weight information of each divided screen region. .

이와 같이 디지털신호처리부(13)의 노광 제어값 변경이 완료되면 이후 디지털 영상신호 획득은 새로운 노광 제어값으로 이루어진다.When the exposure control value change of the digital signal processor 13 is completed as described above, the digital image signal acquisition is performed with the new exposure control value.

이후의 야간 촬영시에는 이미지 센서 모듈(12)에 대한 새로운 노광 제어값이 적용되는 상태로 디지털신호처리부(13)가 디지털 영상신호를 획득하게 되고, 이 디지털 영상신호를 시스템 제어부(15)가 입력받아 화상 처리하여 촬영된 영상을 얻게 된다. During the night photographing, the digital signal processor 13 acquires a digital image signal while a new exposure control value for the image sensor module 12 is applied, and the digital image signal is input by the system controller 15. Receive and process the image to obtain a captured image.

결국, 본 발명에서는 항상 동일한 위치에 나타나는 고정된 고휘도 영역을 제거한 영상을 얻을 수 있게 된다. As a result, in the present invention, it is possible to obtain an image from which the fixed high luminance region that always appears at the same position is removed.

이상으로 본 발명의 실시예에 대하여 상세하게 설명하였는 바, 본 발명의 권리범위는 이에 한정되는 것이 아니고, 다음의 특허청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 포함된다.
The embodiments of the present invention have been described in detail above, but the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are provided. Also included in the scope of the present invention.

11 : 카메라 렌즈 12 : 이미지 센서 모듈
13 : 디지털신호처리부 14 : 카메라 제어부
15 : 시스템 제어부 16 : 센서 또는 스위치11: camera lens 12: image sensor module
13 digital signal processing unit 14 camera control unit
15 system control unit 16 sensor or switch

Claims (7)

a) 카메라 제어부가 이미지 센서 모듈 및 디지털신호처리부를 통해 획득된 영상신호에서 실내 광원으로 인한 고휘도 영역을 검출하는 단계와;
b) 카메라 제어부가 실내 광원으로 인한 고휘도 영역을 포함하는 영역에 대해 새로운 노광 가중치를 선정하는 단계와;
c) 카메라 제어부가 고휘도 영역에 대한 새로운 노광 가중치 정보에 기초하여 디지털신호처리부의 이미지 센서 모듈에 대한 노광 제어값을 재설정하는 단계와;
d) 디지털신호처리부가 재설정된 노광 제어값으로 이미지 센서 모듈에 대한 노광 제어를 수행함과 동시에 이미지 센서 모듈의 광전변환신호를 디지털 영상신호로 변환하여 출력하는 단계와;
e) 시스템 제어부가 디지털신호처리부에서 입력되는 디지털 영상신호를 화상 처리하여 촬영 영상을 획득하는 단계;
를 포함하여 이루어지는 차량용 카메라 시스템의 영상 획득 방법.
a) detecting, by the camera controller, a high luminance region due to an indoor light source from an image signal acquired through the image sensor module and the digital signal processor;
b) the camera control unit selecting a new exposure weight for an area including the high luminance area due to the indoor light source;
c) resetting the exposure control value of the image sensor module of the digital signal processor based on the new exposure weight information of the high luminance region by the camera controller;
d) converting the photoelectric conversion signal of the image sensor module into a digital image signal while performing exposure control on the image sensor module with the exposure control value reset by the digital signal processor;
e) acquiring a captured image by image processing the digital image signal input from the digital signal processor by the system controller;
Image acquisition method of a vehicle camera system comprising a.
청구항 1에 있어서,
상기 디지털신호처리부가 영상신호 내 화소별 휘도 정보를 카메라 제어부에 전달하고, 상기 카메라 제어부가 각 화소의 휘도 정보로부터 같은 위치에서 일정 시간 동안 기준치 이상의 고휘도로 나타나는 화소 집합 영역을 실내 광원으로 인한 고휘도 영역으로 판정하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
The method according to claim 1,
The digital signal processor transmits the luminance information for each pixel in the image signal to the camera controller, and the pixel set region in which the camera controller appears with high luminance above a reference value for a predetermined time from the luminance information of each pixel is a high luminance region due to an indoor light source. The image acquisition method of the vehicle camera system, characterized in that the determination.
청구항 1에 있어서,
상기 카메라 제어부는 차량 내 센서나 스위치의 신호로부터 야간 상태임을 판정하게 되면, 상기 a) ~ d)의 단계를 수행하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
The method according to claim 1,
If the camera control unit determines that the night state from the signal of the sensor or the switch in the vehicle, performing the steps of a) ~ d) characterized in that the image acquisition method of the vehicle camera system.
청구항 1에 있어서,
상기 카메라 제어부는,
상기 실내 광원으로 인한 고휘도 영역을 포함하는 영역을 별도로 구분하는 노광 제어용 화면 분할을 수행하고,
실내 광원으로 인한 고휘도 영역이 포함된 영역과 나머지 구획된 각 영역에 대해서 노광 가중치를 선정한 뒤,
노광 제어용 화면 분할 정보와 각 분할된 화면 영역의 노광 가중치 정보에 기초하여 디지털신호처리부의 이미지 센서 모듈에 대한 노광 제어값을 재설정하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
The method according to claim 1,
The camera control unit,
Performing a screen division for exposure control for separately dividing an area including a high luminance area due to the indoor light source,
After the exposure weights are selected for the region including the high luminance region due to the indoor light source and for each remaining region,
And resetting the exposure control value for the image sensor module of the digital signal processing unit based on the exposure control screen division information and the exposure weight information of each divided screen region.
청구항 4에 있어서,
상기 카메라 제어부는 차량 내 센서나 스위치의 신호로부터 야간 상태임을 판정하게 되면, 상기 a) 및 b) 단계, 그리고 노광 제어용 화면 분할 정보와 분할된 각 화면 영역의 노광 가중치 정보를 새로운 야간용 제어 설정값으로 메모리에 저장하는 단계로 이루어지는 학습 과정을 수행하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
The method of claim 4,
When the camera controller determines that the camera is in a night state from a signal of a sensor or a switch in the vehicle, steps a) and b), and the exposure control screen division information and exposure weight information of each divided screen area are set to a new night control setting value. The image acquisition method of the vehicle camera system, characterized in that for performing a learning process comprising the step of storing in the memory.
청구항 3 또는 청구항 5에 있어서,
상기 센서는 검출값을 카메라 제어부에 전달하는 일사량 센서 또는 조도센서이고, 상기 스위치는 야간시 운전자 조작에 따라 온(On) 조작에 따른 신호를 카메라 제어부에 전달하는 헤드램프 스위치인 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
The method according to claim 3 or 5,
The sensor is a solar radiation sensor or an illuminance sensor for transmitting a detection value to the camera control unit, the switch is a headlamp switch for transmitting a signal according to the (On) operation to the camera control unit according to the driver operation at night Image acquisition method of camera system.
청구항 1 또는 청구항 3에 있어서,
상기 실내 광원으로 인한 고휘도 영역이 포함된 영역에 대해서는 노광을 감소시키는 노광 가중치를 선정하는 것을 특징으로 하는 차량용 카메라 시스템의 영상 획득 방법.
The method according to claim 1 or 3,
And an exposure weight for reducing the exposure to a region including the high luminance region due to the indoor light source.
KR1020100117235A 2010-11-24 2010-11-24 Image acquiring method of vehicle camera system KR101601324B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100117235A KR101601324B1 (en) 2010-11-24 2010-11-24 Image acquiring method of vehicle camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100117235A KR101601324B1 (en) 2010-11-24 2010-11-24 Image acquiring method of vehicle camera system

Publications (2)

Publication Number Publication Date
KR20120055824A true KR20120055824A (en) 2012-06-01
KR101601324B1 KR101601324B1 (en) 2016-03-08

Family

ID=46608122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100117235A KR101601324B1 (en) 2010-11-24 2010-11-24 Image acquiring method of vehicle camera system

Country Status (1)

Country Link
KR (1) KR101601324B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008094127A (en) * 2006-10-06 2008-04-24 Hitachi Ltd Headlight control device for automobile
JP2008148051A (en) * 2006-12-11 2008-06-26 Toyota Motor Corp On-board imaging apparatus
JP2009255740A (en) * 2008-04-16 2009-11-05 Toyota Motor Corp Photographing device for vehicle
JP2010161736A (en) * 2009-01-09 2010-07-22 Toyota Motor Corp Night vision system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008094127A (en) * 2006-10-06 2008-04-24 Hitachi Ltd Headlight control device for automobile
JP2008148051A (en) * 2006-12-11 2008-06-26 Toyota Motor Corp On-board imaging apparatus
JP2009255740A (en) * 2008-04-16 2009-11-05 Toyota Motor Corp Photographing device for vehicle
JP2010161736A (en) * 2009-01-09 2010-07-22 Toyota Motor Corp Night vision system

Also Published As

Publication number Publication date
KR101601324B1 (en) 2016-03-08

Similar Documents

Publication Publication Date Title
US20090009604A1 (en) Image processing system and method
JP4622740B2 (en) Display control device for vehicle
US20070263090A1 (en) Method and Apparatus for Automatic Exposure of an In-Vehicle Camera
KR101327032B1 (en) Apparatus and method for removing reflected light of camera image
JP2009171122A (en) Optical source color temperature estimation method, white balance adjustment apparatus, and image recognition apparatus
US20120002052A1 (en) Obstacle detection apparatus, obstacle detection system having same, and obstacle detection method
WO2014175234A1 (en) Image capture device and image display method
US20110035099A1 (en) Display control device, display control method and computer program product for the same
KR101367637B1 (en) Monitoring apparatus
JP2007189369A (en) Device for detecting dirt of camera lens, and image display system
US20180131877A1 (en) Image display device for vehicle and image display program for vehicle
US9214034B2 (en) System, device and method for displaying a harmonized combined image
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
JP2017212719A (en) Imaging apparatus, imaging display method and imaging display program
US20180103185A1 (en) Photographing apparatus and method for controlling photographing apparatus
JP5759907B2 (en) In-vehicle imaging device
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
KR20150079004A (en) Dispay apparatus of vehicle and contolling method for the same
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP2010288199A (en) On-vehicle monitor system, parking support device using the same, and color adjustment device of the on-vehicle monitor system
JP6317914B2 (en) In-vehicle image processing device
JP2012010282A (en) Imaging device, exposure control method, and exposure control program
US10102436B2 (en) Image processing device, warning device and method for processing image
KR101601324B1 (en) Image acquiring method of vehicle camera system
KR101428229B1 (en) Apparatus and method for acquising differential image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 4