KR102035355B1 - Image Processing Method and Apparatus therefor - Google Patents

Image Processing Method and Apparatus therefor Download PDF

Info

Publication number
KR102035355B1
KR102035355B1 KR1020130085891A KR20130085891A KR102035355B1 KR 102035355 B1 KR102035355 B1 KR 102035355B1 KR 1020130085891 A KR1020130085891 A KR 1020130085891A KR 20130085891 A KR20130085891 A KR 20130085891A KR 102035355 B1 KR102035355 B1 KR 102035355B1
Authority
KR
South Korea
Prior art keywords
image
visible light
infrared
object recognition
wavelength
Prior art date
Application number
KR1020130085891A
Other languages
Korean (ko)
Other versions
KR20150011098A (en
Inventor
신유진
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130085891A priority Critical patent/KR102035355B1/en
Publication of KR20150011098A publication Critical patent/KR20150011098A/en
Application granted granted Critical
Publication of KR102035355B1 publication Critical patent/KR102035355B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo

Abstract

본 발명은 영상 처리 방법 및 이를 위한 장치에 대한 것으로, 특히 공통 광학계를 이용하여 사물 인식을 수행하기 위한 영상 처리 방법 및 이를 위한 장치에 대한 것이다.
본 발명의 일 실시예에 따른 영상 처리 장치는 가시광 영역의 광에너지와 적외선 영역의 광에너지를 투과시키는 공통 광학계, 상기 투과된 광에너지들을 적외선 파장과 가시광 파장으로 분리하는 빔 스플리터, 상기 분리된 적외선 파장의 광에너지를 적외선 이미지 센서의 초점면에 영상으로 맺히도록 해 주는 적외선 옵틱스, 상기 분리된 가시광 파장의 광에너지를 가시광 이미지 센서의 초점면에 영상으로 맺히도록 해 주는 가시광 옵틱스, 상기 초점면에 맺힌 적외선 파장의 광에너지로부터 적외선 영상을 생성하는 상기 적외선 이미지 센서, 상기 초점면에 맺힌 가시광 파장의 광에너지로부터 가시광 영상을 생성하는 상기 가시광 이미지 센서, 상기 가시광 영상으로부터 사물 인식 결과 및/또는 영상의 주변 조도 레벨에 따라 상기 가시광 영상 및 상기 적외선 영상의 합성을 수행하는 이미지 프로세서를 포함하여 구성된다.The present invention relates to an image processing method and an apparatus therefor, and more particularly, to an image processing method and apparatus therefor for performing object recognition using a common optical system.
An image processing apparatus according to an embodiment of the present invention includes a common optical system for transmitting light energy in a visible light region and light energy in an infrared light region, a beam splitter for separating the transmitted light energies into an infrared wavelength and a visible light wavelength, and the separated infrared light. Infrared optics for condensing optical energy of a wavelength to the focal plane of the infrared image sensor, Visible optical optics for condensing optical energy of the separated visible light wavelength to the focal plane of the visible light image sensor, On the focal plane The infrared image sensor generating an infrared image from the light energy of the bound infrared wavelength, the visible light image sensor generating a visible light image from the light energy of the visible light wavelength bound to the focal plane, a result of object recognition from the visible light image, and / or The visible light image and the image according to the ambient light level It is configured to include an image processor for performing the synthesis of the existing infrared image.

Description

영상 처리 방법 및 이를 위한 위한 장치{Image Processing Method and Apparatus therefor}Image processing method and apparatus therefor {Image Processing Method and Apparatus therefor}

본 발명은 영상 처리 방법 및 이를 위한 장치에 대한 것으로, 특히 공통 광학계를 이용하여 사물 인식을 수행하기 위한 영상 처리 방법 및 이를 위한 장치에 대한 것이다.The present invention relates to an image processing method and an apparatus therefor, and more particularly, to an image processing method and apparatus therefor for performing object recognition using a common optical system.

FCWS(Forward Collision Warning System)는 가시광 영상을 이용한 충돌 경보 시스템이다.Forward Collision Warning System (FCWS) is a collision warning system using visible light image.

NVS(Night Vision System)는 적외선 영상을 이용한 경보 시스템이다.NVS (Night Vision System) is an alarm system using infrared image.

이와 같이 종래에는 가시광 영상을 단독적으로 또는 적외선 영상을 단독적으로 이용하여 이로부터 사물을 인식하여 운전자에게 보여주거나, 이 인식 결과에 따라 운전자에게 경보를 울려주는 시스템이 존재하고 있었다.As described above, a system for recognizing an object from the visible light image alone or using an infrared image alone or showing the object to the driver or alarming the driver according to the recognition result has existed.

그러나, 이러한 시스템들에서는 다수의 카메라 시스템들이 다수 존재하여 공간 배치의 어려움이 있으며, 유사 목적으로 가시광 카메라와 적외선 카메라가 중복하여 존재하게 되어 공간 이용의 효율성이 떨어지는 문제점이 있었다.However, in these systems, there are a plurality of camera systems, so that there is a difficulty in arranging the space, and there is a problem in that the efficiency of space utilization is lowered because the visible light camera and the infrared camera are overlapped for similar purposes.

Combined Laser/Flir optics system은 정찰 및 타겟팅을 목적으로 하는 전투기용 전자 광학 장비인 Sniper xr의 광학 시스템으로써, 공통 광학계(Common aperture)를 이용하여 적외선(IR), TV, 레이저(Laser) 시스템을 통합한 시스템으로, 공통 광학계(Common Optics)를 이용한 광학 시스템의 통합의 좋은 예를 보여주고 있으나, 시스템 자체의 목적이 군사용으로 고정밀/고성능의 요구 사항을 만족하기 위해 너무나 복잡한 구조/구성을 보여주고 있다.Combined Laser / Flir optics system is Sniper xr's optical system, a fighter's electronic optics for reconnaissance and targeting, integrating infrared (IR), TV, and laser systems using a common aperture. In one system, a good example of the integration of an optical system using common optics is shown, but the purpose of the system itself is too complex for the military to meet the requirements of high precision and high performance. .

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 공통 광학계(Common Optics)를 이용하여 차량용 카메라 시스템의 통합으로 물리적 공간 활용성을 높이고, 영상 합성 방안을 채용함으로써 특정 조건(역광, 복잡한 배경, 야간) 환경에 따라 선택적으로 가시광/적외선 혹은 합성 영상을 제공함으로써 인식 성능을 개선시키고자 하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and by using common optics, the integration of a vehicle camera system increases physical space utilization, and employs an image compositing scheme to achieve specific conditions (backlit, complex background). It aims to improve the recognition performance by providing visible / infrared or synthetic images selectively according to the environment.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치는 가시광 영역의 광에너지와 적외선 영역의 광에너지를 투과시키는 공통 광학계, 상기 투과된 광에너지들을 적외선 파장과 가시광 파장으로 분리하는 빔 스플리터, 상기 분리된 적외선 파장의 광에너지를 적외선 이미지 센서의 초점면에 영상으로 맺히도록 해 주는 적외선 옵틱스, 상기 분리된 가시광 파장의 광에너지를 가시광 이미지 센서의 초점면에 영상으로 맺히도록 해 주는 가시광 옵틱스, 상기 초점면에 맺힌 적외선 파장의 광에너지로부터 적외선 영상을 생성하는 상기 적외선 이미지 센서, 상기 초점면에 맺힌 가시광 파장의 광에너지로부터 가시광 영상을 생성하는 상기 가시광 이미지 센서, 상기 가시광 영상으로부터 사물 인식을 수행하도록 제어하고, 그 수행 결과 및/또는 영상의 주변 조도 측정 결과에 따라 상기 가시광 영상과 상기 적외선 영상의 합성 여부를 제어하는 제어부, 상기 제어부로부터의 제어에 따라 상기 가시광 영상 및 상기 적외선 영상의 합성을 수행하는 이미지 프로세서, 그리고, 상기 가시광 영상 또는 상기 합성 영상으로부터 사물 인식을 수행하는 사물 인식부를 포함하여 구성된다.The image processing apparatus according to an embodiment of the present invention for achieving the above object is a common optical system for transmitting the light energy in the visible region and the light energy in the infrared region, the beam separating the transmitted light energy into an infrared wavelength and a visible light wavelength A splitter, infrared optics for condensing the optical energy of the separated infrared wavelength to the focal plane of the infrared image sensor, and visible light condensing the optical energy of the separated visible light wavelength to the focal plane of the visible image sensor Optics, the infrared image sensor for generating an infrared image from the light energy of the infrared wavelength on the focal plane, the visible light image sensor for generating a visible light image from the light energy of the visible light wavelength on the focal plane, object recognition from the visible light image Control to perform the results And / or a controller configured to control whether the visible light image and the infrared image are synthesized according to a peripheral illumination measurement result of the image, an image processor configured to synthesize the visible light image and the infrared image according to control from the controller, and And an object recognizer configured to perform object recognition from the visible light image or the composite image.

본 발명의 다양한 실시예에 따르면, 공통 광학계(Common Optics)를 이용하여 유사 목적의 가시광 카메라와 적외선 카메라를 통합하여 물리적인 공간 활용성을 높이고, 공통 광학계의 장점인 동일한 LOS(Ling of Sight)를 통해 가시광 영상과 적외선 영상을 합성하여 사물 인식의 효율을 극대화하고, 이에 따라 운전자에게 정확한 상황에 경보를 울릴 수 있는 효과가 있다.According to various embodiments of the present invention, common optics are used to integrate visible light cameras and infrared cameras for similar purposes to increase physical space utilization, and to provide the same LOS (Ling of Sight), which is an advantage of common optics. By combining the visible light image and the infrared image through the object to maximize the efficiency of the object, accordingly there is an effect that can alert the driver in the correct situation.

도 1은 본 발명의 바람직한 실시예에 따른 영상 처리 장치의 상세 구성을 도시한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 영상 처리 방법을 도시한 흐름도이다.1 is a block diagram showing a detailed configuration of an image processing apparatus according to a preferred embodiment of the present invention.
2 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. Meanwhile, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and / or “comprising” refers to a component, step, operation and / or device that is present in one or more other components, steps, operations and / or elements. Or does not exclude additions.

도 1은 본 발명의 바람직한 실시예에 따른 영상 처리 장치의 상세 구성을 도시한 블록도이다.1 is a block diagram showing a detailed configuration of an image processing apparatus according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 발명의 바람직한 실시에에 따른 영상 처리 장치는 가시광 영역의 광에너지와 적외선 영역의 광에너지를 투과시키는 공통 광학계(10), 상기 투과된 광에너지들을 적외선 파장과 가시광 파장으로 분리하는 빔 스플리터(20), 상기 분리된 적외선 파장의 광에너지를 적외선 이미지 센서(40a)의 초점면에 영상으로 맺히도록 해 주는 적외선 옵틱스(30a), 상기 분리된 가시광 파장의 광에너지를 가시광 이미지 센서(40b)의 초점면에 영상으로 맺히도록 해 주는 가시광 옵틱스(30b), 상기 초점면에 맺힌 적외선 파장의 광에너지로부터 적외선 영상을 생성하는 상기 적외선 이미지 센서(40a), 상기 초점면에 맺힌 가시광 파장의 광에너지로부터 가시광 영상을 생성하는 상기 가시광 이미지 센서(40b), 사물 인식부(70)가 상기 가시광 영상으로부터 사물 인식을 수행하도록 제어하고, 이미지 프로세서(50)가 상기 사물 인식 수행 결과 및/또는 조도 측정부(60)로부터의 주변 조도 측정 결과에 따라 상기 가시광 영상과 상기 적외선 영상을 합성하도록 제어하는 제어부(미도시), 상기 제어부로부터의 제어에 따라 상기 가시광 영상 및 상기 적외선 영상의 합성을 수행하는 이미지 프로세서(50), 상기 가시광 영상 또는 상기 합성된 영상으로부터 상기 사물 인식부(70)가 사물 인식을 잘 할 수 있도록 상기 가시광 영상 또는 상기 합성된 영상을 최적화하는 이미지 최적화부(70)를 포함하여 구성된다.Referring to FIG. 1, an image processing apparatus according to an exemplary embodiment of the present invention includes a common optical system 10 for transmitting light energy in a visible light region and light energy in an infrared light region, and converts the transmitted light energies into an infrared wavelength and a visible light wavelength. The splitting beam splitter 20, the infrared optics 30a for forming the separated optical energy of the infrared wavelength on the focal plane of the infrared image sensor 40a, and the visible energy of the optical energy of the separated visible light wavelength. Visible light optics 30b for forming an image on the focal plane of the sensor 40b, the infrared image sensor 40a for generating an infrared image from optical energy of infrared wavelengths on the focal plane, and visible light on the focal plane. The visible light image sensor 40b and the object recognizing unit 70 generating a visible light image from light energy of a wavelength may be an object from the visible light image. A control unit for performing an equation and controlling the image processor 50 to synthesize the visible light image and the infrared image according to the object recognition result and / or the ambient light measurement result from the illuminance measurement unit 60. An image processor 50 for synthesizing the visible light image and the infrared image under control of the controller, and the object recognition unit 70 may recognize the object well from the visible light image or the synthesized image. And an image optimizer 70 for optimizing the visible light image or the synthesized image.

상기 공통광학계(10)는 적외선 파장과 가시광 파장을 동시에 투과시킨다. 상기 공통 광학계(10)는 일반적인 재질의 렌즈와 코팅으로는 적외선 파장과 가시광 파장을 동시에 투과시킬 수 없으나 Zns와 CaF2 재질의 경우 적외선 파장과 가시광 파장을 동시에 투과시킬 수 있다.The common optical system 10 simultaneously transmits an infrared wavelength and a visible light wavelength. The common optical system 10 may not transmit infrared wavelengths and visible wavelengths at the same time with a lens and a coating of a general material, but Zns and CaF2 materials may simultaneously transmit infrared wavelengths and visible wavelengths.

상기 투과된 각 파장영역의 광에너지는 빔 스플리터(20)에 의해 적외선 파장의 광에너지와 가시광 파장의 광에너지로 분리된다. 상기 빔 스플리터(20)는 실리콘 재질의 광학 부품을 밴드패스 필터코팅을 통하여 적외선 파장 영역의 광에너지는 투과하고, 가시광 파장 영역의 광에너지는 반사시키는 기능을 한다.The light energy of each transmitted wavelength region is separated into light energy of an infrared wavelength and light energy of a visible light wavelength by the beam splitter 20. The beam splitter 20 transmits optical energy in the infrared wavelength region and reflects the optical energy in the visible wavelength region through the band pass filter coating on the optical component made of silicon.

상기 각각 분리된 영역의 광에너지는 각 광학 옵틱스(30a, 30b)에 최적화되어 각 이미지 센서(40a, 40b)에 의해 이미지가 생성된다. 상기 적외선 옵틱스(30a)는 적외선 파장 영역의 광에너지를 적외선 이미지 센서(40a)의 초점면에 영상으로 맺히도록 만들어 주는 광학 부품이다. 상기 가시광 옵틱스(30b)는 가시광 파장 영역의 광에너지를 가시광 이미지 센서(40b)의 초점면에 영상으로 맺히도록 만들어주는 광학 부품이다.The light energy of each of the separated regions is optimized for each optical optics 30a and 30b to generate an image by each of the image sensors 40a and 40b. The infrared optics 30a is an optical component that makes light energy of an infrared wavelength region form an image on a focal plane of the infrared image sensor 40a. The visible light optics 30b is an optical component that makes light energy in a visible light wavelength region form an image on a focal plane of the visible light image sensor 40b.

상기 적외선(Long Wavelength Infrared, 원적외선) 이미지 센서(40a)는 상온 영역에서 가장 많은 복사량을 가지므로 근적외선과 따로 적외선 램프와 같은 보조 광원이 필요하지 않은 부품이다.The Long Wavelength Infrared image sensor 40a has the largest amount of radiation in the room temperature region and thus does not require an auxiliary light source such as an infrared lamp.

상기 각 이미지 센서(40a, 40b)에 의해 생성된 이미지는 이미지 프로세서(50)에서 합성하여 최종 합성된 영상을 생성한다. 상기 이미지 프로세서(50)는 상기 적외선 이미지 센서(40a)에서 생성된 적외선 영상과 가시광 이미지 센서(40b)에서 생성된 가시광 영상을 합성하여 최종 합성된 영상을 생성한다.The images generated by the image sensors 40a and 40b are synthesized by the image processor 50 to generate a final synthesized image. The image processor 50 generates a final synthesized image by combining the infrared image generated by the infrared image sensor 40a and the visible light image generated by the visible light image sensor 40b.

도 2는 본 발명의 바람직한 실시예에 따른 영상 처리 방법을 도시한 흐름도이다.2 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 영상 처리 방법에서 공동공통광학계(10)는 가시광 영역의 광에너지와 적외선 영역의 광에너지를 투과시킨다.Referring to FIG. 2, in the image processing method according to the exemplary embodiment of the present invention, the common common optical system 10 transmits light energy in the visible region and light energy in the infrared region.

빔 스플리터(20)는 상기 투과된 광에너지들을 적외선 파장과 가시광 파장으로 분리한다.The beam splitter 20 separates the transmitted light energy into an infrared wavelength and a visible light wavelength.

적외선 이미지 센서(30a)는 상기 분리된 적외선 파장의 광에너지가 적외선 이미지 센서의 초점면에 맺힐 때 이로부터 적외선 영상을 생성한다.The infrared image sensor 30a generates an infrared image from the optical energy of the separated infrared wavelength when it forms on the focal plane of the infrared image sensor.

가시광 이미지 센서(30b)는 상기 분리된 가시광 파장의 광에너지가 가시광 이미지 센서의 초점면에 맺힐 때 이로부터 가시광 영상을 생성한다.The visible light image sensor 30b generates a visible light image therefrom when light energy of the separated visible light wavelength is formed on the focal plane of the visible light image sensor.

사물 인식부(80)는 상기 가시광 영상으로부터 제1 사물 인식을 수행하거나, 상기 적외선 영상으로부터 제3 사물 인식을 수행하거나, 상기 가시광 영상과 상기 적외선 영상의 합성 영상으로부터 제2 사물 인식을 수행한다.The object recognition unit 80 performs a first object recognition from the visible light image, performs a third object recognition from the infrared image, or performs a second object recognition from the composite image of the visible light image and the infrared image.

바람직하게, 제2 사물 인식의 대상들은 상기 제1 사물 인식의 적어도 하나의 대상을 포함한다. 즉, 상기 제1 사물 인식의 결과에 인식된 사물이 있다 하더라도 타겟 사물이 포함되지 않은 경우에도 합성된 영상을 이용하여 타겟 사물을 인식하고자 하는 것이다.Preferably, objects of the second object recognition include at least one object of the first object recognition. That is, even if there is a recognized object in the result of the first object recognition, the target object is to be recognized using the synthesized image even when the target object is not included.

사물 인식부(80)는 가시광 영상 기반으로 인식 기능을 먼저 수행한다. (S11) 만일, 상기 사물 인식부(80)가 적어도 하나의 사물 내지는 타겟 사물을 인식하는데 실패한 경우 이를 제어부(미도시)에 통보한다. 또한, 상기 제어부(미도시)는 입력되는 가시광 영상 및/또는 적외선 영상의 주변 조도를 측정한 결과를 조도 측정부(60)로부터 주기적으로 제공받는다. (S14) 이에 제어부(미도시)는 상기 사물 인식부(80)의 사물 인식 결과 및/또는 상기 조도 측정 결과에 근거하여 이미지 프로세서(50)로 하여금 적외선 영상과 가시광 영상의 합성을 하도록 지시한다. (S12) The object recognition unit 80 first performs a recognition function based on the visible light image. (S11) If the object recognizing unit 80 fails to recognize at least one object or a target object, the object recognition unit 80 notifies the controller (not shown) of the object recognition unit 80. In addition, the controller (not shown) periodically receives the result of measuring the ambient illuminance of the input visible image and / or infrared image from the illuminance measuring unit 60. In operation S14, the controller (not shown) instructs the image processor 50 to synthesize the infrared image and the visible light image based on the object recognition result and / or the illuminance measurement result of the object recognition unit 80. (S12)

이에 상기 이미지 프로세서(50)는 상기 적외선 영상과 가시광 영상의 합성을 수행한다. Accordingly, the image processor 50 performs the synthesis of the infrared image and the visible light image.

영상 합성 지시 이후에도 상기 제어부(미도시)는 사물 인식부(80) 및 조도 측정부(60)로부터 제공되는 사물 인식 결과 및/또는 상기 적외선 영상 및/또는 상기 가시광 영상의 주변 조도 레벨을 분석하여 상기 합성 과정의 지속 여부를 결정하고, 이 결정에 따라 상기 이미지 프로세서(50)의 영상 합성을 제어한다. (S13)After the image synthesis instruction, the controller (not shown) analyzes the object recognition result provided from the object recognition unit 80 and the illuminance measurement unit 60 and / or the peripheral illumination level of the infrared image and / or the visible light image. It determines whether to continue the synthesis process, and controls the image synthesis of the image processor 50 according to this determination. (S13)

만일, 상기 주변 조도 레벨이 특정 값 사이일 경우 상기 영상 합성은 지속적으로 이루어진다. (S15) 그러나, 상기 주변 조도 레벨이 특정값을 초과하는 경우에는 제어부(미도시)는 상기 사물 인식부(80)로 하여금 가시광 영상에 근거하여 사물을 인식하도록 제어한다. (S16) 상기 주변 조도 레벨이 특정값 이하일 경우에는 상기 사물 인식부(80)로 하여금 적외선 영상에 근거하여 사물을 인식하도록 제어한다. (S17)If the peripheral illuminance level is between a specific value, the image synthesis is continuously performed. However, when the peripheral illuminance level exceeds a specific value, the controller (not shown) controls the object recognition unit 80 to recognize the object based on the visible light image. If the peripheral illuminance level is less than or equal to a specific value, the object recognition unit 80 controls the object to be recognized based on the infrared image. (S17)

상기 가시광 영상과 적외선 영상은 이미지 프로세서(50)에 동시에 입력된다.The visible light image and the infrared image are simultaneously input to the image processor 50.

상기 사물 인식부(80)는 상기 이미지 센서들(40a, 40b)에 입사되어 만들어진 두 가지 영상들 중 가시광 영상만을 먼저 프로세싱한다. 이때, 가시광 영상 만으로 프로세싱할 때 역광 및 복잡한 배경 혹은 야간일 경우 인식 기능이 실패하게 된다. 따라서, 인식 기능이 실패할 경우 즉시 적외선 영상을 합성하여 인식 기능을 수행한다.The object recognizing unit 80 processes only the visible light image among the two images made by being incident on the image sensors 40a and 40b. At this time, when processing only the visible light image, the recognition function fails in the case of backlight and complex background or at night. Therefore, when the recognition function fails, the recognition function is performed by synthesizing the infrared image immediately.

상기 주변 조도 레벨이 x1< 조도 <x2일 경우에는 주간, 야간의 사이, 가시광, 적외선 동시 사용 가능하므로 영상 성능 향상을 위해 영상 합성을 한다.When the peripheral illuminance level is x1 <illuminance <x2, simultaneous light and infrared light can be used simultaneously during the day and night, and thus image synthesis is performed to improve image performance.

상기 주변 조도 레벨이 조도 < x1일 경우에는 야간으로 판단하여 사물 인식을적외선 위해 영상을 이용한다.When the ambient illuminance level is illuminance <x1, the image is determined at night to use an image for infrared recognition of an object.

상기 주변 조도 레벨이 x2 < 조도일 경우에는 주간으로 판단하여, 사물 인식을위해 기본적으로 가시광 영상을 사용하며, 실패시 합성된 영상을 사용하여 사물 인식을 수행한다.When the ambient illuminance level is x2 <illuminance, it is determined as daytime, and a visible light image is basically used for object recognition, and object recognition is performed using a synthesized image in case of failure.

이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention described above are not only implemented through the apparatus and the method, but may also be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded. Implementation may be easily implemented by those skilled in the art from the description of the above-described embodiments.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. Not limited by the drawings, all or some of the embodiments may be selectively combined to enable various modifications.

10 : 공통 광학계
20 : 빔 스플리터
30a : 적외선 옵틱스
30b : 가시광 옵틱스
40a : 적외선 이미지 센서
40b : 가시광 이미지 센서
50 : 이미지 프로세서
60 : 조도 측정부
70 : 이미지 최적화부
80 : 사물 인식부10: common optical system
20: beam splitter
30a: infrared optics
30b: visible light optics
40a: Infrared image sensor
40b: visible light image sensor
50: image processor
60: roughness measuring unit
70: image optimizer
80: object recognition unit

Claims (8)

가시광 영역의 광에너지와 적외선 영역의 광에너지를 투과시키는 공통 광학계;
상기 투과된 광에너지들을 적외선 파장과 가시광 파장으로 분리하는 빔 스플리터;
상기 분리된 적외선 파장의 광에너지를 적외선 이미지 센서의 초점면에 영상으로 맺히도록 해 주는 적외선 옵틱스;
상기 분리된 가시광 파장의 광에너지를 가시광 이미지 센서의 초점면에 영상으로 맺히도록 해 주는 가시광 옵틱스;
상기 적외선 이미지 센서의 초점면에 맺힌 적외선 파장의 광에너지로부터 적외선 영상을 생성하는 상기 적외선 이미지 센서;
상기 가시광 이미지 센서의 초점면에 맺힌 가시광 파장의 광에너지로부터 가시광 영상을 생성하는 상기 가시광 이미지 센서;
상기 가시광 영상으로부터 사물 인식을 수행하도록 제어하고, 상기 사물 인식의 수행 결과 및 영상의 주변 조도 측정 결과 중 적어도 하나에 따라 상기 가시광 영상과 상기 적외선 영상의 합성 여부를 제어하는 제어부;
상기 제어부로부터의 제어에 따라 상기 가시광 영상 및 상기 적외선 영상의 합성을 수행하는 이미지 프로세서; 그리고,
상기 가시광 영상 또는 상기 합성 영상으로부터 사물 인식을 수행하는 사물 인식부를 포함하여 구성되며,
상기 가시광 영상 및 상기 적외선 영상 중 적어도 하나의 영상의 주변 조도를 측정하기 위한 조도 센서를 더 포함하여 구성되며,
상기 사물 인식부는,
상기 가시광 영상으로부터 사물 인식을 수행하고, 상기 가시광 영상으로부터 사물 인식이 실패 했을 때 또는 상기 인식한 사물이 타겟 사물이 아닌 경우, 상기 합성된 영상으로부터 사물 인식을 수행하며,
상기 제어부는,
영상 합성 지시 이후에도, 상기 가시광 영상의 주변 조도 및 상기 적외선 영상의 주변 조도를 주기적으로 제공받아, 상기 가시광 영상의 주변 조도 및 상기 적외선 영상의 주변 조도에 따라 상기 가시광 영상과 상기 적외선 영상의 합성 여부를 결정하되,
상기 가시광 영상의 주변 조도 및 상기 적외선 영상의 주변 조도의 분석 결과, 주간 및 야간의 사이인 것으로 판단되면, 영상 성능 향상을 위해, 상기 이미지 프로세서가 상기 가시광 영상과 상기 적외선 영상을 합성하도록 하고,
상기 분석 결과, 야간으로 판단되면, 상기 이미지 프로세서가 상기 가시광 영상과 상기 적외선 영상의 합성하지 않고, 상기 사물 인식부가 상기 적외선 영상을 이용하여 사물 인식을 수행하도록 하고,
상기 분석 결과, 주간으로 판단되면, 상기 이미지 프로세서가 상기 사물 인식부가 상기 가시광 영상을 이용하여 사물 인식을 수행하도록 하되, 사물 인식에 실패 시, 상기 가시광 영상과 상기 적외선 영상의 합성하도록 하는 것을 특징으로 하는 영상 처리 장치.A common optical system for transmitting the light energy in the visible light region and the light energy in the infrared region;
A beam splitter separating the transmitted light energies into an infrared wavelength and a visible light wavelength;
Infrared optics for condensing the optical energy of the separated infrared wavelength into an image on a focal plane of the infrared image sensor;
Visible light optics for forming light energy of the separated visible light wavelength as an image on a focal plane of a visible light image sensor;
The infrared image sensor generating an infrared image from light energy of an infrared wavelength formed on a focal plane of the infrared image sensor;
The visible light image sensor generating a visible light image from light energy of a visible light wavelength formed on a focal plane of the visible light image sensor;
A controller configured to control object recognition from the visible light image and control whether the visible light image and the infrared image are synthesized according to at least one of a result of performing object recognition and a result of measuring peripheral illumination of the image;
An image processor configured to synthesize the visible light image and the infrared image under control from the controller; And,
And an object recognizer configured to recognize an object from the visible light image or the composite image.
And an illuminance sensor for measuring peripheral illuminance of at least one of the visible light image and the infrared image.
The object recognition unit,
Perform object recognition from the visible light image, perform object recognition from the synthesized image when object recognition fails from the visible light image, or when the recognized object is not a target object,
The control unit,
Even after the image synthesis instruction, the peripheral illumination of the visible light image and the peripheral illumination of the infrared image are periodically received, and whether the visible light image and the infrared image are synthesized according to the peripheral illumination of the visible light image and the peripheral illumination of the infrared image. Decide,
If it is determined that the ambient illumination of the visible light image and the ambient illumination of the infrared image is between the day and night, the image processor to synthesize the visible light image and the infrared image to improve the image performance,
As a result of the analysis, when determined to be night, the image processor does not synthesize the visible light image and the infrared image, and causes the object recognition unit to perform object recognition using the infrared image,
As a result of the analysis, if determined to be daytime, the image processor causes the object recognition unit to perform object recognition using the visible light image, and when the object recognition fails, the image processor synthesizes the visible light image and the infrared image. Image processing device. 삭제delete 제 1 항에 있어서, 상기 공통 광학계는
Zns와 CaF2 재질로 이루어진 것을 특징으로 하는 영상 처리 장치.The method of claim 1, wherein the common optical system
Image processing apparatus comprising a Zns and CaF2 material. 가시광 영역의 광에너지와 적외선 영역의 광에너지를 투과시키는 단계;
상기 투과된 광에너지들을 적외선 파장과 가시광 파장으로 분리하는 단계;
상기 분리된 적외선 파장의 광에너지가 적외선 이미지 센서의 초점면에 맺힐 때 이로부터 적외선 영상을 생성하는 단계;
상기 분리된 가시광 파장의 광에너지가 가시광 이미지 센서의 초점면에 맺힐 때 이로부터 가시광 영상을 생성하는 단계;
상기 가시광 영상으로부터 제1 사물 인식을 수행하는 단계;
상기 제1 사물 인식 수행 결과 및/또는 상기 가시광 영상 및 상기 적외선 영상 중 적어도 하나의 영상의 주변 조도 레벨에 따라 상기 가시광 영상과 상기 적외선 영상을 합성하는 단계; 그리고,
상기 합성된 영상으로부터 제2 사물 인식을 수행하는 단계를 포함하며,
상기 가시광 영상과 상기 적외선 영상을 합성하는 단계에서, 영상 합성 지시 이후에도, 상기 가시광 영상의 주변 조도 및 상기 적외선 영상의 주변 조도를 주기적으로 획득하고, 상기 제1 사물 인식 결과 및/또는 상기 가시광 영상 및 상기 적외선 영상 중 적어도 하나의 영상의 주변 조도 레벨을 분석하여 상기 합성 과정의 지속 여부를 결정하는 단계를 더 포함하며,
상기 제2 사물 인식을 수행하는 단계는,
상기 가시광 영상으로부터 사물 인식이 실패 했을 때 또는 상기 인식한 사물이 타겟 사물이 아닌 경우, 상기 합성된 영상으로부터 상기 제2 사물 인식을 수행하며,
상기 가시광 영상과 상기 적외선 영상을 합성하는 단계는,
상기 가시광 영상의 주변 조도 및 상기 적외선 영상의 주변 조도의 분석 결과, 주간 및 야간의 사이인 것으로 판단되면, 영상 성능 향상을 위해, 상기 가시광 영상과 상기 적외선 영상을 합성하도록 하며,
상기 합성 과정의 지속 여부를 결정하는 단계는,
상기 가시광 영상의 주변 조도 및 상기 적외선 영상의 주변 조도에 따라 상기 가시광 영상과 상기 적외선 영상의 합성 여부가 결정된 이후에도, 주기적으로 상기 가시광 영상의 주변 조도 및 상기 적외선 영상의 주변 조도의 분석하여, 상기 분석 결과, 야간으로 판단되면, 상기 가시광 영상과 상기 적외선 영상의 합성하지 않고, 상기 적외선 영상을 이용하여 제2 사물 인식을 수행하도록 하고,
상기 분석 결과, 주간으로 판단되면, 상기 가시광 영상을 이용하여 사물 인식을 수행하도록 하되, 사물 인식에 실패 시, 상기 가시광 영상과 상기 적외선 영상의 합성하도록 하는 것을 특징으로 하는 영상 처리 방법.Transmitting light energy in the visible region and light energy in the infrared region;
Separating the transmitted light energies into an infrared wavelength and a visible light wavelength;
Generating an infrared image therefrom when the light energy of the separated infrared wavelength is concentrated on a focal plane of the infrared image sensor;
Generating a visible light image therefrom when light energy of the separated visible light wavelength is formed on a focal plane of the visible light image sensor;
Performing a first object recognition from the visible light image;
Synthesizing the visible light image and the infrared image according to a result of performing the first object recognition and / or a peripheral illumination level of at least one of the visible light image and the infrared image; And,
Performing a second object recognition from the synthesized image,
In the step of synthesizing the visible light image and the infrared image, after the image synthesis instruction, the peripheral illuminance of the visible light image and the peripheral illuminance of the infrared image are periodically acquired, and the first object recognition result and / or the visible light image and Determining whether to continue the synthesis process by analyzing peripheral illumination levels of at least one of the infrared images;
The performing of the second object recognition may include:
When the object recognition fails from the visible light image or when the recognized object is not a target object, the second object recognition is performed from the synthesized image,
Synthesizing the visible light image and the infrared image,
If it is determined that the ambient illumination of the visible light image and the ambient illumination of the infrared image is between the day and night, to synthesize the visible light image and the infrared image to improve the image performance,
Determining whether to continue the synthesis process,
Even after determining whether the visible light image and the infrared image are synthesized according to the peripheral illumination of the visible light image and the peripheral illumination of the infrared image, the peripheral illumination of the visible light image and the peripheral illumination of the infrared image are periodically analyzed and analyzed. As a result, when it is determined that it is night, the second object recognition is performed by using the infrared image without combining the visible light image and the infrared image,
If it is determined as the result of the analysis, the object recognition is performed by using the visible light image, but when the object recognition fails, the image processing method characterized in that for combining the visible light image and the infrared image. 삭제delete 삭제delete 제 4 항에 있어서, 상기 제2 사물 인식의 대상들은 상기 제1 사물 인식의 적어도 하나의 대상을 포함하는 것을 특징으로 하는 영상 처리 방법.The image processing method of claim 4, wherein the objects of the second object recognition include at least one object of the first object recognition. 삭제delete
KR1020130085891A 2013-07-22 2013-07-22 Image Processing Method and Apparatus therefor KR102035355B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130085891A KR102035355B1 (en) 2013-07-22 2013-07-22 Image Processing Method and Apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130085891A KR102035355B1 (en) 2013-07-22 2013-07-22 Image Processing Method and Apparatus therefor

Publications (2)

Publication Number Publication Date
KR20150011098A KR20150011098A (en) 2015-01-30
KR102035355B1 true KR102035355B1 (en) 2019-11-18

Family

ID=52482561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130085891A KR102035355B1 (en) 2013-07-22 2013-07-22 Image Processing Method and Apparatus therefor

Country Status (1)

Country Link
KR (1) KR102035355B1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469390B (en) * 2015-11-17 2018-04-27 哈尔滨工程大学 A kind of panorama sea horizon extracting method based on improvement Seam Carving
KR101940150B1 (en) * 2015-12-11 2019-01-18 주식회사 엘지화학 Sealing apparatus for secondary battery
CN111028188B (en) 2016-09-19 2023-05-02 杭州海康威视数字技术股份有限公司 Light-splitting fusion image acquisition equipment
CN108074257B (en) * 2016-11-11 2022-03-08 中国石油化工股份有限公司抚顺石油化工研究院 Sulfide information extraction method, device and system based on serial processing
CN108074255B (en) * 2016-11-11 2022-03-08 中国石油化工股份有限公司抚顺石油化工研究院 Method, device and system for extracting sulfide information based on heterogeneous parallel
KR101868293B1 (en) * 2017-11-10 2018-07-17 주식회사 아이티티 Apparatus for Providing Vehicle LIDAR
KR101852476B1 (en) 2017-12-28 2018-06-04 한국해양과학기술원 Multiple-wavelength images analysis electro optical system for detection of accident ship and submerged person and analysis method thereof
CN110557527B (en) * 2018-06-04 2021-03-23 杭州海康威视数字技术股份有限公司 Camera and snapshot image fusion method
CN110557526B (en) 2018-06-04 2021-03-23 杭州海康威视数字技术股份有限公司 Image acquisition method and system
KR20220067733A (en) * 2020-11-18 2022-05-25 한국전자기술연구원 Vehicle lightweight deep learning processing device and method applying multiple feature extractor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101167094B1 (en) * 2011-10-26 2012-07-20 한국 천문 연구원 Optical device using both electro-optical and infrared light

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60224033A (en) * 1984-04-20 1985-11-08 Fujitsu Ltd Infrared-ray image display system
KR101674099B1 (en) * 2010-10-14 2016-11-08 현대모비스 주식회사 Apparatus for generating image for face authentication and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101167094B1 (en) * 2011-10-26 2012-07-20 한국 천문 연구원 Optical device using both electro-optical and infrared light

Also Published As

Publication number Publication date
KR20150011098A (en) 2015-01-30

Similar Documents

Publication Publication Date Title
KR102035355B1 (en) Image Processing Method and Apparatus therefor
US9148579B1 (en) Fusion night vision system
TWI696391B (en) Projector, detection method and detection device thereof, image capturing device, electronic device, and computer readable storage medium
US20170307880A1 (en) System, method and computer program for hands-free configuration of a luminous distribution
US10520724B2 (en) Multi-wavelength head up display systems and methods
US20160142681A1 (en) Surveillance camera and focus control method thereof
JP2008276328A (en) Face image capturing apparatus
US20130257832A1 (en) Image pickoff apparatus system and method
EP3499404A3 (en) Dual-imaging vision system camera, aimer and method for using the same
WO2009094979A3 (en) Optical system for projecting an ir or uv test signal with an optical orientation of the projection axis in the visible spectral region
US20160148065A1 (en) Driver monitoring apparatus and method for controlling illuminator thereof
JP2015152606A5 (en)
US9400210B2 (en) Single aperture coaxial three channel optical system
JP2015152606A (en) Infrared thermometer and method for measuring temperature of energy zone
WO2016170370A3 (en) Compact microscope
US20210168269A1 (en) Vehicle assistance systems
WO2023015065A3 (en) System and method of digital focal plane alignment for imager and weapon system sights
GB2501818A (en) Zoom objective and camera system
CN106093913A (en) A kind of control method of laser radar dual pathways visual field altogether
RU2007100595A (en) OPTICAL-ELECTRONIC SEARCH AND MAINTENANCE SYSTEM OBJECTIVES
KR101276674B1 (en) Dual band infrared optical apparatus
KR20110027400A (en) Ir illuminator using multy-array infrared ray illuminant
KR20160050436A (en) Dual Polarization LIDAR sensor system of vehicle and the operating method
JP2017011632A (en) Imaging apparatus
JP2007026400A (en) Object detection/recognition system at place with sharp difference in illuminance using visible light and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant