KR101470198B1 - Apparatus and method for combining image - Google Patents

Apparatus and method for combining image Download PDF

Info

Publication number
KR101470198B1
KR101470198B1 KR20130089386A KR20130089386A KR101470198B1 KR 101470198 B1 KR101470198 B1 KR 101470198B1 KR 20130089386 A KR20130089386 A KR 20130089386A KR 20130089386 A KR20130089386 A KR 20130089386A KR 101470198 B1 KR101470198 B1 KR 101470198B1
Authority
KR
South Korea
Prior art keywords
image
visible light
color
infrared
infrared image
Prior art date
Application number
KR20130089386A
Other languages
Korean (ko)
Inventor
김재광
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR20130089386A priority Critical patent/KR101470198B1/en
Application granted granted Critical
Publication of KR101470198B1 publication Critical patent/KR101470198B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to an apparatus and a method for synthesizing images. The apparatus according to the present invention includes: a color modeling unit to perform modeling with respect to color data of an infrared image photographed by a first camera which photographs an infrared image and a visible image photographed by a second camera which photographs a visible image by analyzing color distribution of the infrared image and the visible image; an image converting unit to perform color conversion for an object image detected and extracted from the infrared image based on the color data model; and an image synthesizing unit to synthesize the image subject to color conversion at a position corresponding to the visible image.

Description

영상 합성 장치 및 방법{Apparatus and method for combining image}[0001] Apparatus and method for combining images [0002]

본 발명은 영상 합성 장치 및 방법에 관한 것으로, 서로 다른 타입의 복수 카메라에 의해 촬영된 영상을 이질감 없이 합성하도록 하는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image synthesizing apparatus and method, and more particularly, to a technique for synthesizing images photographed by a plurality of cameras of different types without a sense of heterogeneity.

일반적으로 차량의 카메라 시스템은 차량 주행 시 차량 주변의 영상을 촬영하여 운전자에게 제공함으로써 운전자가 영상을 통해 주변의 상황을 파악할 수 있도록 한다.Generally, a camera system of a vehicle captures an image of the surroundings of the vehicle when the vehicle is traveling, and provides it to the driver so that the driver can grasp the surrounding situation through the image.

하지만, 야간 주행 시에는 주변이 어두워 카메라에 의해 촬영되는 영상을 통해서도 보행자 등의 확인이 어려운 경우가 발생할 수 있다. 이 경우, 야간 주행 보조 시스템, 나이트 비전 시스템(Night Vision System) 등을 활용할 수 있다.However, when driving at night, the surroundings are dark, so it may be difficult to identify a pedestrian through an image taken by the camera. In this case, it is possible to utilize a night driving assistance system and a night vision system.

하지만, 나이트 비전 시스템의 경우 적외선 카메라를 이용하여 주변 상황을 파악하게 되는데, 적외선 카메라의 특수성 때문에 실제 운전자가 보고 있는 상황과는 이질감이 있어 운전자가 주변의 상황을 파악하는데 혼란을 야기시킬 수 있다.However, the night vision system uses an infrared camera to detect the surrounding situation. Due to the specificity of the infrared camera, there is a sense of heterogeneity from what the driver actually sees, which may cause the driver to perceive the surrounding situation.

따라서, 운전자가 이질감 없이 영상을 통해 주변 상황을 파악할 수 있도록 하는 방안이 필요하다.Therefore, there is a need for a way for the driver to grasp the surrounding situation through the image without any sense of heterogeneity.

본 발명의 목적은, 서로 다른 타입의 카메라에 의해 촬영된 적외선 영상 및 가시광 영상의 색상 데이터 모델을 근거로 적외선 영상에서 추출된 보행자의 색을 변환하여 이질감 없이 가시광 영상에 합성하도록 하는 영상 합성 장치 및 방법을 제공함에 있다.It is an object of the present invention to provide an image synthesizing apparatus for converting the color of a pedestrian extracted from an infrared image based on a color data model of an infrared image and a visible light image photographed by different types of cameras, Method.

특히, 본 발명의 목적은, 야간에 영상 촬영 시 카메라에 의해 촬영되는 적외선 영상으로부터 보행자를 추출하여 가시광 영상에 이질감 없이 합성하도록 하는 영상 합성 장치 및 방법을 제공함에 있다.In particular, it is an object of the present invention to provide an image synthesizing apparatus and method for extracting a pedestrian from an infrared image photographed by a camera at the time of photographing at night, and synthesizing the visual image without a sense of heterogeneity.

상기의 목적을 달성하기 위한 본 발명에 따른 영상 합성 장치는, 적외선 영상을 촬영하는 제1 카메라로부터 촬영된 적외선 영상 및 가시광 영상을 촬영하는 제2 카메라로부터 촬영된 가시광 영상의 색상 분포를 분석하여 상기 적외선 영상 및 상기 가시광 영상에 대한 색상 데이터를 모델링하는 색상 모델링부, 상기 적외선 영상으로부터 검출된 객체를 추출한 영상을 상기 색상 데이터 모델에 근거하여 색 변환하는 영상 변환부, 및 상기 색 변환된 영상을 상기 가시광 영상에서 대응되는 위치에 합성하는 영상 합성부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an image synthesizing apparatus for analyzing a color distribution of a visible light image photographed by a second camera that captures an infrared image and a visible light image captured by a first camera that captures an infrared image, A color modeling unit for modeling color data of the infrared image and the visible light image, an image converter for performing color conversion based on the color data model of the image extracted from the infrared image, And an image synthesizing unit for synthesizing the synthesized image at a corresponding position in the visible light image.

또한, 본 발명에 따른 영상 합성 장치는, 상기 적외선 영상으로부터 상기 객체가 검출된 영역을 기준으로 관심영역을 설정하는 관심영역 설정부를 더 포함할 수 있다. 이때, 상기 영상 변환부는 상기 관심영역의 영상을 추출하여 색 변환하는 것을 특징으로 한다.In addition, the image synthesizing apparatus according to the present invention may further comprise a region of interest setting unit that sets a region of interest based on the region where the object is detected from the infrared image. In this case, the image converting unit extracts an image of the ROI and performs color conversion.

상기 영상 변환부는, 상기 관심영역의 영상의 각 픽셀 별로 밝기값을 추출하여 상기 가시광 영상의 색상 분포에 대응하는 R, G, B값으로 변환하는 것을 특징으로 한다.The image converting unit may extract a brightness value for each pixel of the image of the ROI, and convert the brightness values into R, G, and B values corresponding to the color distribution of the visible light image.

상기 색상 모델링부는, 상기 적외선 영상 및 상기 가시광 영상 각각의 색상 분포 평균값 및 분산값에 근거하여 색상 데이터 모델을 생성하는 것을 특징으로 한다.The color modeling unit may generate a color data model based on the average and variance values of the color distribution of the infrared image and the visible light image, respectively.

또한, 본 발명에 따른 영상 합성 장치는, 상기 적외선 영상을 분석하여 상기 적외선 영상으로부터 보행자를 검출하는 객체 검출부를 더 포함하는 것을 특징으로 한다.In addition, the image synthesizing apparatus according to the present invention may further include an object detecting unit for analyzing the infrared image and detecting a pedestrian from the infrared image.

상기 객체 검출부는, 나이트 비전 시스템(Night Vision System)의 보행자 검출 알고리즘을 이용하여 상기 적외선 영상으로부터 보행자를 검출하는 것을 특징으로 한다.The object detecting unit detects a pedestrian from the infrared image using a pedestrian detection algorithm of a night vision system.

상기 영상 합성부는, 영상 정합(image registration) 알고리즘을 이용하여 상기 색 변환된 영상을 상기 가시광 영상에서 대응되는 위치에 합성하는 것을 특징으로 한다.And the image synthesizer synthesizes the color-converted image at a corresponding position in the visible light image using an image registration algorithm.

상기 적외선 영상은 1 채널 영상이고, 상기 가시광 영상은 3 채널 영상인 것을 특징으로 한다.The infrared image is a one-channel image, and the visible light image is a three-channel image.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 영상 합성 방법은, 적외선 영상을 촬영하는 제1 카메라로부터 촬영된 적외선 영상 및 가시광 영상을 촬영하는 제2 카메라로부터 촬영된 가시광 영상을 획득하는 단계, 상기 적외선 영상 및 상기 가시광 영상의 색상 분포를 분석하여 상기 적외선 영상 및 상기 가시광 영상에 대한 색상 데이터를 모델링하는 단계, 상기 적외선 영상으로부터 보행자를 검출하는 단계, 상기 보행자가 검출된 영역을 기준으로 설정된 관심영역의 영상을 상기 색상 데이터 모델에 근거하여 색 변환하는 단계, 및 상기 색 변환된 관심영역의 영상을 상기 가시광 영상에서 대응되는 위치에 합성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of synthesizing an image, comprising the steps of: acquiring a visible light image photographed by a second camera that captures an infrared image and a visible light image captured by a first camera that captures an infrared image; A step of modeling color data of the infrared image and the visible light image by analyzing a color distribution of the infrared image and the visible light image, detecting a pedestrian from the infrared image, Converting the image of the region into color based on the color data model, and synthesizing the image of the color-converted region of interest to a corresponding position in the visible light image.

본 발명에 따르면, 서로 다른 타입의 카메라에 의해 촬영된 적외선 영상 및 가시광 영상의 색상 데이터 모델을 근거로 적외선 영상에서 추출된 보행자의 색을 변환하여 가시광 영상에 합성함으로써 이질감 없는 합성 영상을 제공할 수 있는 이점이 있다.According to the present invention, a color of a pedestrian extracted from an infrared image is converted based on a color data model of an infrared image and a visible light image taken by cameras of different types, and synthesized to a visible light image to provide a seamless image There is an advantage.

또한, 야간에 영상 촬영 시 적외선 영상을 통해 보행자를 검출하기 때문에 가시광 영상에 비해 보행자를 검출하는데 있어서 정확도가 향상될 수 있으며, 적외선 영상에 의해 검출된 보행자의 영역을 색 변환하여 가시광 영상에 합성함으로써 가시광 영상을 통해서 확인할 수 없었던 보행자를 확인할 수 있는 이점이 있다.In addition, since a pedestrian is detected through an infrared ray image at the time of photographing at night, the accuracy of detecting a pedestrian can be improved compared to a visible light image, and the area of the pedestrian detected by the infrared image is color- There is an advantage that a pedestrian that can not be confirmed through the visible light image can be identified.

도 1은 본 발명에 따른 영상 합성 장치의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 적외선 영상의 색상 데이터를 모델링하는 동작을 설명하는데 참조되는 예시도이다.
도 3은 본 발명에 따른 가시광 영상의 색상 데이터를 모델링하는 동작을 설명하는데 참조되는 예시도이다.
도 4는 본 발명에 따른 적외선 영상으로부터 보행자를 검출하는 동작을 설명하는데 참조되는 예시도이다.
도 5 및 도 6은 도 4에서 검출된 보행자의 영상을 색 변환하는 동작을 설명하는데 참조되는 예시도이다.
도 7은 본 발명에 따른 영상 합성 동작을 설명하는데 참조되는 예시도이다.
도 8 내지 도 11은 가시광 영상의 색상 분포에 따른 영상 합성 동작을 설명하는데 참조되는 예시도이다.
도 12는 본 발명에 따른 영상 합성 방법에 대한 동작 흐름을 도시한 순서도이다.1 is a block diagram showing a configuration of a video synthesizing apparatus according to the present invention.
2 is an exemplary diagram for explaining an operation of modeling color data of an infrared image according to the present invention.
3 is an exemplary diagram for explaining an operation of modeling color data of a visible light image according to the present invention.
4 is an exemplary diagram for explaining an operation of detecting a pedestrian from an infrared image according to the present invention.
5 and 6 are diagrams for explaining an operation of color-converting the image of the detected pedestrian in FIG.
FIG. 7 is an exemplary diagram referred to explain the image compositing operation according to the present invention.
FIGS. 8 to 11 are diagrams for explaining the image combining operation according to the color distribution of the visible light image.
12 is a flowchart illustrating an operation flow for an image synthesis method according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 영상 합성 장치의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 영상 합성 장치는 신호 처리부(110), 제1 카메라(120), 제2 카메라(125), 출력부(130), 저장부(140), 색상 모델링부(150), 객체 검출부(160), 관심영역 설정부(170), 영상 변환부(180) 및 영상 합성부(190)를 포함한다. 여기서, 신호 처리부(110)는 영상 합성 장치의 각 부간의 신호를 처리한다.1 is a block diagram showing a configuration of a video synthesizing apparatus according to the present invention. 1, the image synthesizing apparatus according to the present invention includes a signal processing unit 110, a first camera 120, a second camera 125, an output unit 130, a storage unit 140, a color modeling unit An object detecting unit 160, a region of interest setting unit 170, an image converting unit 180, and an image synthesizing unit 190. Here, the signal processing unit 110 processes signals between the respective units of the image synthesizing apparatus.

제1 카메라(120) 및 제2 카메라(125)는 차량에 배치되어, 차량 주변의 영상을 촬영한다. 일 예로서, 제1 카메라(120) 및 제2 카메라(125)는 차량 전방에 배치되어 전방 영상을 촬영하는 카메라일 수 있다. 이하의 실시예에서는 제1 카메라(120) 및 제2 카메라(125)가 전방 영상을 촬영하는 것으로 하여 설명하나, 이에 한정되는 것은 아니며, 차량의 좌측, 우측 및 후방에 배치되는 카메라일 수도 있음은 당연한 것이다.The first camera 120 and the second camera 125 are disposed in the vehicle, and photograph images of the surroundings of the vehicle. For example, the first camera 120 and the second camera 125 may be cameras disposed in front of the vehicle to photograph a forward image. In the following embodiments, the first camera 120 and the second camera 125 photograph the forward image. However, the present invention is not limited thereto. The camera may be a camera disposed on the left, right, and rear of the vehicle It is natural.

여기서, 제1 카메라(120)는 야간에도 객체 검출이 용이하도록 적외선 카메라로 구현하도록 한다. 따라서, 제1 카메라(120)는 차량 주행 시에 1 채널의 적외선 영상을 촬영한다. 한편, 제2 카메라(125)는 가시광 카메라로서, 3채널(R, G, B)의 가시광 영상을 촬영한다. 이때, 적외선 영상 및 가시광 영상을 합성 동작이 용이하도록 제1 카메라(120) 및 제2 카메라(125)는 서로 동일한 촬영 시점(view point)으로 전방 영상을 촬영할 수 있다. 하지만, 이에 한정되는 것은 아니다.Here, the first camera 120 is implemented as an infrared camera so that objects can be easily detected at night. Accordingly, the first camera 120 captures infrared images of one channel at the time of driving the vehicle. On the other hand, the second camera 125 is a visible light camera and captures visible light images of three channels (R, G, B). At this time, the first camera 120 and the second camera 125 can photograph the forward image at the same view point so that the combining operation of the infrared image and the visible light image is facilitated. However, the present invention is not limited thereto.

출력부(130)는 영상 합성 장치의 동작 상태 및 처리 결과를 출력할 수 있다. 일 예로서, 출력부(130)는 제1 카메라(120) 및 제2 카메라(125)에 의해 촬영되는 적외선 영상 및 가시광 영상을 실시간으로 출력할 수 있으며, 영상 합성부(190)로부터의 합성 영상을 출력할 수도 있다. 여기서, 출력부(130)는 차량에 구비된 모니터, 내비게이터 등과 같은 디스플레이 수단일 수 있으며, 스피커와 같은 음성 출력수단일 수도 있다.The output unit 130 may output an operation state and a processing result of the image synthesizing apparatus. The output unit 130 may output the infrared image and the visible light image captured by the first camera 120 and the second camera 125 in real time, May be output. Here, the output unit 130 may be a display unit such as a monitor, a navigator, or the like provided in a vehicle, or may be a voice output unit such as a speaker.

저장부(140)는 영상 합성 장치의 동작을 위한 설정값이 저장될 수 있다. 일 예로서, 저장부(140)는 제1 카메라(120) 및 제2 카메라(125)에 의해 촬영된 원본 영상의 색상 데이터 모델을 생성하기 위한 알고리즘, 적외선 영상으로부터 객체(예를 들어, 보행자, 장애물 등)를 검출하기 위한 검출 알고리즘 및 영상 변환 알고리즘 등이 저장될 수 있다. 또한, 저장부(140)는 제1 카메라(120) 및 제2 카메라(125)에 의해 촬영된 적외선 영상 및 가시광 영상이 저장될 수 있으며, 영상 합성부(190)에 의한 합성 영상이 저장될 수 있다.The storage unit 140 may store a set value for operation of the image synthesizing apparatus. For example, the storage unit 140 may include an algorithm for generating a color data model of an original image photographed by the first camera 120 and the second camera 125, an algorithm for generating an object (e.g., a pedestrian, An obstacle or the like), an image conversion algorithm, and the like can be stored. The storage unit 140 may store the infrared image and visible light image captured by the first camera 120 and the second camera 125 and may store the synthesized image by the image synthesizer 190 have.

색상 모델링부(150)는 제1 카메라(120)로부터 촬영된 적외선 영상 및 제2 카메라(125)로부터 촬영된 가시광 영상의 색상 분포를 분석하여 적외선 영상 및 가시광 영상에 대한 색상 데이터를 모델링하여 색상 데이터 모델을 생성한다. 이때, 생성 모델링부는 적외선 영상 및 가시광 영상의 색상 분포 평균값 및 분산값 등에 근거하여 색상 데이터 모델을 생성할 수 있다. 이에, 색상 모델링부(150)에서 색상 데이터를 모델링하는 동작은 도 2 및 도 3을 참조하여 보다 상세히 설명하도록 한다.The color modeling unit 150 analyzes the color distribution of the infrared image photographed by the first camera 120 and the visible light image photographed by the second camera 125 to model the color data of the infrared image and visible light image, Create a model. At this time, the generation modeling unit can generate the color data model based on the average value and variance value of the color distribution of the infrared ray image and the visible light image. The operation of modeling color data in the color modeling unit 150 will be described in more detail with reference to FIGS. 2 and 3. FIG.

객체 검출부(160)는 제1 카메라(120)에 의해 촬영된 적외선 영상을 분석하여 객체를 검출한다. 일 예로서, 객체 검출부(160)는 적외선 영상으로부터 보행자 또는 장애물 등을 검출할 수 있다.The object detecting unit 160 analyzes an infrared image captured by the first camera 120 to detect an object. For example, the object detecting unit 160 may detect a pedestrian or an obstacle from an infrared image.

이때, 객체 검출부(160)는 나이트 비전 시스템(Night Vision System)의 보행자 검출 알고리즘을 이용하여 적외선 영상으로부터 보행자를 검출할 수 있다. 이때, 객체 검출부(160)는 온도가 높은 물체일수록 밝게 표현되는 적외선 카메라의 특성을 활용하여 상대적으로 온도가 높은 보행자를 검출한다. At this time, the object detecting unit 160 can detect the pedestrian from the infrared image using the night vision system (Night Vision System) pedestrian detection algorithm. At this time, the object detecting unit 160 detects a pedestrian having a relatively high temperature by utilizing the characteristics of an infrared camera which is expressed more brightly with an object having a higher temperature.

일 예로서, 객체 검출부(160)는 임계값을 설정하고, 적외선 영상에서 임계값 이상의 밝은 부분을 보행자로 검출하는 방식, 노면 영역을 검출하여 노면 영역을 기준으로 보행자가 출현하는 영역을 정의하고 해당 영역을 기준으로 보행자를 검출하는 방식, 또는 보행자의 특징 벡터를 추종하여 보행자를 검출하는 방식 등을 적용할 수 있다. 이와 같이, 보행자를 검출하는 방식은 어느 하나에 한정되는 것은 아니며, 일반적으로 영상으로부터 보행자를 검출하는 방식이라면 어느 것이든 적용 가능하다. 따라서, 보행자를 검출하는 기술에 대한 구체적인 설명은 생략하도록 한다.For example, the object detection unit 160 may set a threshold value, detect a bright portion of a threshold value or more in the infrared image as a pedestrian, define a region where a pedestrian appears on the basis of the road surface region, A method of detecting a pedestrian based on an area, or a method of detecting a pedestrian by following a feature vector of a pedestrian can be applied. As described above, the method of detecting a pedestrian is not limited to any one, and any method can be applied as long as it is a method of detecting a pedestrian from an image in general. Therefore, a detailed description of a technique for detecting a pedestrian will be omitted.

관심영역 설정부(170)는 객체 검출부(160)에 의해 객체가 검출되면, 적외선 영상에서 객체가 검출된 영역을 기준으로 관심영역을 설정한다. 이때, 관심영역의 크기는 적외선 영상으로부터 상, 하, 좌, 우측으로 일정 거리 이내의 영역으로 설정하도록 하며, 적외선 영상에서 검출된 객체의 크기에 비례할 수 있다.When an object is detected by the object detection unit 160, the ROI setting unit 170 sets an ROI based on an ROI in which an object is detected in the infrared ray image. In this case, the size of the ROI is set to a range within a predetermined distance from the infrared image, up, down, left, and right, and may be proportional to the size of the object detected in the infrared image.

영상 변환부(180)는 적외선 영상으로부터 관심영역 설정부(170)에 의해 설정된 관심영역을 추출한다. 이때, 영상 변환부(180)는 색상 모델링부(150)에 의해 생성된 적외선 영상 및 가시광 영상의 색상 데이터 모델에 근거하여 관심영역의 영상을 색 변환한다. 따라서, 관심영역의 영상은 적외선 영상 및 가시광 영상의 색상 분포에 따라 다양한 색상으로 변환될 수 있다. The image converting unit 180 extracts the ROI set by the ROI setting unit 170 from the infrared image. At this time, the image converting unit 180 color-converts the image of the ROI based on the color data model of the infrared image and the visible light image generated by the color modeling unit 150. Accordingly, the image of the region of interest can be converted into various colors according to the color distribution of the infrared image and the visible light image.

여기서, 영상 변환부(180)는 아래 [수학식 1]을 참조하여 관심영역의 영상을 색 변환할 수 있다.Here, the image converting unit 180 can color-convert an image of a region of interest by referring to Equation (1) below.

Figure 112013068388450-pat00001
Figure 112013068388450-pat00001

여기서, I는 적외선 영상의 관심영역에서 추출된 특정 픽셀(x)의 밝기값(Itensity value), μo는 적외선 영상의 Gray 색상분포 평균값, σo는 적외선 영상의 Gray 색상분포 분산값, μR, μG, μB는 가시광 영상의 채널별 색상분포 평균값, σR, σG, σB는 가시광 영상의 채널별 색상 분포 분산값, R, G, B는 특정 픽셀에 대한 채널별 색상값이다.Where I is the brightness value of a particular pixel x extracted from the region of interest of the infrared image, μ o is the gray color distribution mean value of the infrared image, σ o is the gray color distribution variance of the infrared image, μ R , μ G and μ B are the average values of color distribution of the visible light image by channel, σ R , σ G and σ B are the color distribution variance values of the visible light image by channel, and R, G and B are the color values per channel for the specific pixel .

이와 같이, 영상 변환부(180)는 적외선 영상의 관심영역에서 특정 픽셀(x)을 추출하여 해당 픽셀의 밝기값을 산출하고, 이를 [수학식 1]에 적용하여 관심영역에서 특정 픽셀(x)을 색 변환할 R, G, B 값을 각각 산출할 수 있다. 이때, 영상 변환부(180)는 관심영역의 특정 픽셀(x)에 [수학식 1]로부터 산출된 R, G, B 값을 적용함으로써 관심영역의 적외선 영상을 색 변환하도록 한다.In this way, the image converting unit 180 extracts a specific pixel x from the region of interest of the infrared image, calculates the brightness value of the pixel, and applies it to Equation (1) R, G, and B values to be color-converted, respectively. At this time, the image converting unit 180 converts the infrared image of the ROI by applying the R, G, and B values calculated from Equation (1) to the specific pixel (x) of the ROI.

영상 합성부(190)는 영상 변환부(180)에 의해 색 변환된 관심영역의 영상을 가시광 영상에서 관심영역에 대응되는 위치에 합성하도록 한다. 여기서, 영상 합성부(190)는 영상 정합 알고리즘을 이용하여 색 변환된 관심영역을 가시광 영상의 대응되는 위치에 합성할 수 있다. 영상 정합 기술은 서로 다른 좌표계에서 촬영된 영상들, 예를 들어, 다른 시각 또는 다른 관점에서 촬영된 영상을 하나의 좌표계에 나타내는 기술로서, 본 발명에서는 적외선으로 촬영된 영상을 변형하여 가시광 영상에 합성함으로써 동일 좌표계에 가시광 영상 및 적외선 영상이 나타나도록 할 수 있다.The image synthesis unit 190 synthesizes the image of the region of interest that has undergone the color conversion by the image conversion unit 180 at a position corresponding to the region of interest in the visible light image. Here, the image synthesizing unit 190 may synthesize the color-converted ROIs at corresponding positions of the visible light image using the image matching algorithm. The image matching technology is a technique for displaying images photographed in different coordinate systems, for example, images taken at different times or different viewpoints in one coordinate system. In the present invention, the images photographed in infrared rays are transformed to synthesize visible light images So that a visible light image and an infrared image can be displayed in the same coordinate system.

이때, 관심영역의 영상은 이미 가시광 영상의 색상 분포를 참고하여 색 변환된 상태이기 때문에, 이질감 없이 가시광 영상에 합성될 수 있다. 가시광 영상의 색상 분포에 따라 색 변환된 관심영역의 영상을 합성하는 동작에 대한 실시예는 도 8 내지 도 11을 참조하여 보다 상세히 설명하도록 한다.At this time, since the image of the region of interest has already been color-converted by referring to the color distribution of the visible light image, it can be synthesized into a visible light image without any sense of heterogeneity. An embodiment of an operation of synthesizing an image of a color-converted interest region according to a color distribution of a visible light image will be described in detail with reference to FIGS. 8 to 11. FIG.

도 2는 본 발명에 따른 적외선 영상의 색상 데이터를 모델링하는 동작을 설명하는데 참조되는 예시도이다. 도 2를 참조하면, (a)는 제1 카메라에 의해 촬영된 적외선 영상을 나타낸 것이고, (b)는 (a)의 적외선 영상에 대한 색상 데이터를 모델링하는 과정을 나타낸 것이다.2 is an exemplary diagram for explaining an operation of modeling color data of an infrared image according to the present invention. Referring to FIG. 2, (a) illustrates an infrared image captured by a first camera, and (b) illustrates a process of modeling color data of an infrared image of (a).

도 2의 (a)에 도시된 바와 같이, 적외선 영상은 하나의 채널(Gray channel)로된 영상으로서, 영상 합성 장치는 (b)에 도시된 바와 같이 Gray channel의 색 분포를 분석하여 색 분포에 따른 평균값(μo) 및 분산값(σo)을 산출하고, 산출된 평균값 및 분산값을 적용하여 정규 분포로 모델링을 수행한다.As shown in (a) of FIG. 2, the infrared image is an image of one channel (gray channel), and the image synthesizer analyzes the color distribution of the gray channel as shown in (b) calculating a mean value according to (μ o) and the variance value (σ o), and perform a normal distribution model by applying the calculated average value and variance value.

한편, 도 3은 본 발명에 따른 가시광 영상의 색상 데이터를 모델링하는 동작을 설명하는데 참조되는 예시도이다. 도 3을 참조하면, (a)는 제2 카메라에 의해 촬영된 가시광 영상을 나타낸 것이고, (b)는 (a)의 가시광 영상에 대한 채널별 색상 데이터를 모델링하는 과정을 나타낸 것이다.3 is an exemplary diagram for explaining an operation of modeling color data of a visible light image according to the present invention. Referring to FIG. 3, (a) shows a visible light image taken by the second camera, and (b) shows a process of modeling color data per channel for the visible light image of (a).

도 3의 (a)에 도시된 바와 같이, 가시광 영상은 세 개의 채널(Red, Green, Blue channel)로된 영상으로서, 영상 합성 장치는 (b)에 도시된 바와 같이 R, G, B channel 각각의 색 분포를 분석하여 각 채널별 색 분포에 따른 평균값 및 분산값을 산출하고, 산출된 평균값 및 분산값을 적용하여 각 채널의 정규 분포로 모델링을 수행한다.As shown in FIG. 3 (a), the visible light image is an image of three channels (Red, Green, and Blue channels) And the average value and the variance value according to the color distribution of each channel are calculated and the modeling is performed with the normal distribution of each channel by applying the calculated average value and variance value.

다시 말해, 영상 합성 장치는 (a)에 도시된 가시광 영상으로부터 R channel의 색 분포에 대한 평균값(μR) 및 분산값(σR)을 산출하여 R channel을 정규 분포로 모델링한다. 또한, 영상 합성 장치는 (a)에 도시된 가시광 영상으로부터 G channel의 색 분포에 대한 평균값(μG) 및 분산값(σG)을 산출하여 G channel을 정규 분포로 모델링한다. 또한, 영상 합성 장치는 (a)에 도시된 가시광 영상으로부터 B channel의 색 분포에 대한 평균값(μB) 및 분산값(σB)을 산출하여 B channel을 정규 분포로 모델링한다. In other words, the image synthesizer calculates an average value ( R ) and a variance value ( R ) of the R channel color distribution from the visible light image shown in (a) and models the R channel as a normal distribution. In addition, the image synthesizer calculates an average value (μ G ) and a variance value (σ G ) of the G channel color distribution from the visible light image shown in (a) and models the G channel as a normal distribution. Also, the image synthesizer calculates an average value (μ B ) and a variance value (σ B ) of the B channel color distribution from the visible light image shown in (a) and models the B channel as a normal distribution.

도 4는 본 발명에 따른 적외선 영상으로부터 보행자를 검출하는 동작을 설명하는데 참조되는 예시도이다. 도 4에 도시된 바와 같이, 영상 합성 장치는 제1 카메라에 의해 촬영된 적외선 영상으로부터 객체, 예를 들어, 보행자를 검출하고, 적외선 영상 상에서 보행자가 검출된 위치를 기준으로 관심영역(A)을 설정한다. 여기서, 관심영역(A)은 검출된 보행자로부터 일정거리 이내로 설정된다. 이때, 영상 합성 장치는 설정된 관심영역(A)의 영상을 추출한다.4 is an exemplary diagram for explaining an operation of detecting a pedestrian from an infrared image according to the present invention. 4, the image synthesizing apparatus detects an object, for example, a pedestrian from an infrared image photographed by a first camera, and detects an object region A on the basis of a position where a pedestrian is detected on the infrared image Setting. Here, the area of interest A is set within a certain distance from the detected pedestrian. At this time, the image synthesizing apparatus extracts the image of the set region of interest (A).

영상 합성 장치는 도 4에서 추출한 관심영역의 영상에 대해 도 5와 같이 색 변환을 수행한다. 도 5의 (a)에 도시된 관심영역의 영상은 (b)와 같이 색 변환하는 방식은 도 6에 도시된 바와 같이, 관심영역의 영상에서 각 픽셀의 밝기값을 산출한다. 이때, 영상 합성 장치는 각 픽셀의 밝기값과, 적외선 영상의 색 분포에 따른 평균값(μo) 및 분산값(σo), 가시광 영상의 채널별 색 분포에 따른 평균값(μR, μG, μB) 및 분산값(σR, σG, σB)을 이용하여 각 픽셀에 대응하는 R, G, B 값을 산출하여 이를 토대로 관심영역의 각 픽셀을 색 변환한다. The image synthesizer performs color conversion on the image of the ROI extracted in FIG. 4 as shown in FIG. In the image of the ROI shown in FIG. 5 (a), as shown in FIG. 6, the brightness of each pixel is calculated in the image of the ROI as shown in FIG. At this time, the video synthesizer is the brightness value of each pixel and the average value of the color distribution of the thermal image (μ o) and the variance value (σ o), the average value of the channel by the color distribution of the visible light image (μ R, μ G, G, and B values corresponding to each pixel are calculated using the variance values (? B ,? B ) and variance values (? R ,? G , and? B ).

도 7은 본 발명에 따른 영상 합성 동작을 설명하는데 참조되는 예시도이다. 도 7을 참조하면, (a)는 야간에 제2 카메라에 의해 촬영된 가시광 영상을 나타낸 것이고, (b)는 적외선 영상으로부터 추출된 관심영역의 색 변환 영상을 (a)의 가시광 영상에서 대응하는 영역에 합성한 영상을 나타낸 것이다.FIG. 7 is an exemplary diagram referred to explain the image compositing operation according to the present invention. Referring to FIG. 7, (a) shows a visible light image taken by the second camera at night, (b) shows a color transformed image of the ROI extracted from the infrared image, And the image synthesized in the region.

도 7에서 보는 바와 같이, 야간에는 제2 카메라에 의해 촬영된 가시광 영상으로부터 객체, 즉, 보행자를 파악하는 것이 어렵다. 따라서, 적외선 영상에서 검출된 보행자의 영상을 가시광 영상의 색 분포에 근거하여 색 변환하고, 색 변환된 영상을 가시광 영상에 합성함으로써, 이질감 없는 합성 영상을 제공할 수 있다. 따라서, 사용자는 색 변환된 보행자의 영상이 합성된 가시광 영상을 통해 보행자의 위치를 쉽게 파악할 수 있게 된다.As shown in FIG. 7, it is difficult to grasp the object, that is, the pedestrian, from the visible light image photographed by the second camera at night. Therefore, the image of the pedestrian detected from the infrared image can be color-converted based on the color distribution of the visible light image, and the color-converted image can be synthesized with the visible light image, thereby providing a seamless image. Therefore, the user can easily grasp the position of the pedestrian through the visible light image synthesized with the image of the color-converted pedestrian.

도 8 내지 도 11은 가시광 영상의 색상 분포에 따른 영상 합성 동작을 설명하는데 참조되는 예시도이다. 도 8 내지 도 11에서 (a)는 적외선 영상을 나타낸 것이고, (b)는 가시광 영상을, (c)는 적외선 영상의 색 변환된 보행자 영상이 합성된 가시광 영상을 나타낸 것이다.FIGS. 8 to 11 are diagrams for explaining the image combining operation according to the color distribution of the visible light image. FIGS. 8 to 11A show an infrared image, FIG. 8B shows a visible light image, and FIG. 8C shows a visible light image in which a color-converted pedestrian image of an infrared image is synthesized.

이 경우, 도 8 내지 도 11에 도시된 적외선 영상은 모두 동일하지만, 가시광 영상은 그 색상 분포가 상이하다. 따라서, 영상 합성 장치는 적외선 영상으로부터 추출된 보행자 영상을 대응하는 가시광 영상의 색상 분포에 따라 각각 변환함으로써, 해당 가시광 영상에 대응하여 색 변환된 보행자의 영상을 생성할 수 있으며, 이로 인해 보행자의 영상을 가시광 영상에 합성하더라고 사용자가 이질감 없이 보행자를 파악할 수 있게 된다.In this case, the infrared images shown in Figs. 8 to 11 are all the same, but the color distribution of the visible light image is different. Therefore, the image synthesizing apparatus can convert the pedestrian images extracted from the infrared image according to the color distribution of the corresponding visible light image, respectively, thereby generating the image of the color-converted pedestrian corresponding to the visible light image, To the visible light image, the user can grasp the pedestrian with no sense of difference.

상기와 같이 구성되는d본 발명에 따른 영상 합성 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.The operation flow of the image synthesizing apparatus according to the present invention constructed as above will be described in more detail as follows.

도 12는 본 발명에 따른 영상 합성 방법에 대한 동작 흐름을 도시한 순서도이다. 도 12에 도시된 바와 같이, 차량 주행 시 차량에 구비된 제1 카메라 및 제2 카메라를 이용하여 적외선 영상 및 가시광 영상을 각각 획득하고(S100), 이때 획득된 적외선 영상으로부터 전방에서 보행자가 검출되었는지를 확인한다.12 is a flowchart illustrating an operation flow for an image synthesis method according to the present invention. As shown in FIG. 12, an infrared image and a visible light image are respectively obtained using a first camera and a second camera provided in the vehicle when the vehicle is traveling (S100). At this time, a pedestrian is detected from the obtained infrared image .

만일, 적외선 영상으로부터 보행자가 검출되면(S110), 영상 합성 장치는 적외선 영상 및 가시광 영상의 색상 분포를 분석하여 색상 데이터를 모델링한다(S120).If a pedestrian is detected from the infrared image (S110), the image synthesizing apparatus analyzes the color distribution of the infrared image and the visible light image to model the color data (S120).

이후, 영상 합성 장치는 적외선 영상으로부터 보행자가 검출된 영역을 기준으로 관심영역을 설정하여 적외선 영상으로부터 관심영역을 추출하고(S130), 'S120' 과정에서 생성된 적외선 영상과 가시광 영상의 색상 데이터 모델을 적용하여 'S130' 과정에서 추출된 관심영역의 영상의 색상을 변환한다(S140). 이때, 색 변환된 관심영역의 영상은 가시광 영상의 색상 데이터 모델에 근거한 것이기 때문에 가시광 영상에 합성하더라도 이질감을 갖지 않는다.Then, the image synthesizing apparatus extracts a region of interest from the infrared image by setting a region of interest based on the region where the pedestrian is detected from the infrared image (S130), and outputs the color image data of the infrared image and visible light image The color of the image of the region of interest extracted in the process of 'S130' is converted (S140). At this time, since the image of the color-converted region of interest is based on the color data model of the visible light image, it does not have a sense of heterogeneity even when it is synthesized to the visible light image.

따라서, 영상 합성 장치는 'S140' 과정에서 색 변환된 관심영역의 영상을 가시광 영상에서 대응되는 영역에 합성하고(S150), 'S150' 과정에서 합성된 합성 영상을 출력한다(S160). Accordingly, the image synthesizing apparatus synthesizes the image of the color-converted interest region in the step S140 into the corresponding region in the visible light image (S150), and outputs the synthesized image synthesized in the step S150 (S160).

'S100' 내지 'S160' 과정은 야간 또는 터널 등과 같이 가시광 영상을 통해 보행자의 파악이 어려운 경우에 수행될 수 있으며, 이로써 사용자는 색 변환된 관심영역의 영상이 합성된 가시광 영상을 통해 야간에도 보행자를 쉽게 파악할 수 있게 된다.The 'S100' to 'S160' process can be performed when it is difficult to grasp a pedestrian through a visible light image such as a nighttime or a tunnel. Thus, a user can easily recognize a pedestrian through a visible light image synthesized with a color- Can be easily grasped.

이상과 같이 본 발명에 의한 영상 합성 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.Although the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, have.

110: 신호 처리부 120: 제1 카메라
125: 제2 카메라 130: 출력부
140: 저장부 150: 색상 모델링부
160: 객체 검출부 170: 관심영역 설정부
180: 영상 변환부 190: 영상 합성부110: signal processing unit 120: first camera
125: second camera 130: output unit
140: storage unit 150: color modeling unit
160: Object detection unit 170:
180: image converting unit 190:

Claims (9)

적외선 영상을 촬영하는 제1 카메라로부터 촬영된 적외선 영상 및 가시광 영상을 촬영하는 제2 카메라로부터 촬영된 가시광 영상의 색상 분포를 분석하여 상기 적외선 영상 및 상기 가시광 영상에 대한 색상 데이터를 모델링하는 색상 모델링부;
상기 적외선 영상으로부터 검출된 객체를 추출한 영상을 색상 데이터 모델에 근거하여 색 변환하는 영상 변환부;
상기 색 변환된 영상을 상기 가시광 영상에서 대응되는 위치에 합성하는 영상 합성부; 및
상기 적외선 영상으로부터 상기 객체가 검출된 영역을 기준으로 관심영역을 설정하는 관심영역 설정부를 포함하고,
상기 영상 변환부는 상기 관심영역의 영상을 추출하고 그 추출한 관심영역의 영상의 각 픽셀 별로 밝기값을 추출하여 상기 가시광 영상의 색상 분포에 대응하는 R, G, B값으로 변환하는 것을 특징으로 하는 영상 합성 장치.A color modeling unit for modeling color data of the infrared image and the visible light image by analyzing a color distribution of a visible light image photographed by a second camera that photographs an infrared image and a visible light image taken by a first camera that photographs an infrared image, ;
An image converting unit for converting an image extracted from the infrared image into an image based on a color data model;
An image synthesizer for synthesizing the color-converted image at a corresponding position in the visible light image; And
And an ROI setting unit configured to set an ROI based on an area where the object is detected from the infrared image,
Wherein the image converting unit extracts an image of the ROI and extracts brightness values for each pixel of the extracted ROI to convert the RGB values into R, G, and B values corresponding to the color distribution of the visible light image. Synthesizer. 삭제delete 삭제delete 청구항 1에 있어서,
상기 색상 모델링부는,
상기 적외선 영상 및 상기 가시광 영상 각각의 색상 분포 평균값 및 분산값에 근거하여 색상 데이터 모델을 생성하는 것을 특징으로 하는 영상 합성 장치.The method according to claim 1,
The color modeling unit may include:
And generates a color data model based on a color distribution average value and a variance value of each of the infrared image and the visible light image. 청구항 1에 있어서,
상기 적외선 영상을 분석하여 상기 적외선 영상으로부터 보행자를 검출하는 객체 검출부를 더 포함하는 것을 특징으로 하는 영상 합성 장치.The method according to claim 1,
Further comprising an object detection unit for analyzing the infrared image and detecting a pedestrian from the infrared image. 청구항 5에 있어서,
상기 객체 검출부는,
나이트 비전 시스템(Night Vision System)의 보행자 검출 알고리즘을 이용하여 상기 적외선 영상으로부터 보행자를 검출하는 것을 특징으로 하는 영상 합성 장치.The method of claim 5,
Wherein the object detection unit comprises:
Wherein a pedestrian is detected from the infrared image by using a pedestrian detection algorithm of a night vision system. 청구항 1에 있어서,
상기 영상 합성부는,
영상 정합(image registration) 알고리즘을 이용하여 상기 색 변환된 영상을 상기 가시광 영상에서 대응되는 위치에 합성하는 것을 특징으로 하는 영상 합성 장치.The method according to claim 1,
Wherein the image synthesizer comprises:
And synthesizes the color-converted image at a corresponding position in the visible light image using an image registration algorithm. 청구항 1에 있어서,
상기 적외선 영상은 1 채널 영상이고,
상기 가시광 영상은 3 채널 영상인 것을 특징으로 하는 영상 합성 장치.The method according to claim 1,
The infrared image is a one-channel image,
Wherein the visible light image is a three-channel image. 적외선 영상을 촬영하는 제1 카메라로부터 촬영된 적외선 영상 및 가시광 영상을 촬영하는 제2 카메라로부터 촬영된 가시광 영상을 획득하는 단계;
상기 적외선 영상 및 상기 가시광 영상의 색상 분포를 분석하여 상기 적외선 영상 및 상기 가시광 영상에 대한 색상 데이터를 모델링하는 단계;
상기 적외선 영상으로부터 보행자를 검출하는 단계;
상기 보행자가 검출된 영역을 기준으로 설정된 관심영역의 영상을 색상 데이터 모델에 근거하여 색 변환하는 단계; 및
상기 색 변환된 관심영역의 영상을 상기 가시광 영상에서 대응되는 위치에 합성하는 단계를 포함하고,
상기 색 변환 단계는, 상기 관심영역의 영상의 각 픽셀 별로 밝기값을 추출하여 상기 가시광 영상의 색상 분포에 대응하는 R, G, B값으로 변환하는 것을 특징으로 하는 영상 합성 방법.Obtaining an infrared image and a visible light image photographed by a second camera that photographs an infrared image and a visible light image from a first camera that captures an infrared image;
Analyzing the color distribution of the infrared image and the visible light image to model color data of the infrared image and the visible light image;
Detecting a pedestrian from the infrared image;
Color-converting the image of the ROI set based on the detected area of the pedestrian based on the color data model; And
And synthesizing the image of the color-converted ROI at a corresponding position in the visible light image,
Wherein the color conversion step extracts brightness values for each pixel of the image of the ROI and converts the brightness values into R, G, and B values corresponding to the color distribution of the visible light image.
KR20130089386A 2013-07-29 2013-07-29 Apparatus and method for combining image KR101470198B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130089386A KR101470198B1 (en) 2013-07-29 2013-07-29 Apparatus and method for combining image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130089386A KR101470198B1 (en) 2013-07-29 2013-07-29 Apparatus and method for combining image

Publications (1)

Publication Number Publication Date
KR101470198B1 true KR101470198B1 (en) 2014-12-05

Family

ID=52677987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130089386A KR101470198B1 (en) 2013-07-29 2013-07-29 Apparatus and method for combining image

Country Status (1)

Country Link
KR (1) KR101470198B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101816068B1 (en) * 2016-04-19 2018-01-08 한국과학기술연구원 Detection System for Vehicle Surroundings and Detection Method for Vehicle Surroundings Using thereof
KR20180017897A (en) * 2016-08-11 2018-02-21 주식회사 매크론 Method and apparatus for extracting object for sticker image
KR102671706B1 (en) * 2019-10-23 2024-06-04 한국전자통신연구원 An object searching apparatus and method for fire control using a color camera and an thermal imaging camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11308609A (en) * 1998-04-24 1999-11-05 Nissan Motor Co Ltd Display processing unit
JP2007228208A (en) * 2006-02-23 2007-09-06 Clarion Co Ltd Vehicular periphery monitoring device
JP2008530667A (en) * 2005-02-11 2008-08-07 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visible images
JP2009071789A (en) * 2007-09-18 2009-04-02 Denso Corp Vehicle periphery monitoring system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11308609A (en) * 1998-04-24 1999-11-05 Nissan Motor Co Ltd Display processing unit
JP2008530667A (en) * 2005-02-11 2008-08-07 バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visible images
JP2007228208A (en) * 2006-02-23 2007-09-06 Clarion Co Ltd Vehicular periphery monitoring device
JP2009071789A (en) * 2007-09-18 2009-04-02 Denso Corp Vehicle periphery monitoring system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101816068B1 (en) * 2016-04-19 2018-01-08 한국과학기술연구원 Detection System for Vehicle Surroundings and Detection Method for Vehicle Surroundings Using thereof
KR20180017897A (en) * 2016-08-11 2018-02-21 주식회사 매크론 Method and apparatus for extracting object for sticker image
CN107730525A (en) * 2016-08-11 2018-02-23 株式会社Macron For the method and apparatus for the object for extracting paster image
KR102671706B1 (en) * 2019-10-23 2024-06-04 한국전자통신연구원 An object searching apparatus and method for fire control using a color camera and an thermal imaging camera

Similar Documents

Publication Publication Date Title
JP2022111151A (en) Imaging apparatus and control method of imaging apparatus
US20190098277A1 (en) Image processing apparatus, image processing method, image processing system, and storage medium
TWI524734B (en) Method and device for generating a depth map
JP5171723B2 (en) Obstacle detection device and vehicle equipped with the device
US8767074B2 (en) System and method of assisting visibility of driver
JP2008511080A (en) Method and apparatus for forming a fused image
KR101093316B1 (en) Method and System for Image Matching While Driving Vehicle
JP2017201745A (en) Image processing apparatus, image processing method, and program
EP2892232B1 (en) On-vehicle image capture device
JP2014016978A (en) Three-dimensional object detecting device and method utilizing image around vehicle
KR101888960B1 (en) Apparatus and method for measuring the flatness of the road
JP2012105090A (en) Parking support apparatus
CN111815528A (en) Bad weather image classification enhancement method based on convolution model and feature fusion
KR20160044203A (en) Matting method for extracting object of foreground and apparatus for performing the matting method
KR20080047673A (en) Apparatus for transforming 3d image and the method therefor
CN113573035A (en) AR-HUD brightness self-adaptive adjusting method based on vision
KR101470198B1 (en) Apparatus and method for combining image
US11455710B2 (en) Device and method of object detection
JP6561511B2 (en) Parallax value deriving device, moving body, robot, parallax value production deriving method, parallax value producing method and program
KR101146417B1 (en) Apparatus and method for tracking salient human face in robot surveillance
JP5906696B2 (en) Vehicle periphery photographing apparatus and vehicle periphery image processing method
KR20140026078A (en) Apparatus and method for extracting object
JP2005242914A (en) Human recognition system and image processor
KR101650009B1 (en) The method and the recording media for original image restoration technology based on scattering noise removal and photon detection for single recorded image
JP2013200840A (en) Video processing device, video processing method, video processing program, and video display device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 4