KR101866676B1 - 다중 파장 영상을 이용한 객체 인식 장치 및 방법 - Google Patents

다중 파장 영상을 이용한 객체 인식 장치 및 방법 Download PDF

Info

Publication number
KR101866676B1
KR101866676B1 KR1020170000603A KR20170000603A KR101866676B1 KR 101866676 B1 KR101866676 B1 KR 101866676B1 KR 1020170000603 A KR1020170000603 A KR 1020170000603A KR 20170000603 A KR20170000603 A KR 20170000603A KR 101866676 B1 KR101866676 B1 KR 101866676B1
Authority
KR
South Korea
Prior art keywords
image
input images
weight
input
images
Prior art date
Application number
KR1020170000603A
Other languages
English (en)
Inventor
김태국
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170000603A priority Critical patent/KR101866676B1/ko
Application granted granted Critical
Publication of KR101866676B1 publication Critical patent/KR101866676B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06K9/624—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

다중 파장 영상을 이용한 객체 인식 장치 및 방법이 개시된다. 개시된 객체 인식 장치는 서로 다른 파장 대역을 가지는 복수의 입력 영상 각각에 대한 가중치를 설정하고, 상기 가중치를 이용하여 상기 복수의 입력 영상을 합성하여 합성 영상을 생성하는 합성 영상 생성부; 및 상기 합성 영상을 이용하여 배경 내에서의 객체를 인식하는 객체 인식부;를 포함한다.

Description

다중 파장 영상을 이용한 객체 인식 장치 및 방법{Apparatus and Method for identifying object using multi spectral images}
본 발명의 실시예들은 다중 파장의 영상을 이용하여 영상 내에 존재하는 객체를 전천후 상황에서 정확하게 인식할 수 있는 객체 인식 장치 및 방법에 관한 것이다.
현재 다양한 목적으로 제작되는 카메라들은 다양한 파장의 대역을 사용하여 영상을 획득한다. 카메라들의 일례로서, 가시광선(파장 범위; 380~700nm)을 이용한 일반 카메라, 근적외선(파장 범위: 1~3μm), 중적외선(파장 범위; 3~5μm) 또는 원적외선(파장 범위; 8~12μm)을 이용한 적외선 카메라, 자외선(파장 범위; 250~260nm)을 이용한 자외선 카메라, 초음파(주파수 범위: 20kHz 이상)를 이용한 초음파 카메라 등이 있다.
한편, 영상을 통한 객체의 인식 기술은 카메라를 통해 입력되는 영상 신호를 단순히 저장하는 것을 넘어 다양한 영상처리 기법을 이용하여 영상 내의 객체를 인식하고 분석하는 기술이다. 이는 차량에 적용되어 카메라를 통해 획득된 영상을 통해 객체를 인식함으로써 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 도로의 상황을 파악해 자동으로 주행하는 자율 주행 차량에 적용되거나, 적을 파악하기 위한 군사적 감시 장치 등에 적용될 수 있다.
그러나, 단일 영상을 이용한 객체 인식 장치는 객체가 정확하게 인식되지 못하는 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 다중 파장의 영상을 이용하여 영상 내에 존재하는 객체를 전천후 상황에서 정확하게 인식할 수 있는 객체 인식 장치 및 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 서로 다른 파장 대역을 가지는 복수의 입력 영상 각각에 대한 가중치를 설정하고, 상기 가중치를 이용하여 상기 복수의 입력 영상을 합성하여 합성 영상을 생성하는 합성 영상 생성부; 및 상기 합성 영상을 이용하여 배경 내에서의 객체를 인식하는 객체 인식부;를 포함하는 것을 특징으로 하는 객체 인식 장치가 제공된다.
상기 객체 인식 장치는 상기 서로 다른 파장 대역을 가지는 복수의 입력 영상을 획득하는 영상 획득부를 더 포함할 수 있다.
상기 합성 영상 생성부는, 상기 복수의 입력 영상 각각에 대하여 대비값을 산출하고, 상기 대비값을 이용하여 상기 가중치를 설정하되, 상기 대비값은 상기 입력 영상 내의 객체와 배경 간의 대비 차이값일 수 있다.
상기 합성 영상 생성부는, 상기 복수의 입력 영상 각각에 대하여, 상기 입력 영상 내에서 적어도 하나의 객체 블록 영역 및 적어도 하나의 배경 블록 영역을 설정하고, 상기 적어도 하나의 객체 블록 영역 각각과 상기 적어도 하나의 배경 블록 영역 각각을 뺄셈 연산하여 상기 대비값을 산출할 수 있다.
상기 복수의 입력 영상 중 어느 하나의 입력 영상의 대비값은 아래의 수학식과 같이 표현될 수 있다.
Figure 112017000607689-pat00001
여기서, λ는 상기 어느 하나의 입력 영상의 파장의 인덱스, △Lλ는 상기 어느 하나의 입력 영상에 대한 대비값, M는 상기 적어도 하나의 객체 블록 영역의 개수, N는 상기 적어도 하나의 배경 블록 영역의 개수, m는 상기 객체 블록 영역의 인덱스, n는 상기 배경 블록 영역의 인덱스, Lλ, object ,m는 상기 어느 하나의 입력 영상에서의 상기 m번째 객체 블록 영역의 대비값, Lλ, background ,n는 상기 어느 하나의 입력 영상에서의 상기 n번째 배경 블록 영역의 대비값을 각각 의미함.
상기 합성 영상 생성부는, 아래의 수학식으로 표현되는 최적화 함수가 최대값을 가지도록 상기 가중치를 설정할 수 있다.
Figure 112017000607689-pat00002
여기서, f는 상기 최적화 함수,
Figure 112017000607689-pat00003
는 파장의 인덱스 λ를 가지는 입력 영상의 가중치를 각각 의미함.
상기 합성 영상 생성부의 상기 가중치의 산출 동작은 차후 시점에서 입력되는 복수의 입력 영상을 이용하여 반복적으로 수행되어 상기 가중치가 갱신될 수 있다.
상기 복수의 입력 영상 및 상기 합성 영상은 다수의 서브 영상으로 분할되고, 상기 합성 영상 생성부는, 상기 복수의 입력 영상 각각에 대해 상기 다수의 서브 영상 별로 상기 가중치를 설정하고, 상기 서브 영상 별 가중치를 이용하여 상기 합성 영상에 대한 다수의 서브 영상을 생성하고, 상기 합성 영상에 대한 다수의 서브 영상을 결합하여 상기 합성 영상을 생성할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 서로 다른 파장 대역을 가지는 복수의 입력 영상을 획득하는 단계; 상기 복수의 입력 영상 각각에 대한 가중치를 설정하는 단계; 상기 가중치를 이용하여 상기 복수의 입력 영상을 합성하여 합성 영상을 생성하는 단계; 및 상기 합성 영상을 이용하여 배경 내에서의 객체를 인식하는 단계;를 포함하는 것을 특징으로 하는 객체 인식 방법이 제공된다.
본 발명에 따르면, 다중 파장의 영상을 이용하여 영상 내에 존재하는 객체를 전천후 상황에서 정확하게 인식할 수 있는 장점이 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 복수의 입력 영상에서의 합성 영상을 산출하는 개념을 도시한 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라서, 합성 영상 생성부가 가중치를 설정하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체 인식 방법의 흐름도를 도시한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 장치의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 인식 장치(100)는 영상 획득부(110), 합성 영상 생성부(120) 및 객체 인식부(130)를 포함한다. 이하, 각 구성 요소 별로 그 기능을 상세하게 설명하기로 한다.
영상 획득부(110)는 서로 다른 파장 대역을 가지는 복수의 입력 영상을 획득한다.
이 때, 영상 획득부(110)는 적어도 하나의 카메라를 포함할 수 있다. 카메라의 일례로서, 가시광선(파장 범위; 380~700nm)을 이용한 일반 카메라, 근적외선(파장 범위: 1~3μm), 중적외선(파장 범위; 3~5μm) 또는 원적외선(파장 범위; 8~12μm)을 이용한 적외선 카메라, 자외선(파장 범위; 250~260nm)을 이용한 자외선 카메라, 초음파(주파수 범위: 20kHz 이상)를 이용한 초음파 카메라 등이 사용될 수 있다.
합성 영상 생성부(120)는 복수의 입력 영상을 합성하여 하나의 합성 영상을 생성한다.
이 때 복수의 입력 영상 각각은 크기 등이 서로 다를 수 있으며, 이 경우 합성 영상 생성부(120)는 복수의 입력 영상을 정합한 후, 정합된 복수의 입력 영상을 이용하여 합성 영상을 생성할 수 있다. 이하에서는 설명의 편의를 위해, 복수의 입력 영상의 크기 등이 모두 정합되어 동일한 것으로 가정한다.
그리고, 객체 인식부(130)는 합성 영상을 이용하여 배경 내에서의 객체를 인식한다.
이 때, 객체 인식부(130)는 공지된 종래의 객체 인식 알고리즘, 일례로, SURF　알고리즘 등을 이용하여 복수의 합성 영상으로부터 객체를 인식할 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니다.
즉, 본 발명에 따른 객체 인식 장치(100)는 서로 다른 파장을 가지는 복수의 영상의 특징을 효과적으로 반영하여 합성을 수행하는데, 이 때 합성 영상의 대비값(콘스라스트값)이 최대가 되도록 복수의 영상에 대한 합성을 수행한다. 이에 따라 객체 인식의 효율을 높일 수 있는 장점이 있다.
이를 위해, 합성 영상 생성부(120)는 복수의 입력 영상 각각에 대해 가중치를 설정하고, 설정된 가중치를 이용하여 복수의 입력 영상을 합성하여 합성 영상을 생성할 수 있다. 즉, 합성 영상 생성부(120)는 복수의 입력 영상을 모두 더하여 합성 영상을 생성하는 것이 아니라, 복수의 입력 영상 각각에 대해 가중치를 곱하고 가중치가 곱해진 입력 영상을 더하여(즉, 복수의 입력 영상에 대한 가중합을 수행하여) 합성 영상을 생성할 수 있다.
도 2에서는 본 발명의 일 실시예에 따른 복수의 입력 영상에서 합성 영상을 산출하는 개념을 도시하고 있다.
이하, 도 3 및 도 4를 참조하여, 합성 영상 생성부(120)가 가중치를 설정하는 개념을 보다 상세하게 설명하기로 한다.
본 발명이 일 실시예에 따른 합성 영상 생성부(120)는 통계적인 방법을 사용하여 복수의 입력 영상 각각에 대한 가중치를 생성할 수 있다.
보다 상세하게, 합성 영상 생성부(120)는 복수의 입력 영상 각각에 대하여 대비값을 산출하고, 산출된 대비값을 이용하여 가중치를 설정할 수 있다. 이 때, 대비값은 각 입력 영상 내의 객체와 배경 간의 대비 차이값일 수 있다.
본 발명의 일례에 따르면, 합성 영상 생성부(120)는 복수의 입력 영상 각각에 대하여, 각 입력 영상 내에서 적어도 하나의 객체 블록 영역 및 적어도 하나의 배경 블록 영역을 설정하고, 적어도 하나의 객체 블록 영역 각각과 적어도 하나의 배경 블록 영역 각각을 뺄셈 연산하여 대비값을 산출할 수 있다. 이 때, 블록 영역은 n×n(n는 자연수) 형태와 같이 복수의 픽셀을 포함하는 영역일 수 있다.
도 3에서는 입력 영상에 대해 복수의 가중치를 설정하기 위해 설정되는 적어도 하나의 객체 블록 영역 및 적어도 하나의 배경 블록 영역을 설명하기 위한 도면이다.
도 3를 참조하면, 대상 객체(대상물체) 내에 노란색으로 표시된 3개의 객체 블록 영역이 설정되고, 배경 영역 내에 파란색으로 표시된 8개의 배경 블록 영역이 설정된다. 그러나, 이는 일례에 불과하며, 다양한 개수의 블록 영상이 설정 가능하다.
이 때, 합성 영상 생성부(120)는 하나의 입력 영상에 대해 에지선 검출 등 다양한 방법을 통해 대상 객체를 특정하고, 대상 객체 내에 적어도 하나의 객체 블록 영역을 설정하며, 대상 객체 외부에 적어도 하나의 블록을 설정할 수 있다.
그리고, 상기에서 언급한 바와 같이, 합성 영상 생성부(120)는 각 입력 영상에 대해, 적어도 하나의 객체 블록 영역 각각과 적어도 하나의 배경 블록 영역 각각을 뺄셈 연산하여 입력 영상의 대비값을 산출할 수 있다.
본 발명의 일 실시예에 따르면, 복수의 입력 영상 중 어느 하나의 입력 영상의 대비값은 아래의 수학식 1과 같이 표현될 수 있다.
Figure 112017000607689-pat00004
여기서, λ는 어느 하나의 입력 영상의 파장의 인덱스, △Lλ는 어느 하나의 입력 영상에 대한 대비값, M는 적어도 하나의 객체 블록 영역의 개수, N는 적어도 하나의 배경 블록 영역의 개수, m는 객체 블록 영역의 인덱스, n는 배경 블록 영역의 인덱스, Lλ, object ,m는 어느 하나의 입력 영상에서의 m번째 객체 블록 영역의 대비값, Lλ, background ,n는 어느 하나의 입력 영상에서의 n번째 배경 블록 영역의 대비값을 각각 의미한다.
그 후, 합성 영상 생성부(120)는 아래의 수학식 2로 표현되는 최적화 함수가 최대값을 가지도록 복수의 입력 영상에 대한 가중치를 설정할 수 있다.
Figure 112017000607689-pat00005
여기서, f는 최적화 함수,
Figure 112017000607689-pat00006
는 파장의 인덱스 λ를 가지는 입력 영상의 가중치를 각각 의미한다.
이 때, 합성 영상 생성부(120)의 가중치의 산출 동작은 차후 시점에서 입력되는 복수의 입력 영상을 이용하여 반복적으로 수행되어 가중치가 갱신될 수 있다.
즉, 영상 획득부(110)는 프레임 단위로 각 입력 영상을 획득하며, 합성 영상 생성부(120)는 순차적으로 입력하는 프레임 각각에 대해 각 입력 영상에 대한 가중치를 설정하여 가중치를 갱신할 수 있다. 이에 따라 실시간으로 가중치를 갱신하여 효율적으로 가중치를 설정할 수 있다.
도 4는 본 발명의 일 실시예에 따라서 영상 영역별 파장별 가중치를 설정 및 갱신하는 동작의 흐름도를 도시한 도면이다.
먼저, 단계(410)에서는 각 가중치에 대한 초기값을 설정한다. 일례로 각 가중치의 초기값은 각각 "1/(복수의 입력 영상의 개수)"로 설정될 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니다.
다음으로, 단계(420)에서는 다중 파장의 입력 영상을 프레임 단위로 획득하고, 단계(430)에서는 각 입력 영상에 대한 대비값 및 가중치를 산출한다.
계속하여, 단계(440)에서는 입력 영상에 대한 대비값 및 가중치의 산출 과정의 횟수가 기 설정된 임계값 이하인지를 판단한다.
만약, 산출 과정의 횟수가 임계값 이하인 경우, 단계(420) 및 단계(430)에 반복된다. 반대로, 산출 과정의 횟수가 임계값을 초과하는 경우, 단계(450)에서는 최종 가중치가 설정된다.
즉, 본 발명은 대비값 및 가중치의 산출 과정을 반복하면서 최적의 가중치를 찾을 수 있으며, 최적의 가중치를 이용하여 객체와 배경의 대비값(콘트라스트값)이 크게 나타나도록 하여 고성능의 합성 영상을 생성할 수 있다.
따라서, 상기한 과정에 따라 파장 대역별 최적의 가중치를 도출할 수 있고, 이 경우 즉, 가중치가 클수록 영상의 중요도가 커지게 되어 보다 정확한 객체 인식이 가능하다. 예를 들어 가시광선, 적외선 영역에 대한 영상이 촬영되고 있을 경우, 태양이 존재하지 않은 밤에는 가시광선 영역에 대한 가중치는 "0"으로 처리되며, 적외선 영역에 가중치만 존재하게 되어, 객체가 가장 잘 나타나는 영상을 합성하게 된다.
한편, 표 1에서는 각 입력 영상에 대한 특징을 정리하고 있으며, 본 발명은 각 입력 영상의 특징에 따라 현 상황에 필요한 입력 영상의 가중치를 최적화 과정을 통해 효과적으로 설정하여 객체 인식률을 높일 수 있다.
구분 특성
가시광선 표면에서 반사되는 빛의 색을 통해 물체와 배경을 구분할 수 있다. 빛이 존재하지 않는 밤의 경우에는 물체를 식별할 수 없다.
적외선(SWIR) 가시광선 부근에 존재하는 적외선 신호로 가시광선과 유사하게 빛의 반사에 대한 영향이 주로 나타난다. 주로 윤곽이 뚜렷하게 나타나는 것이 특징이다.
적외선(MWIR) 표면온도에 기인하여 나타나는 적외선 신호로 고온의 물체를 탐지할 때 주로 이용된다. 태양의 반사성분에 대한 영향이 LWIR영역보다 크게 나타난다.
적외선(LWIR) MWIR 영역과 동일하게 표면오도에 기인하여 나타나는 적외선 신호이며, 주로 상온에 존재하는 물체를 탐지할 때 주로 이용된다. 태양 반사성분의 영향을 받지 않아 주로 물체의 온도를 측정하는데 사용된다.
정리하면, 본 발명은 다중 파장 대역의 복수의 입력 영상의 영상 대비 값을 이용하여, 최종 융합된 합성 영상의 대비값이 최대가 되도록 통계적으로 처리를 한다. 영상을 구성하는 객체와 배경은 파장에 따라 영상 대비 값이 각각 다르며, 다중 파장 영역의 영상을 분석하여 객체와 배경의 영상 대비 값을 최대가 되도록 하는 파장대역 별 가중치를 적용하여, 고성능으로 객체를 인식할 수 있다.
즉, 본 발명은 객체와 배경의 파장대별 영상 대비 값을 최대가 되도록 가중치를 적용하여 융합함으로써 객체와 배경이 구분이 더 뚜렷하게 만들 수 있다. 따라서, 본 발명을 적용하는 경우, 특별한 장비에 대한 재원소모 없이 고성능의 영상을 구현할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 복수의 입력 영상 및 합성 영상 각각은 다수의 서브 영상으로 분할될 수 있다. 이 경우, 합성 영상 생성부(120)는, 복수의 입력 영상 각각에 대해 다수의 서브 영상 별로 가중치를 설정하고, 서브 영상 별 가중치를 이용하여 합성 영상에 대한 다수의 서브 영상을 생성하고, 합성 영상에 대한 다수의 서브 영상을 결합하여 합성 영상을 생성할 수 있다. 그리고, 객체 인식부(130)는 상기와 동일하게 합성 영상(결합된 다수의 서브 영상)을 이용하여 객체를 인식할 수 있다.
일례로서, 도 5를 참조하면, 3개의 입력 영상 각각은 4개의 서브 영상으로 분할되고, 합성 영상 역시 4개의 서브 영상으로 분할된다. 이 때 입력 영상 및 합성 영상의 동일한 번호의 서브 영상은 동일한 위치에 존재한다. 그리고, 합성 영상 생성부(120)는 3개의 입력 영상 각각의 1번 서브 영상의 가중치를 이용하여 합성 영상의 1번 서브 영역을 생성하고, 3개의 입력 영상 각각의 2번 서브 영상의 가중치를 이용하여 합성 영상의 2번 서브 영역을 생성하고, 3개의 입력 영상 각각의 3번 서브 영상의 가중치를 이용하여 합성 영상의 3번 서브 영역을 생성하고, 3개의 입력 영상 각각의 4번 서브 영상의 가중치를 이용하여 합성 영상의 4번 서브 영역을 생성한다. 그리고, 합성 영상 생성부(120)는 합성 영상의 4개의 서브 영상을 결합하여 최종적인 하나의 합성 영상을 생성한다. 여기서, 서브 영상에 대한 가중치의 설정은 상기에서 설명한 가중치의 설정 방식과 동일한 설정 방식을 사용한다(입력 영상을 하나의 서브 영상으로 치환하여 사용). 이에 따라 보다 정확한 가중치의 설정 및 합성 영상의 생성이 가능하다.
도 6은 본 발명의 일 실시예에 따른 객체 인식 방법의 흐름도를 도시한 도면이다. 이 때, 상기한 방법은 도 1에서 설명한 객체 인식 장치(100)에 의해 수행될 수 있다. 이하, 각 단계 별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(610)에서는 서로 다른 파장 대역을 가지는 복수의 입력 영상을 획득한다.
다음으로, 단계(620)에서는 복수의 입력 영상 각각에 대한 가중치를 설정한다.
본 발명의 일 실시예에 따르면, 단계(620)에서는 복수의 입력 영상 각각에 대하여 대비값을 산출하고, 산출된 대비값을 이용하여 가중치를 설정할 수 있다. 이 때, 대비값은 각 입력 영상 내의 객체와 배경 간의 대비 차이값일 수 있다. 보다 상세하게, 복수의 입력 영상 각각에 대하여, 각 입력 영상 내에서 적어도 하나의 객체 블록 영역 및 적어도 하나의 배경 블록 영역을 설정하고, 적어도 하나의 객체 블록 영역 각각과 적어도 하나의 배경 블록 영역 각각을 뺄셈 연산하여 대비값을 산출할 수 있다.
계속하여, 단계(630)에서는 가중치를 이용하여 복수의 입력 영상을 합성하여 합성 영상을 생성한다.
마지막으로, 단계(640)에서는 합성 영상을 이용하여 배경 내에서의 객체를 인식한다.
지금까지 본 발명에 따른 객체 인식 방법의 실시예들에 대하여 설명하였고, 앞서 도 1에서 설명한 객체 인식 장치(100)에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (9)

  1. 서로 다른 파장 대역을 가지는 복수의 입력 영상 각각에 대한 대비값을 산출하고, 상기 대비값을 이용하여 상기 복수의 입력 영상 각각에 대한 가중치를 설정하고, 상기 가중치를 이용하여 상기 복수의 입력 영상을 합성하여 합성 영상을 생성하는 합성 영상 생성부; 및
    상기 합성 영상을 이용하여 배경 내에서의 객체를 인식하는 객체 인식부;를 포함하되,
    상기 대비값은 상기 입력 영상 내의 객체와 배경 간의 대비 차이값이고,
    상기 합성 영상 생성부는, 상기 복수의 입력 영상 각각에 대하여, 상기 입력 영상 내에서 적어도 하나의 객체 블록 영역 및 적어도 하나의 배경 블록 영역을 설정하고, 상기 적어도 하나의 객체 블록 영역 각각과 상기 적어도 하나의 배경 블록 영역 각각을 뺄셈 연산하여 상기 대비값을 산출하는 것을 특징으로 하는 객체 인식 장치.
  2. 제1항에 있어서,
    상기 서로 다른 파장 대역을 가지는 복수의 입력 영상을 획득하는 영상 획득부;를 더 포함하는 것을 특징으로 하는 객체 인식 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 복수의 입력 영상 중 어느 하나의 입력 영상의 대비값은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 객체 인식 장치.

    Figure 112018008413526-pat00016


    여기서, λ는 상기 어느 하나의 입력 영상의 파장의 인덱스, △Lλ는 상기 어느 하나의 입력 영상에 대한 대비값, M는 상기 적어도 하나의 객체 블록 영역의 개수, N는 상기 적어도 하나의 배경 블록 영역의 개수, m는 상기 객체 블록 영역의 인덱스, n는 상기 배경 블록 영역의 인덱스, Lλ,object,m는 상기 적어도 하나의 객체 블록 영역 중 m번째 객체 블록 영역의 대비값, Lλ,background,n는 상기 적어도 하나의 배경 블록 영역 중 n번째 배경 블록 영역의 대비값을 각각 의미함.
  6. 제5항에 있어서,
    상기 합성 영상 생성부는, 아래의 수학식으로 표현되는 최적화 함수가 최대값을 가지도록 상기 가중치를 설정하는 것을 특징으로 하는 객체 인식 장치.

    Figure 112017000607689-pat00008


    여기서, f는 상기 최적화 함수,
    Figure 112017000607689-pat00009
    는 파장의 인덱스 λ를 가지는 입력 영상의 가중치를 각각 의미함.
  7. 제6항에 있어서,
    상기 합성 영상 생성부의 상기 가중치의 산출 동작은 차후 시점에서 입력되는 복수의 입력 영상을 이용하여 반복적으로 수행되어 상기 가중치가 갱신되는 것을 특징으로 하는 것을 특징으로 하는 객체 인식 장치.
  8. 제1항에 있어서,
    상기 복수의 입력 영상 및 상기 합성 영상은 다수의 서브 영상으로 분할되고,
    상기 합성 영상 생성부는, 상기 복수의 입력 영상 각각에 대해 상기 다수의 서브 영상 별로 상기 가중치를 설정하고, 상기 서브 영상 별 가중치를 이용하여 상기 합성 영상에 대한 다수의 서브 영상을 생성하고, 상기 합성 영상에 대한 다수의 서브 영상을 결합하여 상기 합성 영상을 생성하는 것을 특징으로 하는 객체 인식 장치.
  9. 서로 다른 파장 대역을 가지는 복수의 입력 영상을 획득하는 단계;
    상기 복수의 입력 영상 각각에 대한 대비값을 산출하고, 상기 대비값을 이용하여 상기 복수의 입력 영상 각각에 대한 가중치를 설정하는 단계;
    상기 가중치를 이용하여 상기 복수의 입력 영상을 합성하여 합성 영상을 생성하는 단계; 및
    상기 합성 영상을 이용하여 배경 내에서의 객체를 인식하는 단계;를 포함하되,
    상기 대비값은 상기 입력 영상 내의 객체와 배경 간의 대비 차이값이고,
    상기 합성 영상 생성부는, 상기 복수의 입력 영상 각각에 대하여, 상기 입력 영상 내에서 적어도 하나의 객체 블록 영역 및 적어도 하나의 배경 블록 영역을 설정하고, 상기 적어도 하나의 객체 블록 영역 각각과 상기 적어도 하나의 배경 블록 영역 각각을 뺄셈 연산하여 상기 대비값을 산출하는 것을 특징으로 하는 객체 인식 방법.
KR1020170000603A 2017-01-03 2017-01-03 다중 파장 영상을 이용한 객체 인식 장치 및 방법 KR101866676B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170000603A KR101866676B1 (ko) 2017-01-03 2017-01-03 다중 파장 영상을 이용한 객체 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170000603A KR101866676B1 (ko) 2017-01-03 2017-01-03 다중 파장 영상을 이용한 객체 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101866676B1 true KR101866676B1 (ko) 2018-06-12

Family

ID=62622436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170000603A KR101866676B1 (ko) 2017-01-03 2017-01-03 다중 파장 영상을 이용한 객체 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101866676B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085070B1 (ko) * 2019-06-10 2020-03-05 한국씨텍(주) 딥러닝 기반 영상 정합 장치 및 방법
WO2020085696A1 (ko) * 2018-10-24 2020-04-30 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2021107171A1 (ko) * 2019-11-26 2021-06-03 전자부품연구원 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
KR20230028198A (ko) * 2021-08-20 2023-02-28 유디에스(주) 헬스 인덱스를 이용한 기계장비의 상태 진단방법
US11933599B2 (en) 2018-11-08 2024-03-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101084719B1 (ko) * 2010-06-25 2011-11-22 (주)퓨처아이스 영상 처리와 지능 연산을 이용한 지능형 연기 검출 시스템
KR20120054325A (ko) * 2010-11-19 2012-05-30 국방과학연구소 영상 표적 추출 시스템, 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101084719B1 (ko) * 2010-06-25 2011-11-22 (주)퓨처아이스 영상 처리와 지능 연산을 이용한 지능형 연기 검출 시스템
KR20120054325A (ko) * 2010-11-19 2012-05-30 국방과학연구소 영상 표적 추출 시스템, 장치 및 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102569375B1 (ko) * 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200046354A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN112655015A (zh) * 2018-10-24 2021-04-13 三星电子株式会社 电子装置及控制该电子装置的方法
WO2020085696A1 (ko) * 2018-10-24 2020-04-30 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11928797B2 (en) 2018-10-24 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and method for acquiring a synthesized image
US11933599B2 (en) 2018-11-08 2024-03-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling same
KR102085070B1 (ko) * 2019-06-10 2020-03-05 한국씨텍(주) 딥러닝 기반 영상 정합 장치 및 방법
WO2021107171A1 (ko) * 2019-11-26 2021-06-03 전자부품연구원 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
KR20230028197A (ko) * 2021-08-20 2023-02-28 유디에스(주) 헬스 인덱스를 이용한 기계장비의 상태 진단시스템
KR102579021B1 (ko) 2021-08-20 2023-09-15 유디에스(주) 헬스 인덱스를 이용한 기계장비의 상태 진단시스템
KR102541129B1 (ko) * 2021-08-20 2023-06-12 유디에스(주) 기계장비의 상태 진단시스템 및 방법
KR102579022B1 (ko) 2021-08-20 2023-09-15 유디에스(주) 헬스 인덱스를 이용한 기계장비의 상태 진단방법
KR20230027818A (ko) * 2021-08-20 2023-02-28 유디에스(주) 기계장비의 상태 진단시스템 및 방법
KR20230028198A (ko) * 2021-08-20 2023-02-28 유디에스(주) 헬스 인덱스를 이용한 기계장비의 상태 진단방법

Similar Documents

Publication Publication Date Title
KR101866676B1 (ko) 다중 파장 영상을 이용한 객체 인식 장치 및 방법
US11100350B2 (en) Method and system for object classification using visible and invisible light images
KR102661954B1 (ko) 이미지 처리 방법 및 이를 수행하는 장치들
JP6586430B2 (ja) 車両位置の推定
US8620085B2 (en) Image processing apparatus, image processing method, and image processing program
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN102314602B (zh) 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影
JP6497579B2 (ja) 画像合成システム、画像合成方法、画像合成プログラム
WO2016113983A1 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
WO2012074361A1 (en) Method of image segmentation using intensity and depth information
JP6435661B2 (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
TW201606705A (zh) 基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置
CN110532937B (zh) 基于识别模型与分类模型进行列车前向目标精准识别的方法
JP2018101165A (ja) 色画像処理方法、色画像処理プログラム、物体認識方法及び装置
US20240193957A1 (en) Advanced driver assist system and method of detecting object in the same
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
US20220398693A1 (en) Color image inpainting method and neural network training method
US9824454B2 (en) Image processing method and image processing apparatus
US11042764B2 (en) Device and a method for detecting vehicle lights in an image
US9217670B2 (en) Object recognition apparatus using spectrometer and method thereof
KR20180090661A (ko) 적외선 영상 융합 방법
CN117690161A (zh) 一种基于图像融合的行人检测方法、设备和介质
CN110765853B (zh) 一种多谱段相机的图像处理方法
WO2016103824A1 (ja) 画像処理装置、画像処理方法及びプログラム
KR102235127B1 (ko) 멀티모달 영상의 적응적 융합 방법 및 그 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant