KR101494394B1 - 스테레오 비전을 이용한 탐색장치 및 그 방법 - Google Patents

스테레오 비전을 이용한 탐색장치 및 그 방법 Download PDF

Info

Publication number
KR101494394B1
KR101494394B1 KR20140081585A KR20140081585A KR101494394B1 KR 101494394 B1 KR101494394 B1 KR 101494394B1 KR 20140081585 A KR20140081585 A KR 20140081585A KR 20140081585 A KR20140081585 A KR 20140081585A KR 101494394 B1 KR101494394 B1 KR 101494394B1
Authority
KR
South Korea
Prior art keywords
target
electro
optical camera
unit
image
Prior art date
Application number
KR20140081585A
Other languages
English (en)
Inventor
김민욱
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR20140081585A priority Critical patent/KR101494394B1/ko
Application granted granted Critical
Publication of KR101494394B1 publication Critical patent/KR101494394B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G11/00—Details of sighting or aiming apparatus; Accessories
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/883—Radar or analogous systems specially adapted for specific applications for missile homing, autodirectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 명세서에서는 탐색장치 및 그 방법에 대해 개시하고, 더욱 상세하게는 스테레오 비전을 이용한 탐색장치 및 그 방법에 대해 개시한다.
본 명세서에서 개시하는 스테레오 비전을 이용한 탐색장치는 표적을 포함하는 영상들을 획득하는 제1 전자광학 카메라와 제2 전자광학 카메라를 포함하는 전자광학 카메라부, 제1 전자광학 카메라와 제2 전자광학 카메라로부터 획득된 영상들부터 표적을 추출하는 제어부 및 제어부에서 추출된 표적을 추적하는 표적 추적부를 포함하고, 제어부는 제1 전자광학 카메라와 제2 전자광학 카메라로부터 획득된 영상들부터 표적을 추출하는 표적 추출부, 영상들을 정합하는 영상 정합부 및 정합된 영상을 이용하여 표적과의 거리 및 상대 위치를 추정하는 위치 추정부를 포함한다.

Description

스테레오 비전을 이용한 탐색장치 및 그 방법{DETECTION APPARATUS USING STEREO VISION AND METHOD THEREOF}
본 명세서에서는 탐색장치 및 그 방법에 대해 개시하고, 더욱 상세하게는 스테레오 비전을 이용한 탐색장치 및 그 방법에 대해 개시한다.
표적을 탐색하고, 탐색된 표적을 추적하는 유도 비행체가 표적을 확인할 수 있도록 다양한 종류의 센서를 포함하는 탐색장치가 개발되고 있고, 이 중에서도 광학 센서를 이용한 탐색장치의 사용 비율이 높아지고 있다. 광학 센서를 이용한 탐색장치에서 많이 사용되는 센서로는 전자광학/적외선(EO/IR: Electro Optical Infra-Red) 센서가 있다.
EO(Electro Optical) 센서는 우리가 주위에서 흔히 접하는 CCD(Charge-Couple Device) 카메라와 같은 종류로 사람이 눈으로 볼 수 있는 가시광선 영역에서 영상을 얻는 센서이다. 따라서 얻어진 영상은 별도의 처리 없이도 사람이 영상을 읽고 판독할 수 있고 제작도 다른 센서에 비해 상대적으로 용이하므로 현재까지 가장 널리 사용되고 있다. 그러나 야간에는 가시광선에 의한 영상획득이 용이하지 않아 EO 센서를 사용하기 어렵다는 문제점이 있다.
이를 보완하기 위해 사용하는 센서가 IR(Infra-Red) 센서이다. 이 센서는 적외선 영역에서 동작하므로 물체에서 발생되는 열을 감지하여 이를 영상화하는데 야간에 사용하며 어느 정도 식별 가능한 수준의 영상을 보여준다. EO 센서에 비해 하드웨어가 다소 복잡하기는 하지만 다른 센서와 비교해 제작이 쉬워 EO 센서와 같이 많이 사용된다.
이와 같이, 가시광선과 적외선을 이용하는 영상센서는 영상을 획득하고 처리하는 과정이 상대적으로 쉽고 복잡하지 않아 대부분의 경우 실시간으로 영상을 얻을 수 있다는 장점을 갖는다.
EO/IR 센서를 이용하는 광학 탐색기는 표적의 특징점을 추출하여 탐색하는 방식이다. 그러나 기존의 광학 탐색기는 단일 EO/IR 광학계를 사용하여 표적의 특징점을 추출하므로, 광학 탐색기와 표적간의 거리를 계산할 수 없게 되고, 비행체의 이륙 또는 발사 후에 별도의 추가 조정을 하지 않는 비행체의 유도기법 계산시 제약조건이 생기게 되며 근접거리에서의 유도정보 산출이 불가능하게 되는 문제점이 있다.
한국 공개 특허 제1999-023896호에는 레이저 빔을 송출하고, 레이저 빔에서 나오는 복사파를 광학적으로 판독하여 이동 물체를 추적하는 기술이 개시되어 있으나, 이는 고가의 레이저 장비와 더불어 영상 광학장비를 함께 구비해야 하므로, 고비용이며, 제조 또한 복잡하다는 문제가 있다.
본 명세서에서는 표적과의 거리를 계산할 수 있는 스테레오 비전을 이용한 탐색장치 및 그 방법을 제공하는 데에 목적이 있다.
본 명세서에서 개시하는 스테레오 비전을 이용한 탐색 장치는 표적을 포함하는 영상들을 획득하는 제1 전자광학 카메라와 제2 전자광학 카메라를 포함하는 전자광학 카메라부; 상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라로부터 획득된 상기 영상들부터 상기 표적을 추출하는 제어부; 및 상기 제어부에서 추출된 표적을 추적하는 표적 추적부;를 포함하고, 상기 제어부는 상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라로부터 획득된 상기 영상들부터 상기 표적을 추출하는 표적 추출부; 상기 영상들을 정합하는 영상 정합부; 및 상기 정합된 영상을 이용하여 상기 표적과의 거리 및 상대 위치를 추정하는 위치 추정부를 포함한다.
스테레오 비전을 이용한 탐색장치는 탐색장치의 활용성을 높일 수 있도록 표적에 대한 적외선 영상을 획득하는 적외선 카메라를 더 포함할 수 있다.
상기 표적 추적부는 상기 표적 추출부에서 상기 표적이 추출되지 않으면, 상기 적외선 카메라로 획득한 상기 적외선 영상을 이용하여 상기 표적을 추적할 수 있다.
상기 표적 추출부는 상기 전자광학 카메라부에서 획득된 상기 영상들로부터 광량을 계산하고, 상기 광량이 기 설정된 값보다 작은 경우, 상기 적외선 카메라로 획득한 상기 적외선 영상을 이용하여 상기 표적을 추적할 수 있다.
한편, 스테레오 비전을 이용한 탐색장치에는 제1 전자광학 카메라와 제2 전자광학 카메라 또는 적외선 카메라로부터 영상을 획득하기 위해 영상획득 모델링을 수행하는 모델링부를 더 포함할 수 있다.
본 명세서에서 개시하는 제1 전자광학 카메라와 제2 전자광학 카메라를 포함하는 전자광학 카메라부, 제어부 및 표적 추적부를 구비하여 표적을 탐색하는 탐색장치의 탐색방법에 있어서, 상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라 각각이 표적을 포함하는 영상을 획득하는 영상획득단계; 상기 제어부가 상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라로부터 획득된 상기 영상들부터 상기 표적을 추출하는 표적 추출단계; 상기 제어부가 상기 영상들을 정합하는 영상 정합단계; 상기 제어부가 상기 정합된 영상을 이용하여 상기 표적과의 거리 및 상대 위치를 추정하는 위치추정단계; 및 상기 표적 추적부가 상기 표적을 추적하는 표적 추적단계를 포함한다.
상기 탐색장치는 상기 표적에 대한 적외선 영상을 획득하는 적외선 카메라를 더 포함하고, 상기 탐색방법은 상기 표적 추출단계에서 상기 표적이 추출되지 않으면, 상기 표적을 상기 적외선 카메라가 획득한 상기 적외선 영상을 이용하여 추적하는 단계; 를 더 포함할 수 있다.
상기 적외선 영상을 이용하여 추적하는 단계는 상기 전자광학 카메라부에서 획득된 상기 영상들로부터 광량을 계산하는 단계; 계산된 상기 광량이 기 설정된 값보다 작은지 판별하는 단계; 상기 광량이 상기 기 설정된 값보다 작으면, 상기 표적 추출단계에서 상기 표적이 추출되지 않은 것으로 판별하고, 상기 적외선 영상을 분석하는 단계; 및 상기 적외선 영상을 이용하여 상기 표적을 추적하는 단계; 를 포함할 수 있다.
본 명세서에 개시된 발명들에 의하면, 탐색장치 및 그 방법은 RF 주파수나 레이저와 같은 고가의 위치인식장치가 구비되지 않더라도 영상 광학계를 사용하여 표적의 거리 및 상대 위치를 추적할 수 있도록 함으로써 제조비용을 절감하고 탐색 성능의 신뢰성을 향상시킬 수 있는 효과가 있다.
도 1은 본 명세서에서 개시하는 스테레오 비전을 이용한 탐색장치의 개념을 설명하기 위한 도면이다.
도 2는 본 명세서에서 개시하는 스테레오 비전을 이용한 탐색장치의 일 실시예를 설명하기 위한 도면이다.
도 3은 본 명세서에서 개시하는 탐색장치 및 그 방법에서 거리를 계산하는 방법에 대한 일 실시예를 설명하기 위한 도면이다.
도 4는 본 명세서에서 개시하는 스테레오 비전을 이용한 탐색방법에 대한 일 실시예를 설명하기 위한 도면이다.
도 5는 본 명세서에서 개시하는 스테레오 비전을 이용한 탐색방법의 구체적인 실시예를 설명하기 위한 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에 개시된 발명들에 의하면, 탐색장치 및 그 방법은 표적과의 거리 및 위치를 스테레오 비전을 이용하여 계산할 수 있도록 함으로써 탐색장치의 신뢰성을 향상시킬 수 있다. 이는 복수 광학계를 이용함으로써 구현될 수 있으며, 이를 통해 탐색장치 또는 유도비행체가 별도의 위치인식장치를 필요하지 않도록 함으로써 제조비용을 절감하는 효과가 있다.
본 명세서에서 개시하는 탐색장치 및 그 방법은 탐색장치 또는 탐색장치를 구비한 유도 비행체 등이 비행 시 RF 주파수나 레이저를 사용하지 않고 영상 광학계를 사용하여 표적과의 거리 및 상대 위치를 측정하도록 한다. 이를 위하여 서로 다른 위치에서 획득된 두 가시광 영역 영상을 적절히 정합하여 표적과의 거리 및 상대 위치를 획득한다. 가시광의 광량이 충분하지 않아 스테레오 비전으로 영상 표적이 추출되지 않을 경우 적외선 카메라를 이용하여 단독으로 표적을 추적할 수 있다.
이하에서 도면을 참조하여 상세히 설명한다.
도 1은 본 명세서에서 개시하는 스테레오 비전을 이용한 탐색장치의 개념을 설명하기 위한 도면이다.
도 1을 참조하면, 탐색장치(101)는 2개의 전자광학(EO) 카메라(103, 104)와 적어도 하나의 적외선(IR) 카메라(105) 및 신호처리부(106)를 구비한다. 먼저 2개의 전자광학(EO) 카메라(103, 104)는 표적(102)에 대한 영상을 획득하여 신호처리부(106)로 전송한다. 그리고 야간에 전자광학 카메라(103, 104)로 영상 획득이 어려운 경우에는 적어도 하나의 적외선 카메라(105)를 이용하여 영상을 획득한다. 신호 처리부(106)는 2개의 전자광학(EO) 카메라(103, 104) 또는 적외선 카메라(105)에서 획득한 표적(102)에 대한 영상을 이용하여 표적을 획득하고, 탐색장치(101)와 표적(102)간의 거리 및 상대 위치를 산출할 수 있다. 신호처리부(106)는 2개의 전자광학(EO) 카메라(103, 104)에서 획득된 2개의 영상으로부터 표적(102)에 대한 거리와 상대 위치를 계산하기 위해 영상 정합을 수행할 수 있으며, 탐색장치(101)는 신호처리부(106)가 획득한 표적을 추적한다.
도 2는 본 명세서에서 개시하는 스테레오 비전을 이용한 탐색장치의 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 스테레오 비전을 이용한 탐색장치는 표적을 포함하는 영상을 획득하는 전자광학 카메라부(210), 전자광학 카메라부(210)에서 획득된 상기 영상들부터 상기 표적을 추출하는 제어부(220)을 포함한다. 전자광학 카메라부(210)는 도1 에 도시된 2개의 전자광학(EO) 카메라(103, 104)에 대응하는 구성으로 제1 전자광학 카메라(211)와 제2 전자광학 카메라(212)를 포함하고, 제어부(220)는 도1 의 신호처리부(106)에 포함되는 구성이다.
제어부(220)는 제1 전자광학 카메라(211)와 제2 전자광학 카메라(212)로부터 획득된 영상들부터 표적을 추출하는 표적 추출부(221), 영상들을 정합하는 영상 정합부(222) 및 정합된 영상을 이용하여 표적과의 거리 및 상대 위치를 추정하는 위치 추정부(223)를 포함한다. 그리고 탐색장치는 제어부(200)에서 추출한 표적을 표적을 추적하는 표적 추적부(230)를 더 포함할 수 있다. 표적 추적부(230) 또한 신호처리부(106)에 포함될 수 있다.
전자광학 카메라부(210)에 포함된 제1 전자광학 카메라(211)와 제2 전자광학 카메라(212)는 하나의 표적에 대한 영상을 획득한다. 표적 추출부(221)는 제1 전자광학 카메라(211)와 제2 전자광학 카메라(212)에서 각각 획득된 영상을 분석하여 영상에 포함된 표적을 추출한다. 여기에는 영상에서 표적을 추출하기 위한 영상처리가 수반될 수 있으며, 표적을 추출하기 위한 영상 처리 기법은 공지된 기술이므로 여기서는 상세하게 설명하지 않는다. 표적 추출부(221)가 영상으로부터 표적을 추출하면, 영상 정합부(222)는 두 영상에 대한 스테레오 정합을 수행한다. 위치 추정부(223)는 정합된 2개의 영상을 토대로 변위를 추정하며, 변위로부터 표적까지의 거리를 계산한다. 또한 위치 추정부(223)는 영상내에서 표적이 배치된 위치에 따라 표적까지의 거리뿐만 아니라 표적의 상대 위치, 즉 방향도 판별할 수 있다.
그리고 스테레오 비전을 이용한 탐색장치는 표적에 대한 적외선 영상을 획득하는 적외선 카메라(240)를 더 포함할 수 있다. 탐색장치가 탐색을 수행하는 때가 야간인 경우와 같이 가시광선 영역의 빛을 탐지하여 영상을 획득하는 전자광학 카메라는 야간에 촬영된 영상으로부터 표적을 추출하는 것이 용이하지 않을 수 있다. 따라서, 전자광학 카메라부(210)에서 획득된 영상으로부터 표적을 추출하기 어렵거나 또는 광량이 충분하지 않은 경우를 대비하기 위해 적외선 카메라(240)를 구비할 수 있다.
이를 위해 표적 추출부(221)는 전자광학 카메라부(210)에서 획득된 영상으로부터 표적의 추출여부를 판단할 수 있다. 표적 추적부(230)는 표적 추출부(221)에서 표적이 추출되지 않는 경우, 적외선 카메라(240)로 획득한 적외선 영상을 이용하여 표적을 추적할 수 있다. 한편, 표적 추출부(221)는 전자광학 카메라부(210)에서 영상을 분석하여 광량을 탐지하여 표적의 추출여부를 판단할 수 있다. 표적 추적부(230)는 표적 추출부(221)에 의해 광량이 기 설정된 값보다 작다고 판단된 경우, 적외선 카메라(240)로 획득한 적외선 영상을 이용하여 표적을 추적할 수 있다.
스테레오 비전을 이용한 탐색장치는 제1 전자광학 카메라(211)와 제2 전자광학 카메라(212) 또는 적외선 카메라(240)로부터 영상을 획득하기 위해 영상획득 모델링을 수행하는 모델링부(미도시)를 더 포함할 수 있다. 이를 통해 제1 전자광학 카메라(211), 제2 전자광학 카메라(212) 또는 적외선 카메라(240)로부터 입력된 영상으로부터 정확한 거리와 상대 위치 추정 및 표적 추적이 가능하게 된다.
도1 및 도2 에서는 탐색 장치가 하나의 적외선 카메라(240)을 구비하는 것으로 도시하였으나, 경우에 따라서는 복수개의 적외선 카메라를 구비하고, 복수개의 적외선 카메라 각각에서 획득되는 적외선 영상에 대해서도 제1 전자광학 카메라(211)와 제2 전자광학 카메라(212)에서 획득되는 영상들과 마찬가지로 스테레오 비전 기법을 적용하여 표적을 추적할 수 있다.
도 3은 본 명세서에서 개시하는 탐색장치 및 그 방법에서 거리를 계산하는 방법에 대한 일 실시예를 설명하기 위한 도면이다.
도 3을 참조하면, 전자광학 카메라의 제1 전자광학 카메라와 제2 전자광학 카메라로부터 각각 좌, 우 영상(301. 302)을 획득하고, 좌, 우 영상(301, 302)에서 표적(300)을 추출한 후, 두 영상을 영상 정합한다. 그리고 정합된 영상에 대해 아래 [수학식1]과 같은 삼각함수법에 이용하여 탐색 장치로부터 표적(300)까지의 거리를 계산할 수 있다.
Figure 112014061830041-pat00001
(여기서, x는 표적까지의 거리, L은 두 카메라 사이의 거리, f는 카메라 초점거리, dl은 좌영상에서 중심으로부터 표적까지의 거리, dr은 우영상에서 중심으로부터 표적까지의 거리를 나타낸다.)
전술한 스테레오 비전을 이용한 탐색장치는 유도 비행체에 탑재되어 활용될 수 있다. 이러한 유도 비행체는 비행체, 상기 비행체에 구비된 스테레오 비전을 이용한 탐색장치 및 상기 탐색장치를 이용하여 상기 비행체의 비행을 유도하는 비행유도장치를 포함하고, 상기 탐색장치는 표적을 포함하는 영상을 획득하는 제1 전자광학 카메라와 제2 전자광학 카메라를 포함하는 전자광학 카메라부, 상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라로부터 획득된 상기 영상들부터 상기 표적을 추출하는 표적 추출부, 상기 영상들을 정합하는 영상 정합부 및 상기 정합된 영상을 이용하여 상기 표적과의 거리 및 상대 위치를 추정하는 위치추정부를 포함할 수 있다.
스테레오 비전을 이용한 탐색장치는 표적을 추적하는 표적 추적부를 더 포함할 수 있다. 또한, 탐색장치의 활용성을 높일 수 있도록 표적에 대한 적외선 영상을 획득하는 적외선 카메라를 더 포함할 수 있다.
표적 추출부에서는 표적의 추출여부를 판단할 수 있다. 여기서, 표적 추적부는 표적 추출부에 따라 표적이 추출되지 않는 경우 적외선 카메라로 획득한 적외선 영상을 이용하여 표적을 추적할 수 있다.
표적 추출부는 전자광학 카메라부에서 영상 획득을 위한 광량을 탐지하여 표적의 추출여부를 판단할 수 있다. 여기서, 표적 추적부는 표적 추출부에 따라 광량이 기 설정된 값보다 작은 경우, 적외선 카메라로 획득한 적외선 영상을 이용하여 표적을 추적할 수 있다.
한편, 스테레오 비전을 이용한 탐색장치에는 제1 전자광학 카메라와 제2 전자광학 카메라 또는 적외선 카메라로부터 영상을 획득하기 위해 영상획득 모델링을 수행하는 모델링부를 더 포함할 수 있다.
유도 비행체에 구비된 스테레오 비전을 이용한 탐색장치에 대한 자세한 설명은 도 2에서 설명한 스테레오 비전을 이용한 탐색장치와 동일하므로, 여기서는 생략하기로 한다.
도 4는 본 명세서에서 개시하는 스테레오 비전을 이용한 탐색방법에 대한 일 실시예를 설명하기 위한 도면이다.
도 4를 참조하면, 스테레오 비전을 이용한 탐색방법은 제1 전자광학 카메라와 제2 전자광학 카메라로부터 표적을 포함하는 영상을 획득하는 영상획득단계(S401), 상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라로부터 획득된 상기 영상들부터 상기 표적을 추출하는 표적 추출단계(S402), 상기 영상들을 정합하는 영상 정합단계(S403), 상기 정합된 영상을 이용하여 상기 표적과의 거리 및 상대 위치를 추정하는 위치추정단계(S404) 및 상기 표적을 추적하는 표적 추적단계(S405)를 포함한다.
스테레오 비전을 이용한 탐색방법은 표적에 대한 적외선 영상을 획득하는 적외선 영상 획득 단계(미도시)를 더 포함할 수 있다.
표적 추출단계(S402)는 표적의 추출여부를 판단할 수 있다. 여기서, 표적 추적단계(S405)는 표적 추출단계(S402)에 따라 표적이 추출되지 않는 경우 적외선 카메라로 획득한 적외선 영상을 이용하여 표적을 추적할 수 있다.
표적 추출단계(S402)에서는 전자광학 카메라부에서 영상 획득을 위한 광량을 탐지하여 표적의 추출여부를 판단할 수 있다. 여기서, 표적 추적단계(S405)는 표적 추출단계(S402)에 따라 광량이 기 설정된 값보다 작은 경우, 적외선 카메라로 획득한 적외선 영상을 이용하여 표적을 추적할 수 있다.
스테레오 비전을 이용한 탐색방법은 제1 전자광학 카메라와 제2 전자광학 카메라 또는 적외선 카메라로부터 영상을 획득하기 위해 영상획득 모델링을 수행하는 모델링 단계(미도시)를 더 포함할 수 있다.
스테레오 비전을 이용한 탐색방법에 대한 자세한 설명은 도 2에서 설명한 스테레오 비전을 이용한 탐색장치와 동일하므로, 여기서는 생략하기로 한다.
도 5는 본 명세서에서 개시하는 스테레오 비전을 이용한 탐색방법의 구체적인 실시예를 설명하기 위한 도면이다.
도 5를 참조하면, 먼저, 탐색기의 광학계를 모델링하여 표적을 획득 및 추정하기 위한 변수들을 설정한다.(S501) 이후 2개 이상의 전자광학(EO) 카메라로부터 표적에 대한 이미지를 획득하고(S502), 해당 이미지에서 표적 형상을 추출한다(S503).
전자광학 카메라로부터의 표적인 EO표적의 획득 여부를 판단한다(S504). 이는 전자광학(EO) 카메라로부터 획득된 이미지로부터 표적 형상의 추출 여부를 판단하거나, 광량을 기 설정된 값과 비교함으로써 수행할 수 있다.
EO표적이 획득된 경우, EO 영상을 정합하고(S505), 변위를 추정한 후 거리 및 상대 위치를 계산함으로써 EO 표적을 추적한다(S506, S507, S508, S509).
EO표적이 획득되지 못했거나, 광량이 기 설정된 값과 비교하여 일정 수준 이하인 경우에는 적외선 카메라를 이용한 적외선 카메라를 통해 획득된 IR표적을 추적한다(S510, S509).
또한 도시하지 않았으나, 도4 및 도5 의 탐색 방법은 유도 비행체의 표적 추적 방법에 적용 될 수 있다. 이 경우, 유도 비행체의 표적 추적 방법은 도4 및 도5 의 탐색 방법에 탐색 장치에 의해 추적된 표적의 위치에 따라 비행체의 비행을 유도하는 단계가 더 포함된다.
본 명세서에 개시된 발명에 의하면, 복수광학계를 이용하여 표적과의 거리 및 상대 위치를 계산함으로써 유도조종 알고리즘의 신뢰성을 향상시킬 수 있으며, 별도의 위치인식장치를 필요로 하지 않으므로 제조 비용을 절감할 수 있는 효과가 있다.
또한, 광량의 제약 조건에 의해 전자광학(EO) 카메라에 의한 탐색기 영상의 획득이 불가할 경우 적외선(IR) 영상 탐색기를 이용하여 표적을 획득 및 추적할 수 있다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (9)

  1. 표적을 포함하는 영상들을 획득하는 제1 전자광학 카메라와 제2 전자광학 카메라를 포함하는 전자광학 카메라부;
    상기 표적에 대한 적외선 영상을 획득하는 적외선 카메라;
    상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라로부터 획득된 상기 영상들부터 상기 표적을 추출하는 제어부; 및
    상기 제어부에서 추출된 표적을 추적하는 표적 추적부;를 포함하고,
    상기 제어부는
    상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라로부터 획득된 상기 영상들부터 상기 표적을 추출하는 표적 추출부;
    상기 영상들을 정합하는 영상 정합부; 및
    상기 정합된 영상을 이용하여 상기 표적과의 거리 및 상대 위치를 추정하는 위치 추정부를 포함하는, 스테레오 비전을 이용한 탐색장치.
  2. 삭제
  3. 제1항에 있어서, 상기 표적 추적부는
    상기 표적 추출부에서 상기 표적이 추출되지 않으면, 상기 적외선 카메라로 획득한 상기 적외선 영상을 이용하여 상기 표적을 추적하는, 스테레오 비전을 이용한 탐색장치.
  4. 제3항에 있어서, 상기 표적 추출부는
    상기 전자광학 카메라부에서 획득된 상기 영상들로부터 광량을 계산하고, 상기 광량이 기 설정된 값보다 작은 경우, 상기 적외선 카메라로 획득한 상기 적외선 영상을 이용하여 상기 표적을 추적하는, 스테레오 비전을 이용한 탐색장치.
  5. 제1항에 있어서, 상기 탐색 장치는
    상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라 또는 상기 적외선 카메라로부터 영상을 획득하기 위해 영상획득 모델링을 수행하는 모델링부를 더 포함하는, 스테레오 비전을 이용한 탐색장치.
  6. 제1 전자광학 카메라와 제2 전자광학 카메라를 포함하는 전자광학 카메라부, 적외선 영상을 획득하는 적외선 카메라, 제어부 및 표적 추적부를 구비하여 표적을 탐색하는 탐색장치의 탐색방법에 있어서,
    상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라 각각이 표적을 포함하는 영상들을 획득하는 영상획득단계;
    상기 제어부가 상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라로부터 획득된 상기 영상들부터 상기 표적을 추출하는 표적 추출단계;
    상기 제어부가 상기 영상들을 정합하는 영상 정합단계;
    상기 제어부가 상기 정합된 영상을 이용하여 상기 표적과의 거리 및 상대 위치를 추정하는 위치추정단계;
    상기 표적 추적부가 상기 표적을 추적하는 표적 추적단계; 및
    상기 표적 추출단계에서 상기 표적이 추출되지 않으면,상기 표적 추적부가 상기 표적을 상기 적외선 카메라가 획득한 상기 적외선 영상을 이용하여 추적하는 단계; 를 포함하는, 스테레오 비전을 이용한 탐색방법.
  7. 삭제
  8. 제6 항에 있어서, 상기 적외선 영상을 이용하여 추적하는 단계는
    상기 전자광학 카메라부에서 획득된 상기 영상들로부터 광량을 계산하는 단계;
    계산된 상기 광량이 기 설정된 값보다 작은지 판별하는 단계;
    상기 광량이 상기 기 설정된 값보다 작으면, 상기 표적 추출단계에서 상기 표적이 추출되지 않은 것으로 판별하고, 상기 적외선 영상을 분석하는 단계; 및
    상기 적외선 영상을 이용하여 상기 표적을 추적하는 단계; 를 포함하는, 스테레오 비전을 이용한 탐색방법.
  9. 제6 항에 있어서, 상기 탐색방법은
    상기 영상획득단계 이전에, 상기 제1 전자광학 카메라와 상기 제2 전자광학 카메라 또는 상기 적외선 카메라를 모델링하여 상기 표적을 획득 및 추정하기 위한 변수들을 설정하는 단계; 를 더 포함하는, 스테레오 비전을 이용한 탐색방법.
KR20140081585A 2014-07-01 2014-07-01 스테레오 비전을 이용한 탐색장치 및 그 방법 KR101494394B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140081585A KR101494394B1 (ko) 2014-07-01 2014-07-01 스테레오 비전을 이용한 탐색장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140081585A KR101494394B1 (ko) 2014-07-01 2014-07-01 스테레오 비전을 이용한 탐색장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101494394B1 true KR101494394B1 (ko) 2015-02-17

Family

ID=52593989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140081585A KR101494394B1 (ko) 2014-07-01 2014-07-01 스테레오 비전을 이용한 탐색장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101494394B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102444B1 (ko) * 2019-03-27 2020-04-20 한화시스템 주식회사 탄착 오차 측정 시스템
KR102102447B1 (ko) * 2019-03-27 2020-05-29 한화시스템 주식회사 탄착 오차 측정 방법
KR102130560B1 (ko) * 2019-05-28 2020-07-06 한화시스템 주식회사 탄착 오차 측정 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355601A (ja) * 2003-05-07 2004-12-16 Mitsubishi Space Software Kk 目標追跡装置及び目標追跡方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
KR20120044052A (ko) * 2010-10-27 2012-05-07 건국대학교 산학협력단 복수개의 카메라를 이용한 거리측정 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355601A (ja) * 2003-05-07 2004-12-16 Mitsubishi Space Software Kk 目標追跡装置及び目標追跡方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
KR20120044052A (ko) * 2010-10-27 2012-05-07 건국대학교 산학협력단 복수개의 카메라를 이용한 거리측정 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102444B1 (ko) * 2019-03-27 2020-04-20 한화시스템 주식회사 탄착 오차 측정 시스템
KR102102447B1 (ko) * 2019-03-27 2020-05-29 한화시스템 주식회사 탄착 오차 측정 방법
KR102130560B1 (ko) * 2019-05-28 2020-07-06 한화시스템 주식회사 탄착 오차 측정 시스템

Similar Documents

Publication Publication Date Title
EP2824417B1 (en) Distance calculation device and distance calculation method
KR101494395B1 (ko) 스테레오 비전을 이용한 탐색장치를 포함하는 유도 비행체 및 이의 표적 추적 방법
US11587248B2 (en) Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP4177826B2 (ja) 画像処理装置および画像処理方法
KR101077967B1 (ko) 이동식 감시 및 추적 장치 및 방법
JP6405778B2 (ja) 対象追跡方法及び対象追跡装置
KR101961571B1 (ko) 복수의 물체 검출 수단을 사용한 물체 인식 장치
EP3205084B1 (en) Image processing method
KR101608889B1 (ko) 대기열 모니터링 장치 및 방법
KR20160102872A (ko) 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법
JP2006160116A (ja) 車両運動推定装置及び移動体検出装置
KR101494394B1 (ko) 스테레오 비전을 이용한 탐색장치 및 그 방법
KR102341839B1 (ko) 증강현실을 위한 데이터 수집 장치
US10936886B2 (en) Method and system for stereo based vehicle pose estimation
Sun et al. Region of interest constrained negative obstacle detection and tracking with a stereo camera
KR20160088986A (ko) 소실점 기반의 양안시차를 이용한 차선 검출 방법
KR20150142475A (ko) 장애물 식별 장치 및 방법
CN111428651A (zh) 一种车辆的障碍信息获取方法、系统及车辆
KR101428373B1 (ko) 주차가능구획 판단 장치 및 방법
CN107924570A (zh) 用于机动车辆的视觉系统和控制视觉系统的方法
KR20160092289A (ko) 시차 결정 방법 및 장치
JP2014238409A (ja) 距離算出装置及び距離算出方法
CN109344677B (zh) 识别立体物的方法、装置、车辆和存储介质
KR101273634B1 (ko) 모바일 기기를 이용하는 증강현실 환경에서 복수 객체 추적방법 및 이를 이용한 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 4