KR102583922B1 - 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법 - Google Patents

저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법 Download PDF

Info

Publication number
KR102583922B1
KR102583922B1 KR1020230116650A KR20230116650A KR102583922B1 KR 102583922 B1 KR102583922 B1 KR 102583922B1 KR 1020230116650 A KR1020230116650 A KR 1020230116650A KR 20230116650 A KR20230116650 A KR 20230116650A KR 102583922 B1 KR102583922 B1 KR 102583922B1
Authority
KR
South Korea
Prior art keywords
image
moving object
low visibility
processor
captured image
Prior art date
Application number
KR1020230116650A
Other languages
English (en)
Inventor
장익진
Original Assignee
엘텍코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘텍코리아 주식회사 filed Critical 엘텍코리아 주식회사
Priority to KR1020230116650A priority Critical patent/KR102583922B1/ko
Application granted granted Critical
Publication of KR102583922B1 publication Critical patent/KR102583922B1/ko

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G06T5/001—
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법을 게시한다. 촬영 장비로부터 촬영된 영상을 입력 받는 영상 입력부; 상기 영상 입력부로부터 상기 촬영된 영상을 입력 받아 전달률을 계산하고, 상기 전달률을 이용하여 상기 촬영된 영상을 보정하는 영상 보정부; 상기 영상 보정부로부터 상기 전달률을 입력 받아 상기 전달률의 하한치를 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하여 결과값을 출력하는 저시정 판단부; 및 상기 저시정 판단부로부터 상기 이동체가 상기 저시정 구간에 위치하지 않는 것으로 판단한 결과값이 입력될 때, 상기 이동체가 상기 저시정 구간에 존재하도록 상기 이동체의 위치를 제어하는 위치 제어부;를 포함할 수 있다.

Description

저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING THE LOCATION OF MOBILE OBJECT INCLUDING LOW VISIBILITY VIDEO IMPROVEMENT APPARATUS}
본 발명은 이동체의 위치 제어 장치 및 방법에 관한 것이며, 보다 상세하게는 이동체가 저시정 구간에 위치하기 위한 위치 제어 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 명세서에 기재된 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래 기술을 구성하는 것은 아니다.
최근 저시정(low visibility) 기상상황에서도 감시 대상을 명확하게 식별할 수 있는 영상 처리 및 감시 기술이 발전하고 있다. 이러한 영상 처리 및 감시 기술은 국방 분야에 매우 유용하게 사용되고 있으며, 최근 국방 분야에서 개발되고 있는 무인 이동체에도 저시정 영상 처리 기술이 적용된 감시 시스템 도입이 활발히 진행되고 있다.
그러나 저시정 영상 개선 기술이 적용된 무인 이동체가 기동하면서 상대 진영을 감시하더라도 상대 진영에서도 유사한 기술이 적용된 감시 장치를 이용하여 이동체를 쉽게 식별할 수 있어 상대의 무력화 대응으로 고가의 무인 이동체가 유실되는 한계가 있다.
등록특허공보 제10-2346752호, 2021.12.29
본 명세서는 이동체가 저시정 구간을 유지하기 위한 위치 제어 장치 및 방법을 제공하는 것을 목적으로 한다.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 명세서에 따른 이동체 위치 제어 장치는, 촬영 장비로부터 촬영된 영상을 입력 받는 영상 입력부; 상기 영상 입력부로부터 상기 촬영된 영상을 입력 받아 전달률을 계산하고, 상기 전달률을 이용하여 상기 촬영된 영상을 보정하는 영상 보정부; 상기 영상 보정부로부터 상기 전달률을 입력 받아 상기 전달률의 하한치를 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하여 결과값을 출력하는 저시정 판단부; 및 상기 저시정 판단부로부터 상기 이동체가 상기 저시정 구간에 위치하지 않는 것으로 판단한 결과값이 입력될 때, 상기 이동체가 상기 저시정 구간에 존재하도록 상기 이동체의 위치를 제어하는 위치 제어부;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 영상 보정부는, 상기 촬영된 영상의 화소값 와 상기 촬영된 영상에서의 대기의 밝기값 를 이용하여 전달률의 추정치 를 수식
으로 계산하고, 상기 전달률 는
의 범위를 가지며, 상기 전달률 의 하한치()와 상기 전달률의 추정치 를 가중합하여 상기 전달률 를 수식
으로 계산하고, 상기 가중합하여 계산한 전달률 를 이용하여 보정된 영상의 화소값 를 수식
으로 계산할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 저시정 판단부는, 상기 전달률의 하한치가 미리 정해진 소정의 전달률 임계범위 내에 존재하면 상기 이동체가 상기 저시정 구간에 위치하는 것으로 판단할 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 영상 보정부는, 상기 촬영된 영상을 적어도 1개 이상의 블록영역으로 분할하고, 분할된 영상에서 적어도 1개 이상의 블록영역을 선택하며, 선택된 영역으로부터 상기 전달률을 계산하여 상기 저시정 판단부로 출력할 수 있다.
본 명세서의 따른 이동체 위치 제어 장치는, 상기 영상 입력부로부터 상기 촬영된 영상을 입력 받고 상기 영상 보정부로부터 보정된 영상을 입력 받아 두 영상을 적어도 1개 이상의 블록영역으로 분할하며, 분할된 두 영상에서 적어도 1개 이상의 블록영역을 선택하여 상기 두 영상간의 밝기값의 차이를 누적한 밝기의 비교값을 아래 수식
(: 자연수, : 상기 촬영된 영상의 번째 영역 또는 픽셀, : 상기 보정된 영상의 번째 영역 또는 픽셀)
으로 계산하고, 상기 비교값을 상기 저시정 판단부로 출력하는 영상 비교부;를 더 포함할 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 저시정 판단부는, 상기 영상 비교부로부터 입력 받은 비교값이 미리 정해진 소정의 비교값 임계범위 내에 존재하는 경우 이동체가 저시정 구간에 존재하는 것으로 판단할 수 있다.
상술한 과제를 해결하기 위한 본 명세서에 따른 이동체 위치 제어 방법은, (a) 프로세서가 촬영 장비로부터 촬영된 영상을 입력 받는 단계; (b) 프로세서가 상기 촬영된 영상의 전달률을 계산하는 단계; (c) 프로세서가 상기 (b) 단계에서 계산된 전달률의 하한치를 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하는 단계; 및 (d) 상기 이동체가 상기 저시정 구간에 위치하지 않는 것으로 판단될 때, 프로세서가 상기 이동체를 상기 저시정 구간에 존재하도록 위치를 제어하는 단계;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는 상기 프로세서가 상기 촬영된 영상의 화소값 와 상기 촬영된 영상에서 대기의 밝기값 를 이용하여 상기 전달률 의 범위를 아래 수식
으로 계산하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (c) 단계는, 상기 전달률의 하한치가 미리 정해진 소정의 전달률 임계범위 내에 존재하면 상기 이동체가 상기 저시정 구간에 있는 것으로 판단하는 단계일 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 (b) 단계는, 상기 프로세서가 상기 촬영된 영상을 적어도 1개 이상의 블록영역으로 분할하고, 분할된 영상에서 적어도 1개 이상의 블록영역을 선택하여 상기 전달률을 계산하는 단계일 수 있다.
상술한 과제를 해결하기 위한 본 명세서에 따른 이동체 위치 제어 방법은, (a) 프로세서가 촬영 장비로부터 촬영된 영상을 입력 받는 단계; (b) 프로세서가 상기 촬영된 영상의 전달률을 계산하는 단계; (c'-1) 프로세서가 상기 (b) 단계에서 계산된 전달률을 이용하여 상기 촬영된 영상을 보정하는 단계; (c'-2) 프로세서가 상기 촬영된 영상과 상기 (c'-1) 단계에서 보정된 영상간의 밝기의 비교값을 계산하는 단계; (c'-3) 프로세서가 상기 (c'-2) 단계에서 계산된 비교값을 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하는 단계; 및 (d) 상기 이동체가 상기 저시정 구간에 위치하지 않는 것으로 판단될 때, 프로세서가 상기 이동체를 상기 저시정 구간에 존재하도록 위치를 제어하는 단계;를 포함할 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 (c'-1) 단계는, 상기 프로세서가 상기 촬영된 영상의 화소값 와 상기 촬영된 영상에서 대기의 밝기값 를 이용하여 전달률의 추정치 를 수식
으로 계산하고, 상기 전달률 는
의 범위를 가지며, 상기 전달률 의 하한치()와 상기 전달률의 추정치 를 가중합하여 상기 전달률 를 수식
으로 계산하며, 상기 가중합하여 계산한 전달률 를 이용하여 보정된 영상의 화소값 를 수식
으로 계산하는 단계일 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 (c'-2) 단계는, 상기 프로세서가 상기 촬영된 영상과 보정된 영상을 적어도 1개 이상의 블록영역으로 분할하며, 분할된 두 영상에서 적어도 1개 이상의 블록영역을 선택하여 상기 두 영상간의 밝기값의 차이를 누적한 밝기의 비교값을 아래 수식
(: 자연수, : 상기 촬영된 영상의 번째 영역 또는 픽셀, : 상기 보정된 영상의 번째 영역 또는 픽셀)
으로 계산하는 단계일 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 (c'-3) 단계는, 상기 프로세서가 상기 (c'-2) 단계에서 계산된 비교값이 미리 정해진 소정의 비교값 임계범위 내에 존재하는 경우, 상기 이동체가 상기 저시정 구간에 존재하는 것으로 판단하는 단계일 수 있다.
본 명세서의 또 다른 실시예에 따르면, 상기 (c) 단계에서 상기 이동체가 전진해야 되는 상황으로 판단될 때, 상기 (c) 단계 이후에, (c'-1) 상기 프로세서가 상기 (b) 단계에서 계산된 전달률을 이용하여 상기 촬영된 영상을 보정하는 단계; (c'-2) 상기 프로세서가 상기 촬영된 영상과 상기 (c'-1) 단계에서 보정된 영상간의 밝기의 비교값을 계산하는 단계; 및 (c'-3) 상기 프로세서가 상기 (c'-2) 단계에서 계산된 비교값을 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하는 단계;를 더 포함할 수 있다.
본 명세서에 따른 이동체 위치 제어 방법은, 컴퓨터가 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서의 일 측면에 따르면, 저시정 구간에서 기동하는 무인 이동체가 상대 진영의 감시 장치에 적발되지 않고 저시정 구간의 경계까지 최대한 근접 위치하여 선명한 영상을 획득할 수 있다.
본 명세서의 다른 측면에 따르면, 상기 무인 이동체는 상대 진영에서 식별되지 않거나 식별이 어려운 특징으로 인해 상대의 무력화 대응을 최대한 회피할 수 있어 이동체 소실을 낮추는 효과를 제공한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에 따른 이동체의 위치 제어 장치를 이용한 이동체의 위치 이동을 대략적으로 도시한 도면이다.
도 2는 본 명세서의 일 실시예에 따른 이동체 위치 제어 시스템의 개략적인 구성도이다.
도 3은 촬영된 영상과 영상 보정부에서 보정된 영상을 비교한 도면이다.
도 4는 영상 보정부가 촬영된 영상을 블록영역으로 분할한 후 보정한 것을 도시한 도면이다.
도 5는 분할된 영상에서 일부 영역을 선택하는 알고리즘이다.
도 6은 본 명세서의 다른 실시예에 따른 이동체 위치 제어 장치의 블록도이다.
도 7은 영상 비교부가 촬영된 영상과 보정된 영상을 비교하는 것을 도시한 도면이다.
도 8은 본 명세서에 따른 이동체 위치 제어 방법의 개략적인 흐름도이다.
도 9는 본 명세서의 일 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 10은 본 명세서의 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 11은 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 12는 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 13은 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 14는 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 명세서에 따른 이동체의 위치 제어 장치를 이용한 이동체의 위치 이동을 대략적으로 도시한 도면이다.
도 1을 참조하면, 본 명세서에 따른 이동체 위치 제어 장치는 이동체가 저시정 구간에서 적을 감시하는 상황을 가정하고 있다. 본 명세서에서 상기 저시정 구간은 저시정 상황에서 적을 감시할 수 있지만 적에게 발견되지 않는 구간을 의미한다. 상기 저시정 상황은 상기 이동체에 포함되어있는 촬영 장비의 시야가 제한되는 상황으로 안개, 미세먼지, 비, 눈 및/또는 스모그 등으로 인하여 발생될 수 있으며, 특정 상황에 의해서 제한되지 않는다. 상기 이동체 위치 제어 장치는 상기 이동체가 상기 저시정 구간 내에 위치하도록 이동체의 위치를 제어할 수 있다. 본 명세서에서는 상대측 감시 장치를 향하는 방향(적이 위치한 방향)을 상기 이동체의 전방으로 가정한다.
도 2는 본 명세서의 일 실시예에 따른 이동체 위치 제어 시스템의 개략적인 구성도이다.
도 2를 참조하면, 이동체(100)는 이동체 위치 제어 장치(200) 및 촬영 장비(300)를 포함할 수 있다.
상기 이동체 위치 제어 장치(200)는 상기 촬영 장비(300)로부터 촬영된 영상을 입력 받을 수 있다. 상기 이동체 위치 제어 장치(200)는 상기 촬영된 영상을 바탕으로 상기 이동체(100)의 위치가 저시정 구간에 위치하는지 여부를 판단하여 상기 이동체(100)가 상기 저시정 구간에 존재할 수 있도록 위치를 제어할 수 있다.
상기 촬영 장비(300)를 통하여 촬영된 영상은 저시경 상황에서 촬영된 영상 및/또는 상기 저시정 상황이 아닌 상황에서 촬영된 영상일 수 있다.
상기 이동체 위치 제어 장치(200)는 영상 입력부(210), 영상 보정부(220), 저시정 판단부(230) 및 위치 제어부(240)를 포함할 수 있다.
상기 영상 입력부(210)는 상기 촬영 장비(300)로부터 상기 촬영된 영상을 입력 받을 수 있다.
상기 영상 보정부(220)는 상기 영상 입력부(210)로부터 상기 촬영된 영상을 입력 받을 수 있다. 상기 영상 보정부(220)는 상기 촬영된 영상에서 전달률을 계산하고, 상기 전달률을 이용하여 상기 촬영된 영상을 보정할 수 있다.
상기 저시정 판단부(230)는 상기 영상 보정부(220)로부터 상기 전달률을 입력 받을 수 있다. 상기 저시정 판단부(230)는 상기 전달률 값 중에서 전달률의 하한치를 이용하여 상기 이동체(100)가 상기 저시정 구간에 존재하는지 여부를 판단하여 결과값을 출력할 수 있다.
상기 위치 제어부(240)는 상기 저시정 판단부(230)로부터 상기 이동체(100)가 상기 저시정 구간에 위치하지 않는 것으로 판단한 결과값이 입력될 때, 상기 이동체(100)가 상기 저시정 구간에 위치하도록 상기 이동체의 위치를 제어할 수 있다.
상기 영상 보정부(220)는 상기 촬영된 영상에서 저시정을 보정하기 위하여 일반적인 안개제거 모델링에서 사용되는 [수식 1]을 이용할 수 있다.
[수식 1]
상기 [수식 1]에서 는 상기 촬영된 영상의 번째 화소값, 는 상기 영상 보정부(220)에서 보정된 영상의 번째 화소값, 는 상기 촬영된 영상내의 화소 중에서 상기 촬영 장비(300)에서 가장 먼 대기의 밝기값(atmospheric brightness)이며, 안개 및/또는 저시정 상황을 구성하는 물질의 밝기값을 나타낸다. 는 전달률(transmission rate)로서, 상기 와 의 비율을 의미하며, 상기 전달률 가 높을수록 상기 촬영된 영상과 보정된 영상이 유사함을 의미한다. 상기 전달률 는 [수식 2]와 같이 상기 촬영 장비(300)로부터 상기 촬영된 영상의 피사체의 거리에 따라 지수적으로 감소한다.
[수식 2]
상기 [수식 2]에서 는 공기의 산란 계수이고, 는 번째 화소에 대응하는 공간상의 점과 상기 촬영 장비(300) 사이의 거리이다.
상기 영상 보정부(220)는 상기 촬영된 영상으로부터 와 를 계산하고, 이를 이용하여 보정된 영상의 화소값 를 계산할 수 있다.
상기 [수식 1]로부터 상기 전달률 와 보정된 영상의 화소값 는 각각 [수식 3]과 [수식 4]로 계산될 수 있다.
[수식 3]
[수식 4]
상기 촬영된 영상으로부터 상기 전달률 를 계산하기 위하여, 상기 영상 보정부(220)는 전달률의 추정치 를 [수식 5]로 계산할 수 있다.
[수식 5]
상기 [수식 5]에서 입력 파라미터 가 클수록 저시정 개선 강도가 높아짐을 의미한다.
또한, 상기 보정된 영상의 화소값 는 를 만족해야 하므로 상기 [수식 4]로부터 상기 전달률 의 범위는 [수식 6]으로 나타낼 수 있다.
[수식 6]
최종적으로, 상기 전달률 는 [수식 7]과 같이 상기 와 상기 [수식 6]에서 전달률의 하한치()와의 가중합으로 계산될 수 있다.
[수식 7]
상기 [수식 7]에서 는 가중치를 의미하며, 상기 전달률의 추정치 와 상기 전달률의 하한치()와의 가중합을 이용하여 상기 전달률 를 계산하는 것은 당업자에게 널리 알려진 사실이므로 자세한 설명은 생략한다.
상기 영상 보정부(220)는 상기 [수식 7]을 이용하여 계산한 전달률 를 상기 [수식 4]에 대입하여 상기 보정된 영상의 화소값 를 계산하여 보정된 영상을 출력할 수 있다.
도 3은 촬영된 영상과 영상 보정부에서 보정된 영상을 비교한 도면이다.
도 3을 참조하면, 도 3의 (A)는 상기 저시정 상황에서 촬영된 영상이다. 도 3의 (A)에서는 상기 저시정 상황으로 인하여 피사체가 어둡게 찍혀있다. 상기 영상 보정부(220)는 상기 저시정 상황에서 촬영된 영상으로부터 상기 [수식 7]을 이용하여 전달률을 계산하고 보정된 영상을 출력할 수 있다. 도 3의 (B)는 상기 도 3의 (A)영상을 보정한 영상으로, 상기 저시정 상황이 개선되어 상기 피사체가 상기 도 3의 (A)보다 더 선명하게 나타날 수 있다.
도 3의 (C)는 저시정 상황이 아닌 상황에서 촬영된 영상이다. 도 3의 (D)는 상기 영상 보정부(220)가 상기 [수식 7]을 이용하여 전달률을 계산하고 상기 도 3의 (C)의 영상을 보정한 영상이다. 상기 도 3의 (C)는 상기 저시정 상황이 아닌 상황에서 촬영된 영상이므로, 상기 도 3의 (C)의 피사체와 상기 도 3의 (D)의 피사체는 유사한 밝기값을 가질 수 있다.
상기 저시정 판단부(230)는 상기 영상 보정부(220)에서 계산된 상기 전달률을 입력 받아 상기 이동체(100)가 상기 저시정 구간에 위치하는지 여부를 판단할 수 있다.
상기 전달률은 상기 [수식 6]의 범위를 가지며, 상기 저시정 판단부(230)는 상기 전달률의 하한치()를 이용하여 상기 이동체(100)가 상기 저시정 구간에 위치하는지 여부를 판단할 수 있다.
일예로, 안개가 낀 상황에서는 대기 중의 수증기가 광선을 산란시켜 영상의 밝기가 감소하게 된다. 이 때, 안개 뒤쪽의 배경의 화소와 같이 거리가 먼 경우 전달률이 '0'에 가까운 값을 가지게 되고, 가까운 곳의 화소는 전달률이 '1'에 가까운 값을 가지게 된다. 따라서, 상기 전달률의 하한치가 '1'에 가까우면 저시정 상황이 아닌 상황으로 판단할 수 있고, 상기 전달률의 하한치가 '0'에 가까우면 저시정 상황으로 판단할 수 있다.
상기 저시정 판단부(230)는 상기 전달률의 하한치가 미리 정해진 소정의 전달률 임계범위 내에 존재하면 상기 이동체(100)가 상기 저시정 구간에 있는 것으로 판단할 수 있다.
상기 촬영된 영상으로부터 계산된 전달률의 하한치가 '0'에 가까운 경우, 상기 이동체(100)가 상기 적과 멀어지는 방향으로 상기 저시정 구간을 이탈하여 상기 적을 감시하지 못하는 상황일 수 있다. 이와 반대로, 상기 전달률의 하한치가 '1'에 가까운 경우 상기 이동체(100)가 상기 적과 가까워지는 방향으로 상기 저시정 구간을 이탈하여 상기 적에게 발견될 수 있는 상황일 수 있다.
따라서, 상기 저시정 판단부(230)는 상기 이동체(100)가 상기 저시정 상황 속에서 상기 적을 감시할 수 있지만, 상기 적에게 발견되지 않는 위치에 존재할 수 있도록 상기 저시정 구간을 판단하기 위한 상기 전달률 임계범위를 설정할 수 있다. 일 예로, 상기 전달률 임계범위는 [수식 8]과 같이 계산될 수 있다.
[수식 8]
상기 [수식 8]에서 는 가중치를 의미한다.
상기 저시정 판단부(230)는 상기 전달률의 하한치가 상기 전달률 임계범위 내에 존재하는 경우, 상기 이동체(100)가 상기 저시정 구간에 위치하는 것으로 판단할 수 있다.
일 예로, 상기 전달률의 하한치가 상기 전달률 임계범위의 하한치보다 작은 값을 갖는 장소에 상기 이동체(100)가 위치할 수 있다. 이 경우는 상기 이동체(100)가 상기 적과 멀어지는 방향으로 상기 저시정 구간을 이탈하여 상기 적을 감시하지 못하는 상황일 수 있다. 이 때, 상기 위치 제어부(240)는 상기 이동체(100)가 상기 저시정 구간에 위치하도록 상기 이동체(100)를 전진시킬 수 있다.
이와 반대로, 상기 전달률의 하한치가 상기 전달률 임계범위의 상한치보다 큰 값을 갖는 장소에 상기 이동체(100)가 위치할 수 있다. 이 경우는 상기 이동체(100)가 상기 적과 가까워지는 방향으로 상기 저시정 구간을 이탈하여 상기 적에게 발견될 수 있는 상황일 수 있다. 이 때, 상기 위치 제어부(240)는 상기 이동체(100)가 상기 저시정 구간에 위치하도록 상기 이동체(100)를 후진시킬 수 있다.
도 4는 영상 보정부가 촬영된 영상을 블록영역으로 분할한 후 보정한 것을 도시한 도면이다.
도 4를 참조하면, 상기 영상 보정부(220)는 상기 촬영 장비(300)에 의해서 촬영된 영상인 도 4의 (A)를 적어도 1개 이상의 블록영역으로 분할할 수 있다. 상기 영상 보정부(220)는 분할된 영상에서 전체 또는 적어도 1개 이상의 블록영역을 선택하여 상기 전달률을 계산할 수 있다. 이후, 상기 영상 보정부(220)는 상기 도 4의 (A)영상을 보정한 도 4의 (B) 영상을 출력할 수 있다.
일 예로, 상기 영상 보정부(220)는 상기 촬영된 영상을 블록으로 분할할 수 있다. 상기 영상 보정부(220)는 상기 분할된 영상에서 중앙 1개의 블록영역 또는 중앙 1개의 블록영역 및 적어도 1개 이상의 대각선 방향의 블록영역을 포함하는 선택 영역에서 상기 전달률을 계산할 수 있다. 여기서 은 자연수를 의미한다.
도 5는 분할된 영상에서 일부 영역을 선택하는 알고리즘이다.
도 5를 참조하면, 상기 영상 보정부(220)는 도 5의 알고리즘을 이용하여 상기 분할된 영상에서 적어도 1개 이상의 블록영역을 선택할 수 있다. 도 5에서 적어도 1개 이상의 블록영역의 숫자를 결정하는 파라미터(parameter) 는 [수식 8]으로 표현될 수 있다.
[수식 8]
상기 저시정 판단부(230)는 상기 영상 보정부(220)에서 상기 선택된 블록 영역에서 계산된 전달률을 입력 받아 상기 이동체(100)가 상기 저시정 구간에 위치하는지 판단할 수 있다.
또한, 상기 이동체(100)의 좌측 및/또는 우측이 상기 저시정 구간에 위치하는지 판단할 수 있다.
일 예로, 상기 영상 보정부(220)는 상기 분할된 영상에서 좌측의 블록영역을 선택하여 상기 전달률을 계산한 좌측 전달률을 상기 저시정 판단부(230)로 출력할 수 있다. 또한, 상기 영상 보정부(220)는 상기 분할된 영상에서 우측의 블록영역을 선택하여 계산한 우측 전달률을 상기 저시정 판단부(230)로 출력할 수 있다.
좌측 전달률의 하한치와 우측 전달률의 하한치의 차이가 미리 정해진 소정의 차이보다 더 큰 경우, 상기 저시정 판단부(230)는 상기 좌측 전달률의 하한치와 상기 우측 전달률의 하한치를 이용하여 상기 이동체(100)의 좌측 또는 우측이 상기 저시정 구간에 위치하는지 판단할 수 있다.
일 예로, 상기 좌측 전달률의 하한치가 상기 우측 전달률의 하한치보다 더 작은 값을 가질 수 있다. 이 경우, 상기 저시정 판단부(230)는 상기 이동체(100)의 좌측은 상기 저시정 구간이며, 상기 이동체(100)의 우측은 상기 저시정 구간이 아닌 것으로 판단할 수 있다. 이때, 상기 위치 제어부(240)는 상기 이동체(100)를 좌측으로 이동시킬 수 있다.
이와 반대로, 상기 우측 전달률의 하한치가 상기 좌측 전달률의 하한치보다 더 작은 값을 가질 수 있다. 이 경우, 상기 저시정 판단부(230)는 상기 이동체(100)의 우측은 상기 저시정 구간이며, 상기 이동체(100)의 좌측은 상기 저시정 구간이 아닌 것으로 판단할 수 있다. 이때, 상기 위치 제어부(240)는 상기 이동체(100)를 우측으로 이동시킬 수 있다.
도 6은 본 명세서의 다른 실시예에 따른 이동체 위치 제어 장치의 블록도이다.
도 6를 참조하면, 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 장치(200')는 영상 입력부(210), 영상 보정부(220), 저시정 판단부(230), 위치 제어부(240) 및 영상 비교부(250)를 포함할 수 있다.
상기 영상 비교부(250)를 제외한 나머지 구성요소들은 앞서 설명하였으므로, 반복적인 설명은 생략하겠다.
상기 영상 비교부(250)는 상기 영상 입력부(210)로부터 상기 촬영된 영상을 입력 받고 상기 영상 보정부(220)로부터 보정된 영상을 입력 받아 두 영상(상기 촬영된 영상 및 보정된 영상)을 적어도 1개 이상의 블록영역으로 분할할 수 있다. 이후, 상기 영상 비교부(250)는 분할된 두 영상에서 전체 또는 적어도 1개 이상의 블록영역의 밝기값의 차이를 누적하여 밝기의 비교값을 계산할 수 있다. 상기 영상 비교부(250)는 상기 비교값을 상기 저시정 판단부(230)로 출력할 수 있다.
상기 영상 비교부(250)는 상기 비교값을 계산하기 위하여, 상기 두 영상을 그레이 스케일(gray scale)로 변환하여 비교할 수 있다. 상기 그레이 스케일 변환은 당업자에게 널리 알려진 기술이므로 자세한 설명은 생략한다.
도 7은 영상 비교부가 촬영된 영상과 보정된 영상을 비교하는 것을 도시한 도면이다.
도 7을 참조하면, 상기 영상 비교부(250)는 상기 두 영상을 의 블록영역으로 분할할 수 있다. 이후, 상기 영상 비교부(250)는 상기 분할된 두 영상에서 전체 또는 적어도 1개 이상의 블록영역을 포함하는 비교영역을 선택할 수 있다. 상기 비교영역 선택은 상기 도 5에 도시된 알고리즘과 유사한 방식으로 이루어질 수 있다. 여기서 은 자연수를 의미한다.
상기 영상 비교부(250)는 상기 비교영역에서 상기 두 영상간의 밝기값의 차이를 [수식 9]를 이용하여 계산할 수 있다.
[수식 9]
상기 [수식 9]에서 는 상기 촬영된 영상의 번째 영역 또는 픽셀(pixel)이고, 는 상기 보정된 영상의 번째 영역 또는 픽셀이며, 은 자연수를 의미한다.
상기 저시정 판단부(230)는 상기 영상 비교부(250)로부터 입력 받은 비교값이 미리 정해진 소정의 비교값 임계범위에 존재하는 경우 상기 이동체(100)가 상기 저시정 구간에 존재하는 것으로 판단할 수 있다.
상기 저시정 판단부(230)는 상기 이동체(100)가 상기 저시정 구간에 위치하도록 하기 위하여 상기 비교값 임계범위를 설정할 수 있다. 상기 비교값이 상기 비교값 임계범위를 벗어나는 경우, 상기 저시정 판단부(230)는 상기 이동체(100)가 상기 저시정 구간을 벗어난 것으로 판단할 수 있다.
일 예로, 상기 비교값이 상기 비교값 임계범위의 상한치보다 큰 경우, 상기 이동체(100)가 상기 적과 멀어지는 방향으로 상기 저시정 구간을 이탈하여 상기 적을 감시하지 못하는 상황일 수 있다. 이와 반대로, 상기 비교값이 상기 비교값 임계범위의 하한치보다 작은 경우, 상기 이동체(100)가 상기 적과 가까워지는 방향으로 상기 저시정 구간을 이탈하여 상기 적에 발견되는 상황일 수 있다.
상기 비교값이 상기 비교값 임계범위의 상한치보다 큰 경우, 상기 위치 제어부(240)는 상기 이동체(100)가 상기 저시정 구간에 위치하도록 상기 이동체(100)를 전진시킬 수 있다.
이와 반대로, 상기 비교값이 상기 비교값 임계범위의 하한치보다 작은 경우, 상기 위치 제어부(240)는 상기 이동체(100)가 상기 저시정 구간에 위치하도록 상기 이동체(100)를 후진시킬 수 있다.
상기 영상 비교부(250)는 상기 분할된 두 영상의 좌측 영역을 선택하여 상기 두 영상간의 밝기값의 차이를 계산한 좌측 비교값을 계산할 수 있다. 또한, 상기 영상 비교부(250)는 상기 분할된 두 영상의 우측 영역을 선택하여 상기 두 영상간의 밝기값의 차이를 계산한 우측 비교값을 계산할 수 있다. 상기 저시정 판단부(230)는 상기 영상 비교부(250)로부터 상기 좌측 비교값과 우측 비교값을 입력 받을 수 있다. 이때, 상기 저시정 판단부(230)는 상기 좌측 비교값과 우측 비교값의 차이가 미리 정해진 소정의 차이보다 더 클 때, 상기 좌측 비교값과 우측 비교값을 이용하여 상기 이동체(100)의 좌측 또는 우측이 상기 저시정 구간에 위치하는지 여부를 판단할 수 있다.
일 예로, 상기 좌측 비교값이 상기 우측 비교값보다 더 크면, 상기 저시정 판단부(230)는 상기 이동체(100)의 좌측은 상기 저시정 구간이고, 상기 이동체(100)의 우측은 상기 저시정 구간이 아니라고 판단할 수 있다. 이때, 상기 위치 제어부(240)는 상기 이동체(100)를 좌측으로 이동시킬 수 있다.
이와 반대로, 상기 우측 비교값이 상기 좌측 비교값보다 더 크면, 상기 저시정 판단부(230)는 상기 이동체(100)의 우측은 상기 저시정 구간이고, 상기 이동체(100)의 좌측은 상기 저시정 구간이 아니라고 판단할 수 있다. 이때, 상기 위치 제어부(240)는 상기 이동체(100)를 우측으로 이동시킬 수 있다.
상기 영상 비교부(250)는 상기 두 영상의 밝기값 이외의 추가적인 영상 정보를 사용하여 상기 이동체(100)가 상기 저시정 구간에 있는지 여부를 더 정확하게 판단할 수 있다.
상기 이동체 위치 제어 장치(200, 200')를 이용한 상기 이동체(100)의 이동 방향 결정 주기는 상기 이동체(100)에 포함되어있는 상기 촬영 장비(300)의 영상 획득 및 영상 처리 성능에 따라 결정될 수 있다.
이상에서 상기 이동체(100)는 바다 위에서 적을 감시하는 선박을 가정하여 기재하였다. 하지만, 상기 이동체(100)는 공중에서 적을 감시하는 드론(drone)일 수 있다. 상기 드론은 이상에서 설명한 바와 같이 전/후/좌/우의 2차원적인 방향에 있어서 상기 저시정 구간을 판단하여 상기 저시정 구간에 위치할 수 있다. 이 뿐만 아니라, 상기 드론은 상부 및/또는 하부가 상기 저시정 구간에 위치하는지 판단하여 위 및/또는 아래 방향으로의 이동을 포함하는 3차원적인 방향에 대한 이동 또한 가능함은 물론이다. 상기 이동체(100) 공중 이동체, 해상 이동체, 수중 이동체 및/또는 지상 이동체일 수 있다. 또한, 상기 이동체(100)는 자율적인 주행이 가능한 무인 이동체일 수 있으며, 사람이 조작하여 이동할 뿐만 아니라 선택적으로 자율 주행이 가능한 이동체일 수 있다. 따라서, 상기 이동체(100)는 이상에서 기재된 이동체에 의하여 제한되지 않는다.
상기 영상 입력부(210), 영상 보정부(220), 저시정 판단부(230), 위치 제어부(240) 및 영상 비교부(250)는, 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 상기 영상 입력부(210), 영상 보정부(220), 저시정 판단부(230), 위치 제어부(240) 및 영상 비교부(250)의 로직이 소프트웨어로 구현될 때, 상기 영상 입력부(210), 영상 보정부(220), 저시정 판단부(230), 위치 제어부(240) 및 영상 비교부(250)는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 상기 메모리 장치에 저장되고, 프로세서에 의해 실행될 수 있다.
이하에서는 본 명세서에 따른 이동체 위치 제어 방법에 대해서 설명한다.
도 8은 본 명세서에 따른 이동체 위치 제어 방법의 개략적인 흐름도이다.
도 8을 참조하면, 단계 S100에서 상기 촬영 장비(300)로부터 촬영된 영상을 프로세서가 입력 받을 수 있다. 단계 S101에서 상기 프로세서는 상기 촬영된 영상에서 상기 전달률을 계산할 수 있다. 단계 S102에서 상기 프로세서는 상기 전달률의 하한치를 이용하여 상기 이동체(100)가 상기 저시정 구간에 위치하는지 판단할 수 있다. 상기 단계 S102에서 상기 이동체(100)가 상기 저시정 구간에 위치하지 않는 것으로 판단되는 경우(단계 S102 N), 단계 S103에서 상기 프로세서는 상기 이동체(100)가 상기 저시정 구간에 위치하도록 상기 이동체(100)를 이동시킬 수 있다.
상기 S101 단계는 상기 프로세서가 상기 촬영된 영상의 화소값 와 상기 촬영된 영상에서 대기의 밝기값 를 이용하여 상기 전달률 의 범위를 상기 [수식 6]으로 계산하는 단계일 수 있다.
도 9는 본 명세서의 일 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 9를 참조하면, 단계 S200 및 단계 S201은 상기 단계 S100 및 단계 S101과 동일하므로 설명은 생략하겠다. 단계 S202에서 상기 프로세서는 상기 단계 S201에서 계산된 전달률의 하한치를 상기 전달률 임계범위의 하한치와 비교할 수 있다.
상기 전달률의 하한치가 상기 전달률 임계범위의 하한치보다 작은 경우(단계 S202 Y), 단계 S202'에서 상기 프로세서가 상기 이동체(100)를 전진시킬 수 있다.
상기 전달률의 하한치가 상기 전달률 임계범위의 하한치보다 작지 않은 경우(단계 S202 N), 단계 S203에서 상기 프로세서는 상기 전달률의 하한치를 상기 전달률 임계범위의 상한치와 비교할 수 있다.
상기 전달률의 하한치가 상기 전달률 임계범위의 상한치보다 큰 경우(단계 S203 Y), 단계 S203'에서 상기 상기 프로세서는 상기 이동체(100)를 후진시킬 수 있다.
상기 전달률의 하한치가 상기 전달률 임계범위의 상한치보다 크지 않은 경우(단계 S203 N), 상기 프로세서는 상기 이동체(100)가 상기 저시정 구간에 위치하는 것으로 판단할 수 있다.
도 9에서 상기 단계 S202 이후에 상기 단계 S203이 진행되는 것으로 도시되어있다. 하지만, 반드시 상기 단계 S202 이후에 상기 단계 S203이 진행되는 것은 아니며, 상기 단계 S203 이후에 상기 단계 S202가 진행될 수 있다.
도 10은 본 명세서의 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 10을 참조하면, 단계 S300에서 상기 프로세서는 상기 촬영된 영상을 입력 받아 적어도 1개 이상의 블록영역으로 분할할 수 있다. 단계 S301에서 상기 프로세서는 분할된 영상에서 전체 또는 적어도 1개 이상의 블록영역을 선택할 수 있다. 단계 S302에서 상기 프로세서는 상기 단계 S301에서 선택된 영역에 대해서 전달률을 계산할 수 있다. 단계 S303 및 S304는 상기 단계 S202 및 S203과 동일하므로 반복적인 설명은 생략한다.
도 11은 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 11을 참조하면, 단계 S400은 상기 단계 S300과 동일하므로 반복적인 설명은 생략한다. 단계 S401에서 상기 프로세서는 상기 단계 S400에서 분할된 영상에서 좌측 영역과 우측 영역을 각각 선택할 수 있다. 단계 S402에서 상기 프로세서는 상기 좌측 전달률과 우측 전달률을 각각 계산할 수 있다. 단계 S403에서 상기 프로세서는 상기 좌측 전달률의 하한치와 우측 전달률의 하한치의 차이가 미리 정해진 소정의 차이보다 더 큰지 판단할 수 있다.
상기 좌측 전달률의 하한치와 우측 전달률의 하한치의 차이가 미리 정해진 소정의 차이보다 더 큰 경우(단계 S403 Y), 단계 S404에서 상기 프로세서는 상기 좌측 전달률의 하한치와 상기 우측 전달률의 하한치를 비교할 수 있다.
상기 좌측 전달률의 하한치가 상기 우측 전달률의 하한치에 비해 더 작은 경우(단계 S404 Y), 단계 S404'에서 상기 프로세서가 상기 이동체(100)를 좌측으로 이동시킬 수 있다.
상기 좌측 전달률의 하한치가 상기 우측 전달률의 하한치에 비해 더 작지 않은 경우(단계 S404 N), 단계 S404"에서 상기 프로세서가 상기 이동체(100)를 우측으로 이동시킬 수 있다.
도 12는 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 12를 참조하면, 상기 프로세서는 상기 이동체(100)가 상기 저시정 구간에 위치하는지 판단하기 위하여 상기 촬영된 영상과 보정된 영상의 밝기를 비교할 수 있다.
단계 S500에서 상기 프로세서는 상기 촬영 장비(300)로부터 촬영된 영상을 입력 받을 수 있다.
단계 S501에서 상기 프로세서는 상기 촬영된 영상에서 상기 [수식 7]을 이용하여 전달률을 계산할 수 있다.
상기 프로세서가 상기 촬영된 영상의 화소값 와 상기 촬영된 영상에서 대기의 밝기값 를 이용하여 전달률의 추정치 를 상기 [수식 5]로 계산하고, 상기 전달률 는 상기 [수식 6]의 범위를 가지며, 상기 전달률 의 하한치()와 상기 전달률의 추정치 를 가중합하여 상기 전달률 를 상기 [수식 7]로 계산할 수 있다.
단계 S502에서 상기 프로세서는 상기 [수식 7]을 이용하여 계산한 전달률과 상기 [수식 4]를 이용하여 상기 촬영된 영상을 보정할 수 있다. 단계 S503에서 상기 프로세서는 상기 촬영된 영상과 보정된 영상의 밝기값을 비교할 수 있다. 상기 밝기값을 비교하기 위하여, 상기 프로세서는 상기 촬영된 영상과 보정된 영상을 적어도 1개 이상의 블록영역으로 분할하며, 분할된 블록영역의 전체 또는 적어도 1개 이상의 블록영역을 선택하여 상기 밝기값을 비교한 비교값을 계산할 수 있다. 상기 비교값은 상기 [수식 9]를 이용하여 계산될 수 있다.
단계 S504에서 상기 프로세서는 상기 비교값이 상기 비교값 임계범위의 상한치보다 더 큰지 비교할 수 있다. 상기 비교값이 상기 비교값 임계범위의 상한치보다 더 큰 경우(단계 S504 Y), 단계 S504'에서 상기 프로세서는 상기 이동체(100)를 전진시킬 수 있다.
상기 비교값이 상기 비교값 임계범위의 상한치보다 더 작은 경우(단계 S504 N), 상기 프로세서는 상기 비교값이 상기 비교값 임계범위의 하한치보다 더 작은지 비교할 수 있다. 상기 비교값이 상기 비교값 임계범위의 하한치보다 더 작은 경우(단계 S505 Y), 상기 프로세서는 상기 이동체(100)를 후진시킬 수 있다.
도 12에서 상기 단계 S504 이후에 상기 단계 S505가 진행되는 것으로 도시되어있다. 하지만, 반드시 상기 단계 S504 이후에 상기 단계 S505가 진행되는 것은 아니며, 상기 단계 S505 이후에 상기 단계 S504가 진행될 수 있다.
도 13은 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 13을 참조하면, 단계 S600 내지 S602는 상기 단계 S500 내지 S502와 동일하므로 반복적인 설명은 생략한다.
단계 S603에서 상기 프로세서는 상기 촬영된 영상과 보정된 영상을 적어도 1개 이상의 블록영역으로 분할할 수 있다. 이후, 상기 프로세서는 분할된 촬영된 영상과 보정된 영상에서 좌측 영역과 우측 영역을 선택하여 상기 좌측 비교값과 우측 비교값을 계산할 수 있다. 단계 S604에서 상기 프로세서는 상기 좌측 비교값과 우측 비교값의 차이가 미리 정해진 소정의 차이보다 더 큰지 비교할 수 있다. 상기 좌측 비교값과 우측 비교값의 차이가 미리 정해진 소정의 차이보다 더 큰 경우(단계 S604 Y), 단계 S605에서 상기 프로세서는 상기 좌측 비교값과 우측 비교값의 크기를 비교할 수 있다. 상기 좌측 비교값이 우측 비교값보다 더 큰 경우(단계 S605 Y), 단계 S605'에서 상기 프로세서는 상기 이동체(100)를 좌측으로 이동시킬 수 있다. 상기 우측 비교값이 좌측 비교값보다 더 큰 경우(단계 S605 N), 단계 S605"에서 상기 프로세서는 상기 이동체(100)를 우측으로 이동시킬 수 있다.
도 14는 본 명세서의 또 다른 실시예에 따른 이동체 위치 제어 방법의 흐름도이다.
도 14를 참조하면, 단계 S700에서 상기 프로세서는 상기 촬영된 영상을 입력 받아 적어도 1개 이상의 블록영역으로 분할할 수 있다. 단계 S701에서 상기 프로세서는 분할된 영상에서 전체 또는 적어도 1개 이상의 블록영역을 선택할 수 있다. 단계 S702에서 상기 프로세서는 상기 단계 S701에서 선택된 영역에 대해서 전달률을 계산할 수 있다.
단계 S703에서 상기 프로세서는 상기 전달률의 하한치와 상기 전달률 임계범위의 하한치를 비교할 수 있다. 상기 전달률의 하한치가 상기 전달률 임계범위의 하한치보다 작은 경우(단계 S703 Y), 단계 S704에서 상기 프로세서는 상기 촬영된 영상을 보정할 수 있다. 단계 S705에서 상기 프로세서는 상기 촬영된 영상과 보정된 영상을 비교한 상기 비교값을 계산할 수 있다. 단계 S706에서 상기 프로세서는 상기 비교값과 상기 비교값 임계범위의 상한치를 비교할 수 있다. 상기 비교값이 상기 비교값 임계범위의 상한치보다 큰 경우(단계 S706 Y), 단계 S707에서 상기 프로세서는 상기 이동체(100)를 전진시킬 수 있다.
단계 S703에서 상기 전달률의 하한치가 상기 전달률 임계범위의 하한치보다 작지 않은 경우(단계 S703 N), 단계 S703' 상기 프로세서는 상기 전달률의 하한치와 상기 전달률 임계범위의 상한치의 크기를 비교할 수 있다. 상기 전달률의 하한치가 상기 전달률 임계범위의 상한치보다 클 경우(단계 S703' Y), 단계 S704'에서 상기 프로세서는 상기 이동체(100)를 후진시킬 수 있다.
도 14에서 상기 단계 S703 이후에 상기 단계 S703'가 진행되는 것으로 도시되어있다. 하지만, 반드시 상기 단계 S703 이후에 상기 단계 S703'가 진행되는 것은 아니며, 상기 단계 S703' 이후에 상기 단계 S703이 진행될 수 있다.
본 명세서에 따른 이동체 위치 제어 방법은 컴퓨터에서 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다. 컴퓨터프로그램은 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 이동체 200 : 이동체 위치 제어 장치
210 : 영상 입력부 220 : 영상 보정부
230 : 저시정 판단부 240 : 위치 제어부
250 : 영상 비교부 300 : 촬영 장비

Claims (16)

  1. 촬영 장비로부터 촬영된 영상을 입력 받는 영상 입력부;
    상기 영상 입력부로부터 상기 촬영된 영상을 입력 받아 전달률을 계산하고, 상기 전달률을 이용하여 상기 촬영된 영상을 보정하는 영상 보정부;
    상기 영상 보정부로부터 상기 전달률을 입력 받아 상기 전달률의 하한치를 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하여 결과값을 출력하는 저시정 판단부; 및
    상기 저시정 판단부로부터 상기 이동체가 상기 저시정 구간에 위치하지 않는 것으로 판단한 결과값이 입력될 때, 상기 이동체가 상기 저시정 구간에 존재하도록 상기 이동체의 위치를 제어하는 위치 제어부;를 포함하는 이동체 위치 제어 장치.
  2. 청구항 1에 있어서,
    상기 영상 보정부는,
    상기 촬영된 영상의 화소값 와 상기 촬영된 영상에서의 대기의 밝기값 를 이용하여 전달률의 추정치 를 수식

    으로 계산하고,
    상기 전달률 는

    의 범위를 가지며, 상기 전달률 의 하한치()와 상기 전달률의 추정치 를 가중합하여 상기 전달률 를 수식

    으로 계산하고, 상기 가중합하여 계산한 전달률 를 이용하여 보정된 영상의 화소값 를 수식

    으로 계산하는, 이동체 위치 제어 장치.
  3. 청구항 2에 있어서,
    상기 저시정 판단부는,
    상기 전달률의 하한치가 미리 정해진 소정의 전달률 임계범위 내에 존재하면 상기 이동체가 상기 저시정 구간에 위치하는 것으로 판단하는, 이동체 위치 제어 장치.
  4. 청구항 1에 있어서,
    상기 영상 보정부는,
    상기 촬영된 영상을 적어도 1개 이상의 블록영역으로 분할하고, 분할된 영상에서 적어도 1개 이상의 블록영역을 선택하며, 선택된 영역으로부터 상기 전달률을 계산하여 상기 저시정 판단부로 출력하는, 이동체 위치 제어 장치.
  5. 청구항 1에 있어서,
    상기 영상 입력부로부터 상기 촬영된 영상을 입력 받고 상기 영상 보정부로부터 보정된 영상을 입력 받아 두 영상을 적어도 1개 이상의 블록영역으로 분할하며, 분할된 두 영상에서 적어도 1개 이상의 블록영역을 선택하여 상기 두 영상간의 밝기값의 차이를 누적한 밝기의 비교값을 아래 수식

    (: 자연수, : 상기 촬영된 영상의 번째 영역 또는 픽셀, : 상기 보정된 영상의 번째 영역 또는 픽셀)
    으로 계산하고, 상기 비교값을 상기 저시정 판단부로 출력하는 영상 비교부;를 더 포함하는, 이동체 위치 제어 장치.
  6. 청구항 5에 있어서,
    상기 저시정 판단부는,
    상기 영상 비교부로부터 입력 받은 비교값이 미리 정해진 소정의 비교값 임계범위 내에 존재하는 경우 이동체가 저시정 구간에 존재하는 것으로 판단하는 것을 특징으로 하는, 이동체 위치 제어 장치.
  7. (a) 프로세서가 촬영 장비로부터 촬영된 영상을 입력 받는 단계;
    (b) 프로세서가 상기 촬영된 영상의 전달률을 계산하는 단계;
    (c) 프로세서가 상기 (b) 단계에서 계산된 전달률의 하한치를 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하는 단계; 및
    (d) 상기 이동체가 상기 저시정 구간에 위치하지 않는 것으로 판단될 때, 프로세서가 상기 이동체를 상기 저시정 구간에 존재하도록 위치를 제어하는 단계;를 포함하는, 이동체 위치 제어 방법.
  8. 청구항 7에 있어서,
    상기 (b) 단계는,
    상기 프로세서가 상기 촬영된 영상의 화소값 와 상기 촬영된 영상에서 대기의 밝기값 를 이용하여 상기 전달률 의 범위를 아래 수식

    으로 계산하는 단계인, 이동체 위치 제어 방법.
  9. 청구항 8에 있어서,
    상기 (c) 단계는,
    상기 전달률의 하한치가 미리 정해진 소정의 전달률 임계범위 내에 존재하면 상기 이동체가 상기 저시정 구간에 있는 것으로 판단하는 단계인, 이동체 위치 제어 방법.
  10. 청구항 7에 있어서,
    상기 (b) 단계는,
    상기 프로세서가 상기 촬영된 영상을 적어도 1개 이상의 블록영역으로 분할하고, 분할된 영상에서 적어도 1개 이상의 블록영역을 선택하여 상기 전달률을 계산하는 단계인, 이동체 위치 제어 방법.
  11. (a) 프로세서가 촬영 장비로부터 촬영된 영상을 입력 받는 단계;
    (b) 프로세서가 상기 촬영된 영상의 전달률을 계산하는 단계;
    (c'-1) 프로세서가 상기 (b) 단계에서 계산된 전달률을 이용하여 상기 촬영된 영상을 보정하는 단계;
    (c'-2) 프로세서가 상기 촬영된 영상과 상기 (c'-1) 단계에서 보정된 영상간의 밝기의 비교값을 계산하는 단계;
    (c'-3) 프로세서가 상기 (c'-2) 단계에서 계산된 비교값을 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하는 단계; 및
    (d) 상기 이동체가 상기 저시정 구간에 위치하지 않는 것으로 판단될 때, 프로세서가 상기 이동체를 상기 저시정 구간에 존재하도록 위치를 제어하는 단계;
    를 포함하는, 이동체 위치 제어 방법.
  12. 청구항 11에 있어서,
    상기 (c'-1) 단계는,
    상기 프로세서가 상기 촬영된 영상의 화소값 와 상기 촬영된 영상에서 대기의 밝기값 를 이용하여 전달률의 추정치 를 수식

    으로 계산하고,
    상기 전달률 는

    의 범위를 가지며, 상기 전달률 의 하한치()와 상기 전달률의 추정치 를 가중합하여 상기 전달률 를 수식

    으로 계산하며, 상기 가중합하여 계산한 전달률 를 이용하여 보정된 영상의 화소값 를 수식

    으로 계산하는 단계인, 이동체 위치 제어 방법.
  13. 청구항 11에 있어서,
    상기 (c'-2) 단계는,
    상기 프로세서가 상기 촬영된 영상과 보정된 영상을 적어도 1개 이상의 블록영역으로 분할하며, 분할된 두 영상에서 적어도 1개 이상의 블록영역을 선택하여 상기 두 영상간의 밝기값의 차이를 누적한 밝기의 비교값을 아래 수식

    (: 자연수, : 상기 촬영된 영상의 번째 영역 또는 픽셀, : 상기 보정된 영상의 번째 영역 또는 픽셀)
    으로 계산하는 단계인, 이동체 위치 제어 방법.
  14. 청구항 11에 있어서,
    상기 (c'-3) 단계는,
    상기 프로세서가 상기 (c'-2) 단계에서 계산된 비교값이 미리 정해진 소정의 비교값 임계범위 내에 존재하는 경우, 상기 이동체가 상기 저시정 구간에 존재하는 것으로 판단하는 단계인, 이동체 위치 제어 방법.
  15. 청구항 7에 있어서,
    상기 (c) 단계에서 상기 이동체가 전진해야 하는 상황으로 판단될 때,
    상기 (c) 단계 이후에,
    (c'-1) 상기 프로세서가 상기 (b) 단계에서 계산된 전달률을 이용하여 상기 촬영된 영상을 보정하는 단계;
    (c'-2) 상기 프로세서가 상기 촬영된 영상과 상기 (c'-1) 단계에서 보정된 영상간의 밝기의 비교값을 계산하는 단계; 및
    (c'-3) 상기 프로세서가 상기 (c'-2) 단계에서 계산된 비교값을 이용하여 이동체가 저시정 구간에 존재하는지 여부를 판단하는 단계;를 더 포함하는, 이동체 위치 제어 방법.
  16. 청구항 7 내지 청구항 15 중 어느 한 청구항에 따른 이동체 위치 제어 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램.
KR1020230116650A 2023-09-04 2023-09-04 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법 KR102583922B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230116650A KR102583922B1 (ko) 2023-09-04 2023-09-04 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230116650A KR102583922B1 (ko) 2023-09-04 2023-09-04 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102583922B1 true KR102583922B1 (ko) 2023-10-05

Family

ID=88293532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230116650A KR102583922B1 (ko) 2023-09-04 2023-09-04 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102583922B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127654A (ko) * 2012-05-15 2013-11-25 에스케이텔레콤 주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR20140111426A (ko) * 2013-03-11 2014-09-19 주식회사 브이아이티시스템 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템
KR20140137832A (ko) * 2013-05-24 2014-12-03 전남대학교산학협력단 전달률 하한치를 이용한 안개영상 개선 장치
KR101583430B1 (ko) * 2014-09-30 2016-01-19 고려대학교 산학협력단 영상 처리 방법 및 장치
KR101664614B1 (ko) * 2014-12-09 2016-10-24 한국항공우주연구원 적군 진영의 상황을 파악하기 위한 무인 비행 탐사 장치 및 저격 무기, 적군 영상 수집 방법
KR102346752B1 (ko) 2021-11-04 2022-01-03 주식회사 케이피엔 저시정 영상개선 기능을 갖는 영상처리 시스템 및 이의 영상처리 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127654A (ko) * 2012-05-15 2013-11-25 에스케이텔레콤 주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR20140111426A (ko) * 2013-03-11 2014-09-19 주식회사 브이아이티시스템 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템
KR20140137832A (ko) * 2013-05-24 2014-12-03 전남대학교산학협력단 전달률 하한치를 이용한 안개영상 개선 장치
KR101583430B1 (ko) * 2014-09-30 2016-01-19 고려대학교 산학협력단 영상 처리 방법 및 장치
KR101664614B1 (ko) * 2014-12-09 2016-10-24 한국항공우주연구원 적군 진영의 상황을 파악하기 위한 무인 비행 탐사 장치 및 저격 무기, 적군 영상 수집 방법
KR102346752B1 (ko) 2021-11-04 2022-01-03 주식회사 케이피엔 저시정 영상개선 기능을 갖는 영상처리 시스템 및 이의 영상처리 방법

Similar Documents

Publication Publication Date Title
US9589326B2 (en) Depth image processing apparatus and method based on camera pose conversion
JP5258859B2 (ja) 走路推定装置及びプログラム
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
CN111507159B (zh) 提供自动驾驶安全性的方法和装置
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
JP6112221B2 (ja) 移動体位置推定装置および移動体位置推定方法
CN111510704B (zh) 校正摄像头错排的方法及利用其的装置
CN108734732A (zh) 用于生成车辆环境的占用地图的方法和装置
JP2020149642A (ja) 物体追跡装置および物体追跡方法
CN113052907B (zh) 一种动态环境移动机器人的定位方法
CN114359714A (zh) 基于事件相机的无人体避障方法、装置及智能无人体
CN112639874A (zh) 目标跟随方法、目标跟随装置、可移动设备和存储介质
CN111507169B (zh) 以avm实现注意力驱动资源分配的方法及装置
WO2020014864A1 (zh) 位姿确定方法、设备、计算机可读存储介质
CN110832495A (zh) 波浪识别方法、装置、计算机可读存储介质和无人飞行器
KR102583922B1 (ko) 저시정 영상 개선장치를 포함하는 이동체의 위치 제어 장치 및 방법
US11069049B2 (en) Division line detection device and division line detection method
JP6577595B2 (ja) 車両用外界認識装置
JP2021085855A (ja) 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法
US20110280473A1 (en) Rotation estimation device, rotation estimation method, and record medium
D’Souza et al. Effectiveness of a camera as a UAV mounted search sensor for target detection: An experimental investigation
KR20190086334A (ko) 촬영 이미지에서 확률 기반으로 led를 추적하는 방법 및 장치
KR102035414B1 (ko) 영상보정 기능을 갖춘 야적장 관리용 드론 및 이를 활용한 야적장 관리 시스템
CN116540776B (zh) 一种无人机视觉避障方法及系统
KR101653281B1 (ko) 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant