KR102644612B1 - 소나영상을 이용한 장애물 탐지 장치 및 그 방법 - Google Patents

소나영상을 이용한 장애물 탐지 장치 및 그 방법 Download PDF

Info

Publication number
KR102644612B1
KR102644612B1 KR1020210149535A KR20210149535A KR102644612B1 KR 102644612 B1 KR102644612 B1 KR 102644612B1 KR 1020210149535 A KR1020210149535 A KR 1020210149535A KR 20210149535 A KR20210149535 A KR 20210149535A KR 102644612 B1 KR102644612 B1 KR 102644612B1
Authority
KR
South Korea
Prior art keywords
image
sonar
control unit
images
unit
Prior art date
Application number
KR1020210149535A
Other languages
English (en)
Other versions
KR20230064205A (ko
Inventor
홍성훈
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020210149535A priority Critical patent/KR102644612B1/ko
Publication of KR20230064205A publication Critical patent/KR20230064205A/ko
Application granted granted Critical
Publication of KR102644612B1 publication Critical patent/KR102644612B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 소나영상을 이용한 장애물 탐지 장치 및 그 방법이 개시된다. 본 발명의 소나영상을 이용한 장애물 탐지 장치는, 전방주시소나로부터 소나영상을 입력받는 영상 입력부; 영상 입력부로부터 입력되는 소나영상을 필터링하여 객체를 추출함과 동시에 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지(pairwise image)를 정합하여 추출된 객체에 대한 위치좌표를 기하학적으로 검증하는 제어부; 및 제어부로부터 검증된 객체를 출력하는 출력부;를 포함하는 것을 특징으로 한다.

Description

소나영상을 이용한 장애물 탐지 장치 및 그 방법{APPARATUS FOR DETECTING OBJECT USING SONAR IMAGE AND METHOD THEREOF}
본 발명은 소나영상을 이용한 장애물 탐지 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 수중 이동체의 충돌회피를 위해 전방주시 소나영상 내 장애물을 탐지할 때 연속적인 쌍 이미지(pairwise image)를 매칭시켜 영상 간 정합을 통해 잡음을 제거하여 장애물을 탐지할 수 있도록 하는 소나영상을 이용한 장애물 탐지 장치 및 그 방법에 관한 것이다.
해저 상에서 수중 물체의 위치 인식에 필요한 정보를 얻기 위하여, 영상 정보를 활용하여 물체를 탐색하고 인식하는 방법에 관한 다양한 연구가 수행되어 왔다.
수중 물체 검출은 수중의 기뢰나 다른 물체들을 탐지하는 수중 탐사 분야에서 매우 중요한 기술이다. 특히 수중 기뢰는 선박의 안전 항해에 큰 위협물이며, 사람이 직접 수중으로 들어가 수작업을 통하여 기뢰를 찾는 일은 매우 어려운 작업으로 기뢰를 자동으로 탐지하고 식별하는 시스템의 개발이 필요하다.
해저에 존재하는 자연 구조물 및 사람에 의해 버려진 쓰레기, 폐선박과 같은 물체들 때문에 수중 기뢰와 같은 특정한 물체를 검출하고 식별하는 것은 매우 어려운 작업이 된다.
해저환경에서의 위치 인식에 필요한 정보를 얻기 위한 종래의 방법으로는, IMU(Inertial Measurement Unit), DVL(Doppler Velocity Logs), USBL(Ultra Short Base Line) 등과 같은 센서를 사용하여 정보를 얻는 방법이 있으나, IMU 및 DVL은 오차가 크거나 누적됨으로 인해 정확한 위치 정보를 얻기 어렵다는 단점이 있고, USBL은 오차가 누적되지는 않으나 매우 고가인데 더하여 사용방법이 매우 어렵고 제한적이라는 단점이 있었다.
일반적으로, 수중 물체를 인식하는 과정은 환경을 모니터링하고 수중 구조물을 설치하고 유지하는 일들에 대하여 큰 이점을 준다. 예를 들면, 수중 잠수정을 이용하여 기뢰(MLO) 추적에 적용할 수 있다. 이를 위한 수중 광학 비전(vision)은 최대-해상도 수중 이미지들을 제공하지만, 광학 비전에 비하여, 소나들은 대부분의 수중 환경들에서 높은 신뢰성을 갖기 때문에, 수중에서 물체 인식이 우수하므로 대안으로서 대두되고 있었다.
소나는 수중에서 초음파를 이용하여 수중 환경을 감지하고 그것을 하나의 이미지로 나타내는 센서를 말한다.
수중 상에서 소나를 사용하여 획득한 영상을 통해 수중의 물체를 식별하는 방법에 대해 최근에는, 소나영상에 대한 후처리를 통하여 탁도에 의한 시야 확보의 어려움을 완화하고 수중 환경에 대한 영상을 관찰할 수 있도록 하는 기술내용이 제시되고 있다.
이와 같이 소나는 물체의 표면, 재질 등과 같은 환경의 영향을 많이 받는 특성으로 인해 수중의 물체를 명확히 표현하는데 한계가 있으나, 수중의 환경을 파악하는데 유용하게 사용되고 있다.
수중에서 빛의 광학 특성과 현탁 입자(suspended particle)의 존재로 인하여 소나영상은 많은 잡음이 포함되어 있고 조명 불균일, 색상 소거, 명암 대비(contrast)가 낮은 문제점을 가지고 있다. 이로 인하여 소나영상은 공간 영역(spatial domain)보다 잡음 특성을 효과적으로 분석할 수 있는 변환 영역(transformed domain)에서 필터링(filtering) 기법으로 소나영상 내에 잡음을 줄여준다.
본 발명의 배경기술은 대한민국 등록특허공보 제10-1748074호(2017.06.27. 공고, 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법)에 개시되어 있다.
이와 같이 전방주시 소나영상을 활용하여 장애물을 탐지할 경우 음파가 반사되는 매질에 따른 영상 내 잡음과 사방의 구조물 및 수면에 의한 다중 반파파 문제 등으로 실제적으로 조우할 비정형 장애물에 대한 충분한 데이터 확보의 어려움이 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 수중 이동체의 충돌회피를 위해 전방주시 소나영상 내 장애물을 탐지할 때 연속적인 쌍 이미지(pairwise image)를 매칭시켜 영상 간 정합을 통해 잡음을 제거하여 장애물을 탐지할 수 있도록 하는 소나영상을 이용한 장애물 탐지 장치 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 소나영상을 이용한 장애물 탐지 장치는, 전방주시소나로부터 소나영상을 입력받는 영상 입력부; 영상 입력부로부터 입력되는 소나영상을 필터링하여 객체를 추출함과 동시에 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지(pairwise image)를 정합하여 추출된 객체에 대한 위치좌표를 기하학적으로 검증하는 제어부; 및 제어부로부터 검증된 객체를 출력하는 출력부;를 포함하는 것을 특징으로 한다.
본 발명에서 제어부는, 입력되는 소나영상의 각 프레임 이미지에 대해 스무딩하게 필터링하는 필터부; 필터부에서 스무딩하게 필터링된 소나영상의 각 프레임 이미지에서 객체를 검출하는 객체 검출부; 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지를 정합하는 쌍이미지 정합부; 및 객체 검출부에서 검출된 객체에 대해 쌍이미지 정합부에서 정합된 쌍 이미지를 기반으로 일관된 위치좌표를 기하학적으로 검증하는 기하학적 검증부;를 포함하는 것을 특징으로 한다.
본 발명에서 필터부는, 가우시안 필터를 통해 스무딩처리하는 것을 특징으로 한다.
본 발명에서 객체 검출부는, 필터링된 소나영상의 각 프레임 이미지에서 MSER(Maximally Stable Extremal Regions)을 이용하여 객체를 검출하는 것을 특징으로 한다.
본 발명에서 쌍이미지 정합부는, 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 추출한 후 추출된 특징점에 할당된 기술자 벡터(Descriptor vector) 간 최소거리를 기준으로 대응점을 매칭하고, 매칭 결과에 따라 이상 경향을 보이는 이상 대응점을 제거한 후 두 이미지 간 운동모델에 기초하여 대응점들을 기반으로 매개변수를 추정하여 유사성 호모그래피 모델을 추정하는 것을 특징으로 한다.
본 발명에서 쌍이미지 정합부는, 이상 경향을 보이는 이상 대응점을 RANSAC(Random sample consensus) 알고리즘을 적용하여 제거하는 것을 특징으로 한다.
본 발명에서 기하학적 검증부는, 쌍이미지 정합부에서 추정된 호모그래피 모델을 이용하여 k+n번째 프레임 이미지에서 검출된 객체를 k번째 프레임 이미지로 투영하여 유클리드 거리(euclidean distance)가 임계값 미만인 객체의 점들을 모아 n 집합들의 교집합인 점들로 일관된 위치좌표를 기하학적으로 검증하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 소나영상을 이용한 장애물 탐지 방법은, 제어부가 전방주시소나로부터 소나영상을 입력받는 단계; 제어부가 입력되는 소나영상의 각 프레임 이미지에 대해 스무딩하게 필터링하는 단계; 제어부가 스무딩하게 필터링된 소나영상의 각 프레임 이미지에서 객체를 추출하는 단계; 제어부가 스무딩하게 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지(pairwise image)를 정합하는 단계; 제어부가 쌍 이미지의 정합을 통해 추정된 호모그래피 모델을 이용하여 추출된 객체에 대해 일관된 위치좌표를 기하학적으로 검증하는 단계; 및 제어부가 검증된 객체를 출력하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 스무딩하게 필터링하는 단계는, 제어부가 가우시안 필터를 통해 스무딩처리하는 것을 특징으로 한다.
본 발명에서 객체를 추출하는 단계는, 제어부가 필터링된 소나영상의 각 프레임 이미지에서 MSER(Maximally Stable Extremal Regions)을 이용하여 객체를 검출하는 것을 특징으로 한다.
본 발명에서 쌍 이미지를 정합하는 단계는, 제어부가 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 추출하는 단계; 제어부가 추출된 특징점에 할당된 기술자 벡터(Descriptor vector) 간 최소거리를 기준으로 대응점을 매칭하는 단계; 제어부가 매칭 결과에 따라 이상 경향을 보이는 이상 대응점을 제거하는 단계; 및 제어부가 이상 대응점을 제거한 후 두 이미지 간 운동모델에 기초하여 대응점들을 기반으로 매개변수를 추정하여 유사성 호모그래피 모델을 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 이상 대응점을 제거하는 단계는, 제어부가 이상 경향을 보이는 이상 대응점을 RANSAC(Random sample consensus) 알고리즘을 적용하여 제거하는 것을 특징으로 한다.
본 발명에서 추출된 객체에 대해 일관된 위치좌표를 기하학적으로 검증하는 단계는, 제어부가 추정된 호모그래피 모델을 이용하여 k+n번째 프레임 이미지에서 검출된 객체를 k번째 프레임 이미지로 투영하여 유클리드 거리(euclidean distance)가 임계값 미만인 객체의 점들을 모아 n 개 집합들의 교집합인 점들로 일관된 위치좌표를 기하학적으로 검증하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 소나영상을 이용한 장애물 탐지 장치 및 그 방법은 수중 이동체의 충돌회피를 위해 전방주시 소나영상 내 장애물을 탐지할 때 연속적인 쌍 이미지(pairwise image)를 매칭시켜 영상 간 정합을 통해 잡음을 제거하여 장애물을 탐지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치에서 특징점 추출에 대해 설명하기 위한 예시 이미지이다.
도 3은 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치에서 특징점 매칭에 대해 설명하기 위한 예시 이미지이다.
도 4는 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치에서 이상 대응점을 제거한 예시 이미지이다.
도 5는 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치에서 검증된 객체를 나타낸 예시 이미지이다.
도 6은 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 소나영상을 이용한 장애물 탐지 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치에서 특징점 추출에 대해 설명하기 위한 예시 이미지이며, 도 3은 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치에서 특징점 매칭에 대해 설명하기 위한 예시 이미지이고, 도 4는 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치에서 이상 대응점을 제거한 예시 이미지이며, 도 5는 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치에서 검증된 객체를 나타낸 예시 이미지이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 장치는, 영상 입력부(10), 제어부(20) 및 출력부(30)를 포함할 수 있다.
영상 입력부(10)는 전방주시소나로부터 소나영상을 입력받는다.
제어부(20)는 영상 입력부(10)로부터 입력되는 소나영상을 필터링하여 객체를 추출함과 동시에 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지(pairwise image)를 정합하여 추출된 객체에 대한 위치좌표로 검증할 수 있다.
여기서 제어부(20)는 필터부(210), 객체 검출부(220), 쌍이미지 정합부(230) 및 기하학적 검증부(240)를 포함할 수 있다.
필터부(10)는 입력되는 소나영상의 각 프레임 이미지에 대해 저역통과 필터(low pass filter)인 가우시안 필터를 통해 영상을 스무딩(smoothing) 처리할 수 있다.
객체 검출부(220)는 필터부(210)에서 스무딩하게 필터링된 소나영상의 각 프레임 이미지에서 픽셀의 화소 값의 크기에 따라 검출되는 영역 중 가장 안정적으로 변화하는 영역을 추출하는 MSER(Maximally Stable Extremal Regions)을 이용하여 객체를 검출할 수 있다.
즉, 이웃한 픽셀들에 대하여 화소 값에 따라 정렬하고, 정렬된 값을 이용해서 영역 변화값을 계산하고, 영역 변화값은 가장 안정화된 영역을 찾는 기준이 되며 이 값이 최소화 되는 영역이 최대안정영역(Maximally Stable Region)으로 선택될 수 있다.
쌍이미지 정합부(230)는 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지를 정합할 수 있다.
여기서 쌍이미지 정합부(230)는 도 2에 도시된 바와 같이 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 추출한다. 이때 쌍이미지 정합부(230)는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature), KAZE 등의 분별특징 추출 알고리즘을 적용하여 특징점을 추출할 수 있다.
그런 다음 도 3에 도시된 바와 같이 추출된 특징점에 할당된 기술자 벡터(Descriptor vector) 간 최소거리를 기준으로 대응점을 매칭한다.
이후 쌍이미지 정합부(230)는 매칭 결과에 따라 이상 경향을 보이는 이상 대응점을 도 4와 같이 제거한 후 두 이미지 간 운동모델에 기초하여 대응점들을 기반으로 매개변수를 추정하여 수학식 1과 같이 유사성 호모그래피(similarity homography) 모델을 추정할 수 있다.
여기서 쌍이미지 정합부(230)는 이상 경향을 보이는 이상 대응점을 RANSAC(Random sample consensus) 알고리즘을 적용하여 제거할 수 있다.
기하학적 검증부(240)는 객체 검출부(220)에서 검출된 객체에 대해 쌍이미지 정합부(230)에서 정합된 쌍 이미지를 기반으로 일관된 위치좌표를 기하학적으로 검증할 수 있다.
여기서 기하학적 검증부(240)는 쌍이미지 정합부(230)에서 추정된 호모그래피 모델을 이용하여 수학식 2와 같이 k+n번째 프레임 이미지에서 검출된 객체를 k번째 프레임 이미지로 투영한다.
이후 k번째 프레임 이미지에서 검출된 점 와 k+n번째 프레임 이미지에서 검출된 점 간의 유클리드 거리(euclidean distance)를 비교하여 임계값 ε미만인 객체의 점들을 모아 수학식 3과 같이 집합 Sk,k+n 으로 정의하고, 수학식 4와 같이 매개변수인 n개 집합들의 교집합인 점 로 일관된 위치좌표를 기하학적으로 검증할 수 있다.
따라서 도 5에서 노란색과 같이 소나영상 내 잡음이 영역의 형상으로 검출될 수 있지만, 연속적인 쌍 이미지(pairwise image)를 매칭시켜 영상 간 정합을 통해 잡음을 제거하여 파란색과 같이 객체를 검출할 수 있다.
출력부(30)는 제어부(20)로부터 검증된 객체를 출력할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 소나영상을 이용한 장애물 탐지 장치에 따르면, 수중 이동체의 충돌회피를 위해 전방주시 소나영상 내 장애물을 탐지할 때 연속적인 쌍 이미지(pairwise image)를 매칭시켜 영상 간 정합을 통해 잡음을 제거하여 장애물을 탐지할 수 있다.
도 6은 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 방법을 설명하기 위한 흐름도이다.
도 6에 도시된 바와 같이 본 발명의 일 실시예에 따른 소나영상을 이용한 장애물 탐지 방법에서는 먼저, 제어부(20)가 전방주시소나로부터 소나영상을 입력받는다(S10).
S10 단계에서 입력되는 소나영상의 각 프레임 이미지에 대해 제어부(20)는 저역통과 필터(low pass filter)인 가우시안 필터를 통해 영상을 스무딩(smoothing) 처리한다(S20).
S20 단계에서 스무딩하게 필터링된 소나영상의 각 프레임 이미지에서 제어부(20)는 픽셀의 화소 값의 크기에 따라 검출되는 영역 중 가장 안정적으로 변화하는 영역을 추출하는 MSER(Maximally Stable Extremal Regions)을 이용하여 객체를 검출한다(S30).
즉, 이웃한 픽셀들에 대하여 화소 값에 따라 정렬하고, 정렬된 값을 이용해서 영역 변화값을 계산하고, 영역 변화값은 가장 안정화된 영역을 찾는 기준이 되며 이 값이 최소화 되는 영역이 최대안정영역(Maximally Stable Region)으로 선택될 수 있다.
또한, 제어부(20)는 S20 단계에서 스무딩하게 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지를 정합한다(S40).
여기서 제어부(20)는 도 2에 도시된 바와 같이 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 추출한다. 이때 쌍이미지 정합부(230)는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature), KAZE 등의 분별특징 추출 알고리즘을 적용하여 특징점을 추출한다.
그런 다음 도 3에 도시된 바와 같이 추출된 특징점에 할당된 기술자 벡터(Descriptor vector) 간 최소거리를 기준으로 대응점을 매칭한다.
이후 제어부(20)는 매칭 결과에 따라 이상 경향을 보이는 이상 대응점을 도 4와 같이 제거한 후 두 이미지 간 운동모델에 기초하여 대응점들을 기반으로 매개변수를 추정하여 수학식 5와 같이 유사성 호모그래피(similarity homography) 모델을 추정한다.
여기서 제어부(20)는 이상 경향을 보이는 이상 대응점을 RANSAC(Random sample consensus) 알고리즘을 적용하여 제거한다.
S40 단계에서 쌍 이미지를 정합하여 추정한 호모그래피 모델을 이용하여 제어부(20)는 추출된 객체에 대해 일관된 위치좌표를 기하학적으로 검증한다(S50).
여기서 기하학적 검증부(240)는 추정된 호모그래피 모델을 이용하여 수학식 6과 같이 k+n번째 프레임 이미지에서 검출된 객체를 k번째 프레임 이미지로 투영한다.
이후 k번째 프레임 이미지에서 검출된 점 와 k+n번째 프레임 이미지에서 검출된 점 간의 유클리드 거리(euclidean distance)를 비교하여 임계값 ε미만인 객체의 점들을 모아 수학식 7과 같이 집합 Sk,k + n 으로 정의하고, 수학식 8과 같이 매개변수인 n개 집합들의 교집합인 점 으로 일관된 위치좌표를 검증할 수 있다.
따라서 도 5에서 노란색과 같이 소나영상 내 잡음이 영역의 형상으로 검출될 수 있지만, 연속적인 쌍 이미지(pairwise image)를 매칭시켜 영상 간 정합을 통해 잡음을 제거하여 파란색과 같이 객체를 검출할 수 있다.
S50 단계에서 객체를 검출한 후 제어부(20)는 검증된 객체를 출력한다(S60).
상술한 바와 같이, 본 발명의 실시예에 의한 소나영상을 이용한 장애물 탐지 방법에 따르면, 수중 이동체의 충돌회피를 위해 전방주시 소나영상 내 장애물을 탐지할 때 연속적인 쌍 이미지(pairwise image)를 매칭시켜 영상 간 정합을 통해 잡음을 제거하여 장애물을 탐지할 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 입력부 20 : 제어부
30 : 출력부
210 : 필터부 220 : 객체 검출부
230 : 쌍이미지 정합부 240 : 기하학적 검증부

Claims (13)

  1. 전방주시소나로부터 소나영상을 입력받는 영상 입력부;
    상기 영상 입력부로부터 입력되는 상기 소나영상을 필터링하여 객체를 추출함과 동시에 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지(pairwise image)를 정합하여 추출된 객체에 대한 위치좌표를 기하학적으로 검증하는 제어부; 및
    상기 제어부로부터 검증된 객체를 출력하는 출력부;를 포함하되,
    상기 제어부는,
    입력되는 상기 소나영상의 각 프레임 이미지에 대해 스무딩하게 필터링하는 필터부;
    상기 필터부에서 스무딩하게 필터링된 소나영상의 각 프레임 이미지에서 객체를 검출하는 객체 검출부;
    상기 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지를 정합하는 쌍이미지 정합부; 및
    상기 객체 검출부에서 검출된 객체에 대해 상기 쌍이미지 정합부에서 정합된 쌍 이미지를 기반으로 일관된 위치좌표를 기하학적으로 검증하는 기하학적 검증부;를 포함하고,
    상기 쌍이미지 정합부는, 상기 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 추출한 후 추출된 특징점에 할당된 기술자 벡터(Descriptor vector) 간 최소거리를 기준으로 대응점을 매칭하고, 매칭 결과에 따라 이상 경향을 보이는 이상 대응점을 제거한 후 두 이미지 간 운동모델에 기초하여 대응점들을 기반으로 매개변수를 추정하여 유사성 호모그래피 모델을 추정하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 장치.
  2. 삭제
  3. 제 1항에 있어서, 상기 필터부는, 가우시안 필터를 통해 스무딩처리하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 장치.
  4. 제 1항에 있어서, 상기 객체 검출부는, 상기 필터링된 소나영상의 각 프레임 이미지에서 MSER(Maximally Stable Extremal Regions)을 이용하여 객체를 검출하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 장치.
  5. 삭제
  6. 제 1항에 있어서, 상기 쌍이미지 정합부는, 이상 경향을 보이는 상기 이상 대응점을 RANSAC(Random sample consensus) 알고리즘을 적용하여 제거하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 장치.
  7. 제 1항에 있어서, 상기 기하학적 검증부는, 상기 쌍이미지 정합부에서 추정된 호모그래피 모델을 이용하여 k+n번째 프레임 이미지에서 검출된 객체를 k번째 프레임 이미지로 투영하여 유클리드 거리(euclidean distance)가 임계값 미만인 객체의 점들을 모아 n 집합들의 교집합인 점들로 일관된 위치좌표를 기하학적으로 검증하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 장치.
  8. 제어부가 전방주시소나로부터 소나영상을 입력받는 단계;
    상기 제어부가 입력되는 상기 소나영상의 각 프레임 이미지에 대해 스무딩하게 필터링하는 단계;
    상기 제어부가 스무딩하게 필터링된 소나영상의 각 프레임 이미지에서 객체를 추출하는 단계;
    상기 제어부가 스무딩하게 필터링된 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 기반으로 쌍 이미지(pairwise image)를 정합하는 단계;
    상기 제어부가 쌍 이미지의 정합을 통해 추정된 호모그래피 모델을 이용하여 추출된 객체에 대해 일관된 위치좌표를 기하학적으로 검증하는 단계; 및
    상기 제어부가 검증된 객체를 출력하는 단계;를 포함하되,
    상기 쌍 이미지를 정합하는 단계는,
    상기 제어부가 소나영상의 프레임별로 연속되는 영상 쌍 간의 특징점을 추출하는 단계;
    상기 제어부가 추출된 특징점에 할당된 기술자 벡터(Descriptor vector) 간 최소거리를 기준으로 대응점을 매칭하는 단계;
    상기 제어부가 매칭 결과에 따라 이상 경향을 보이는 이상 대응점을 제거하는 단계; 및
    상기 제어부가 상기 이상 대응점을 제거한 후 두 이미지 간 운동모델에 기초하여 대응점들을 기반으로 매개변수를 추정하여 유사성 호모그래피 모델을 추정하는 단계;를 포함하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 방법.
  9. 제 8항에 있어서, 상기 스무딩하게 필터링하는 단계는, 상기 제어부가 가우시안 필터를 통해 스무딩처리하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 방법.
  10. 제 8항에 있어서, 상기 객체를 추출하는 단계는, 상기 제어부가 필터링된 소나영상의 각 프레임 이미지에서 MSER(Maximally Stable Extremal Regions)을 이용하여 객체를 검출하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 방법.
  11. 삭제
  12. 제 8항에 있어서, 상기 이상 대응점을 제거하는 단계는, 상기 제어부가 이상 경향을 보이는 상기 이상 대응점을 RANSAC(Random sample consensus) 알고리즘을 적용하여 제거하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 방법.
  13. 제 8항에 있어서, 상기 추출된 객체에 대해 일관된 위치좌표를 기하학적으로 검증하는 단계는, 상기 제어부가 추정된 호모그래피 모델을 이용하여 k+n번째 프레임 이미지에서 검출된 객체를 k번째 프레임 이미지로 투영하여 유클리드 거리(euclidean distance)가 임계값 미만인 객체의 점들을 모아 n 개 집합들의 교집합인 점들로 일관된 위치좌표를 기하학적으로 검증하는 것을 특징으로 하는 소나영상을 이용한 장애물 탐지 방법.
KR1020210149535A 2021-11-03 2021-11-03 소나영상을 이용한 장애물 탐지 장치 및 그 방법 KR102644612B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210149535A KR102644612B1 (ko) 2021-11-03 2021-11-03 소나영상을 이용한 장애물 탐지 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210149535A KR102644612B1 (ko) 2021-11-03 2021-11-03 소나영상을 이용한 장애물 탐지 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230064205A KR20230064205A (ko) 2023-05-10
KR102644612B1 true KR102644612B1 (ko) 2024-03-08

Family

ID=86386191

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210149535A KR102644612B1 (ko) 2021-11-03 2021-11-03 소나영상을 이용한 장애물 탐지 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102644612B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102186733B1 (ko) * 2019-09-27 2020-12-04 포항공과대학교 산학협력단 3차원 해저 지형 생성 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381218B1 (ko) * 2012-08-10 2014-04-02 삼성중공업 주식회사 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법
KR101917282B1 (ko) * 2016-11-11 2018-11-09 인천대학교 산학협력단 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102186733B1 (ko) * 2019-09-27 2020-12-04 포항공과대학교 산학협력단 3차원 해저 지형 생성 방법

Also Published As

Publication number Publication date
KR20230064205A (ko) 2023-05-10

Similar Documents

Publication Publication Date Title
US8300949B2 (en) Edge detection technique having improved feature visibility
US9031285B2 (en) Detection of floating objects in maritime video using a mobile camera
KR101917282B1 (ko) 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치
US9245194B2 (en) Efficient line detection method
WO2017193414A1 (zh) 一种基于转弯半径的图像角点检测方法
CN111382637B (zh) 行人检测跟踪方法、装置、终端设备及介质
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
Babbar et al. Comparative study of image matching algorithms
CN114067147B (zh) 一种基于局部形状匹配的舰船目标确认方法
TWI543117B (zh) 物件辨識與定位方法
KR102644612B1 (ko) 소나영상을 이용한 장애물 탐지 장치 및 그 방법
Montesinos et al. A new perceptual edge detector in color images
Bhaskar et al. Combined spatial and transform domain analysis for rectangle detection
US9183448B2 (en) Approaching-object detector, approaching object detecting method, and recording medium storing its program
CN110689556A (zh) 跟踪方法、装置及智能设备
KR101482850B1 (ko) 손 모양 인식 방법 및 그 장치
KR101777948B1 (ko) 엔트로피와 배경변화율 차이점을 이용한 주요 객체 자동 검출 장치
Wen et al. Feature-level image fusion for SAR and optical images
Hoang et al. A marker-free watershed approach for 2d-ge protein spot segmentation
Ferreira et al. Comparing region-based and feature-based methods for ROV vision-based motion estimation
JP2018151940A (ja) 障害物検出装置および障害物検出方法
Al-Hujazi et al. Residual analysis for range image segmentation and classification
Khaliluzzaman et al. Support vector machine for overcoming the problem of vanishing point during stairways detection
Pradhan et al. A Classical Computer Vision Pipeline for Underwater Detection of Long, Flexible, and Highly Deformable Curvilinear Objects
Li et al. A Less-Dependent Threshold Corner Detection Algorithm

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant