KR20150059191A - 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법 - Google Patents

소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법 Download PDF

Info

Publication number
KR20150059191A
KR20150059191A KR1020130141914A KR20130141914A KR20150059191A KR 20150059191 A KR20150059191 A KR 20150059191A KR 1020130141914 A KR1020130141914 A KR 1020130141914A KR 20130141914 A KR20130141914 A KR 20130141914A KR 20150059191 A KR20150059191 A KR 20150059191A
Authority
KR
South Korea
Prior art keywords
image
tracking
underwater
sonar
recognition
Prior art date
Application number
KR1020130141914A
Other languages
English (en)
Other versions
KR101527876B1 (ko
Inventor
이영준
최현택
김태균
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020130141914A priority Critical patent/KR101527876B1/ko
Publication of KR20150059191A publication Critical patent/KR20150059191A/ko
Application granted granted Critical
Publication of KR101527876B1 publication Critical patent/KR101527876B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/04—Systems determining presence of a target

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 본 발명은 수중 영상 소나(sonar)를 이용하여 수중의 물체를 탐색 및 인식하기 위한 방법에 관한 것으로, 본 발명에 따르면, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 새로운 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 제공되며, 또한, 그러한 방법을 이용하여 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇이 제공된다.

Description

소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법{Method of real-time recognizing and tracking for underwater objects using sonar images}
본 발명은 영상 소나(image sonar)를 이용하여 수중의 물체를 탐색, 인식 및 추적하기 위한 방법에 관한 것으로, 더 상세하게는, 소나 영상의 특성이나 환경적인 요인 및 부족한 정보의 양으로 인해 안정적이고 명확한 정보의 습득이 어려운 소나 영상의 단점을 해소하기 위해, 찾고자 하는 물체와 다수의 유사한 물체를 후보로서 선택하고 각각의 후보를 모두 확률적 방법에 의해 평가함으로써, 실제로 찾고자 하는 물체가 아닌 것을 제거한 후, 남은 최종 후보에 대하여 여러 영상 인식 방법을 동시에 적용하여 강인한 인식 결과를 얻으며, 인식에 성공한 물체에 대하여 역시 여러 추적 방법을 동시에 적용하여 강인한 추적 결과를 얻을 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 관한 것이다.
또한, 본 발명은, 영상이 입력되면 해당 영상에서 수중물체에 대한 후보를 선택하고, 다음 영상에서 다시 후보 선택을 하는 동안 이미 선택된 후보를 최종 후보로 결정할 것인지를 동시에 판단하며, 이미 최종 후보로 선택된 영상이 있다면 해당 영상을 인식하고 인식된 물체에 대하여 추적을 행하는 전체의 과정이 동시에 진행되도록 구성되며, 또한, 연속적인 영상에서 계속 나타나는 후보를 실제 물체로 판단하고 그렇지 않으면 잡음으로 판별하는 것에 의해, 전체 영상이 아닌 선택된 국부적인 영상을 처리함으로써 영상처리 시간이 단축될 수 있어 실시간 처리에 적합하도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 관한 것이다.
아울러, 본 발명은, 상기한 바와 같이 실시간 처리가 가능하도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 자연물이나 수중에 미리 설치된 인공 표식물을 수중 영상 소나를 통해 식별함으로써 현재 위치 파악 및 이동경로의 결정이 가능하도록 구성되는 자율형 수중 로봇에 관한 것이다.
종래, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위하여, 영상 정보를 활용한 물체 탐색 및 인식과 항법에 관한 다양한 연구가 수행되어 왔다(참고문헌 1 내지 3 참조).
더 상세하게는, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위한 종래의 방법으로는, 먼저, 예를 들면, IMU(Inertial Mearsurement Unit), DVL(Doppler Velocity Logs), USBL(Ultra Short Base Line) 등과 같은 센서를 사용하여 정보를 얻는 방법이 있으나, IMU 및 DVL은 오차가 크거나 누적됨으로 인해 정확한 위치 정보를 얻기 어렵다는 단점이 있고, USBL은 오차가 누적되지는 않으나 매우 고가인데 더하여 사용방법이 매우 어렵고 제한적이라는 단점이 있었다.
또한, 최근에는, 수중 영상처리를 이용하여 직접 상대적인 위치를 계측하거나 다른 센서 결과에 대한 오차를 보정하는 연구가 진행되어 많은 연구에서 광학 카메라를 사용하여 영상을 획득하는 방법을 제시하고 있으나, 광학 영상은 탁도 및 빛의 영향으로 제한된 시계를 극복하기 어렵다는 문제가 있는 것이었다.
이에, 상기한 바와 같은 광학 카메라에 대한 대안으로, 수중 영상 소나(sonar)를 사용하여 얻어진 영상을 통해 수중의 상황을 판단하는 방법이 널리 사용되고 있다.
아울러, 최근에는, 컴퓨터 등을 통해 소나 영상과 이에 대한 후처리(영상처리)를 행하여 탁도에 의한 시야 확보의 어려움을 감소하고 수중 환경에 대한 영상을 관찰할 수 있도록 하는 기술내용이 제시된 바 있으나, 현존하는 최고 성능의 소나로도 자연물의 인식이 매우 어려운 관계로, 현재로서는 해당 분야에 대한 연구가 사실상 정체된 상태에 있다.
여기서, 영상 소나는, 초음파를 사용하여 주변 환경을 계측하는 장비로서, 수중의 환경을 파악하는데 유용하게 사용되나, 소나 영상은, 예를 들면, 물체의 재질 등과 같은 환경의 영향을 많이 받는 특성으로 인해 수중의 물체를 명확히 표현하는데 한계가 있다(참고문헌 4 내지 6 참조).
더 상세하게는, 도 1을 참조하면, 도 1은 실해역에서 획득한 소나 영상을 나타내는 도면으로, 도 1a는 실제 해양 환경에 대한 영상이고, 도 1b는 인공물에 대한 광학 영상과 소나 영상을 비교하여 각각 나타내고 있다.
도 1에 나타낸 바와 같이, 영상 소나를 이용하여 획득된 소나 영상은 물체를 정확하게 구별할 수 없으며, 도 1b에 나타낸 인공물의 경우, 형태가 안정적으로 보이는 광학 영상과 달리 소나 영상은 벽돌의 육면체 형태와 고무 주름관의 주름 형태를 확인할 수 없다.
상기한 바와 같이, 소나 영상은, 물체의 정보를 명확히 전달하지 못하는 한계가 있음으로 인해 소나 영상 자체만으로 물체의 탐색 및 인식에 어려움이 있는 데 더하여, 광학 카메라에 비해 낮은 화질과 노이즈가 많은 영상으로 인해 물체를 보다 용이하게 식별할 수 있도록 하기 위한 사후적인 영상처리에도 많은 어려움이 따르는 것이었다.
더욱이, 수중에서 자율적으로 활동하는 수중 로봇을 구현하기 위하여는, 수중의 지형이나 장애물 등을 정확히 인식하고 이동경로를 결정할 수 있어야 하나, 상기한 바와 같이, 종래의 소나 영상 처리방법으로는 수중 물체의 식별이 매우 어려움으로 인해 수중 영상 소나만으로 수중 환경 정보를 수중 로봇을 제공하는 데는 한계가 있으며, 그로 인해 수중 로봇의 구현에도 많은 어려움이 따르는 문제도 있었다.
따라서 상기한 바와 같은 종래기술의 영상 소나를 이용한 방법들의 문제점을 해결하기 위하여는, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 새로운 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제공되지 못하고 있는 실정이다.
[참고문헌]
1. M. Dunbabin, K. Usher, and P. Corke, "Visual motion estimation for an autonomous underwater reef monitoring robot", in Field and Service Robotics: Results of the 5th International Conference, P. Corke andS. Sukkariah, Eds. Springer Verlag, vol. 25, pp. 31-42, 2006.
2. F. Dalgleish, S. Tetlow, and R. All wood, "Vision-based navigation of unmanned underwater vehicles: a survey part 1: Vision-based cable-, pipeline-, and fish tracking", Journal of Marine Design and Operations, no. B7, pp. 51-56, 2004.
3. 한경민, 이영준, 최현택, "3 phased state recognition method for close distances docking of underwater robots", 제7회 한국로봇공학회 하계종합 학술대회, 강릉, 대한민국, Jun 21-23, 2012.
4. 김지영, 안국진, "초음파의 기본 물리와 허상", Journal of Clinical Otolarynology, Vol 18, pp.135-143, 2007.
5. S. C. Yu, T. W. Kim, A. Asada S. Weatherwas, B. Collins, J. K. Yuh, "Development of high-resolution acoustic camera based real-time object recognition system by using autonomous underwater vehicle", Proceedings of MTS/IEEE OCEANS 2006 Boston Conference and Exhibition, Boston, USA, Sep 15-21, 2006.
6. 이영준, 한경민, 최현택, "수중 초음파 카메라를 위한 인공 표식물 설계 및 구현", 2012 추계 정보 및 제어 심포지움, 대한민국, Oct 18-20, 2012.
7. E. Belcher, W. Hanot, and J. Burch, "Dual-Frequency identification Sonar", Proceedings of the 2002 International Symposium on Underwater Technology, Tokyo, Japan, pp.187-192, April 16-19, 2002.
8. 이영준, 최현택, "A Comparative study on feature extraction methods for environment recognition using underwater acoustic image", 제8회 한국로봇종합학술대회, 대한민국, 2013.
9. Rhody, Harvey. "Lecture 10: Hough Circle Transform", Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, 2005.
10. N. Y. Ko, T. G. Kim, and Y. S. Moon, "Particle Filter Approach for Localization of an Underwater Robot Using Time Difference of Arrival", Proc. IEEE/MTS OCEANS 2012.
11. A. Goshtasby, "Description and Discrimination of Planar Shape Using Shape matrices", Pattern Analysis and Machine Intelligence, IEEE Transactios, 1985.
12. D. Comaniciu, V. Ramesh, and P. Meer. "Real-time tracking of non-rigid objects using mean shift." Computer Vision and Pattern Recognition, IEEE, 2000
[선행기술문헌]
1. 한국 등록특허 제10-1249374호(2013.03.26.)
2. 한국 등록특허 제10-1236970호(2013.02.19.)
3. 한국 등록특허 제10-0813577호(2008.03.07.)
4. 한국 등록특허 제10-0439009호(2004.06.24.)
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 새로운 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 제공하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하여 다양한 형태가 존재하는 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 있어서, 입력되는 소나 영상 내에서 찾고자 하는 대상체와 유사도가 높은 물체를 모두 관심후보로 선택하는 관심후보 선택단계; 상기 유사도 기반 관심후보 선택단계에서 선택된 각각의 상기 관심후보에 대하여 각 후보가 이후의 영상에서 계속하여 나타나는지를 의미하는 연속성 및 잡음 여부를 평가하여 최종후보를 선택하는 최종후보 선택단계; 상기 최종후보 선택단계에서 선정된 각각의 최종후보를 중심으로 미리 정해진 일정 범위에 대하여 설정되는 관심영역에 대하여 각각 복수의 인식 알고리즘을 적용하는 지역영상 처리과정을 수행하여 영상 내의 물체를 인식하는 인식단계; 및 상기 인식단계에서 인식된 물체에 대하여 각각 복수의 추적 알고리즘을 적용하여 상기 소나의 움직임이나 상기 물체의 움직임을 추적하는 추적단계를 포함하여 구성되고, 영상 전체에 대하여 영상처리를 반복 수행할 필요 없이 각각의 상기 최종후보들을 중심으로 일정 범위에 대하여만 영상처리가 수행됨으로써, 처리용량 감소 및 처리속도 증가가 가능하여 복수의 알고리즘을 적용하더라도 연속적으로 진행되는 상기 소나 영상에 대하여 실시간으로 영상처리가 가능한 동시에, 실시간으로 영상처리된 상기 소나 영상을 통하여 상기 수중물체의 인식 및 식별의 용이성을 높일 수 있도록 구성되며, 복수의 인식 알고리즘 및 복수의 추적 알고리즘을 동시에 적용하고 각각의 결과를 종합하여 상기 수중물체에 대한 인식 및 추적이 이루어짐으로써, 상기 수중물체에 대한 인식 및 추적의 정확성 및 강인성을 높일 수 있는 동시에, 단일의 방법만을 적용하였을 경우 특정한 경우에는 인식이 잘 되고 다른 특정한 경우에는 인식이 잘 안 되는 경우가 발생하는 불확실성을 개선하여 항상 정확한 결과를 얻을 수 있도록 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 제공된다.
여기서, 상기 관심후보 선택단계는, 입력 영상과 상기 대상체 사이의 유사도를 비교하여 유사도 영상을 구하는 단계; 및 상기 유사도 영상으로부터 상기 대상체일 가능성이 있는 것으로 여겨지는 후보를 모두 관심후보로 선택하는 단계를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 유사도 영상을 구하는 단계는, 이하의 수학식을 이용하여, 상기 대상체의 외부 외곽선 실측정보를 소나 영상평면의 (x,y) 픽셀 정보로 변환하는 것에 의해 상기 대상체의 크기를 상기 소나 영상에서 상기 대상체가 위치한 거리와 각도에 따라 변형하는 단계; 및
Figure pat00001
Figure pat00002

(여기서, xdistort, ydistort는 각각 피치각(pitch angle)에 대하여 왜곡된 외곽선(distorted outline)이고, xreal, yreal은 각각 X축 및 Y축에서 표식물의 외곽선(outline)이며, ximg, yimg는 각각 영상 평면(image plane)에서 픽셀 단위로 추정된 외곽선(estimated outline)임)
허프 변환(hough circle transform)을 이용하여, 입력 영상의 각 위치에 상기 대상체가 존재할 확률을 밝기값으로 나타낸 유사도 영상을 구하는 단계를 포함하여 구성되는 것을 특징으로 한다.
아울러, 상기 선택하는 단계는, 상기 유사도 영상에 근거하여 밝기값이 높은 점 또는 지역을 차례로 상기 관심후보로서 선택하는 단계를 포함하여 구성되는 것을 특징으로 한다.
더욱이, 상기 최종후보 선택단계는, 파티클 필터를 이용한 확률 기반 필터링을 통하여 상기 관심후보 선택단계에서 선택된 상기 관심후보들 중 잡음이나 잘못 선택된 후보들을 제외하고, 나머지 후보들을 상기 최종후보로서 선택하도록 구성되는 것을 특징으로 한다.
여기서, 상기 최종후보 선택단계는, 모든 입자 그룹에 대하여, 각각의 입자 그룹이 미리 정해진 특정한 지표값을 만족하는 지에 대한 지표평가 및 입자 그룹간 동일 대상체의 중복 검출 유무에 대한 평가를 포함하는 평가조건에 의해 잡음 및 사라진 후보 여부를 판단하고, 상기 평가조건을 모두 만족하는 입자 그룹을 최종 후보로서 선택하도록 구성되는 것을 특징으로 한다.
또한, 상기 인식단계는, 각각의 상기 최종후보 중에서 찾고자 하는 물체가 어떤 것인지를 판별하기 위해, 상기 최종후보 선택단계에서 선정된 각각의 상기 최종후보를 중심으로 설정되는 상기 관심영역에 대하여 각각 복수의 인식 알고리즘을 적용하여 각각의 결과를 구하고, 각각의 상기 알고리즘에 의한 결과에 대하여 상수 가중치를 적용하거나, 학습에 의하여 변경 가능한 적응 가중치를 적용한 후, 각각의 결과를 통합하여 최종 판단을 도출하도록 구성되는 것을 특징으로 한다.
아울러, 상기 인식단계는, 상기 인식 알고리즘 중 하나로서, 형태를 면적에 근거하여 판단하는 형태행렬 인식(shape matrix identification) 방법을 적용하도록 구성되는 것을 특징으로 한다.
여기서, 상기 형태행렬 인식방법은, 이미 알고 있는 형태행렬 A와 상기 최종후보 선택단계에서 구해진 형태행렬 B 사이의 매칭 함수(matching function)를 이용하도록 구성되며, 상기 매칭함수는, 이하의 수학식으로 나타내지는 것을 특징으로 한다.
Figure pat00003

더욱이, 상기 추적단계는, 상기 물체인식단계에서 인식된 각각의 물체에 대하여 평균-이동 추적(mean-shift tracking) 및 확률기반 알고리즘을 포함하는 복수의 추적 알고리즘을 복합적으로 적용하고 각각의 알고리즘으로부터 얻어진 결과를 종합하여 영상 내의 물체를 추적하도록 구성됨으로써, 추적의 정확성 및 강인성을 높이고, 실시간 영상처리를 통해 정확하고 정밀한 추적이 가능하도록 구성되는 것을 특징으로 한다.
또한, 본 발명에 따르면, 수중에서 자율적인 행동이 가능하도록 구성되는 자율형 수중 로봇에 있어서, 상기에 기재된 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 자연물이나 수중에 미리 설치된 인공 표식물을 수중 영상 소나를 통해 식별함으로써 현재 위치 파악 및 이동경로의 결정이 가능하도록 구성되는 것을 특징으로 하는 자율형 수중 로봇이 제공된다.
상기한 바와 같이, 본 발명에 따르면, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 제공됨으로써, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하여 다양한 형태가 존재하는 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇을 제공할 수 있다.
도 1은 실해역에서 획득한 소나 영상을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 각 단계의 구체적인 구성을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 적용된 인공 표식물의 전체적인 구성 및 각각의 ID를 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 적용되는 확률기반 필터링 방법의 센서 모델의 구성을 나타내는 도면이다.
도 6은 대상체 모델의 크기에 따라 실제 영상에서 대상물이 적절하게 일치하는지를 검증한 결과를 나타내는 도면이다.
도 7은 다중 후보 선택실험 결과를 나타내는 도면이다.
도 8은 다중 물체 검출실험 결과를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 새로운 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 관한 것이다.
또한, 본 발명은, 후술하는 바와 같이, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하여 다양한 형태가 존재하는 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇에 관한 것이다.
여기서, 이하에 설명하는 본 발명의 실시예에 있어서는, 영상 소나의 한 종류로서 현존하는 최고 성능의 영상 소나 중 하나인 Sound Metrics사의 "Dual-frequency Identification Sonar(DIDSON)"를 사용하는 경우를 예로 하여 본 발명을 설명하였으나(참고문헌 7 참조), 본 발명은 이러한 경우로만 한정되는 것은 아니며, 필요에 따라 얼마든지 다른 종류의 영상 소나에도 적절하게 적용될 수 있는 것임은 당업자라면 누구나 용이하게 이해할 수 있을 것이다.
또한, 본 발명의 실시예에 따른 수중 영상 소나에 의한 식별 및 영상처리가 용이한 인공 표식물을 설명하기 전에, 먼저, 소나 영상의 특징에 대하여 설명하면, 소나 영상은, 카메라와 물체 간의 상대적인 거리와 방향각을 가로축과 세로축으로 나타내고, 물체에서 반사되어 오는 초음파의 세기를 화소 값(Intensity)으로 표현하여 나타내는 것으로, 여기서, 상기한 DIDSON은, 가로 방향으로 96개의 빔-어레이(Beam array)를 통해 초음파를 보내고 받으며 영상에서 가로축에 표현되고, 세로 방향으로는 512 단계로 거리를 표현하며 영상의 세로축에 표현된다.
따라서 DIDSON에 의한 소나 영상은, 가로×세로가 96×512 픽셀(pixel)에 불과한 저화질 영상을 얻게 되어 광학 카메라에 비해 영상이 뚜렷하지 않으며, 이때, 영상의 각 화소는 물체에 부딪히고 돌아오는 초음파의 세기를 나타내는 것으로, 이 값은 물체의 표면 재질에 따라 달라진다.
아울러, 광학 카메라는 수중의 탁도와 빛에 민감하여 맑은 물이 아닌 일반적인 바다에서는 매우 가까운 거리만 사용 가능한 반면, 초음파는, 빛과 관계없고 탁도의 영향도 적게 받으므로 광학 카메라에 비하여 수중 환경에 월등히 유리하나, 물체의 표면 재질에 민감하고 이러한 환경적 요인에 의해 화소 값의 차이 및 잡음(noise)이 많이 포함되게 되며, 그것에 의해, 카메라와 물체가 고정된 상태에서 영상을 관찰하여도 물체의 경계선이 뚜렷하게 나오지 않거나 흔들리고, 물체 주변이 뿌옇게 나오는 영상을 얻게 된다.
따라서 이러한 현상은 컴퓨터를 통한 영상처리를 어렵게 만드는 요인이 되며, 더욱이, 이러한 소나 영상의 특징에 의해, 영상 개선(enhancement)과 그 다음 과정인 물체 인식(recognition) 단계로 가기 위해서는, 잡음(Noise) 제거, 물체 외곽선 강조 및 영상의 확장 등과 같은 사전 영상처리가 필요하게 된다.
또한, 상기한 바와 같이 영상 소나를 이용하여 자연환경을 인식하기란 쉽지 않으며, 즉, 영상이라는 방대한 정보에서 원하는 정보만을 찾는 것은 아직도 매우 어려운 문제이다.
이에, 본 발명자들은, 이러한 문제점을 극복하기 위해, 후술하는 바와 같이, 연속으로 진행되는 소나 영상에 대하여 실시간 영상처리를 통해 물체를 식별할 수 있도록 구성되는 새로운 물체탐지, 인식 및 추적방법을 제안하였다.
계속해서, 도면을 참조하여, 상기한 바와 같은 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 구체적인 내용에 대하여 설명한다.
먼저, 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
또한, 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 각 단계의 구체적인 구성을 개략적으로 나타내는 도면이다.
즉, 도 2 및 도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법은, 크게 나누어, 찾고자 하는 대상체와 유사도가 높은 물체를 모두 관심후보로 선택하는 유사도 기반 관심후보 선택단계와, 확률 기반 필터링을 통해 각 후보의 연속성 및 잡음 여부를 평가하여 적어도 하나 이상의 최종후보를 선택하는 확률 기반 최종후보 선택단계와, 상기 단계에서 선정된 최종후보를 중심으로 지정된 관심영역에 대하여만 집중적으로 지역영상 처리과정을 수행하여 영상 내의 물체를 인식하는 물체인식단계 및 인식된 물체에 대하여 평균-이동 추적(mean-shift tracking) 및 확률기반 알고리즘 등과 같은 적어도 하나 이상의 추적 알고리즘을 동시에 적용하여 소나의 움직임이나 물체의 움직임을 추적하는 추적단계를 포함하여 이루어진다.
더 상세하게는, 먼저, 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 유사도 기반 관심후보 선택단계는, 도 3에 나타낸 바와 같이, 입력 영상과 찾고자 하는 대상체 모델 사이의 유사도를 비교하여 유사도 영상을 구하고, 이러한 유사도 영상으로부터 대상체일 가능성이 있는 것으로 여겨지는 후보를 모두 관심후보로서 선택한다
또한, 확률 기반 최종후보 선택단계는, 확률 기반 필터링을 통하여 상기 단계에서 선택된 관심후보들 중 대상체일 가능성이 없는 후보들을 제외하고 나머지 후보들을 최종후보로서 선택한다.
즉, 상기한 관심후보와 최종후보는 모두 복수 개 존재할 수 있으며, 선택된 관심후보들 중에서 확률 기반 필터링을 통해 잡음이나 잘못 인식된 후보들을 제외한 나머지 후보들이 최종후보로서 선택된다.
아울러, 물체인식단계는, 최종후보로부터 여러 가지 인식 알고리즘을 복합적으로 적용하고 각각의 알고리즘으로부터 얻어진 결과를 종합하여 영상 내의 물체를 인식하는 과정이다.
이때, 상기한 최종후보 선택단계에서 선택된 각 최종후보들을 중심으로 하여 일정 범위에 대하여만 각각의 알고리즘이 적용되므로, 영상 전체에 대하여 여러 번 영상처리를 수행할 필요가 없고, 따라서 그만큼 처리용량은 감소할 수 있고 처리속도는 높일 수 있게 되어 복수의 알고리즘을 적용하더라도 실시간으로 영상처리를 수행하는데 무리가 없게 된다.
더욱이, 본 발명에 따르면, 상기한 바와 같이 복수의 알고리즘을 동시에 적용하고 각각의 결과를 종합함으로써 인식의 정확성 및 강인성을 높일 수 있을 뿐만 아니라, 단일의 방법만을 적용하였을 경우 특정한 경우에는 인식이 잘 되고 다른 특정한 경우에는 인식이 잘 안 되는 경우가 발생하는 것과 같은 불확실성을 개선하여 항상 정확한 결과를 얻을 수 있다.
또한, 상기한 추적단계에서도, 상기한 물체인식단계와 마찬가지로, 인식된 물체에 대하여 여러 가지 다양한 추적 알고리즘을 복합적으로 적용하는 것에 의해 추적의 정확성 및 강인성을 높임으로써, 실시간 영상처리를 통해 보다 정확하고 정밀한 추적이 가능하도록 구성된다.
여기서, 상기한 관심후보의 선택과정에 있어서, 대상체와 영상정보 사이에 유사도를 계산하기 위해서는 대상체의 모델이 필요하다.
이를 위해, 본 발명에서는, 자연물의 식별이 매우 어려운 수중 영상 소나의 한계를 극복하기 위하여, 도 4에 나타낸 바와 같이, 자연물 대신에 보다 식별이 용이하도록 구성되는 인공 표식물을 사용하였으며, 이때, 각각의 표식물의 구분이 가능하도록 각 표식물에 ID를 부여하였다(참고문헌 6 참조).
즉, 도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 구현하기 위해 적용된 인공 표식물의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 4에 나타낸 바와 같이, 본 발명에 사용된 인공 표식물은, 소나 영상의 특징을 고려하여 다른 물체에 비해 식별 성능이 우수하고 영상 평면으로 쉽게 모델링이 가능하도록 설계되며(참고문헌 8 참조), 즉, 상기한 인공 표식물은, 인공 표식물의 본체를 형성하는 본체부 및 상기 본체부에 미리 정해진 임의의 패턴을 형성하여 이루어지는 패턴부를 포함하여 구성된다.
더 상세하게는, 본 발명자들은, 수중 영상 소나를 위한 인공 표식물의 설계 및 구현에 있어 가장 기본이 될 조건으로서, 수동형 인공 표식물(Passive target) 이고, 주변 환경에 비해 우수한 인식성을 가지며, 정보를 담은 표식물인 동시에, 가능한 소형인 표식물일 것의 4가지로 설정하였다.
또한, 인공 표식물의 재료로로는, 인공 표식물은 주변 환경과 상관없이 항상 밝고 뚜렷한 형태를 나타내야 하므로, 본 발명자들은, 상기한 바와 같은 조건에 적합한 인공 표식물의 패턴부를 형성하기 위한 주재료로서, 시멘트 또는 콘크리트와 같이 거친 표면을 가지는 재료를 주재료의 조건으로 하였으며, 본 실시예에서는, 주재료로서, 다루기 쉽고 다양한 모양으로 제작할 수 있는 장점을 가지는 겔 스톤(Gel-Stone)이 가장 적합한 것으로 선정되었다.
또한, 소나 영상은 잡음(Noise)이 많은 영상으로 주재료가 초음파 산란이 높아 밝게 나타난다 하더라도 주변 환경의 영향 또는 표식물 자체의 잡음으로 인해 그 윤곽이 뚜렷이 드러나지 못하게 되므로, 이러한 단점을 줄이기 위해, 본 발명자들은, 본체부를 형성하기 위한 부재료로서 표면이 부드러운 철판을 선택하였다.
즉, 표면이 부드러운 철판은 소나 영상에서 검게 나타나며, 이를 이용하여 철판을 놓고 그 위에 주재료로 인공 표식물을 구현한다면, 소나 영상에서 철판에 의해 주변 환경이 사라지게 되고 부재료(철판)와 주재료(Gel-Stone)의 큰 밝기 차가 더욱 명확하게 나타남에 따라 주변 환경 비해 더욱 뚜렷한 표식물을 만들 수 있다.
여기서, 상기한 예에서는 주재료가 겔 스톤(Gel-Stone) 이고 부재료는 표면이 부드러운 철판인 것으로 나타내었으나, 반드시 이러한 구성으로만 한정되는 것은 아니며, 즉, 상기한 부재료는, 표면이 부드러우면서 무게가 어느 정도 있어 수중에서 안정적인 위치 확보가 가능한 것이 상기한 철판 이외에 얼마든지 다른 재료로 구성될 수 있는 것임에 유념해야 한다.
더 상세하게는, 상기한 본체부는, 예를 들면, 철판, 알루미늄, 플라스틱 등과 같이, 소나의 반사를 최소화하는 재질로 형성하고, 상기한 패턴부는, 예를 들면, 표면이 거친 재질이나 상기한 겔 스톤 등과 같이, 소나의 반사를 최대로 유도하는 재질로 형성할 수 있다.
아울러, 인공 표식물의 크기는, 표식물의 모양이나 소나 영상의 관찰영역(시작거리와 범위) 등의 조건에 따라 적절하게 형성할 수 있다.
여기서, 도 4에 나타낸 실시예의 인공 표식물의 대상체 모델은 원의 형태를 띤 외곽선 정보이나, 본 발명에 따른 인공 표식물은 반드시 이러한 형태로만 한정되는 것은 아니며, 즉, 본 발명에 따른 인공 표식물은 필요에 따라 얼마든지 다양한 형태로 형성될 수 있는 것임에 유념해야 한다.
즉, 본 실시예에 제시된 인공 표식물은, 도 4에 나타낸 바와 같이, 외부 형태가 원형으로 형성됨으로써 보는 방향에 민감하지 않고 항상 일정한 형태를 나타낼 수 있으므로, 방향에 상관없이 인식 및 식별이 용이하게 가능한 장점을 가지며, 또한, 내부에 형성되는 부채꼴 패턴의 면적으로 4개의 표식을 용이하게 구분할 수 있는 장점을 가진다.
아울러, 본 발명에 따른 인공 표식물은, 제작된 표식물의 외부 외곽선의 실측 자료를 소나 영상 평면의 (x,y) 픽셀 정보로 변환하여 대상체 모델로 활용되며, 이때, 표식물의 실측 정보를 영상 평면으로 변환하는 과정은 이하의 [수학식 1] 및 [수학식 2]와 같이 하여 계산된다.
[수학식 1]
Figure pat00004

[수학식 2]
Figure pat00005

여기서, 상기한 [수학식 1] 및 [수학식 2]에 있어서, xdistort, ydistort는 각각 피치각(pitch angle)에 대하여 왜곡된 외곽선(distorted outline)이고, xreal, yreal은 각각 X축 및 Y축에서 표식물의 외곽선(outline)이며, ximg, yimg는 각각 영상 평면(image plane)에서 픽셀 단위로 추정된 외곽선(estimated outline)을 의미한다.
즉, 상기한 [수학식 1] 및 [수학식 2]는 소나 영상 내에서 인공 표식물을 찾는 방법으로, 인공 표식물의 크기를 소나 영상에서 물체가 위치한 거리와 각도에 따라 변형하기 위한 식이다.
또한, 상기한 [수학식 1] 및 [수학식 2]에 있어서, 인공 표식물의 크기는 미리 알고 있는 것으로 가정하며, 인공 표식물의 형태와 소나 영상에서 나타난 형상을 비교하여 후보를 결정한다.
이때, 인공 표식물의 크기는 영상에 나타난 거리에 따라 변화하고 소나와 물체 사이의 각도에 따라 형태가 달라지므로 이러한 사항들을 고려할 필요가 있으나, 소나 영상은 거리정보를 포함하고 있고, 또한, 소나가 물체를 보는 각도도 미리 알고 있으므로, 따라서 상기한 [수학식 1] 및 [수학식 2]를 이용하면 영상의 특정 위치에 따라 인공 표식물이 어떤 형태 및 어떤 크기로 나타날지 예측할 수 있으며, 본 발명에서는 그러한 예측된 형태를 실제 영상과 비교하는 것이다.
계속해서, 유사도에 기반하여 관심후보를 선택하기 위해, 대상체 모델과 입력 영상 사이에서 유사도 영상을 얻어야 한다.
여기서, 유사도 영상은, 입력 영상의 각 위치에 대상체가 있을 가능성을 밝기값으로 나타낸 정보로서, 밝기값이 높은 점 또는 지역을 차례로 관심 후보로 선택한다.
이때, 관심 후보의 영역 크기는 대상체 모델을 통해 얻은 크기를 바탕으로 지정하며, 본 실시예에서는 최대 5개까지 선택하였다.
아울러, 유사도 영상을 얻는 방법은, 예를 들면, 허프 변환(hough circle transform)을 이용할 수 있다(참고문헌 9 참조).
즉, 본 발명에서는, 입력 영상으로 소나의 원본 영상이 아닌 전처리된 외곽선 영상을 사용하고 대상체 모델과 비교하여 유사도 영상을 얻으며, 이때, 상기한 [수학식 1] 및 [수학식 2]에 의해 얻어진 위치에 따른 크기와 허프 변환을 거친 영상을 비교하여 후보를 선택한다.
다음으로, 확률 기반 필터링을 통한 최종 후보의 선택과정에 대하여 설명하면, 상기한 바와 같이 하여 선택된 관심 후보들은 파티클 필터와 유사한 확률적 방법으로 필터링되고, 남겨진 후보가 최종 후보로 선정된다.
더 상세하게는, 파티클 필터 방법(참고문헌 10 참조)은, 모션 모델(motion model), 센서 모델(sensor mode) 및 재생성(resampling) 과정을 반복적으로 수행하며, 본 실시예에서는, 이 방법을 응용한 필터링 방법을 영상에서의 물체 검출에 적용하였다.
이러한 이유로, 본 발명의 실시예에 따른 방법의 모션 모델(motion model)은 대상체의 모션(motion) 정보를 이용하지 않고 대상체에 대한 임의의 불확실성을 고려하여 파티클들을 예측한다.
아울러, 도 5를 참조하면, 도 5는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 적용되는 확률기반 필터링 방법의 센서 모델의 구성을 나타내는 도면이다.
즉, 도 5에 나타낸 바와 같이, 본 발명의 실시예에 적용된 확률 필터 방법은, 입력 영상 정보에서 관심 후보의 주변 영역에 한하여 사용자에 의해 선택된 충분히 큰 n개의 입자(particle)들을 무작위로 생성하고, 이는 하나의 입자 그룹으로 지정되며, 각 입자는 중심(xt , avg)으로부터 계산된 대상체의 위치
Figure pat00006
에 윤곽선의 존재 유무를 확인하여 대상체에 대한 확률 P를 획득한다.
따라서 상기한 바와 같은 과정을 각 입자마다 N개의 계산된 대상체의 위치만큼 수행하며, 최종적으로 얻게 되는 입자의 신뢰도 q는 재생성(resampling)과정에서 이용된다.
또한, 이러한 과정의 반복을 통해 남겨진 입자 또는 입자 그룹은 평균 위치를 최종 후보의 위치로 반환한다.
아울러, 모든 입자 그룹은 2가지 조건에 의해 잡음 및 사라진 후보 여부를 판단하게 되며, 첫 번째는 각각의 입자 그룹이 미리 정해진 특정 지표에 대한 값을 만족하는지에 대한 지표평가로서, 예를 들면, 각 입자 그룹의 크기가 대상체 모델의 크기보다 25% 이상일 경우 잡음으로 판단하고 해당 입자 그룹을 삭제한다.
두 번째는 입자 그룹간 동일 대상체의 중복 검출 유무로서, 입자의 특성상 같은 물체를 동시에 찾을 수 있고, 이러한 경우에 1개를 제외한 나머지 입자 그룹은 조건에 의해 제거된다.
따라서 상기한 두 가지 조건을 만족한 입자 그룹이 최종 후보로서 선택된다.
다음으로, 상기한 물체인식단계는, 상기한 바와 같이, 최종후보 선택단계에서 선택된 각 최종후보들을 중심으로 하여 일정 범위에 대하여만 복수의 인식 알고리즘을 동시에 적용하는 지역영상 처리를 수행하고 각각의 결과를 종합함으로써 인식의 정확성 및 강인성을 높일 수 있을 뿐만 아니라, 단일의 방법만을 적용하였을 경우 특정한 경우에는 인식이 잘 되고 다른 특정한 경우에는 인식이 잘 안 되는 경우가 발생하는 것과 같은 불확실성을 개선할 수 있도록 구성된다.
더 상세하게는, 도 3에 나타낸 바와 같이, 최종후보 선택단계에서 선택된 각 최종후보들을 중심으로 하는 일정 영역에 대하여 복수의 인식 알고리즘을 각각 적용하여 지역영상 처리를 행하고, 각각의 처리결과들을 종합한 결과에 근거하여 영상 내의 물체를 인식한다.
이때, 지역영상 처리의 결과는 이진화된 인공 표식물 영상이며, 이진 영상과 사전에 알고 있는 대상체의 I.D(내부형상)는, 상기한 인식 알고리즘들 중 하나로서, 예를 들면, 형태를 면적에 근거하여 판단하는 형태행렬 인식(shape matrix identification) 방법을 기반으로 인식될 수 있다(참고문헌 11 참조).
즉, 형태행렬 방법(shape matrix method)은, 먼저, 영상 평면에서의 후보 위치에 대한 형태행렬을 구하고, 각 표식물에 대하여 주어진 형태행렬과 상기한 바와 같이 하여 구해진 형태행렬 사이의 유사도를 계산한다.
그 결과, 전처리 후의 유사도가 미리 정해진 임계값 이상이면, 해당 후보에 I.D를 부여하고, 그렇지 않으면 후보에서 제외한다.
여기서, 이러한 내용은 모든 대상체가 인공 구조물이라 가정할 경우 적용 가능하며, 이 경우, 가중치 부여와 같은 보다 강력한 논리를 적용할 수 있다.
상기한 바와 같이, 본 발명은, 연속적인 영상에서 계속 나타나는 후보가 존재하면 실제 물체로 판단하고, 그렇지 않으면 잡음으로 판단하며, 이때, 최종 후보의 영상은 전체 영상이 아니고 선택된 영역의 영상이기 때문에 크기가 작고, 따라서 영상처리 시간이 짧게 걸리게 되어 실시간 처리에 유리한 장점을 가진다.
즉, 한 영상에 2개 이상의 물체가 있는 경우 한가지 방법으로만 영상처리를 수행하면 한쪽은 인식이 잘 되는 반면 다른 쪽은 잘 되지 않을 수도 있으나, 이 경우, 여러 가지 방법을 계속 번갈아 적용하기에는 영상의 크기가 커서 처리시간이 많이 걸리게 된다.
그러나 본 발명에 따른 방법은, 이미 최종후보가 포함된 영역을 작게 만들기 때문에 복수의 방법을 동시에 적용하더라도 처리시간에 여유가 있으며, 따라서 본 발명은, 다수의 방법을 미리 준비하여 인식과정에 적용하고, 각각의 결과를 통계 처리하여 후보선정 결과를 만들도록 구성될 수 있는 것이다.
여기서, 상기한 본 발명의 실시예에서는, 설명을 간략히 하기 위해 인식 알고리즘으로서 형태행렬 인식 방법만을 예로 하여 본 발명을 설명하였으나, 본 발명은 이러한 한 가지 방법으로만 한정되는 것은 아니며, 즉, 본 발명은, 상기한 형태행렬 인식 방법뿐만 아니라, 필요에 따라 복수의 다른 알고리즘을 동시에 적용하여 실시간으로 지역영상 처리가 이루어지도록 구성되는 것임에 유념해야 한다.
즉, 상기한 물체인식단계는, 최종후보 중에서 찾고자 하는 물체가 어떤 것인지를 판별하기 위해 최종후보의 지역 영역에 대하여 다양한 인식 알고리즘을 적용하여 각각의 결과를 통계처리 하며, 그 과정에서 각각의 결과에 대하여 상수 가중치를 적용하거나, 학습 등에 의하여 변경이 가능한 적응 가중치를 적용하고, 각각의 결과를 통합하여 최종 판단을 도출하도록 구성되는 것을 특징으로 하는 것이다.
또한, 이를 위한 대표적인 방법으로, 예를 들면, 형태행렬 인식 방법을 적용하여, 이하의 [수학식 3]에 나타낸 바와 같이, 이미 알고 있는 형태행렬 A와 상기 최종후보 선택단계에서 구해진 형태행렬 B 사이의 매칭 함수(matching function)를 이용하도록 구성될 수 있다.
[수학식 3]
Figure pat00007

아울러, 상기한 추적단계는, 도 3에 나타낸 바와 같이, 물체인식단계에서 인식된 각 물체들에 대하여 복수의 추적 알고리즘을 각각 적용하고, 각각의 처리결과들을 종합한 결과에 근거하여 인식된 물체를 계속 추적한다.
즉, 본 발명에 따른 추적단계는, 상기한 물체인식단계와 마찬가지로, 물체인식단계에서 인식된 물체에 대하여 여러 가지 다양한 추적 알고리즘을 동시에 적용하고 각각의 결과를 종합하는 것에 의해 추적의 정확성 및 강인성을 높이는 동시에, 영상 소나가 움직이거나 물체가 움직이는 경우에도 지속적으로 물체의 위치를 추적 가능하도록 구성되며, 이를 위한 대표적인 방법 중 하나로서, 예를 들면, 평균-이동 추적(mean-shift tracking) 방법을 사용할 수 있다(참고문헌 12 참조).
더 상세하게는, 일반적으로, 평균-이동 추적방법은, 영상의 입력으로서 색상(hue) 정보를 활용하나, 소나 영상은 1차원 강도(intensity) 정보만을 가지므로 이것을 입력 영상으로 사용한다.
여기서, 상기한 본 발명의 실시예에서는, 설명을 간략히 하기 위해 추적 알고리즘으로서 평균-이동 추적방법만을 예로 하여 본 발명을 설명하였으나, 본 발명은 이러한 한 가지 방법으로만 한정되는 것은 아니며, 즉, 본 발명은, 상기한 평균-이동 추적방법뿐만 아니라, 필요에 따라 복수의 다른 알고리즘을 동시에 적용하여 실시간으로 영상처리가 이루어지도록 구성되는 것임에 유념해야 한다.
다음으로, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 성능을 검증하기 위해 실제 실험을 수행한 결과에 대하여 설명한다.
즉, 본 발명자들은, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 검증을 위해 다양한 물체가 존재하는 소나 영상을 입력 영상으로 사용하여 실험을 수행하였다.
여기서, 이하에 설명하는 실험결과에 제시된 소나 영상은 한국해양과학기술원 선박 해양 플랜트 연구소 내에 있는 해양장비 시험용 수조에서 얻은 영상이다.
먼저, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 올바른 대상체 모델을 생성하는지를 확인하기 위한 실험결과에 대하여 설명한다.
즉, 본 발명자들은, 후보 선택을 위한 대상체 모델 정보 획득시 대상체의 올바른 모델 정보가 생성되었는지 확인하기 위해 실험을 수행하였으며, 실험의 형태는 동일하나 크기가 다른 인공 표식물 두 개를 동시에 촬영하여 찾고자 하는 대상체의 크기를 입력하면 올바르게 검출되는지 확인하였다.
더 상세하게는, 도 6을 참조하면, 도 6은 대상체 모델의 크기에 따라 실제 영상에서 대상물이 적절하게 일치하는지를 검증한 결과를 나타내는 도면이다.
도 6에 있어서, 본 실시에의 대상체 모델 정보 확인실험에 사용된 인공 표식물은, 지름이 22cm인 인공 표식물과 40cm인 인공표식물의 영상을 각각 나타내고 있다.
또한, 도 6에 있어서, 좌측 영상은 지름 22cm인 인공 표식물에 대한 대상체 모델을 생성하여 적용한 것으로 이에 해당한 왼쪽의 표식만을 찾은 결과이며, 우측 영상은 지름 40cm인 표식물 모델을 적용한 것으로, 이때는 이에 해당한 오른쪽 물체만을 찾은 결과를 보여 주는 실험 결과로서, 즉, 모델의 크기에 따라 구분하여 표식을 인식하는 것으로 볼 수 있다.
다음으로, 도 7을 참조하면, 도 7은 다중 후보 선택실험 결과를 나타내는 도면이다.
즉, 본 발명자들은, 본 발명에 따른 다중 후보 선택 방법의 성능을 검증하기 위해, 도 7에 나타낸 바와 같이 다양한 형태의 물체가 존재하는 환경에서 관심 후보를 검출하였으며, 또한, 관심 후보를 필터링하여 적절한 최종 후보의 선택이 진행되는지를 실험을 통해 확인하였다.
더 상세하게는, 먼저, 도 7a를 참조하면, 도 7a는 최초 소나로부터 들어오는 원본 영상을 나타내는 도면이고, 이러한 영상에 전처리과정을 거친 후 외곽선을 추출하면 도 7b와 같은 외곽선 영상을 얻을 수 있다.
계속해서, 외곽선 영상과 대상체 모델을 허프 변환(hough circle transform) 기법을 이용하여 도 7c에 나타낸 바와 같은 유사도 영상을 얻으며, 이 중에서 유사도 값이 위치가 큰 지점의 후보를 5개까지 선택하여 관심 후보로 선정한다.
또한, 관심 후보는 도 7d에 나타낸 바와 같이 실제 표식물(#1, #2, #3) 뿐만 아니라 그와 유사한 후보(#4, #5)까지 선택된 것을 확인할 수 있으며, 특히, #5는 정사각형의 형태를 가지나 원과의 유사도를 확인한 결과 선정기준에 적합하여 관심 후보로 선택되었다.
즉, 관심후보 선택 과정을 통해 실제 대상체 뿐만 아니라 그와 유사한 다른 형태까지도 우선적으로 고려할 수 있도록 후보를 선정한다.
아울러, 도 7e 및 도 7f는 확률 필터 과정 및 그 결과를 각각 나타내는 도면이며, 도 7e의 영상을 참조하면, 주변 색보다 밝은 흰색 점이 보이는데, 이는 파티클이 이동된 결과를 나타낸다.
이때, 동일한 관심 후보에 뿌려진 파티클은 하나의 그룹을 형성하고 평균 위치 또는 삭제 유무를 평가받으며, 즉, 앞서 관심 후보로 선택된 도 7d의 #3, #4, #5는 확률 필터 과정을 통해 사라진 것을 도 7f에서 확인할 수 있다.
여기서, 도 7d의 #3은 실제 대상체이며, 관심 후보로 선택되었으나, 확률 필터링 과정에서 삭제되어 최종 후보로 선택되지 못하였다.
다음으로, 도 8을 참조하여, 다중 물체 검출실험 결과에 대하여 설명한다.
즉, 도 8을 참조하면, 도 8은 다중 물체 검출실험 결과를 나타내는 도면이며, 여기서, 각 물체의 가운데 점은 추적단계에서 물체가 잘 추적되고 있음을 나타낸다.
더 상세하게는, 본 발명자들은 상기한 바와 같은 본 발명의 실시예에 따른 방법을 이용하여 동일한 영상에서 여러 후보 및 대상체가 존재할 때 검출 및 추적이 동시에 가능한지 실험을 통해 확인하였으며, 도 8은 이러한 실험 결과를 나타내는 것이다.
도 8에 나타낸 바와 같이, 상기한 다중 후보 선택실험에서는 I.D #3의 인공 표식물이 제대로 검출되지 못하였으나, 본 실험에서는 올바르게 검출된 것을 확인할 수 있다.
아울러, 추적이 이루어지는 지점의 위치가 I.D #1, #2, #3의 정중앙을 정확히 가리키고 있는 것을 확인할 수 있으며, 이는 추적이 잘 이루어지고 있음을 의미한다.
즉, 어떠한 방법을 사용하던지 인식 과정에서 인식이 잘 되는 경우와 잘 안 되는 경우가 발생할 수 있고, 또는 잘못 인식하는 경우도 발생할 수 있으나, 상기한 바와 같은 본 발명의 방법에 따르면, 연속적으로 입력되는 영상에 대하여 실시간으로 영상처리가 이루어지므로 확률적으로 인식이 될 수밖에 없는 구조를 가지는 것이며, 이는, 일반적으로 복잡한 환경에서 인간이 물체를 인식하는 과정과도 유사한 것이다.
따라서 상기한 바와 같이 하여 본 발명에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 구현할 수 있다.
또한, 상기한 바와 같이 하여 본 발명에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 구현하는 것에 의해, 본 발명에 따르면, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 제공됨으로써, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하여 다양한 형태가 존재하는 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇을 제공할 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.

Claims (11)

  1. 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 있어서,
    입력되는 소나 영상 내에서 찾고자 하는 대상체와 유사도가 높은 물체를 모두 관심후보로 선택하는 관심후보 선택단계;
    상기 유사도 기반 관심후보 선택단계에서 선택된 각각의 상기 관심후보에 대하여 각 후보가 이후의 영상에서 계속하여 나타나는지를 의미하는 연속성 및 잡음 여부를 평가하여 최종후보를 선택하는 최종후보 선택단계;
    상기 최종후보 선택단계에서 선정된 각각의 최종후보를 중심으로 미리 정해진 일정 범위에 대하여 설정되는 관심영역에 대하여 각각 복수의 인식 알고리즘을 적용하는 지역영상 처리과정을 수행하여 영상 내의 물체를 인식하는 인식단계; 및
    상기 인식단계에서 인식된 물체에 대하여 각각 복수의 추적 알고리즘을 적용하여 상기 소나의 움직임이나 상기 물체의 움직임을 추적하는 추적단계를 포함하여 구성되며,
    영상 전체에 대하여 영상처리를 반복 수행할 필요 없이 각각의 상기 최종후보들을 중심으로 일정 범위에 대하여만 영상처리가 수행됨으로써, 처리용량 감소 및 처리속도 증가가 가능하여 복수의 알고리즘을 적용하더라도 연속적으로 진행되는 상기 소나 영상에 대하여 실시간으로 영상처리가 가능한 동시에, 실시간으로 영상처리된 상기 소나 영상을 통하여 상기 수중물체의 인식 및 식별의 용이성을 높일 수 있도록 구성되며,
    복수의 인식 알고리즘 및 복수의 추적 알고리즘을 동시에 적용하고 각각의 결과를 종합하여 상기 수중물체에 대한 인식 및 추적이 이루어짐으로써, 상기 수중물체에 대한 인식 및 추적의 정확성 및 강인성을 높일 수 있는 동시에, 단일의 방법만을 적용하였을 경우 특정한 경우에는 인식이 잘 되고 다른 특정한 경우에는 인식이 잘 안 되는 경우가 발생하는 불확실성을 개선하여 항상 정확한 결과를 얻을 수 있도록 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  2. 제 1항에 있어서,
    상기 관심후보 선택단계는,
    입력 영상과 상기 대상체 사이의 유사도를 비교하여 유사도 영상을 구하는 단계; 및
    상기 유사도 영상으로부터 상기 대상체일 가능성이 있는 것으로 여겨지는 후보를 모두 관심후보로 선택하는 단계를 포함하여 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  3. 제 2항에 있어서,
    상기 유사도 영상을 구하는 단계는,
    이하의 수학식을 이용하여, 상기 대상체의 외부 외곽선 실측정보를 소나 영상평면의 (x,y) 픽셀 정보로 변환하는 것에 의해 상기 대상체의 크기를 상기 소나 영상에서 상기 대상체가 위치한 거리와 각도에 따라 변형하는 단계; 및

    Figure pat00008

    Figure pat00009


    (여기서, xdistort, ydistort는 각각 피치각(pitch angle)에 대하여 왜곡된 외곽선(distorted outline)이고, xreal, yreal은 각각 X축 및 Y축에서 표식물의 외곽선(outline)이며, ximg, yimg는 각각 영상 평면(image plane)에서 픽셀 단위로 추정된 외곽선(estimated outline)임)

    허프 변환(hough circle transform)을 이용하여, 입력 영상의 각 위치에 상기 대상체가 존재할 확률을 밝기값으로 나타낸 유사도 영상을 구하는 단계를 포함하여 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  4. 제 2항에 있어서,
    상기 선택하는 단계는,
    상기 유사도 영상에 근거하여 밝기값이 높은 점 또는 지역을 차례로 상기 관심후보로서 선택하는 단계를 포함하여 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  5. 제 1항에 있어서,
    상기 최종후보 선택단계는,
    파티클 필터를 이용한 확률 기반 필터링을 통하여 상기 관심후보 선택단계에서 선택된 상기 관심후보들 중 잡음이나 잘못 인식된 후보들을 제외하고, 나머지 후보들을 상기 최종후보로서 선택하도록 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  6. 제 5항에 있어서,
    상기 최종후보 선택단계는,
    모든 입자 그룹에 대하여, 각각의 입자 그룹이 미리 정해진 특정한 지표값을 만족하는 지에 대한 지표평가 및 입자 그룹간 동일 대상체의 중복 검출 유무에 대한 평가를 포함하는 평가조건에 의해 잡음 및 사라진 후보 여부를 판단하고, 상기 평가조건을 모두 만족하는 입자 그룹을 최종 후보로서 선택하도록 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  7. 제 1항에 있어서,
    상기 인식단계는,
    각각의 상기 최종후보 중에서 찾고자 하는 물체가 어떤 것인지를 판별하기 위해, 상기 최종후보 선택단계에서 선정된 각각의 상기 최종후보를 중심으로 설정되는 상기 관심영역에 대하여 각각 복수의 인식 알고리즘을 적용하여 각각의 결과를 구하고,
    각각의 상기 알고리즘에 의한 결과에 대하여 상수 가중치를 적용하거나, 학습에 의하여 변경 가능한 적응 가중치를 적용한 후, 각각의 결과를 통합하여 최종 판단을 도출하도록 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  8. 제 7항에 있어서,
    상기 인식단계는,
    상기 인식 알고리즘 중 하나로서, 형태를 면적에 근거하여 판단하는 형태행렬 인식(shape matrix identification) 방법을 적용하도록 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  9. 제 8항에 있어서,
    상기 형태행렬 인식방법은,
    이미 알고 있는 형태행렬 A와 상기 최종후보 선택단계에서 구해진 형태행렬 B 사이의 매칭 함수(matching function)를 이용하도록 구성되며,
    상기 매칭함수는, 이하의 수학식으로 나타내지는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.

    Figure pat00010

  10. 제 1항에 있어서,
    상기 추적단계는,
    상기 물체인식단계에서 인식된 각각의 물체에 대하여 평균-이동 추적(mean-shift tracking) 및 확률기반 알고리즘을 포함하는 복수의 추적 알고리즘을 복합적으로 적용하고 각각의 알고리즘으로부터 얻어진 결과를 종합하여 영상 내의 물체를 추적하도록 구성됨으로써, 추적의 정확성 및 강인성을 높이고, 실시간 영상처리를 통해 정확하고 정밀한 추적이 가능하도록 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법.
  11. 수중에서 자율적인 행동이 가능하도록 구성되는 자율형 수중 로봇에 있어서,
    청구항 1항 내지 10항 중 어느 한 항에 기재된 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 자연물이나 수중에 미리 설치된 인공 표식물을 수중 영상 소나를 통해 식별함으로써 현재 위치 파악 및 이동경로의 결정이 가능하도록 구성되는 것을 특징으로 하는 자율형 수중 로봇.
KR1020130141914A 2013-11-21 2013-11-21 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법 KR101527876B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130141914A KR101527876B1 (ko) 2013-11-21 2013-11-21 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130141914A KR101527876B1 (ko) 2013-11-21 2013-11-21 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법

Publications (2)

Publication Number Publication Date
KR20150059191A true KR20150059191A (ko) 2015-06-01
KR101527876B1 KR101527876B1 (ko) 2015-06-11

Family

ID=53490326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130141914A KR101527876B1 (ko) 2013-11-21 2013-11-21 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법

Country Status (1)

Country Link
KR (1) KR101527876B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102644A (zh) * 2017-06-22 2017-08-29 华南师范大学 基于深度强化学习的水下机器人轨迹控制方法及控制系统
KR20180053091A (ko) * 2016-11-11 2018-05-21 인천대학교 산학협력단 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치
KR101875530B1 (ko) * 2017-04-27 2018-08-02 한국해양과학기술원 해양구조물 및 선박의 모형 시험 영상 처리 및 모니터링 시스템
CN108761467A (zh) * 2018-05-25 2018-11-06 淮阴师范学院 一种基于前视声纳的三维水下地图构建方法
KR20190061308A (ko) * 2017-11-27 2019-06-05 한국해양과학기술원 수중 소나 및 광학 센서 겸용 인공 표식 제조 장치 및 방법
KR20190092869A (ko) * 2018-01-31 2019-08-08 한양대학교 에리카산학협력단 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램
KR102054153B1 (ko) 2019-07-11 2019-12-12 가온플랫폼 주식회사 딥러닝 기반 잠수함 소나 음파데이터와 잠망경 영상데이터와의 융합을 통한 인공지능 자동식별시스템
KR102321585B1 (ko) * 2020-06-18 2021-11-03 동의대학교 산학협력단 소나 시스템을 이용하여 어군을 탐지하기 위한 장치 및 방법
US11263776B2 (en) 2019-11-28 2022-03-01 Cesign Co., Ltd. Object recognition system and method using ultrasonic sensor
KR20220086940A (ko) * 2020-12-17 2022-06-24 주식회사 파인더스에이아이 하이브리드 사물 추적 시스템 및 방법
KR20220164836A (ko) 2021-06-04 2022-12-14 동명대학교산학협력단 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748074B1 (ko) * 2016-03-23 2017-06-27 국방과학연구소 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법
KR102113281B1 (ko) 2018-10-11 2020-05-20 국방과학연구소 수중 표적 식별 장치 및 방법
KR102306090B1 (ko) 2020-02-03 2021-09-29 한국로봇융합연구원 위치 추정 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP839199A0 (en) * 1999-02-01 1999-02-25 Traffic Pro Pty Ltd Object recognition & tracking system
JP2012529047A (ja) * 2009-06-01 2012-11-15 テレダイン ブルービュー インコーポレイテッド ソナー・システム
KR101305694B1 (ko) * 2011-10-20 2013-09-09 엘지이노텍 주식회사 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180053091A (ko) * 2016-11-11 2018-05-21 인천대학교 산학협력단 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치
KR101875530B1 (ko) * 2017-04-27 2018-08-02 한국해양과학기술원 해양구조물 및 선박의 모형 시험 영상 처리 및 모니터링 시스템
CN107102644A (zh) * 2017-06-22 2017-08-29 华南师范大学 基于深度强化学习的水下机器人轨迹控制方法及控制系统
CN107102644B (zh) * 2017-06-22 2019-12-10 华南师范大学 基于深度强化学习的水下机器人轨迹控制方法及控制系统
KR20190061308A (ko) * 2017-11-27 2019-06-05 한국해양과학기술원 수중 소나 및 광학 센서 겸용 인공 표식 제조 장치 및 방법
KR20190092869A (ko) * 2018-01-31 2019-08-08 한양대학교 에리카산학협력단 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램
CN108761467A (zh) * 2018-05-25 2018-11-06 淮阴师范学院 一种基于前视声纳的三维水下地图构建方法
KR102054153B1 (ko) 2019-07-11 2019-12-12 가온플랫폼 주식회사 딥러닝 기반 잠수함 소나 음파데이터와 잠망경 영상데이터와의 융합을 통한 인공지능 자동식별시스템
US11263776B2 (en) 2019-11-28 2022-03-01 Cesign Co., Ltd. Object recognition system and method using ultrasonic sensor
KR102321585B1 (ko) * 2020-06-18 2021-11-03 동의대학교 산학협력단 소나 시스템을 이용하여 어군을 탐지하기 위한 장치 및 방법
KR20220086940A (ko) * 2020-12-17 2022-06-24 주식회사 파인더스에이아이 하이브리드 사물 추적 시스템 및 방법
KR20220164836A (ko) 2021-06-04 2022-12-14 동명대학교산학협력단 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법

Also Published As

Publication number Publication date
KR101527876B1 (ko) 2015-06-11

Similar Documents

Publication Publication Date Title
KR101527876B1 (ko) 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법
US10809376B2 (en) Systems and methods for detecting objects in underwater environments
Aulinas et al. Feature extraction for underwater visual SLAM
KR101917282B1 (ko) 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치
Sung et al. Crosstalk removal in forward scan sonar image using deep learning for object detection
CN107527368B (zh) 基于二维码的三维空间姿态定位方法与装置
Pyo et al. Beam slice-based recognition method for acoustic landmark with multi-beam forward looking sonar
Ji et al. Acoustic camera-based 3D measurement of underwater objects through automated extraction and association of feature points
CN115187666A (zh) 深度学习和图像处理结合的侧扫声呐海底高程探测方法
Wang et al. Acmarker: Acoustic camera-based fiducial marker system in underwater environment
Reggiannini et al. Seafloor analysis and understanding for underwater archeology
Foresti et al. A voting-based approach for fast object recognition in underwater acoustic images
KR101772220B1 (ko) 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법
Li et al. Underwater object detection and tracking based on multi-beam sonar image processing
Bagnitckii et al. A survey of underwater areas using a group of AUVs
CN111948658A (zh) 水底地貌影像识别匹配的深水区定位方法
Neves et al. Rotation-invariant shipwreck recognition with forward-looking sonar
Ginhoux et al. Model-based object tracking using stereo vision
KR101566337B1 (ko) 수중 영상 소나에 의한 식별 및 영상처리가 용이한 인공 표식물
Spears et al. Determining underwater vehicle movement from sonar data in relatively featureless seafloor tracking missions
JP7117878B2 (ja) 処理装置、及びプログラム
Song et al. Real-time reliability evaluation of optical and acoustic images for feature-based localization of AUV
McConnell et al. Perception for Underwater Robots
Duarte et al. Multiple vessel detection in harsh maritime environments
Beaujean et al. High-resolution imaging sonar and video technologies for detection and classification of underwater munitions

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 5