KR20160005191A - Method and device for recognizing underwater object using sonar image template - Google Patents

Method and device for recognizing underwater object using sonar image template Download PDF

Info

Publication number
KR20160005191A
KR20160005191A KR1020140083195A KR20140083195A KR20160005191A KR 20160005191 A KR20160005191 A KR 20160005191A KR 1020140083195 A KR1020140083195 A KR 1020140083195A KR 20140083195 A KR20140083195 A KR 20140083195A KR 20160005191 A KR20160005191 A KR 20160005191A
Authority
KR
South Korea
Prior art keywords
sonar
image
candidate
sonar image
candidate object
Prior art date
Application number
KR1020140083195A
Other languages
Korean (ko)
Other versions
KR101590257B1 (en
Inventor
유선철
조현우
조한길
구정회
표주현
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020140083195A priority Critical patent/KR101590257B1/en
Publication of KR20160005191A publication Critical patent/KR20160005191A/en
Application granted granted Critical
Publication of KR101590257B1 publication Critical patent/KR101590257B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52046—Techniques for image enhancement involving transmitter or receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Image Analysis (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Provided are a method and an apparatus for recognizing an underwater object using a sonar image template. According to an embodiment of the present invention, the method for recognizing an underwater object using a sonar image template comprises the following steps of: searching for a candidate object while moving on the underwater floor; moving the candidate object to a predetermined position when the candidate object has been searched; obtaining a sonar image of the candidate object in the predetermined position, and computing a coefficient of correlation between the obtained sonar image and a simulated sonar image template for plural objects to draw a candidate; and obtaining sonar images by rotating at a predetermined angle with respect to the candidate object, and computing a coefficient of correlation between the obtained sonar images by angle and a sonar image template map including simulated sonar images by angle of the plural objects to determine the candidate object as a target object when the coefficient of correlation is greater than or equal to a first threshold value.

Description

소나 이미지 템플릿을 이용한 수중 물체 인식 방법 및 장치{Method and device for recognizing underwater object using sonar image template} TECHNICAL FIELD The present invention relates to a method and apparatus for recognizing an underwater object using a sonar image template,

본 발명은 소나 이미지 템플릿을 이용한 수중 물체 인식 방법 및 장치에 관한 것으로, 특히, 다수의 물체에 대하여 소나 이미지 예측 시뮬레이터에 의해 제작된 소나 이미지 템플릿을 이용하여 수중 물체 인식 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for recognizing an underwater object using a sonar image template, and more particularly, to a method and apparatus for underwater object recognition using a sonar image template produced by a sonar image prediction simulator for a plurality of objects.

최근, 수중 구조체들의 안전 검사와 같은 천해(shallow water)에서의 작업의 필요가 급격하게 증가하면서, 수중 로봇이 위험한 수중 작업을 자동화하기 위해 중요한 역할을 해왔다. 이러한 수중 로봇의 동작은 관심 대상물을 검출하고 탐색하기 위한 센서 시스템이 필요하다. In recent years, underwater robots have played an important role in automating hazardous underwater operations, as the need for work in shallow water, such as safety inspection of underwater structures, has increased dramatically. The operation of such an underwater robot requires a sensor system for detecting and searching for an object of interest.

일반적으로, 수중 작업을 위해서 수중 환경을 관찰할 때, 광학 카메라 대신 이미징 소나가 사용된다. 이미징 소나는 초음파를 이용하여 수중 환경을 관찰하기 때문에, 물의 탁도에 영향을 받지 않아 유용하다. 그러나, 이미징 소나에 의해 획득된 소나 이미지는 광학 이미지와 상이한 원리로 획득되며, 따라서 대상 물체의 인식이 용이하지 않기 때문에, 수중 작업을 위해서는 수중 물체의 인식을 위한 방법이 요구되고 있다. Generally, when observing the underwater environment for underwater operation, an imaging sonar is used instead of an optical camera. The imaging sonar is useful because it observes the underwater environment using ultrasonic waves and is not affected by the water turbidity. However, since the sonar image acquired by the imaging sonar is acquired on a different principle from the optical image, and therefore the recognition of the target object is not easy, a method for recognizing an underwater object is required for underwater work.

본 발명의 일 실시예는 소나 이미지 예측 시뮬레이터에 의해 제작된 소나 이미지 템플릿을 이용하여 수중에서 탐색된 수중 물체를 인식할 있는 소나 이미지 템플릿을 이용한 수중 물체 인식 방법 및 장치를 제공하고자 한다. An embodiment of the present invention is to provide an underwater object recognition method and apparatus using a sonar image template for recognizing an underwater object that is searched in the water using a sonar image template produced by a sonar image prediction simulator.

본 발명의 일 측면에 따르면, 수중의 바닥을 이동하면서 후보 물체를 탐색하는 단계; 상기 후보 물체가 탐색되면, 상기 후보 물체에 대하여 사전 설정된 위치로 이동하는 단계; 상기 사전 설정된 위치에서 상기 후보 물체에 대한 소나 이미지를 획득하고, 상기 획득된 소나 이미지와 다수의 물체에 대하여 시뮬레이션된 소나 이미지 템플릿과의 상관 계수를 연산하여 후보군을 도출하는 단계; 및 상기 후보 물체를 중심으로 일정 각도로 회전하면서 소나 이미지를 획득하고, 상기 획득된 각도별 소나 이미지와 상기 다수의 물체에 대하여 각도별로 시뮬레이션된 소나 이미지를 포함하는 소나 이미지 템플릿 맵과의 상관 계수를 연산하여 제 1 임계값 이상인 경우 대상 물체로 판정하는 단계를 포함하는 소나 이미지 템플릿을 이용한 수중 물체 인식 방법이 제공된다. According to an aspect of the present invention, there is provided a method of searching for a candidate object, Moving to a predetermined position with respect to the candidate object when the candidate object is searched; Acquiring a sonar image for the candidate object at the predetermined position, calculating a correlation coefficient between the obtained sonar image and a simulated sonar image template for a plurality of objects to derive a candidate group; And a correlation coefficient between the obtained sonar image at each angle and the sonar image template map including the sonar image at each angle with respect to the plurality of objects is obtained by obtaining the sonar image while rotating at a predetermined angle around the candidate object And determining the object as an object if the calculated value is equal to or greater than the first threshold value.

이 때, 상기 이동하는 단계는 상기 획득된 소나 이미지에서 상기 후보 물체가 중앙에 위치하도록 이동할 수 있다.At this time, the moving step may move the candidate object in a center position in the obtained sonar image.

이 때, 상기 이동하는 단계는 상기 후보 물체와 이미징 소나 사이의 거리, 상기 이미징 소나의 높이, 상기 이미징 소나의 틸트 각도가 상기 사전 설정된 값이 되도록 이동할 수 있다.At this time, the moving step may move the distance between the candidate object and the imaging sonar, the height of the imaging sonar, and the tilt angle of the imaging sonar to be the predetermined values.

이 때, 상기 후보군을 도출하는 단계는, 상기 획득된 소나 이미지에서 상기 후보 물체의 이미지를 추출하는 단계; 상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 상관 계수를 연산하는 제 1 연산 단계; 및 상기 연산된 상관 계수가 제 2 임계값 이상이면 후보로 도출하는 단계를 포함할 수 있다.In this case, the step of deriving the candidate group may include extracting an image of the candidate object from the obtained sonar image; A first calculation step of calculating a correlation coefficient between the image of the extracted candidate object and the sonar image template; And deriving a candidate if the computed correlation coefficient is equal to or greater than a second threshold value.

이 때, 상기 후보군을 도출하는 단계는 상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 모든 이미지에 대하여 반복적으로 후보를 도출할 수 있다.In this case, the step of deriving the candidate group may repeatedly derive candidates for the image of the extracted candidate object and all the images of the sonar image template.

이 때, 상기 추출하는 단계는 상기 후보 물체의 그림자 부분을 추출할 수 있다.In this case, the extracting step may extract a shadow part of the candidate object.

이 때, 상기 제 1 연산 단계는 상기 추출된 그림자의 넓이, 종횡비(aspect ratio) 및 전체 모양에 기반하여 상기 상관 계수를 연산할 수 있다.In this case, the first computing step may calculate the correlation coefficient based on the width, the aspect ratio, and the overall shape of the extracted shadow.

이 때, 상기 시뮬레이션된 소나 이미지 템플릿은 상기 다수의 후보 물체들에 대한 캐드 파일을 기초로 사전 시뮬레이션된 것일 수 있다. At this time, the simulated sonar image template may be pre-simulated based on the CAD file for the plurality of candidate objects.

이 때, 상기 판정하는 단계는, 상기 후보 물체를 중심으로 일정 각도로 회전하면서 소나 이미지를 획득하는 단계; 상기 각도별로 획득된 소나 이미지에서 후보 물체를 추출하는 단계; 상기 추출된 각도별 후보 물체의 이미지와 상기 소나 이미지 템플릿 맵의 상관 계수를 연산하는 제 2 연산 단계; 상기 연산된 상관 계수가 제 3 임계값 이상이면 해당 템플릿을 체크하는 단계; 및 상기 체크 결과에 따라 대상을 결정하는 단계를 포함할 수 있다.At this time, the determining step may include: obtaining a sonar image while rotating at a predetermined angle around the candidate object; Extracting a candidate object from the sonar image acquired for each angle; A second calculation step of calculating a correlation coefficient between the extracted image of the candidate object by angle and the sonar image template map; Checking the corresponding template if the computed correlation coefficient is equal to or greater than a third threshold value; And determining an object according to the check result.

이 때, 상기 제 1 임계값은 상기 제 3 임계값 이상이라고 체크된 템플릿의 개수일 수 있다. In this case, the first threshold value may be the number of templates that are checked to be equal to or greater than the third threshold value.

이 때, 상기 추출하는 단계는 상기 각도별 후보 물체의 그림자 부분을 추출할 수 있다.At this time, the extracting step may extract a shadow part of the candidate object by angle.

이 때, 상기 획득하는 단계는 이미징 소나와 상기 후보 물체 사이의 사전 설정을 유지하면서 상기 후보 물체를 중심으로 360도 회전하며 획득된 것일 수 있다. At this time, the acquiring step may be obtained by rotating 360 degrees around the candidate object while maintaining the preset between the imaging sonar and the candidate object.

이 때, 상기 판정하는 단계는 상기 제 2 연산 단계 이전에, 상기 도출된 후보군에 대하여 각도별로 시뮬레이션된 소나 이미지들을 하나의 소나 이미지 템플릿 맵으로 구성하는 단계를 더 포함할 수 있다.In this case, the determining step may further include, before the second calculation step, constructing the sonar images simulated for each angle with respect to the derived candidate group into one sonar or image template map.

이 때, 상기 대상을 결정하는 단계는 상기 상관 계수 중 최고 값이 상기 소나 이미지 템플릿 맵에서 일정 방향으로 움직이는 것으로 나타날 경우 대상 물체로 결정할 수 있다.In this case, when the maximum value of the correlation coefficients indicates a certain direction in the sonar image template map, the step of determining the object may be determined as an object.

본 발명의 다른 측면에 따르면, 상기의 방법들을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 기록 매체가 제공된다. According to another aspect of the present invention, there is provided a computer-readable recording medium storing a computer program for executing the above methods.

본 발명의 또 다른 측면에 따르면, 이미징 소나가 후보 물체에 대하여 사전 설정된 위치에 위치될 때, 상기 후보 물체의 소나 이미지를 획득하는 이미지 획득부; 상기 획득된 소나 이미지에서 상기 후보 물체의 이미지를 추출하는 물체 추출부; 다수의 물체에 대하여 시뮬레이션된 소나 이미지 템플릿이 저장되는 템플릿 저장부; 및 상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 상관 계수를 연산하여 후보군을 도출하고, 상기 후보 물체를 중심으로 일정 각도로 회전하면서 획득된 소나 이미지에서 추출된 후보 물체의 이미지와, 상기 다수의 물체에 대하여 각도별로 시뮬레이션된 소나 이미지를 포함하는 소나 아미지 템플릿 맵과의 상관 계수를 연산하여 제 1 임계값 이상인 경우 대상 물체로 판정하는 대상 인식부를 포함하는 소나 이미지 템플릿을 이용한 수중 물체 인식 장치가 제공된다. According to another aspect of the present invention, there is provided an image processing apparatus comprising: an image obtaining unit that obtains a sonar image of a candidate object when the imaging sonar is located at a predetermined position with respect to a candidate object; An object extracting unit extracting an image of the candidate object from the obtained sonar image; A template storage unit for storing a simulated sonar image template for a plurality of objects; And calculating a correlation coefficient between the extracted candidate image and the sonar image template to derive a candidate group, calculating an image of the candidate object extracted from the sonar image obtained while rotating at a predetermined angle about the candidate object, And an object recognition unit for calculating a correlation coefficient between the object image and a sonarage template map including a sonar image simulated by an angle with respect to an object of the object, Is provided.

이 때, 상기 이미지 획득부는 상기 후보 물체가 중앙에 위치하도록 한 상태에서 소나 이미지를 획득할 수 있다.At this time, the image obtaining unit may obtain the sonar image in a state in which the candidate object is positioned at the center.

이 때, 상기 이미지 획득부는, 상기 후보 물체와 상기 이미징 소나 사이의 거리, 상기 이미징 소나의 높이, 상기 이미징 소나의 틸트 각도가 사전 설정된 값을 갖도록 조종될 경우, 소나 이미지를 획득할 수 있다.In this case, the image obtaining unit may obtain a sonar image when the distance between the candidate object and the imaging sonar, the height of the imaging sonar, and the tilt angle of the imaging sonar are controlled to have predetermined values.

이 때, 상기 대상 인식부는 상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 상관 계수를 연산하여 제 2 임계값 이상이면 후보로 도출할 수 있다.At this time, the object recognizing unit may calculate a correlation coefficient between the image of the extracted candidate object and the sonar image template, and may derive a candidate if the correlation is greater than or equal to the second threshold value.

이 때, 상기 대상 인식부는 상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 모든 이미지에 대하여 반복적으로 후보를 도출할 수 있다.At this time, the object recognition unit can repeatedly derive candidates for the image of the extracted candidate object and all images of the sonar image template.

이 때, 상기 물체 추출부는 상기 후보 물체 및 상기 각도별 후보 물체의 그림자 부분을 추출할 수 있다.At this time, the object extracting unit may extract shadow portions of the candidate object and the candidate object by angle.

이 때, 상기 대상 인식부는 상기 추출된 그림자의 넓이, 종횡비 및 전체 모양에 기반하여 상기 상관 계수를 연산할 수 있다.At this time, the object recognition unit may calculate the correlation coefficient based on the width, the aspect ratio, and the overall shape of the extracted shadow.

이 때, 상기 시뮬레이션된 소나 이미지 템플릿은 상기 다수의 물체들에 대한 캐드 파일을 기초로 사전 시뮬레이션된 것일 수 있다. At this time, the simulated sonar image template may be one that has been pre-simulated based on the CAD file for the plurality of objects.

이 때, 상기 대상 인식부는 상기 추출된 각도별 후보 물체의 이미지와 상기 소나 아미지 템플릿 맵의 상관 계수를 연산하여 제 3 임계값 이상이면 해당 템플릿을 체크하여 체크 결과에 따라 대상을 결정할 수 있다.At this time, the object recognition unit calculates a correlation coefficient between the image of the candidate object by angle extracted and the sonarage template map, and if it is equal to or higher than the third threshold value, it can check the template and determine the object according to the check result.

이 때, 상기 제 1 임계값은 상기 제 3 임계값 이상이라고 체크된 템플릿의 개수일 수 있다. In this case, the first threshold value may be the number of templates that are checked to be equal to or greater than the third threshold value.

이 때, 상기 각도별 물체의 이미지는 상기 이미징 소나와 상기 후보 물체 사이의 사전 설정을 유지하면서 상기 후보 물체를 중심으로 360도 회전하여 획득될 수 있다.At this time, the image of the object by angle can be obtained by rotating 360 degrees about the candidate object while maintaining the preset between the imaging sonar and the candidate object.

이 때, 상기 대상 인식부는 상기 도출된 후보군에 대하여 각도별로 시뮬레이션된 소나 이미지들을 하나의 소나 이미지 템플릿 맵으로 구성할 수 있다.At this time, the object recognizing unit may configure the sonar images simulated for each angle with respect to the derived candidate group as one sonar or image template map.

이 때, 상기 대상 인식부는 상기 각도별 후보 물체의 이미지와 상기 소나 이미지 템플릿 맵과의 상관 계수 중 최고 값이 소나 이미지 템플릿 맵에서 일정 방향으로 움직이는 것으로 나타날 경우 대상 물체로 결정할 수 있다. At this time, the object recognizing unit can determine the object as the object when the maximum value of the correlation coefficient between the image of the candidate object by angle and the sonar image template map appears to move in a certain direction in the image or the image template map.

본 발명의 일 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 장치 및 방법은 사전에 소나 이미지 예측 시뮬레이터에 의해 제작된 소나 이미지 템플릿을 이용함으로써 소나 이미지만으로 인식하기 곤란한 수중 물체를 정확하고 신속하게 인식할 수 있다. An apparatus and method for recognizing an underwater object using a sonar image template according to an embodiment of the present invention can accurately and quickly recognize an underwater object that is difficult to recognize with only a sonar image by using a sonar image template produced by a sonar image prediction simulator in advance can do.

도 1은 본 발명의 일 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 장치의 개략적 블록도이다.
도 2는 도 1의 후보 물체 발견시 동작을 설명하기 위한 개략도이다.
도 3은 도 1의 물체 추출부의 동작을 설명하기 위한 도면이다.
도 4는 도 1의 물체 추출부의 동작을 설명하기 위한 도면이다.
도 5는 소나 이미지 템플릿의 예를 도시한다.
도 6은 상이한 각도에 대한 소나 이미지 템플릿의 예를 도시한다.
도 7은 대상 물체에 대하여 각도별 이미지를 획득하는 동작을 설명하기 위한 개략도이다.
도 8은 소나 이미지의 각도별 템플릿의 예를 도시한다.
도 9는 후보 물체와 템플릿 맵의 상관 계수를 산출하는 동작을 설명하기 위한 개략도이다.
도 10은 도 9에 따라 대상을 판정하는 예를 도시한다.
도 11은 본 발명의 일 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 방법의 순서도이다.
도 12는 도 11의 후보군 도출에 대한 세부 방법의 순서도이다.
도 13은 도 11의 대상 판정에 대한 세부 방법의 순서도이다. 1 is a schematic block diagram of an underwater object recognition apparatus using a sonar image template according to an embodiment of the present invention.
Fig. 2 is a schematic diagram for explaining the operation when the candidate object is found in Fig. 1. Fig.
FIG. 3 is a view for explaining the operation of the object extracting unit of FIG. 1;
FIG. 4 is a diagram for explaining the operation of the object extracting unit of FIG. 1;
Figure 5 shows an example of a sonar image template.
Figure 6 shows an example of a sonar image template for different angles.
7 is a schematic diagram for explaining an operation of acquiring an angle-specific image with respect to a target object.
Fig. 8 shows an example of an angle-specific template of a sonar image.
9 is a schematic diagram for explaining an operation of calculating a correlation coefficient between a candidate object and a template map.
Fig. 10 shows an example of determining an object in accordance with Fig.
11 is a flowchart of an underwater object recognition method using a sonar image template according to an embodiment of the present invention.
12 is a flowchart of the detailed method for deriving the candidate group of FIG.
13 is a flowchart of the detailed method for the object determination in Fig.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.

도 1은 본 발명의 일 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 장치의 개략적 블록도이고, 도 2는 도 1의 후보 물체 발견시 동작을 설명하기 위한 개략도이다. 이하에서는 도면을 참조하여 본 발명의 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 장치를 보다 상세히 설명하도록 한다. FIG. 1 is a schematic block diagram of an underwater object recognition apparatus using a sonar image template according to an embodiment of the present invention, and FIG. 2 is a schematic diagram for explaining an operation when a candidate object is found in FIG. Hereinafter, an underwater object recognition apparatus using a sonar image template according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1을 참조하면, 본 발명의 일 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 장치(100)는 이미지 획득부(110), 물체 추출부(120), 템플릿 저장부(130), 및 대상 인식부(140)를 포함한다. 1, an underwater object recognition apparatus 100 using a sonar image template according to an embodiment of the present invention includes an image acquisition unit 110, an object extraction unit 120, a template storage unit 130, And a recognition unit 140.

이러한 수중 물체 인식 장치(100)는 수중을 탐사하기 위한 수중 로봇(200)에 장착되며, 수중 로봇(200)은 제어부(210) 및 구동부(220)를 포함할 수 있다. 이때, 제어부(210)는 수중 로봇(200)이 수중 탐사를 하도록 제어하며, 구동부(220)는 수중 탐사를 위한 이동 및 수중 물체 인식 장치(100)의 자세 변환 등을 구동할 수 있다. The underwater object recognizing apparatus 100 is mounted on an underwater robot 200 for exploring underwater and the underwater robot 200 may include a control unit 210 and a drive unit 220. At this time, the control unit 210 controls the underwater robot 200 to perform an underwater survey, and the drive unit 220 can drive the movement for underwater survey and the posture change of the underwater object recognition apparatus 100, and the like.

이미지 획득부(110)는 이미징 소나가 후보 물체에 대하여 사전 설정된 위치에 위치될 때, 상기 후보 물체의 소나 이미지를 획득할 수 있다. 이 때, 이미지 획득부(110)는 후보 물체가 중앙에 위치하도록 한 상태에서 소나 이미지를 획득할 수 있고, 예를 들면, 후보 물체와 이미징 소나 사이의 거리, 상기 이미징 소나의 높이, 상기 이미징 소나의 틸트 각도가 사전 설정된 값을 갖도록 조종될 경우, 소나 이미지를 획득할 수 있다. 여기서, 이미지 소나는 수중 물체 인식 장치(100)를 포함할 수 있고, 수중 로봇(200)에 장착될 수 있다. 또한, 수중 로봇(200)은 수중 바닥을 이동하면서 후보 물체를 탐색하고, 후보 물체가 탐색되면, 후보 물체에 대하여 사전 설정된 위치로 이동할 수 있다. 이 때, 수중 로봇(200)은 후보 물체와의 거리, 바닥으로부터의 높이 및 이미징 소나의 틸트 각도가 사전 설정된 값이 되도록 제어할 수 있다. 예를 들면, 도 2에 도시된 바와 같이, 수중 로봇(200)은 바닥으로부터 3m 높이에서, 대상 물체와 5m의 직선 거리에 위치하며, 이미징 소나가 45도로 물체를 지향하도록 사전 설정될 수 있다. The image acquiring unit 110 may acquire a sonar image of the candidate object when the imaging sonar is located at a predetermined position with respect to the candidate object. At this time, the image obtaining unit 110 may obtain a sonar image in a state in which the candidate object is positioned at the center, and may calculate the distance between the candidate object and the imaging sonar, the height of the imaging sonar, When the tilt angle of the tilt angle is controlled to have a predetermined value, the sonar image can be obtained. Here, the image sonar may include the underwater object recognition apparatus 100 and may be mounted on the underwater robot 200. Further, the underwater robot 200 searches for a candidate object while moving underwater, and when the candidate object is searched, it can move to a predetermined position with respect to the candidate object. At this time, the underwater robot 200 can control the distance from the candidate object, the height from the floor, and the tilt angle of the imaging sonar to a predetermined value. For example, as shown in Fig. 2, the underwater robot 200 can be preset at a height of 3 m from the bottom, at a linear distance of 5 m from the object, and the imaging sonar is aimed at an object at 45 degrees.

물체 추출부(120)는 이미지 획득부(110)에서 획득된 소나 이미지에서 탐색된 후보 물체의 이미지를 추출하며, 유사하게 후술하는 바와 같이, 후보 물체에 대하여 일정 각도로 회전하면서 획득된 이미지에서 후보 물체의 그림자 부분을 추출할 수 있다.The object extracting unit 120 extracts an image of the candidate object searched for in the sonar image acquired by the image obtaining unit 110, and similarly, as will be described later, The shadow part of the object can be extracted.

이하 도면을 달리하여 물체 추출부(120)에 대하여 더 상세하게 설명한다. 도 3은 도 1의 물체 추출부의 동작을 설명하기 위한 도면이고, 도 4는 도 1의 물체 추출부의 동작을 설명하기 위한 도면이다. Hereinafter, the object extracting unit 120 will be described in more detail with different drawings. FIG. 3 is a view for explaining the operation of the object extracting unit of FIG. 1, and FIG. 4 is a view for explaining the operation of the object extracting unit of FIG.

도 3에 도시된 바와 같이, 물체 추출부(120)는 이미지 획득부(110)에서 획득된 이미지로부터 대상 물체 부분만을 추출한다. 이 때, 소나 이미지는 회전 각도에 따른 상이한 형태에 기인하여 그림자를 통한 인식이 더 용이하기 때문에, 물체 추출부(120)는 후보 물체의 그림자만을 추출한다. 즉, 물체 추출부(120)는, 도 4에 도시된 바와 같이, 먼저, 획득된 소나 이미지(a)로부터 노이즈를 제거한 다음(b), 픽셀 값의 역변환을 통하여 그림자 부분(c)만을 도출할 수 있다. As shown in FIG. 3, the object extracting unit 120 extracts only the object part from the image acquired by the image acquiring unit 110. At this time, since the sonar image is more easily recognized through the shadow due to the different shape depending on the rotation angle, the object extracting unit 120 extracts only the shadow of the candidate object. That is, as shown in FIG. 4, the object extracting unit 120 first removes noise from the acquired sonar image (a), (b) then derives only the shadow portion (c) through inverse transformation of the pixel value .

예를 들면, 물체 추출부(120)는 일정 값 이상의 픽셀들만 흰색으로 변환하고, 나머지는 검정색으로 변환하여 흰색 부분만을 검출한다. 이 때, 물체 추출부(120)는 일정 넓이 이상의 영역들을 따로 분리하며, 이러한 영역들을 감싸는 최소의 사각형 형태로 분리함으로써, 물체의 그림자를 추출할 수 있다. For example, the object extracting unit 120 converts only pixels having a predetermined value or more to white, and converts the remaining pixels to black to detect only the white portion. At this time, the object extracting unit 120 extracts shadows of an object by separating regions having a predetermined width or more and dividing the regions into a minimum rectangular shape to enclose the regions.

다시 도 1을 참조하여, 템플릿 저장부(130)는 다수의 물체에 대하여 소나 이미지 예측 시뮬레이터에 의해 사전 시뮬레이션된 소나 이미지 템플릿이 저장될 수 있다. 이 때, 소나 이미지 예측 시뮬레이터에 의한 소나 이미지 템플릿은 다수의 물체들에 대한 캐드 파일을 기초로 사전 시뮬레이션된 것일 수 있다. 이러한 소나 아미지 템플릿은 하나의 대상 물체에 대하여 다수의 각도, 예를 들면, 360도의 일정 각도마다 시뮬레이션된 것일 수 있다. 이와 같이 특정 물체에 대하여 사전 시뮬레이션된 소나 이미지 템플릿을 이용함으로써, 후술하는 바와 같은 대상 물체의 인식이 용이할 수 있다. Referring again to FIG. 1, the template storage unit 130 may store a sonar image template that has been pre-simulated by a sonar image prediction simulator for a plurality of objects. At this time, the sonar image template by the sonar image prediction simulator may be pre-simulated based on the CAD file for a plurality of objects. Such a sonarage template may be simulated at a plurality of angles for one object, for example, at an angle of 360 degrees. By using the sonar image template that is pre-simulated with respect to a specific object, it is easy to recognize the object as described later.

대상 인식부(140)는 추출된 후보 물체의 이미지와, 소나 이미지 템플릿의 상관 계수를 연산하여 후보군을 도출하고, 후보 물체를 중심으로 일정 각도로 회전하면서 획득된 소나 이미지에서 추출된 후보 물체의 이미지와, 다수의 물체에 대하여 각도별로 시뮬레이션된 소나 이미지를 포함하는 소나 아미지 템플릿 맵과의 상관 계수를 연산하여 제 1 임계값 이상인 경우 대상 물체로 판정할 수 있다.The object recognition unit 140 calculates the correlation coefficient between the image of the extracted candidate object and the image template of the sonar to derive a candidate group and obtains an image of the candidate object extracted from the sonar image obtained while rotating at a predetermined angle around the candidate object And a sonarage template map including a sonar image simulated by angles with respect to a plurality of objects, and can determine a target object when the correlation coefficient is greater than a first threshold value.

이하 도면을 달리하여 대상 인식부(140)의 후보군 도출에 대하여 더 상세히 설명한다. 도 5는 소나 이미지 템플릿의 예를 도시한다. Hereinafter, the derivation of the candidate group of the object recognition unit 140 will be described in further detail with reference to the drawings. Figure 5 shows an example of a sonar image template.

대상 인식부(140)는 물체 추출부(120)로부터 추출된 후보 물체의 이미지와 소나 이미지 템플릿의 상관 계수를 연산하여 제 2 임계값 이상이면 후보로 도출하는데, 추출된 후보 물체의 이미지와 소나 이미지 템플릿의 모든 이미지에 대하여 반복적으로 후보를 도출하여 최종적으로 후보군을 형성할 수 있다. 이 때, 대상 인식부(140)는 추출된 그림자의 넓이, 종횡비 및 전체 모양에 기반하여 소나 이미지 템플릿과의 상관 계수를 연산할 수 있다. 예를 들면, 대상 인식부(140)는 도 5에 도시된 바와 같은 소나 이미지 템플릿 중에서 가장 유사한 형태를 1차적으로 후보군으로 도출할 수 있다. The object recognizing unit 140 computes a correlation coefficient between the image of the candidate object extracted from the object extracting unit 120 and the sonar image template and derives the candidate as a candidate if it is greater than or equal to the second threshold value. It is possible to repeatedly generate candidates for all the images in the template and finally form candidates. At this time, the object recognition unit 140 can calculate the correlation coefficient between the image and the sonar image template based on the width, the aspect ratio, and the overall shape of the extracted shadow. For example, the object recognizing unit 140 can derive the most similar form among the sonar image templates as shown in FIG. 5 primarily as candidates.

이하 도면을 달리하여 대상 인식부(140)의 대상 판정 동작에 대하여 더 상세히 설명한다. Hereinafter, the object determination operation of the object recognition unit 140 will be described in further detail with reference to the drawings.

도 6은 상이한 각도에 대한 소나 이미지 템플릿의 예를 도시하고, 도 7은 대상 물체에 대하여 각도별 이미지를 획득하는 동작을 설명하기 위한 개략도이며, 도 8은 소나 이미지의 각도별 템플릿의 예를 도시하고, 도 9는 후보 물체와 템플릿 맵의 상관 계수를 산출하는 동작을 설명하기 위한 개략도이고, 도 10은 도 9에 따라 대상을 판정하는 예를 도시한다. Fig. 6 shows an example of a sonar image template for different angles, Fig. 7 is a schematic diagram for explaining the operation of acquiring an angular image for a target object, Fig. 8 shows an example of an angular template of a sonar image FIG. 9 is a schematic diagram for explaining an operation of calculating a correlation coefficient between a candidate object and a template map, and FIG. 10 shows an example of determining an object according to FIG.

대상 인식부(140)는 도출된 후보군 대하여 각도별로 시뮬레이션된 소나 이미지들을 하나의 소나 이미지 템플릿 맵으로 구성할 수 있다. 도 6에 도시된 바와 같이, 시뮬레이션된 소나 이미지는 하나의 물체에 대하여 다양한 각도로 시뮬레이션된 것일 수 있다. 이 때 각도별 물체의 이미지는 이미징 소나와 후보 물체 사이의 사전 설정을 유지하면서 후보 물체를 중심으로 360도 회전하여 획득된 것일 수 있다. 즉, 도 7에 도시된 바와 같이, 수중 물체 인식 장치(100)를 장착한 수중 로봇(200)은 후보 물체 사이의 사전 설정을 유지하면서 후보 물체를 중심으로 360도 회전하도록 제어될 수 있다. 예를 들면, 소나 이미지 템플릿은 10도 간격으로 시뮬레이션 된 것일 수 있고, 이 경우, 수중 물체 인식 장치(100)는 후보 물체에 대하여 10도 간격으로 이미지를 획득할 수 있다. The object recognizing unit 140 may configure the sonar images simulated by the angles with respect to the derived candidate group as one sonar or image template map. As shown in FIG. 6, the simulated sonar image may be simulated at various angles with respect to an object. At this time, the image of the object by angle may be obtained by rotating 360 degrees around the candidate object while maintaining the preset between the imaging sonar and the candidate object. That is, as shown in FIG. 7, the underwater robot 200 equipped with the underwater object recognition apparatus 100 can be controlled to rotate 360 degrees around the candidate object while maintaining the preset between the candidate objects. For example, the sonar image template may be simulated at intervals of 10 degrees, and in this case, the underwater object recognition apparatus 100 may acquire an image at a 10-degree interval with respect to the candidate object.

또한, 대상 인식부(140)는 물체 추출부(120)로부터 추출된 각도별 후보 물체의 이미지와 소나 아미지 템플릿 맵의 상관 계수를 연산하여 제 3 임계값 이상이면 해당 템플릿을 체크하여 체크 결과에 따라 대상을 결정할 수 있다. 즉, 도 8에 도시된 바와 같이, 대상 인식부(140)는 도출된 후보군 중 하나에 대하여 일정 각도로 시뮬레이션된 소나 이미지 템플릿과의 상관 관계를 연산할 수 있다. 이 때, 도 9에 도시된 바와 같이, 대상 인식부(140)는 구성된 소나 이미지 템플릿 맵에 대하여 상관 관계를 연산하고, 연산 결과가 제 3 임계값 이상이면, 도 10에 도시된 바와 같이 체크한 후, 템플릿 맵 중에서 제 3 임계값 이상이라고 체크된 템플릿의 개수가 제 1 임계값을 이상인지에 따라 대상을 판정할 수 있다. 이 때, 대상 인식부(140)는, 수중 로봇(200)이 일정한 방향으로 회전하면 물체의 그림자 변화도 일정하기 때문에, 각도별 후보 물체의 이미지와 소나 이미지 템플릿 맵과의 상관 계수 중 최고 값이 소나 이미지 템플릿 맵에서 일정 방향으로 움직이는 것으로 나타날 경우 대상 물체로 결정할 수 있다. The object recognition unit 140 calculates the correlation coefficient between the image of the candidate object by angle extracted from the object extracting unit 120 and the sonarage template map. If the correlation coefficient is greater than or equal to the third threshold value, the object recognition unit 140 checks the template, The subject can be determined. That is, as shown in FIG. 8, the object recognition unit 140 can calculate a correlation with one of the derived candidate groups and a sonar image template simulated at an angle. 9, the object recognition unit 140 calculates a correlation with respect to the configured sonar or image template map. If the calculated result is equal to or greater than the third threshold value, the object recognition unit 140 checks the image as shown in FIG. 10 The target can be determined based on whether the number of templates that are checked to be equal to or greater than the third threshold value in the template map is greater than or equal to the first threshold value. When the underwater robot 200 rotates in a certain direction, the object recognition unit 140 determines that the maximum value of the correlation coefficient between the image of the candidate object by angle and the sonar image template map is If it appears to move in a certain direction in the sonar image template map, it can be determined as the target object.

이와 같은 구성에 의해, 본 발명의 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 장치(100)는 사전에 소나 이미지 예측 시뮬레이터에 의해 제작된 소나 이미지 템플릿을 이용함으로써 소나 이미지만으로 인식하기 곤란한 수중 물체를 정확하고 신속하게 인식할 수 있다. With such a configuration, the underwater object recognizing apparatus 100 using the sonar image template according to the embodiment of the present invention can use the sonar image template produced by the sonar image prediction simulator in advance, Can be accurately and quickly recognized.

이하, 도 11을 참조하여 본 발명의 일 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 방법을 설명한다. 도 11은 본 발명의 일 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 방법의 순서도이다. Hereinafter, an underwater object recognition method using a sonar image template according to an embodiment of the present invention will be described with reference to FIG. 11 is a flowchart of an underwater object recognition method using a sonar image template according to an embodiment of the present invention.

도 11을 참조하면, 본 발명의 일 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 방법(1100)은 수중을 탐색하는 단계(단계 S1101 및 단계 S1102), 사전 설정 위치로 이동하는 단계(단계 S1103), 소나 이미지 템플릿 중에서 후보군을 도출하는 단계(단계 S1104), 및 후보군 중에서 제 1 임계값 이상인 경우 대상 물체로 판정하는 단계(단계 S1105 및 단계 S1106)를 포함한다. 11, a method 1100 for recognizing an underwater object using a sonar image template according to an embodiment of the present invention includes steps of searching for underwater (steps S1101 and S1102), moving to a preset position (step S1103 A step S1104 of deriving a candidate group from the sonar image template, and a step S1105 and a step S1106 of judging the candidate group as a target object if the candidate group is equal to or larger than the first threshold value.

보다 상세히 설명하면, 도 3에 도시된 바와 같이, 먼저, 수중 로봇(200)이 수중의 바닥을 이동하면서 후보 물체를 탐색할 수 있다(단계 S1101). 이 때, 수중 바닥에 대한 소나 이미지를 획득하고, 획득된 소나 이미지에서 그림자를 중심으로 탐색할 수 있다. More specifically, as shown in FIG. 3, first, a submersible robot 200 can search for a candidate object while moving underwater (step S1101). At this time, the sonar image can be acquired for the underwater floor, and the shadow image can be searched centered on the acquired sonar image.

다음으로, 후보 물체가 발견되었는지를 판단하여(단계 S1102), 후보 물체가 발견되지 않았다고 판단한 경우에는 후보 물체가 발견될 때까지 단계 S1101의 탐색을 지속적으로 수행할 수 있다. Next, it is determined whether a candidate object is found (step S1102). If it is determined that the candidate object is not found, the search in step S1101 can be continuously performed until a candidate object is found.

단계 S1102의 판단 결과, 후보 물체가 발견되었다고 판단한 경우, 후보 물체에 대하여 사전 설정된 위치로 이동할 수 있다(단계 S1103). 이 때, 획득된 소나 이미지에서 후보 물체가 중앙에 위치하도록 이동할 수 있다. 예를 들면, 수중 로봇(200)은 후보 물체와의 거리, 이미징 소나의 높이, 이미징 소나의 틸트 각도가 사전 설정된 값이 되도록 이동할 수 있다. 예를 들면, 수중 로봇(200)은 바닥으로부터 3m 높이, 대상 물체와 5m 직선 거리의 위치로 이동하여, 이미징 소나가 45도로 물체를 지향하도록 구동될 수 있다. As a result of the determination in step S1102, if it is determined that a candidate object has been found, the candidate object can be moved to a predetermined position (step S1103). At this time, it is possible to move the candidate object so that it is positioned at the center in the acquired sonar image. For example, the underwater robot 200 can move so that the distance to the candidate object, the height of the imaging sonar, and the tilt angle of the imaging sonar are preset values. For example, the underwater robot 200 can be driven so that the imaging sonar is oriented at an object at 45 degrees, moving to a position 3 m high from the floor and 5 m straight distance from the object.

다음으로, 수중 로봇(200)이 사전 설정된 위치에서, 후보 물체에 대한 소나 이미지를 획득하고, 획득된 소나 이미지와 다수의 물체에 대하여 시뮬레이션된 소나 이미지 템플릿과의 상관 계수를 연산하여 후보군을 도출할 수 있다(단계 S1104).Next, the underwater robot 200 acquires a sonar image for a candidate object at a predetermined position, calculates a correlation coefficient between the obtained sonar image and a simulated sonar image template for a plurality of objects, and derives a candidate group (Step S1104).

도면을 달리하여, 후보군 도출에 대하여 더 상세하게 설명한다. 도 12는 도 11의 후보군 도출에 대한 세부 방법의 순서도이다. Differing from the drawing, the derivation of the candidate group will be described in more detail. 12 is a flowchart of the detailed method for deriving the candidate group of FIG.

도 12에 도시된 바와 같이, 단계 S1103과 같이 수중 로봇(200)이 사전 설정된 위치로 이동한 후, 획득된 소나 이미지에서 후보 물체의 이미지를 추출할 수 있다(단계 S1201). 이 때, 소나 이미지는 회전 각도에 따른 상이한 형태에 기인하여 그림자를 통한 인식이 더 용이하기 때문에, 후보 물체의 그림자 부분만을 추출할 수 있다. 즉, 도 4에 도시된 바와 같이, 먼저, 획득된 소나 이미지(a)로부터 노이즈를 제거한 다음(b), 픽셀 값의 역변환을 통하여 그림자 부분(c)만을 도출할 수 있다. 예를 들면, 일정 값 이상의 픽셀들만 흰색으로 변환하고, 나머지는 검정색으로 변환하여 흰색 부분만을 검출한다. 이 때, 일정 넓이 이상의 영역들을 따로 분리하며, 이러한 영역들을 감싸는 최소의 사각형 형태로 분리함으로써, 물체의 그림자를 추출할 수 있다.As shown in FIG. 12, after the underwater robot 200 moves to a predetermined position as in step S1103, an image of the candidate object may be extracted from the obtained sonar image (step S1201). In this case, since the sonar image is more easily recognized through the shadow due to the different shape depending on the rotation angle, only the shadow part of the candidate object can be extracted. That is, as shown in FIG. 4, first, noise is removed from the obtained sonar image (a), and (b), only the shadow portion (c) can be derived through inverse transformation of the pixel value. For example, only pixels over a certain value are converted to white, and the rest are converted to black to detect only white portions. At this time, the shadow of the object can be extracted by separating the regions having a predetermined width or more and dividing the regions into a minimum rectangular shape surrounding the regions.

다음으로, 추출된 후보 물체의 이미지와 소나 이미지 템플릿의 상관 계수를 연산할 수 있다(단계 S1202). 이 때, 소나 이미지 예측 시뮬레이터에 의한 소나 이미지 템플릿은 다수의 물체들에 대한 캐드 파일을 기초로 사전 시뮬레이션된 것일 수 있다. 이러한 소나 이미지 템플릿은 하나의 대상 물체에 대하여 다수의 각도, 예를 들면, 360도의 일정 각도마다 시뮬레이션된 것일 수 있다. 이와 같이 특정 물체에 대하여 사전 시뮬레이션된 소나 이미지 템플릿을 이용함으로써, 후술하는 바와 같은 대상 물체의 인식이 용이할 수 있다. 또한, 추출된 그림자의 넓이, 종횡비 및 전체 모양에 기반하여 소나 이미지 템플릿과의 상관 계수를 연산할 수 있다. Next, the correlation coefficient between the image of the extracted candidate object and the sonar image template can be calculated (step S1202). At this time, the sonar image template by the sonar image prediction simulator may be pre-simulated based on the CAD file for a plurality of objects. Such a sonar image template may be simulated for a plurality of angles for one object, for example, at an angle of 360 degrees. By using the sonar image template that is pre-simulated with respect to a specific object, it is easy to recognize the object as described later. In addition, it is possible to calculate the correlation coefficient with the sonar image template based on the width, aspect ratio and overall shape of the extracted shadow.

다음으로, 연산된 상관 계수가 제 2 임계값 이상인지를 판단하여(단계 S1203), 제 2 임계값 이하이면 단계 S1202로 진행하여 소나 이미지 템플릿의 다음 이미지에 대하여 상관 계수를 연산할 수 있다. Next, it is determined whether the calculated correlation coefficient is equal to or greater than the second threshold value (step S1203). If the calculated correlation coefficient is equal to or less than the second threshold value, the process proceeds to step S1202 and a correlation coefficient may be calculated for the next image of the sonar image template.

단계 S1203의 판단 결과, 연산된 상관 계수가 제 2 임계값 이상이라고 판단한 경우, 해당 템플릿을 후보로 도출할 수 있다(단계 S1204). 예를 들면, 도 5에 도시된 바와 같은 소나 이미지 템플릿 중에서 가장 유사한 형태를 1차적으로 후보군으로 도출할 수 있다.If it is determined in step S1203 that the calculated correlation coefficient is greater than or equal to the second threshold value, the template may be derived as a candidate (step S1204). For example, the most similar form among the sonar image templates as shown in FIG. 5 can be firstly derived as a candidate group.

다음으로, 잔여 템플릿이 없는지를 판단하여(단계 S1205), 잔여 템플릿이 없다고 판단한 경우, 후보군 도출을 완료하고(단계 S1206), 단계 S1105로 진행할 수 있다.Next, it is judged whether or not there is a remaining template (step S1205). When it is judged that there is no remaining template, the candidate group derivation is completed (step S1206), and the process can proceed to step S1105.

단계 S1205의 판단 결과, 잔여 템플릿이 있다고 판단한 경우, 단계 S1202로 복하여, 소나 이미지 템플릿의 모든 이미지에 대하여 후보를 도출할 때까지 반복적으로 상관 계수의 연산을 수행한다. If it is determined in step S1205 that there is a remaining template, the process returns to step S1202 to repeatedly perform correlation calculation until a candidate is derived for all images of the sonar image template.

다시 도 11을 참조하여, 후보 물체를 중심으로 일정 각도로 회전하면서 소나 이미지를 획득하고, 획득된 각도별 소나 이미지와 다수의 물체에 대하여 각도별로 시뮬레이션된 소나 이미지를 포함하는 소나 이미지 템플릿 맵과의 상관 계수를 연산하여 대상 물체로 판정할 수 있다(단계 S1105). 11, a sonar image is acquired while rotating at a predetermined angle around a candidate object, and a sonar image template map including a sonar image obtained at each angle and a sonar image simulated at each angle with respect to a plurality of objects The correlation coefficient can be calculated and the object can be determined (step S1105).

도면을 달리하여, 대상 판정에 대하여 더 상세하게 설명한다. 도 13은 도 11의 대상 판정에 대한 세부 방법의 순서도이다. The target determination will be described in more detail with different drawings. 13 is a flowchart of the detailed method for the object determination in Fig.

도 13에 도시된 바와 같이, 단계 S1104와 같이, 소나 이미지 템플릿에 대하여 후보군이 도출된 후, 후보 물체를 중심으로 일정 각도로 회전하면서 소나 이미지를 획득할 수 있다(단계 S1301). 이 때, 이미징 소나와 후보 물체 사이의 사전 설정을 유지하면서 후보 물체를 중심으로 360도 회전 후보 물체의 이미지를 획득할 수 있다. 즉, 도 7에 도시된 바와 같이, 수중로봇(200)은 후보 물체 사이의 사전 설정을 유지하면서 후보 물체를 중심으로 360도 회전하도록 제어될 수 있다. 예를 들면, 소나 이미지 템플릿은 10도 간격으로 시뮬레이션 된 것일 수 있고, 이 경우, 수중 물체 인식 장치(100)는 후보 물체에 대하여 10도 간격으로 이미지를 획득할 수 있다.As shown in FIG. 13, after the candidate group is derived for the sonar image template, the sonar image may be obtained while rotating at a predetermined angle around the candidate object (step S1301), as shown in step S1104. At this time, it is possible to acquire an image of the candidate object rotating 360 degrees around the candidate object while maintaining the preset between the imaging sonar and the candidate object. That is, as shown in Fig. 7, the underwater robot 200 can be controlled to rotate 360 degrees about the candidate object while maintaining the preset between the candidate objects. For example, the sonar image template may be simulated at intervals of 10 degrees, and in this case, the underwater object recognition apparatus 100 may acquire an image at a 10-degree interval with respect to the candidate object.

다음으로, 각도별로 획득된 소나 이미지에서 후보 물체를 추출할 수 있다(단계 S1302). 단계 S1201과 유사하게, 예를 들면, 일정 값 이상의 픽셀들만 흰색으로 변환하고, 나머지는 검정색으로 변환하여 흰색 부분만을 검출한다. 이 때, 일정 넓이 이상의 영역들을 따로 분리하며, 이러한 영역들을 감싸는 최소의 사각형 형태로 분리함으로써, 각도별 후보 물체의 그림자 부분을 추출할 수 있다.Next, the candidate object can be extracted from the sonar image obtained for each angle (step S1302). Similar to step S1201, for example, only pixels having a predetermined value or more are converted to white, and the rest are converted to black to detect only the white portion. At this time, it is possible to extract the shadow portion of the candidate object by angle by separating the regions having a predetermined width or more and dividing the regions into a minimum rectangular shape surrounding the regions.

다음으로, 도출된 후보군에 대하여 각도별로 시뮬레이션된 소나 이미지들을 하나의 소나 이미지 템플릿 맵으로 구성할 수 있다(단계 S1303). 이 때, 도 6에 도시된 바와 같이, 시뮬레이션된 소나 이미지는 하나의 물체에 대하여 다양한 각도로 시뮬레이션된 것일 수 있다. Next, the sonar images simulated for each angle with respect to the derived candidate group may be composed of one sonar image template map (step S1303). At this time, as shown in Fig. 6, the simulated sonar image may be simulated at various angles with respect to one object.

다음으로, 추출된 각도별 후보 물체의 이미지와 소나 이미지 템플릿 맵의 상관 계수를 연산할 수 있다(단계 S1304). 즉, 도 8에 도시된 바와 같이, 도출된 후보군 중 하나에 대하여 일정 각도로 시뮬레이션된 소나 이미지 템플릿과의 상관 관계를 연산할 수 있다. 이 때, 도 9에 도시된 바와 같이 구성된 소나 이미지 템플릿 맵에 대하여 상관 관계를 연산할 수 있다. Next, the correlation coefficient between the image of the candidate object by angle extracted and the sonar image template map can be calculated (step S1304). That is, as shown in FIG. 8, a correlation between one of the derived candidate groups and a sonar image template simulated at a certain angle can be calculated. At this time, the correlation can be calculated for the sonar image template map as shown in FIG.

다음으로, 연산된 상관 계수가 제 3 임계값 이상이면 해당 템플릿을 체크할 수 있다(단계 S1305). 즉, 소나 이미지 템플릿 맵의 모든 이미지에 대하여 연산된 상관 계수가 제 3 임계값 이상인 템플릿을 체크할 수 있다. Next, if the computed correlation coefficient is equal to or greater than the third threshold value, the corresponding template can be checked (step S1305). That is, a template having a correlation coefficient calculated over all images in the sonar image template map equal to or greater than the third threshold value can be checked.

다음으로 체크 결과에 따라 대상을 결정하여 대상 판정을 완료하고(단계 S1306), 단계 S1106으로 진행할 수 있다. Next, the target is determined according to the check result, and the target determination is completed (step S1306), and the process can proceed to step S1106.

다시 도 1을 참조하여, 제 3 임계값 이상이라고 체크된 템플릿의 개수가 제 1 임계값 이상인지를 판단하여(단계 S1106), 제 1 임계값 이하인 경우에는 대상 물체를 인식하지 못한 것으로 판단하여 단계 S1101로 복귀하여 다른 대상 물체에 대한 탐색을 진행할 수 있다. Referring again to FIG. 1, it is determined whether or not the number of templates checked to be equal to or greater than the third threshold value is equal to or greater than a first threshold value (step S1106). If the number of templates is equal to or less than the first threshold value, The process returns to S1101 to proceed with the search for another object.

단계 S1106의 판단 결과, 제 3 임계값 이상이라고 체크된 템플릿의 개수가 제 1 임계값 이상인 경우에는 해당 템플릿에 대응하는 물체를 대상 물체로 판정하고 수중 물체의 인식 방법을 종료한다. If it is determined in step S1106 that the number of templates checked to be equal to or greater than the third threshold value is equal to or greater than the first threshold value, the object corresponding to the template is determined to be the object, and the method for recognizing the underwater object ends.

대안적으로, 수중 로봇(200)이 일정한 방향으로 회전하면 물체의 그림자 변화도 일정하기 때문에, 상관 계수 중 최고 값이 소나 이미지 템플릿 맵에서 일정 방향으로 움직이는 것으로 나타날 경우 대상 물체로 결정할 수 있다. Alternatively, when the underwater robot 200 rotates in a certain direction, the shadows of the object are constant. Therefore, when the maximum value of the correlation coefficients appears to move in a certain direction in the sonar image template map, the object can be determined.

이와 같은 방법에 의해, 이와 같은 방법에 의해 본 발명의 실시예에 따른 소나 이미지 템플릿을 이용한 수중 물체 인식 방법은 사전에 소나 이미지 예측 시뮬레이터에 의해 제작된 소나 이미지 템플릿을 이용함으로써 소나 이미지만으로 인식하기 곤란한 수중 물체를 정확하고 신속하게 인식할 수 있다. According to this method, the underwater object recognition method using the sonar image template according to the embodiment of the present invention by this method is difficult to recognize with only the sonar image by using the sonar image template produced by the sonar image prediction simulator in advance The underwater object can be accurately and quickly recognized.

상기와 같은 방법들은 도 1에 도시된 바와 같은 수중 물체 인식 장치(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 실행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다. Such methods may be implemented by the underwater object recognition apparatus 100 as shown in FIG. 1, and in particular as a software program that performs these steps, in which case these programs may be computer readable Stored in a recording medium or transmitted by a computer data signal combined with a carrier wave in a transmission medium or a communication network.

이 때, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다. At this time, the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. For example, ROM, RAM, CD-ROM, DVD-ROM, DVD- , A floppy disk, a hard disk, an optical data storage device, or the like.

이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

100 : 수중 물체 인식 장치 110 : 이미지 획득부
120 : 물체 추출부 130 : 템플릿 저장부
140 : 대상 인식부 200 : 수중 로봇
210 : 제어부 220 : 구동부100: underwater object recognition device 110:
120: object extracting unit 130: template storing unit
140: object recognition unit 200: underwater robot
210: control unit 220:

Claims (28)

수중의 바닥을 이동하면서 후보 물체를 탐색하는 단계;
상기 후보 물체가 탐색되면, 상기 후보 물체에 대하여 사전 설정된 위치로 이동하는 단계;
상기 사전 설정된 위치에서 상기 후보 물체에 대한 소나 이미지를 획득하고, 상기 획득된 소나 이미지와 다수의 물체에 대하여 시뮬레이션된 소나 이미지 템플릿과의 상관 계수를 연산하여 후보군을 도출하는 단계; 및
상기 후보 물체를 중심으로 일정 각도로 회전하면서 소나 이미지를 획득하고, 상기 획득된 각도별 소나 이미지와 상기 다수의 물체에 대하여 각도별로 시뮬레이션된 소나 이미지를 포함하는 소나 이미지 템플릿 맵과의 상관 계수를 연산하여 제 1 임계값 이상인 경우 대상 물체로 판정하는 단계를 포함하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.Searching for a candidate object while moving underwater;
Moving to a predetermined position with respect to the candidate object when the candidate object is searched;
Acquiring a sonar image for the candidate object at the predetermined position, calculating a correlation coefficient between the obtained sonar image and a simulated sonar image template for a plurality of objects to derive a candidate group; And
Calculating a correlation coefficient between the obtained sonar image at each angle and the sonar image template map including the sonar image simulated for each angle with respect to the plurality of objects, And determining that the object is an object if it is greater than or equal to the first threshold value. 제 1 항에 있어서,
상기 이동하는 단계는 상기 획득된 소나 이미지에서 상기 후보 물체가 중앙에 위치하도록 이동하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.The method according to claim 1,
Wherein the moving step moves the candidate object in a center position in the obtained sonar image. 제 2 항에 있어서,
상기 이동하는 단계는 상기 후보 물체와 이미징 소나 사이의 거리, 상기 이미징 소나의 높이, 상기 이미징 소나의 틸트 각도가 상기 사전 설정된 값이 되도록 이동하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.3. The method of claim 2,
Wherein the moving step moves the distance between the candidate object and the imaging sonar, the height of the imaging sonar, and the tilt angle of the imaging sonar to be the predetermined values. 제 1 항에 있어서,
상기 후보군을 도출하는 단계는,
상기 획득된 소나 이미지에서 상기 후보 물체의 이미지를 추출하는 단계;
상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 상관 계수를 연산하는 제 1 연산 단계; 및
상기 연산된 상관 계수가 제 2 임계값 이상이면 후보로 도출하는 단계를 포함하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.The method according to claim 1,
The step of deriving the candidate group comprises:
Extracting an image of the candidate object from the obtained sonar image;
A first calculation step of calculating a correlation coefficient between the image of the extracted candidate object and the sonar image template; And
And deriving a candidate if the calculated correlation coefficient is equal to or greater than a second threshold value. 제 4 항에 있어서,
상기 후보군을 도출하는 단계는 상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 모든 이미지에 대하여 반복적으로 후보를 도출하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.5. The method of claim 4,
Wherein the step of deriving the candidate group repeatedly derives a candidate for the image of the extracted candidate object and all the images of the sonar image template. 제 4 항에 있어서,
상기 추출하는 단계는 상기 후보 물체의 그림자 부분을 추출하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.5. The method of claim 4,
Wherein the extracting comprises extracting a shadow portion of the candidate object. 제 6 항에 있어서,
상기 제 1 연산 단계는 상기 추출된 그림자의 넓이, 종횡비(aspect ratio) 및 전체 모양에 기반하여 상기 상관 계수를 연산하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.The method according to claim 6,
Wherein the first computing step computes the correlation coefficient based on the width, the aspect ratio, and the overall shape of the extracted shadow. 제 1 항에 있어서,
상기 시뮬레이션된 소나 이미지 템플릿은 상기 다수의 후보 물체들에 대한 캐드 파일을 기초로 사전 시뮬레이션된 것인, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.The method according to claim 1,
Wherein the simulated sonar image template is pre-simulated based on a CAD file for the plurality of candidate objects. 제 1 항에 있어서,
상기 판정하는 단계는,
상기 후보 물체를 중심으로 일정 각도로 회전하면서 소나 이미지를 획득하는 단계;
상기 각도별로 획득된 소나 이미지에서 후보 물체를 추출하는 단계;
상기 추출된 각도별 후보 물체의 이미지와 상기 소나 이미지 템플릿 맵의 상관 계수를 연산하는 제 2 연산 단계;
상기 연산된 상관 계수가 제 3 임계값 이상이면 해당 템플릿을 체크하는 단계; 및
상기 체크 결과에 따라 대상을 결정하는 단계를 포함하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.The method according to claim 1,
Wherein the determining step comprises:
Obtaining a sonar image while rotating at a predetermined angle around the candidate object;
Extracting a candidate object from the sonar image acquired for each angle;
A second calculation step of calculating a correlation coefficient between the extracted image of the candidate object by angle and the sonar image template map;
Checking the corresponding template if the computed correlation coefficient is equal to or greater than a third threshold value; And
And determining an object according to the result of the check. 제 9 항에 있어서,
상기 제 1 임계값은 상기 제 3 임계값 이상이라고 체크된 템플릿의 개수인, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.10. The method of claim 9,
Wherein the first threshold value is a number of templates that are checked to be equal to or greater than the third threshold value. 제 9 항에 있어서,
상기 추출하는 단계는 상기 각도별 후보 물체의 그림자 부분을 추출하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.10. The method of claim 9,
Wherein the extracting step extracts a shadow portion of the candidate object by angle, using the sonar image template. 제 9 항에 있어서,
상기 획득하는 단계는 이미징 소나와 상기 후보 물체 사이의 사전 설정을 유지하면서 상기 후보 물체를 중심으로 360도 회전하며 획득하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.10. The method of claim 9,
Wherein the acquiring step rotates 360 degrees around the candidate object while maintaining a preset between the imaging sonar and the candidate object, and acquires the underwater object using the sonar image template. 제 9 항에 있어서,
상기 판정하는 단계는 상기 제 2 연산 단계 이전에, 상기 도출된 후보군에 대하여 각도별로 시뮬레이션된 소나 이미지들을 하나의 소나 이미지 템플릿 맵으로 구성하는 단계를 더 포함하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.10. The method of claim 9,
Wherein the determining step further comprises, prior to the second computing step, configuring the sonar images simulated for each angle with respect to the derived candidate group into one sonar or image template map, . 제 9 항에 있어서,
상기 대상을 결정하는 단계는 상기 상관 계수 중 최고 값이 상기 소나 이미지 템플릿 맵에서 일정 방향으로 움직이는 것으로 나타날 경우 대상 물체로 결정하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 방법.10. The method of claim 9,
Wherein the determining of the object determines the object as a target object when the maximum value of the correlation coefficients appears to move in a certain direction in the sonar image template map. 제 1 항 내지 제 14 항 중 어느 한 항에 따른 방법을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 기록 매체.15. A computer program for executing the method according to any one of claims 1 to 14. 이미징 소나가 후보 물체에 대하여 사전 설정된 위치에 위치될 때, 상기 후보 물체의 소나 이미지를 획득하는 이미지 획득부;
상기 획득된 소나 이미지에서 상기 후보 물체의 이미지를 추출하는 물체 추출부;
다수의 물체에 대하여 시뮬레이션된 소나 이미지 템플릿이 저장되는 템플릿 저장부; 및
상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 상관 계수를 연산하여 후보군을 도출하고, 상기 후보 물체를 중심으로 일정 각도로 회전하면서 획득된 소나 이미지에서 추출된 후보 물체의 이미지와, 상기 다수의 물체에 대하여 각도별로 시뮬레이션된 소나 이미지를 포함하는 소나 아미지 템플릿 맵과의 상관 계수를 연산하여 제 1 임계값 이상인 경우 대상 물체로 판정하는 대상 인식부를 포함하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.An image acquiring unit that acquires a sonar image of the candidate object when the imaging sonar is located at a predetermined position with respect to the candidate object;
An object extracting unit extracting an image of the candidate object from the obtained sonar image;
A template storage unit for storing a simulated sonar image template for a plurality of objects; And
Calculating a correlation coefficient between the image of the extracted candidate object and the sonar image template to derive a candidate group, calculating an image of the candidate object extracted from the sonar image obtained while rotating at a predetermined angle about the candidate object, And an object recognition unit for calculating a correlation coefficient between the object image and the sonarage template map including the sonar image simulated by the angle with respect to the object and determining the object as the object if the correlation coefficient is equal to or greater than the first threshold value, . 제 16 항에 있어서,
상기 이미지 획득부는 상기 후보 물체가 중앙에 위치하도록 한 상태에서 소나 이미지를 획득하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.17. The method of claim 16,
Wherein the image obtaining unit obtains the sonar image in a state in which the candidate object is located at the center. 제 17 항에 있어서,
상기 이미지 획득부는, 상기 후보 물체와 상기 이미징 소나 사이의 거리, 상기 이미징 소나의 높이, 상기 이미징 소나의 틸트 각도가 사전 설정된 값을 갖도록 조종될 경우, 소나 이미지를 획득하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.18. The method of claim 17,
Wherein the image obtaining unit obtains a sonar image when the distance between the candidate object and the imaging sonar, the height of the imaging sonar, and the tilt angle of the imaging sonar are controlled to have predetermined values, Object recognition device. 제 16 항에 있어서,
상기 대상 인식부는 상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 상관 계수를 연산하여 제 2 임계값 이상이면 후보로 도출하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.17. The method of claim 16,
Wherein the object recognition unit computes a correlation coefficient between the image of the extracted candidate object and the sonar image template, and derives a candidate if the correlation is greater than or equal to a second threshold value. 제 19 항에 있어서,
상기 대상 인식부는 상기 추출된 후보 물체의 이미지와 상기 소나 이미지 템플릿의 모든 이미지에 대하여 반복적으로 후보를 도출하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.20. The method of claim 19,
Wherein the object recognition unit repeatedly derives candidates for an image of the extracted candidate object and all images of the sonar image template. 제 16 항에 있어서,
상기 물체 추출부는 상기 후보 물체 및 상기 각도별 후보 물체의 그림자 부분을 추출하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.17. The method of claim 16,
Wherein the object extracting unit extracts a shadow part of the candidate object and the candidate object by angle, using the sonar image template. 제 21 항에 있어서,
상기 대상 인식부는 상기 추출된 그림자의 넓이, 종횡비 및 전체 모양에 기반하여 상기 상관 계수를 연산하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.22. The method of claim 21,
Wherein the object recognizing unit calculates the correlation coefficient based on the width, the aspect ratio, and the overall shape of the extracted shadow. 제 16 항에 있어서,
상기 시뮬레이션된 소나 이미지 템플릿은 상기 다수의 물체들에 대한 캐드 파일을 기초로 사전 시뮬레이션된 것인, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.17. The method of claim 16,
Wherein the simulated sonar image template is pre-simulated based on a CAD file for the plurality of objects. 제 16 항에 있어서,
상기 대상 인식부는 상기 추출된 각도별 후보 물체의 이미지와 상기 소나 아미지 템플릿 맵의 상관 계수를 연산하여 제 3 임계값 이상이면 해당 템플릿을 체크하여 체크 결과에 따라 대상을 결정하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.17. The method of claim 16,
Wherein the object recognition unit calculates a correlation coefficient between the image of the candidate object by angle extracted and the sonarage template map and checks the template if the correlation value is greater than or equal to the third threshold value and determines the object according to the check result, A submersible object recognition device. 제 24 항에 있어서,
상기 제 1 임계값은 상기 제 3 임계값 이상이라고 체크된 템플릿의 개수인, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.25. The method of claim 24,
Wherein the first threshold value is the number of templates that are checked to be equal to or greater than the third threshold value. 제 16 항에 있어서,
상기 각도별 물체의 이미지는 상기 이미징 소나와 상기 후보 물체 사이의 사전 설정을 유지하면서 상기 후보 물체를 중심으로 360도 회전하여 획득된 것인, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.17. The method of claim 16,
Wherein the image of the object by angle is obtained by rotating 360 degrees around the candidate object while maintaining the preset between the imaging sonar and the candidate object. 제 24 항에 있어서,
상기 대상 인식부는 상기 도출된 후보군에 대하여 각도별로 시뮬레이션된 소나 이미지들을 하나의 소나 이미지 템플릿 맵으로 구성하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치.25. The method of claim 24,
Wherein the object recognition unit comprises one sonar image template map and the sonar images simulated for each angle with respect to the derived candidate group. 제 24 항에 있어서,
상기 대상 인식부는 상기 각도별 후보 물체의 이미지와 상기 소나 이미지 템플릿 맵과의 상관 계수 중 최고 값이 소나 이미지 템플릿 맵에서 일정 방향으로 움직이는 것으로 나타날 경우 대상 물체로 결정하는, 소나 이미지 템플릿을 이용한 수중 물체 인식 장치. 25. The method of claim 24,
Wherein the object recognizing unit determines the object as an object when the maximum value of the correlation coefficient between the image of the candidate object by angle and the sonar image template map appears to move in a certain direction in the sonar or the image template map, Recognition device.
KR1020140083195A 2014-07-03 2014-07-03 Method and device for recognizing underwater object using sonar image template KR101590257B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140083195A KR101590257B1 (en) 2014-07-03 2014-07-03 Method and device for recognizing underwater object using sonar image template

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140083195A KR101590257B1 (en) 2014-07-03 2014-07-03 Method and device for recognizing underwater object using sonar image template

Publications (2)

Publication Number Publication Date
KR20160005191A true KR20160005191A (en) 2016-01-14
KR101590257B1 KR101590257B1 (en) 2016-02-01

Family

ID=55172977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140083195A KR101590257B1 (en) 2014-07-03 2014-07-03 Method and device for recognizing underwater object using sonar image template

Country Status (1)

Country Link
KR (1) KR101590257B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105629244A (en) * 2016-01-26 2016-06-01 北京特希达交通设施顾问有限公司 Sonar detection platform used for detecting underwater structure damages, bases, and river-bed scour
CN108225268A (en) * 2016-12-13 2018-06-29 中核四0四有限公司 A kind of low pond underwater topography remote metering method that discharges water
KR102421285B1 (en) * 2021-03-22 2022-07-15 레드원테크놀러지 주식회사 3D visualization method of mud deposition layer in underwater facilities using underwater vehicle and SONAR, and observation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05253210A (en) * 1992-03-09 1993-10-05 Kanebo Ltd Wrinkle measuring system
KR20120118381A (en) * 2011-04-18 2012-10-26 창원대학교 산학협력단 Underwater object detection system and method the same
KR101257207B1 (en) * 2012-02-23 2013-04-22 인텔 코오퍼레이션 Method, apparatus and computer-readable recording medium for head tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05253210A (en) * 1992-03-09 1993-10-05 Kanebo Ltd Wrinkle measuring system
KR20120118381A (en) * 2011-04-18 2012-10-26 창원대학교 산학협력단 Underwater object detection system and method the same
KR101257207B1 (en) * 2012-02-23 2013-04-22 인텔 코오퍼레이션 Method, apparatus and computer-readable recording medium for head tracking

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105629244A (en) * 2016-01-26 2016-06-01 北京特希达交通设施顾问有限公司 Sonar detection platform used for detecting underwater structure damages, bases, and river-bed scour
CN108225268A (en) * 2016-12-13 2018-06-29 中核四0四有限公司 A kind of low pond underwater topography remote metering method that discharges water
KR102421285B1 (en) * 2021-03-22 2022-07-15 레드원테크놀러지 주식회사 3D visualization method of mud deposition layer in underwater facilities using underwater vehicle and SONAR, and observation system

Also Published As

Publication number Publication date
KR101590257B1 (en) 2016-02-01

Similar Documents

Publication Publication Date Title
US10810734B2 (en) Computer aided rebar measurement and inspection system
KR101708659B1 (en) Apparatus for recognizing location mobile robot using search based correlative matching and method thereof
KR101781757B1 (en) Underwater image processing device for object recognition and method there of
US9679384B2 (en) Method of detecting and describing features from an intensity image
US10307910B2 (en) Apparatus of recognizing position of mobile robot using search based correlative matching and method thereof
US9165211B2 (en) Image processing apparatus and method
US20110188708A1 (en) Three-dimensional edge extraction method, apparatus and computer-readable medium using time of flight camera
KR101495333B1 (en) Apparatus and method for detecting obstacles
EP3159126A1 (en) Device and method for recognizing location of mobile robot by means of edge-based readjustment
KR20150144731A (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
JP2005528707A (en) Feature mapping between data sets
Holz et al. Towards semantic scene analysis with time-of-flight cameras
US10607350B2 (en) Method of detecting and describing features from an intensity image
KR20190103146A (en) Robot tracking people
CN110428372B (en) Depth data and 2D laser data fusion method and device and storage medium
JP4429461B2 (en) Image processing apparatus, plane detection method, and recording medium recording plane detection program
KR101590257B1 (en) Method and device for recognizing underwater object using sonar image template
JP2017103688A5 (en)
KR101282742B1 (en) Apparatus and method for detecting object using 3d image
JP7224592B2 (en) Information processing device, information processing method, and program
JP2010238008A (en) Video feature extraction apparatus and program
KR101696089B1 (en) Method and apparatus of finding object with imaging sonar
JP5170005B2 (en) Image processing apparatus, image processing method, and program
KR101913319B1 (en) Mehtod and apparatus for detecting an interfacing resion in a depth image
Ferreira et al. A comparison between different feature-based methods for ROV vision-based speed estimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200113

Year of fee payment: 5