KR101772220B1 - 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법 - Google Patents

멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법 Download PDF

Info

Publication number
KR101772220B1
KR101772220B1 KR1020160065296A KR20160065296A KR101772220B1 KR 101772220 B1 KR101772220 B1 KR 101772220B1 KR 1020160065296 A KR1020160065296 A KR 1020160065296A KR 20160065296 A KR20160065296 A KR 20160065296A KR 101772220 B1 KR101772220 B1 KR 101772220B1
Authority
KR
South Korea
Prior art keywords
camera
beam sonar
relative motion
sonar
estimating
Prior art date
Application number
KR1020160065296A
Other languages
English (en)
Inventor
김진환
한정욱
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160065296A priority Critical patent/KR101772220B1/ko
Application granted granted Critical
Publication of KR101772220B1 publication Critical patent/KR101772220B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 이종센서 융합을 위해 고정된 바디에 설치된 카메라와 멀티빔소나의 상대적인 위치를 추정하여 두 센서로부터 얻어지는 정보 융합을 위한 멀티빔소나와 카메라의 위치 캘리브레이션 방법에 관한 것으로서, 이동하는 멀티빔소나로부터 연속으로 방사된 음파 신호가 대상물에 반사되어 연속적으로 음파 데이터를 획득하는 단계; 상기 음파 데이터를 분석하여 상기 대상물에 대한 코너점을 추출하는 단계; 추출된 코너점으로부터 멀티빔소나의 상대운동 변화를 추정하는 단계; 상기 멀티빔소나와 함께 이동하는 카메라로 연속적으로 촬영한 이미지를 획득하는 단계; 상기 이미지로부터 상기 대상물에 대한 특징점을 추출하는 단계; 추출된 특징점들로부터 카메라의 상대운동 변화를 추정하는 단계; 및 상기 멀티빔소나의 상대운동 변화와 상기 카메라의 상대운동 변화를 이용하여 상기 멀티빔소나와 상기 카메라의 상대적인 위치를 결정하는 단계;를 포함하여 구성되어 고정된 바디에 설치된 두 센서의 정확한 상대적인 위치를 알아내도록 하여 2개의 센서에 의해 측정되는 주변 환경에 대한 형상과 위치를 측정함에 있어서 두 센서의 거리를 잘 못 입력하여 발생하는 오차를 없앰으로써 형상에 대한 정확한 위치와 이미지를 얻을 수 있는 효과가 있다.

Description

멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법{CALIBRATION METHOD TO ESTIMATE RELATIVE POSITION BETWEEN A MULTI-BEAM SONAR AND A CAMERA}
본 발명은 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법에 관한 것으로서, 더욱 상세하게는 이종센서로부터 얻어지는 정보를 융합하기 위해 고정된 바디에 설치된 카메라와 멀티빔소나의 상대적인 위치를 추정하는 캘리브레이션 방법에 관한 것이다.
현재까지 선체 검사나 수중 구조물 검사는 잠수부에 의한 육안검사에 의존하고 있다. 최근 무인 기술의 발전과 함께, 유인에 의해 처리되던 기존 작업을 무인시스템으로 대체하려는 노력이 진행되고 있다. 무인시스템에서의 활용을 위해서는 주변 환경에 대한 정밀한 인식 시스템이 필요하다.
주변 환경을 인식하기 위해 카메라(Camera), 레이다(Radar), 소나(Sonar), 레이저스캐너(Laser Scanner), 초음파센서(Ultrasonic Sensor) 등이 사용되고 있다. 즉, 수상 및 수중의 물체인식 및 형상을 인지하기 위한 시스템에 있어서 가장 중요한 장치는 센서이며, 개별 센서가 지닌 단점을 보완하기 위해 센서간의 융합을 통하여 인지의 정확성을 높이고 있다. 예를들어, 카메라는 가장 일반적인 인지 장치로써 사람의 눈과 같이 빛의 반사 작용을 이용해 사물을 인식하는 장치이다. 형태에 따라 단안카메라(Monocular Camera), 다안카메라(Multi-ocular Camera), 광각카메라(Wide Angle Camera)로 나뉠 수 있으며 주변 환경에 대한 질감이나 색상 정보(texture)를 줄 수 있다. 하지만 다른 인지장치 대비 날씨에 가장 민감하고 원근 투영으로 깊이 정보가 제거 되므로 거리 정보를 얻기 힘들다. 반면 멀티빔소나는 주변 환경에 대한 색상 정보를 얻을 수 없지만, 깊이 정보를 바로 얻을 수 있기 때문에 카메라에 비해 상대적으로 주변 물체에 대한 정확한 거리정보를 얻을 수 있다. 따라서 멀티빔소나와 카메라 융합을 통해 수중환경에서 정밀한 인식 시스템 구축이 가능하다.
도 1은 종래기술에 따른 멀티빔소나와 카메라를 이용한 캘리브레이션을 통해 대상의 형상 및 위치를 인지하는 시스템 구성도이다.
도 1을 참조하면, 멀티빔소나와 카메라를 이용하여 소정의 대상의 형상을 인지하는 구성에서 카메라(10)와 멀티빔소나(20)의 위치는 설치시부터 육안으로 인지할 수 있는 위치에 있다. 따라서, 카메라(10)와 멀티빔소나(20)의 거리를 측정하고 탐색 대상이 되는 목표 지점에 결상되는 상들의 각도를 인지하면, 수중 구조물의 위치 및 형상들을 인지할 수 있다.
그러나, 우리가 육안으로 관찰하는 카메라(10)와 멀티빔소나(20)의 위치는 정확한 위치가 아니다. 즉, 대략적인 멀티빔소나의 중심과 카메라의 중심 간의 거리를 계측할 수는 있지만, 이는 정확한 카메라(10)와 멀티빔소나(20) 간의 거리는 아니다. 예컨대, 계측시 카메라(10)의 중심은 무게 중심이 아니며, 상이 결상되는 렌즈에 의해 상이 결상되는 지점의 중심이 카메라(10)의 중심점이 된다. 또한 멀티빔소나(20)도 마찬가지로 음파가 발사되어 수신되는 지점의 가운데 지점을 중심으로 판단해야 한다. 하지만, 육안으로 이를 간과하여 상의 형상과 위치에 심대한 오류가 발생할 수 있는 문제점이 있다. 즉, 육안으로는 카메라(10)와 멀티빔소나(20)의 중심점을 확인하여 거리를 측정하는 것은 형상의 측정 및 형상의 위치를 추적함에 있어서 심대한 오류를 일으킬 빌미를 제공하게 되는 것이다.
따라서, 카메라(10)와 멀티빔소나(20)로 취득된 데이터를 활용하여 고정된 바디에 설치된 두 센서의 상대위치를 정확하게 측정할 필요가 있다.
대한민국 등록특허 제10-10-1612322호(발명의 명칭 : 카메라모듈의 렌즈 위치 측정장치)
따라서 본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 고정된 바디에 설치된 두 센서의 정확한 상대적인 위치를 알아내도록 하여 2개의 센서에 의해 취득된 데이터의 융합을 위한 멀티빔소나와 카메라의 상대위치 캘리브레이션 방법을 제공하기 위한 것이다.
상술한 목적을 달성하기 위한 멀티빔소나와 카메라의 위치 캘리브레이션 방법은, 이동하는 멀티빔소나로부터 연속으로 방사된 음파 신호가 대상물에 반사되어 온 연속적인 음파 데이터를 획득하는 단계; 상기 음파 데이터를 분석하여 상기 대상물에 대한 코너점을 추출하는 단계; 추출된 코너점으로부터 멀티빔소나의 상대운동 변화를 추정하는 단계; 상기 멀티빔소나와 함께 이동하는 카메라가 연속적으로 촬영한 이미지를 획득하는 단계; 상기 이미지로부터 상기 대상물에 대한 특징점을 추출하는 단계; 추출된 특징점들로부터 카메라의 상대운동 변화를 추정하는 단계; 및 상기 멀티빔소나의 상대운동 변화와 상기 카메라의 상대운동 변화를 이용하여 상기 멀티빔소나와 상기 카메라의 상대적인 위치를 결정하는 단계;를 포함하여 구성된다.
상기 대상의 코너점을 추출하는 단계는, 상기 이동하는 멀티빔소나로부터 연속적으로 방출되어 수신되는 음파의 수신 이전의 수신 속도에 대비하여 소정의 값만큼 증가하거나 소정의 값만큼 감소되는 지점 또는 구조물의 단면정보로부터 얻은 직선들의 교점을 코너점으로 추출하도록 구성될 수 있다.
상기 대상의 특징점을 추출하는 단계는, 상기 카메라가 촬영한 이미지에서 대상의 코너점을 추출하되, 상기 코너점은 주변보다 설정된 값 만큼 밝은 화소점이 n개 이상 연속되거나, 주변보다 설정된 값 만큼 어두운 화소점이 n개 이상 연속되는 경우 코너점으로 인지하는 것일 수 있다.
멀티빔소나의 상대운동 변화를 추정하는 단계는, 상기 멀티빔소나에 의해 추출된 코너점을 연결하는 멀티빔소나의 위치 변환행렬을 구하는 것일 수 있다.
카메라의 상대운동 변화를 추정하는 단계는, 상기 카메라에 의해 추출된 특징점을 연결하는 카메라의 위치 변환행렬을 구하는 것일 수 있다.
상기 멀티빔소나와 상기 카메라의 상대적인 위치를 추정하는 단계는, 다음의 수학식으로 구할 수 있다.
Figure 112016051079597-pat00001
여기서,
Figure 112016051079597-pat00002
는 i 번째에서 i+1으로의 멀티빔소나 위치 변환행렬을 나타내고,
Figure 112016051079597-pat00003
는 i 번째에서 i+1으로의 카메라 위치 변환행렬을 나타내며,
Figure 112016051079597-pat00004
는 카메라에 대한 멀티빔소나의 상대위치 변환행렬을 나타낸다.
따라서 본 발명의 멀티빔소나와 카메라의 위치 캘리브레이션 방법은, 고정된 바디에 설치된 두 센서의 정확한 상대적인 위치를 알아내도록 하여 2개의 센서에 의해 측정되는 주변 환경에 대한 형상과 위치를 측정함에 있어서 두 센서의 거리를 잘 못 입력하여 발생하는 오차를 없앰으로써 형상에 대한 정확한 위치와 이미지를 얻을 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 멀티빔소나와 카메라의 상대위치 캘리브레이션 방법을 설명하기 위한 시스템 구성도이다.
도 2는 본 발명의 일 실시예에 따른 멀티빔소나와 카메라의 상대위치 캘리브레이션하는 과정을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 멀티빔소나와 카메라의 상대위치 캘리브레이션하는 과정을 나타낸 순서도이다.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 멀티빔소나와 카메라의 상대위치 캘리브레이션 방법을 설명하기 위한 시스템 구성도이다.
도 2를 참조하면, 본 발명의 멀티빔소나와 카메라의 상대위치 캘리브레이션 방법은 카메라(100)와 멀티빔소나(200)로 구성된다.
그리고, 탐지 대상물(300)이 도식되며, 이 대상물(300)에 대한 상대적 위치를 측정하기 위한 카메라(100)와 멀티빔소나(200)가 도식된다.
멀티빔소나(200)는 소정의 지역에 음파 또는 초음파를 발사하고 반사되는 음파를 수신하여 해저 지형 또는 수중 구조물을 인지할 수 있다. 멀티빔소나(200)의 탐지평면(310)에서 취득된 데이터는 점군집(320)으로 구성되며, 대상물(300)의 단면정보를 포함하고 있다. 점군집(320)으로부터 대상물(300)의 단면정보인 직선들을 추출 할 수 있으며, 직선들의 교점으로부터 얻은 코너점(330)이 도식되어 있다. 도면에는 카메라(100) 및 멀티빔소나(200)가 "ㄱ"자 형태의 대상물(300)의 형상을 측정하기 위하여 계속적으로 위치를 이동하는 상태의 도면이 도식되어 있다.
i 위치에 있는 멀티빔소나(200)는 이동하면서 고정된 탐지 대상물(300)에 연속적인 전파를 발사하고 이를 다시 수신하여 대상물(300)의 형상을 인지한다. 멀티빔소나(200)는 i위치로부터의 i+1위치로 이동하여 i+1 위치에 배치된다.
또한 카메라(100)는 멀티빔소나(200)와 함께 이동하면서 연속적으로 대상물(300)의 이미지를 획득하여 멀티빔소나(200)와 함께 대상물(300)에 대한 정보를 획득한다.
이와 같이 카메라(100)와 멀티빔소나(200)가 획득한 정보들은 서로 정보를 교환하여 해당 대상물(300)의 형상 및 위치를 인지할 수 있게 된다. 이때, 정보의 교환 및 상호 위치의 연산은 카메라(100)에 있는 프로세서 또는 멀티빔소나(200)에 있는 프로세서에서 연산할 수 있으며, 또는 카메라(100)와 멀티빔소나(200)와 통신하고 동작을 제어할 수 있는 제어부(210)에 의해 연산될 수 있다. 도면에는 제어부(210)를 도식하였으나, 전술한 바와 같이 제어부(210)는 카메라(100) 또는 멀티빔소나(200)에 내장된 프로세서일 수 있다.
도 3은 본 발명의 실시예에 따른 멀티빔소나와 카메라의 상대위치 캘리브레이션하는 과정을 나타낸 흐름도이고, 도 4는 본 발명의 실시예에 따른 멀티빔소나와 카메라의 위치 캘리브레이션하는 과정을 나타낸 순서도이다.
도 3 및 도 4를 참조하면, 먼저 S202단계에서 멀티빔소나(200)로부터 대상물(300)에 음파를 연속적으로 방출하여 반사되어 나온 연속적인 음파 데이터를 획득한다.
S204단계에서 멀티빔소나(200)로부터 연속적으로 획득한 음파 데이터를 이용하여 상기 대상물(300)에 대한 코너점을 추출한다. 상기 대상의 코너점을 추출하는 단계에서 상기 멀티빔소나(200)로부터 연속적으로 방출된 음파가 급격하게 변하는 지점이나 구조물의 단면 정보로부터 코너점을 추출할 수 있다. 즉, 제어부(210)는 멀티빔소나(200)가 신호를 수신하는 속도가 급격하게 증가하거나 감소한 지점이나 구조물의 단면정보로부터 얻은 직선들의 교점 정보를 활용하여 코너점으로 인지할 수 있다.
S206단계에서 추출된 코너점으로부터 멀티빔소나(200)의 상대운동 변화를 추정한다. 멀티빔소나(200)의 상대운동 변화는 멀티빔소나(200)가 추출한 코너점을 연결하는 위치 변환행렬로부터 구할 수 있다. i 위치에서 i+1의 위치로 변환된 멀티빔소나(200)의 위치 변환행렬은
Figure 112017029286818-pat00005
로 나타낼 수 있다.
S208단계에서 카메라(100)는 연속적으로 대상물(300)을 찍어 대상물(300)에 대한 이미지를 연속적으로 획득한다.
S210단계에서 카메라(100)가 연속적으로 찍은 이미지로부터 대상물(300)에 대한 특징점(keypoint)을 추출한다. 카메라(100)가 대상물(300)로부터 측정하는 특징점은 카메라(100)가 촬영한 이미지에서 대상물(300)의 코너점을 추출하는 것일 수 있다. 코너점을 추출하는 방법은 여러 가지가 있다. 일반적으로는 FAST(Features from Accelerated Segment Test) 방법으로 코너점을 추출한다. FAST 방법을 간략하게 설명하면, 특징점은 주변보다 설정된 값 만큼 밝은 화소점이 n개 이상 연속되거나, 주변보다 설정된 값 만큼 어두운 화소점이 n개 이상 연속되는 경우 특징점으로 인지할 수 있다.
S212단계에서 추출된 특징점들로부터 카메라(100)의 상대운동 변화를 추정한다. 카메라(100)의 상대운동 변화는 카메라(100)에 의해 추출된 특징점들을 연결하는 위치 변환행렬을 구하여 추정할 수 있다. i위치의 카메라(100)가 i+1의 위치로 이동한 위치 변환행렬은
Figure 112017029286818-pat00006
로 나타낼 수 있다.
S214단계에서, 상기 멀티빔소나(200)의 상대운동 변화와 상기 카메라(100)의 상대운동 변화를 이용하여 카메라(100)와 멀티빔소나(200)의 상대적인 위치를 결정한다. 카메라의 상대적인 위치는 다음의 수학식 1에 의해 구할 수 있다.
Figure 112016051079597-pat00007
(여기서,
Figure 112016051079597-pat00008
는 i 번째에서 i+1으로의 멀티빔소나(200)의 위치 변환행렬을 나타내고,
Figure 112016051079597-pat00009
는 i 번째에서 i+1으로의 카메라(100)의 위치 변환행렬을 나타내며,
Figure 112016051079597-pat00010
는 카메라(100)에 대한 멀티빔소나(200)의 상대위치 변환행렬을 나타냄. 한편,
Figure 112016051079597-pat00011
은
Figure 112016051079597-pat00012
의 값을 최소값으로 만들기 위한
Figure 112016051079597-pat00013
을 구하는 것을 의미함)
한편, 도 3의 흐름도와 도 4의 순서도는 같은 단계를 나타낸 도면이며, 도 3의 흐름도는 카메라(100)와 멀티빔소나(200)가 처리하는 과정이 동시에 진행되는 것임을 나타내고 있으며, 도 4의 순서도는 카메라(100)와 멀티빔소나(200)가 처리하는 과정이 개별적으로 이루어지는 것으로 설명한 차이가 있을 뿐 동일한 과정을 설명하기 위한 것이다. 한편, 설명한 바와 같이 카메라(100)와 멀티빔소나(200)가 각각 이미지 또는 음파 데이터를 처리하는 과정은 제어부(210)에 의해 거의 동시에 진행되는 과정일 수 있으며, 또는 순차적으로 처리되는 과정일 수 있다.
상기 본 발명의 내용은 도면에 도식된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 카메라 200 : 멀티빔소나
210 : 제어부 300 : 대상물
310 : 탐지평면 320 : 점군집
330 : 코너점

Claims (6)

  1. 이동하는 멀티빔소나로부터 연속으로 방사된 음파 신호가 대상물에 반사되어 온 연속적인 음파 데이터를 획득하는 단계;
    상기 음파 데이터를 분석하여 상기 대상물에 대한 코너점을 추출하는 단계; 추출된 코너점으로부터 멀티빔소나의 상대운동 변화를 추정하는 단계;
    상기 멀티빔소나와 함께 이동하는 카메라가 연속적으로 촬영한 이미지를 획득하는 단계;
    상기 이미지로부터 상기 대상물에 대한 특징점을 추출하는 단계;
    추출된 특징점들로부터 카메라의 상대운동 변화를 추정하는 단계; 및
    상기 멀티빔소나의 상대운동 변화와 상기 카메라의 상대운동 변화를 이용하여 상기 멀티빔소나와 상기 카메라의 상대적인 위치를 결정하는 단계;를 포함하는 멀티빔소나와 카메라의 위치 캘리브레이션 방법.
  2. 제1항에 있어서, 상기 대상의 코너점을 추출하는 단계는,
    상기 이동하는 멀티빔소나로부터 연속적으로 방출되어 수신되는 음파의 수신 이전의 수신 속도에 대비하여 소정의 값만큼 증가하거나 소정의 값만큼 감소되는 지점 또는 구조물의 단면정보로부터 얻은 직선들의 교점을 코너점으로 추출하도록 구성되는 것인 멀티빔소나와 카메라의 위치 캘리브레이션 방법.
  3. 제1항에 있어서, 상기 대상의 특징점을 추출하는 단계는,
    상기 카메라가 촬영한 이미지에서 대상의 코너점을 추출하되, 상기 코너점은 주변보다 설정된 값 만큼 밝은 화소점이 n개 이상 연속되거나, 주변보다 설정된 값 만큼 어두운 화소점이 n개 이상 연속되는 경우 특징점으로 인지하는 것인 멀티빔소나와 카메라의 위치 캘리브레이션 방법.
  4. 제1항에 있어서, 상기 멀티빔소나의 상대운동 변화를 추정하는 단계는,
    상기 멀티빔소나에 의해 추출된 코너점을 연결하는 위치 변환행렬을 구하는 것인 멀티빔소나와 카메라의 위치 캘리브레이션 방법.
  5. 제1항에 있어서, 상기 카메라의 상대운동 변화를 추정하는 단계는,
    상기 카메라에 의해 추출된 특징점을 연결하는 위치 변환행렬을 구하는 것인 멀티빔소나와 카메라의 위치 캘리브레이션 방법.
  6. 제1항에 있어서, 상기 멀티빔소나와 상기 카메라의 상대적인 위치를 추정하는 단계는,
    다음의 수학식으로 구하는 것인 멀티빔소나와 카메라의 위치 캘리브레이션 방법.
    Figure 112016051079597-pat00014

    (여기서,
    Figure 112016051079597-pat00015
    는 i 번째에서 i+1으로의 멀티빔소나 위치 변환행렬을 나타내고,
    Figure 112016051079597-pat00016
    는 i 번째에서 i+1으로의 카메라 위치 변환행렬을 나타내며,
    Figure 112016051079597-pat00017
    는 카메라에 대한 멀티빔소나의 상대위치 변환행렬을 나타냄)
KR1020160065296A 2016-05-27 2016-05-27 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법 KR101772220B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160065296A KR101772220B1 (ko) 2016-05-27 2016-05-27 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160065296A KR101772220B1 (ko) 2016-05-27 2016-05-27 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법

Publications (1)

Publication Number Publication Date
KR101772220B1 true KR101772220B1 (ko) 2017-08-28

Family

ID=59759841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160065296A KR101772220B1 (ko) 2016-05-27 2016-05-27 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR101772220B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448539A (zh) * 2018-12-14 2019-03-08 深圳市置辰海信科技有限公司 一种基于qt框架的多波束色阶图绘制方法
KR20190076607A (ko) 2017-12-22 2019-07-02 주식회사 라스테크 로봇시각과 융합하여 사용하는 이종 센서 간 캘리브레이션 보조장치
CN112388635A (zh) * 2020-10-30 2021-02-23 中国科学院自动化研究所 机器人多传感器融合感知与空间定位的方法、系统及装置
KR20210055982A (ko) * 2019-11-08 2021-05-18 대양전기공업 주식회사 수중 운동체와 수중 음향 탐지 장비를 이용한 수중 환경 지도 작성 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114722A (ja) * 2003-09-19 2005-04-28 National Institute Of Advanced Industrial & Technology ３次元位置キャリブレーション方法およびキャリブレーション装置
KR101381218B1 (ko) * 2012-08-10 2014-04-02 삼성중공업 주식회사 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법
KR101612322B1 (ko) * 2014-08-28 2016-04-15 (주)하이비젼시스템 카메라모듈의 렌즈 위치 측정장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114722A (ja) * 2003-09-19 2005-04-28 National Institute Of Advanced Industrial & Technology ３次元位置キャリブレーション方法およびキャリブレーション装置
KR101381218B1 (ko) * 2012-08-10 2014-04-02 삼성중공업 주식회사 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법
KR101612322B1 (ko) * 2014-08-28 2016-04-15 (주)하이비젼시스템 카메라모듈의 렌즈 위치 측정장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190076607A (ko) 2017-12-22 2019-07-02 주식회사 라스테크 로봇시각과 융합하여 사용하는 이종 센서 간 캘리브레이션 보조장치
CN109448539A (zh) * 2018-12-14 2019-03-08 深圳市置辰海信科技有限公司 一种基于qt框架的多波束色阶图绘制方法
KR20210055982A (ko) * 2019-11-08 2021-05-18 대양전기공업 주식회사 수중 운동체와 수중 음향 탐지 장비를 이용한 수중 환경 지도 작성 시스템 및 그 방법
KR102263037B1 (ko) * 2019-11-08 2021-06-10 대양전기공업 주식회사 수중 운동체와 수중 음향 탐지 장비를 이용한 수중 환경 지도 작성 시스템 및 그 방법
CN112388635A (zh) * 2020-10-30 2021-02-23 中国科学院自动化研究所 机器人多传感器融合感知与空间定位的方法、系统及装置
CN112388635B (zh) * 2020-10-30 2022-03-25 中国科学院自动化研究所 机器人多传感器融合感知与空间定位的方法、系统及装置

Similar Documents

Publication Publication Date Title
KR101781757B1 (ko) 객체 인식을 위한 수중 이미지 처리장치 및 그 방법
KR101772220B1 (ko) 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법
KR20150059191A (ko) 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
CN115077414B (zh) 一种水下航行器测量海面目标物底部轮廓的装置和方法
KR102535115B1 (ko) 선박 및 항만 모니터링 장치 및 방법
JP6333396B2 (ja) モバイルプラットフォームの変位を計測する方法及び装置
CN113099120B (zh) 深度信息获取方法、装置、可读存储介质及深度相机
US20230260148A1 (en) System and method for geolocation of an object in water
KR101674298B1 (ko) 카메라 렌즈 초점거리 정보를 이용한 거리계산 방법
CN114556449B (zh) 障碍物检测及重识别方法、装置、可移动平台及存储介质
CN115773720A (zh) 一种基于光学视觉的水下目标尺寸测量装置和方法
KR101773425B1 (ko) 수중 로봇의 위치제어 방법, 위치 제어 장치 및 이를 구비한 수중 로봇
CN116009107B (zh) 一种被动式人体检测方法、装置、设备及介质
CN115303451B (zh) 水下设备以及水下作业系统
CN220019916U (zh) 一种人体检测系统
Oliveira et al. Probabilistic positioning of a mooring cable in sonar images for in-situ calibration of marine sensors
Tulsook et al. A pipeline extraction on forward-looking sonar images using the self-organizing map
JPH109853A (ja) 測距型全方位視覚センサ
CN118318180A (zh) 信息处理方法、雷达装置以及计算机程序
Kim et al. Imaging sonar based navigation method for backtracking of AUV
Guerrero et al. A new Concentric Circles Detection method for Object Detection applied to Radar Images
JP4918675B2 (ja) ３次元座標測定方法
Polasek et al. Optical positioning using neural network
CN118710521B (zh) 水下侧扫声呐仿真图像生成方法、装置及系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160527

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170125

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170705

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170822

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170823

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200727

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20220602