KR101652485B1 - 3차원 소나 영상 생성 장치 및 방법 - Google Patents

3차원 소나 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101652485B1
KR101652485B1 KR1020150028364A KR20150028364A KR101652485B1 KR 101652485 B1 KR101652485 B1 KR 101652485B1 KR 1020150028364 A KR1020150028364 A KR 1020150028364A KR 20150028364 A KR20150028364 A KR 20150028364A KR 101652485 B1 KR101652485 B1 KR 101652485B1
Authority
KR
South Korea
Prior art keywords
sonar image
dimensional
dimensional sonar
image
region
Prior art date
Application number
KR1020150028364A
Other languages
English (en)
Inventor
최승준
송영은
Original Assignee
삼성중공업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업(주) filed Critical 삼성중공업(주)
Priority to KR1020150028364A priority Critical patent/KR101652485B1/ko
Application granted granted Critical
Publication of KR101652485B1 publication Critical patent/KR101652485B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8929—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a three-dimensional transducer configuration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52001—Auxiliary means for detecting or identifying sonar signals or the like, e.g. sonar jamming signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 3차원 소나 영상 생성 장치 및 방법에 관한 것으로, 2차원 소나 영상으로부터 객체 영역에 대한 그림자 영역을 검출하는 그림자영역 검출부; 및 검출된 그림자 영역의 정보를 이용하여 객체의 높이 정보를 산출하고, 산출된 높이 정보를 이용하여 3차원 소나 영상을 생성하는 3차원 영상 생성부를 포함하는 3차원 소나 영상 생성 장치를 개시한다.

Description

3차원 소나 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING 3D SONAR IMAGE}
본 발명은 3차원 소나(SONAR) 영상을 생성하는 장치 및 방법에 관한 것으로, 보다 상세하게는 2차원 소나 영상으로부터 3차원 소나 영상을 생성하는 장치 및 방법에 관한 것이다.
수중 소나는 초음파를 발생하고, 물체로부터 반사된 음파가 되돌아오는데 걸리는 시간과 반사된 음파의 세기를 이용하여 전방을 가시화하는 장치이다. 광학 카메라의 경우 수중에서 가시거리가 짧은 문제가 있기 때문에, 수중 ROV(remote operated vehicle)나 AUV(autonomous underwater vehicle)는 주로 이미징 소나(imaging SONAR)를 이용하여 전방의 장애물을 탐지하고 있다. 이미징 소나는 주파수가 다른 초음파를 동시에 발신하고, 물체에서 반사되어 돌아오는 반사파를 수신하여, 소나 영상을 생성한다. 이미징 소나는 측정 영역에 대하여 빠르게 초음파 영상을 생성할 수 있는 이점을 갖는다. 그러나, 이미징 소나는 객체(물체)의 거리와 방위각 정보만을 포함하는 2차원의 영상만을 제공하며, 객체의 높이 정보나 3차원적인 정보를 제공하지는 못한다.
본 발명은 2차원 소나 영상으로부터 3차원 소나 영상을 생성하는 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 3차원 소나 영상 생성 장치는 2차원 소나 영상으로부터 객체 영역에 대한 그림자 영역을 검출하는 그림자영역 검출부; 및 검출된 그림자 영역의 정보를 이용하여 객체의 높이 정보를 산출하고, 산출된 높이 정보를 이용하여 3차원 소나 영상을 생성하는 3차원 영상 생성부를 포함한다.
상기 그림자영역 검출부는, 상기 2차원 소나 영상에서 밝기가 제1 기준값 이상인 영역을 상기 객체 영역으로 검출하고, 상기 객체 영역에 인접하면서 상기 제1 기준값 이하로 설정되는 제2 기준값 이하의 밝기를 갖는 영역을 상기 객체 영역에 대한 그림자 영역으로 검출할 수 있다.
상기 3차원 영상 생성부는, 상기 그림자 영역의 길이 정보를 산출하는 길이정보 산출부; 상기 그림자 영역의 길이 정보 및 상기 2차원 소나 영상을 획득한 이미징 소나의 기울기각을 이용하여 상기 객체의 높이 정보를 산출하는 객체높이 산출부; 및 상기 2차원 소나 영상에 상기 객체의 높이 정보를 결합하여 상기 3차원 소나 영상을 생성하는 결합부를 포함할 수 있다.
상기 3차원 소나 영상 생성 장치는 상기 2차원 소나 영상의 노이즈를 제거하는 전처리부를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 2차원 소나 영상으로부터 객체 영역에 대한 그림자 영역을 검출하는 단계; 및 검출된 그림자 영역의 정보를 이용하여 상기 객체의 높이 정보를 산출하고, 산출된 높이 정보를 이용하여 3차원 소나 영상을 생성하는 단계를 포함하는 3차원 소나 영상 생성 방법이 제공된다.
상기 그림자 영역을 검출하는 단계는, 상기 2차원 소나 영상에서 밝기가 제1 기준값 이상인 영역을 상기 객체 영역으로 검출하는 단계; 및 상기 객체 영역에 인접하면서 상기 제1 기준값 이하로 설정되는 제2 기준값 이하의 밝기를 갖는 영역을 상기 객체 영역에 대한 그림자 영역으로 검출하는 단계를 포함할 수 있다.
상기 3차원 소나 영상을 생성하는 단계는, 상기 그림자 영역의 길이 정보를 산출하는 단계; 상기 그림자 영역의 길이 정보 및 상기 2차원 소나 영상을 획득한 이미징 소나의 기울기각을 이용하여 상기 객체의 높이 정보를 산출하는 단계; 및 상기 2차원 소나 영상에 상기 객체의 높이 정보를 결합하여 상기 3차원 소나 영상을 생성하는 단계를 포함할 수 있다.
상기 3차원 소나 영상을 생성하는 단계는 하기의 수식 1에 따라 상기 객체의 3차원 좌표 정보를 산출할 수 있다.
[수식 1]
Figure 112015019932172-pat00001
상기 수식 1에서, P0는 상기 3차원 좌표 정보, z0는 상기 객체의 높이 정보, φ는 상기 이미징 소나의 기울기각, θ는 상기 이미징 소나의 수평 음파 각도, k는 비례 상수, Ostart는 상기 객체 영역의 시작점, Intensityi는 상기 객체 영역의 밝기, R은 상기 객체에 이르는 거리, Oend는 상기 객체 영역의 시작점 이후 상기 2차원 소나 영상에서 밝기가 상기 제1 기준값 보다 낮아지는 상기 객체 영역의 종료점, Send는 상기 객체 영역의 종료점 이후 상기 2차원 소나 영상에서 밝기가 상기 제2 기준값 보다 높아지는 지점을 나타낸다.
본 발명의 또 다른 일 측면에 따르면, 상기 3차원 소나 영상 생성 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명의 실시 예에 의하면, 2차원 소나 영상으로부터 3차원 소나 영상을 생성할 수 있다.
본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 3차원 소나 영상 생성 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 3차원 소나 영상 생성 장치를 구성하는 3차원 영상 생성부의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 3차원 소나 영상 생성 방법의 흐름도이다.
도 4는 이미징 소나를 이용하여 객체들에 대한 2차원 소나 영상을 획득하는 것을 개략적으로 보여주는 사시도이다.
도 5는 이미징 소나에 의해 획득된 2차원 소나 영상을 예시적으로 보여주는 도면이다.
도 6은 이미징 소나를 이용하여 객체들에 대한 2차원 소나 영상을 획득하는 것을 개략적으로 보여주는 측면도이다.
도 7은 도 3에 도시된 단계 S20을 설명하기 위한 2차원 소나 영상 데이터의 예시도이다.
도 8은 이미징 소나에 의해 획득된 2차원 소나 영상을 보여주는 도면이다.
도 9는 본 발명의 실시 예에 따라 2차원 소나 영상에서 객체 영역과 그림자 영역을 검출한 것을 보여주는 도면이다.
도 10은 이미징 소나에 의해 획득된 2차원 소나 영상에 음파의 방향에 따른 변수 θ를 나타낸 도면이다.
도 11은 이미징 소나에 의해 획득된 2차원 소나 영상을 보여주는 도면이다.
도 12는 2차원 소나 영상으로부터 객체의 높이 정보를 산출한 것을 보여주는 도면이다.
도 13은 2차원 소나 영상에 객체의 높이 정보를 결합하여 생성된 3차원 소나 영상을 보여주는 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되지 않으며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 공지된 구성에 대한 일반적인 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일하거나 상응하는 구성에 대하여는 가급적 동일한 도면부호가 사용된다. 본 발명의 이해를 돕기 위하여, 도면에서 일부 구성은 다소 과장되거나 축소되어 도시될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서 전체에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부'에서 제공하는 기능은 복수의 구성요소 및 '~부'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
본 발명의 실시 예에 따른 3차원 소나 영상 생성 장치는 2차원 소나(SONAR) 영상으로부터 객체(object) 영역에 대한 그림자(shadow) 영역을 검출하고, 검출한 그림자 영역의 길이 정보를 이용하여 객체(물체)의 높이 정보를 산출하고, 산출된 높이 정보를 이용하여 객체의 3차원 좌표값을 산출함으로써 3차원 소나 영상을 생성한다. 본 발명의 실시 예에 의하면, 2차원 소나 영상으로부터 3차원 소나 영상을 생성할 수 있으며, 3D 소나 입체 영상을 통해 수중의 물체를 효과적으로 인식할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 3차원 소나 영상 생성 장치(100)의 구성도이다. 도 1을 참조하면, 3차원 소나 영상 생성 장치(100)는 전처리부(110), 그림자영역 검출부(120) 및 3차원 영상 생성부(130)를 포함한다. 이미징 소나(10)에 의해 획득된 2차원 소나 영상을 3차원 소나 영상으로 변환하기 위해 제공된다.
일 실시 예로, 이미징 소나(10)는 주파수가 다른 초음파를 동시에 발신하고, 물체에서 반사되어 돌아오는 반사파를 수신하여, 2차원 소나 영상을 생성할 수 있다. 이미징 소나(10)는 초음파가 물체로부터 반사되어 되돌아오는데 걸리는 시간과 반사되어 되돌아온 초음파의 세기를 이용하여 2차원 소나 영상을 생성할 수 있다. 2차원 소나 영상에는 객체(물체)에 이르는 거리와 방위각 정보가 포함되어 있으며, 객체의 높이 정보나 3차원 좌표 정보가 포함되어 있지 않다.
3차원 소나 영상 생성 장치(100)는 입력부(150)를 통해 이미징 소나(imaging SONAR)(10)로부터 2차원 소나 영상을 제공받고, 2차원 소나 영상으로부터 3차원 소나 영상을 생성한다. 전처리부(110)는 이미징 소나(10)로부터 제공된 2차원 소나 영상의 노이즈(noise)를 제거한다. 전처리부(110)는 가우시안 필터(Gaussian filter) 등의 영상 처리 기법을 이용하여 2차원 소나 영상의 노이즈를 제거할 수 있다.
그림자영역 검출부(120)는 노이즈 제거된 2차원 소나 영상으로부터 객체 영역에 대한 그림자 영역을 음파의 진행 방향별로 검출한다. 일 실시 예로, 그림자영역 검출부(120)는 2차원 소나 영상에서 밝기가 제1 기준값 이상인 영역을 객체 영역으로 검출하고, 객체 영역의 후방 측에 인접하면서 제1 기준값 이하로 설정되는 제2 기준값 이하의 밝기를 갖는 영역을 객체 영역에 대한 그림자 영역으로 검출할 수 있다.
3차원 영상 생성부(130)는 그림자영역 검출부(120)에 의해 검출된 그림자 영역의 길이 정보와, 객체에 이르는 거리 정보 및 이미징 소나(10)의 상하방향 기울기각 정보를 이용하여 객체의 높이 정보를 산출하고, 산출된 객체의 높이 정보를 이용하여 3차원 좌표값을 산출함으로써 3차원 소나 영상을 생성한다. 3차원 영상 생성부(130)에 의해 생성된 3차원 소나 영상은 출력부(140)를 통해 출력될 수 있다. 출력부(140)는 디스플레이 화면을 통해 소나 영상을 3차원적으로 표시할 수 있다.
메모리(160)는 2차원 소나 영상을 3차원 소나 영상으로 변환하기 위하여 필요한 프로그램이나 각종 정보를 저장한다. 프로세서(170)는 2차원 소나 영상으로부터 3차원 소나 영상을 생성하는 동작이 실행되도록 3차원 소나 영상 생성 장치(100)의 각 구성을 제어한다.
도 2는 본 발명의 일 실시 예에 따른 3차원 소나 영상 생성 장치(100)를 구성하는 3차원 영상 생성부(130)의 구성도이다. 도 1 및 도 2를 참조하면, 3차원 영상 생성부(130)는 길이정보 산출부(131), 객체높이 산출부(132) 및 결합부(133)를 포함한다.
길이정보 산출부(131)는 그림자영역 검출부(120)에 의해 검출된 객체에 대한 그림자 영역의 길이 정보를 산출한다. 객체높이 산출부(132)는 길이정보 산출부(131)에 의해 산출된 그림자 영역의 길이 정보와, 2차원 소나 영상을 획득한 이미징 소나(10)의 기울기각을 이용하여 객체의 높이 정보를 산출한다. 결합부(133)는 2차원 소나 영상에 객체높이 산출부(132)에 의해 산출된 객체의 높이 정보를 결합하여 3차원 소나 영상을 생성한다.
도 3은 본 발명의 일 실시 예에 따른 3차원 소나 영상 생성 방법의 흐름도이다. 도 1 및 도 3을 참조하면, 3차원 소나 영상을 생성하기 위하여, 먼저 이미징 소나(10)를 이용하여 2차원 소나 영상을 획득하고, 전처리부(110)에 의해 이미징 소나(10)에서 획득한 2차원 소나 영상의 노이즈를 제거하는 전처리(preprocessing)를 수행한다(S10).
도 4는 이미징 소나(10)를 이용하여 객체들(31~34)에 대한 2차원 소나 영상을 획득하는 것을 개략적으로 보여주는 사시도이고, 도 5는 이미징 소나(10)에 의해 획득된 2차원 소나 영상(SI)을 예시적으로 보여주는 도면이다. 도 4 및 도 5를 참조하면, 이미징 소나(10)는 객체들(objects)(31~34)의 위치, 이미징 소나(10)와 객체들(31~34) 간의 거리 및 수평 방향각 정보만을 포함하는 2차원 소나 영상을 제공한다. 이미징 소나(10)에 의해 획득된 2차원 소나 영상(SI)에는 객체들(31~34)의 높이 정보가 제공되지 않는다.
이미징 소나(10)는 소나빔(20), 예를 들어 2차원 멀티빔(multibeam)의 초음파를 발생하고, 발생된 초음파가 객체들(31~34)에서 반사되어 돌아온 시간과 세기(밝기) 정보를 이용해 2차원 초음파 영상을 생성한다. 이미징 소나(10)에서 발생된 초음파가 객체들(31~34)에서 반사되어 이미징 소나(10)로 도달하는 시간은 이미징 소나(10)와 객체들(31~34) 간의 거리에 비례한다. 2차원 소나 영상(SI)에서 밝은 부분은 반사된 초음파의 세기가 큰 부분으로, 객체 영상(41~44)에 해당한다. 2차원 소나 영상(SI)에서 어두운 부분은 초음파가 반사되지 않거나, 객체(31~34)에 가려져 음향 그림자(accoustic shadow)가 발생한 부분, 즉 그림자 영역(51~54)에 해당한다.
도 1, 도 3 내지 도 5를 참조하면, 2차원 소나 영상을 3차원적으로 가시화하기 위해, 그림자영역 검출부(120)는 노이즈 제거된 2차원 소나 영상(SI)에서 객체(31~34)에 상응하는 객체 영역(41~44)과 객체 영역(41~44)에 대한 그림자 영역(51~54)을 검출한다(S20). 도 6은 이미징 소나(10)를 이용하여 객체들(32~33)에 대한 2차원 소나 영상을 획득하는 것을 개략적으로 보여주는 측면도이고, 도 7은 도 3에 도시된 단계 S20을 설명하기 위한 2차원 소나 영상 데이터의 예시도이다.
도 1, 도 3, 도 5 내지 도 7을 참조하면, 그림자영역 검출부(120)는 2차원 소나 영상 데이터에서 밝기가 제1 기준값(T0) 이상인 영역을 객체 영역(OA)으로 검출하고, 객체 영역(OA)(32,33)의 후방 측에서 객체 영역(OA)(42,43)에 인접하면서 제1 기준값(T0) 이하로 설정되는 제2 기준값(TS) 이하의 밝기를 갖는 영역을 객체 영역(OA)에 대한 그림자 영역(SA)(52,53)으로 검출할 수 있다(S20). 그림자영역 검출부(120)는 이미징 소나(10)의 음파의 진행 방향(수평방위각)별로 그림자 영역(SA)을 탐지할 수 있다. 객체 영역(OA)과 그림자 영역(SA)이 아닌 영역은 바닥 영역(BA)으로 검출된다.
도 7의 예에서, 객체 영역(OA)의 시작점(Ostart)과 종료점(Oend) 간의 거리가 객체(32)의 길이로 산출되고, 그림자 영역(SA)의 시작점으로부터 그림자 영역(SA)의 종료점(Send) 간의 거리가 그림자 영역(SA)의 거리 정보로 산출된다. 그림자 영역(SA)의 시작점은 객체 영역(OA)의 종료점(Oend)과 일치할 수 있다.
도 8은 이미징 소나(10)에 의해 획득된 2차원 소나 영상을 예시적으로 보여주는 도면이고, 도 9는 본 발명의 실시 예에 따라 2차원 소나 영상에서 객체 영역과 그림자 영역을 검출한 것을 보여주는 도면이다. 도 9에서, 객체 영역(OA)의 시작점은 적색으로 표시되어 있으며, 그림자 영역(SA)의 시작점은 녹색으로 표시되고, 그림자 영역(SA)의 종료점은 청색으로 표시되어 있다. 도 9에서, 음파의 수평방위각별로, 그림자 영역(SA)의 시작점과 종료점 사이 영역은 객체에 의해 가려져 어둡게 나타나는 것을 확인할 수 있다.
다시 도 1, 도 3, 도 5 및 도 6을 참조하면, 단계 S20에서 2차원 소나 영상에서 그림자 영역(SA)이 검출되면, 3차원 영상 생성부(130)는 그림자영역 검출부(120)에 의해 검출된 그림자 영역(SA)의 길이 정보(Send-Oend) 및 이미징 소나(10)의 기울기각(φ)을 이용하여 객체(32,33)의 높이 정보를 산출하고(S30), 2차원 소나 영상에 객체의 높이 정보를 결합하여 3차원 소나 영상을 생성한다(S40). 그림자 영역(SA)의 길이는 객체(32,33)의 높이에 비례하기 때문에, 그림자 영역(SA)의 길이 정보와, 객체(32,33)에 이르는 거리 및 이미징 소나(10)의 기울기각(φ)으로부터 객체(32,33)의 높이 정보를 산출할 수 있다.
도 10은 이미징 소나(10)에 의해 획득된 2차원 소나 영상으로서, 음파의 수평방향에 따른 변수 θ(수평방위각)를 나타낸 도면이다. 도 10에 도시된 R은 객체에 이르는 거리 값이다. 도 1, 도 3, 도 6, 도 7 및 도 10을 참조하면, 3차원 영상 생성부(130)는 아래의 식 1에 따라 객체의 3차원 좌표 정보 P0 = (x0,y0,z0) 를 수평방위각도(θ)별로 산출할 수 있다(S30).
[식 1]
Figure 112015019932172-pat00002
위의 식 1에서, z0는 객체의 높이 정보, φ는 이미징 소나(10)의 상하방향 기울기각, θ는 이미징 소나(10)의 수평 음파 각도, k는 비례상수, Ostart는 객체 영역의 시작점, 즉 2차원 소나 영상 데이터에서 밝기(intensity)가 제1 기준값(T0) 보다 높아지는 지점, Intensityi는 객체 영역의 밝기, Oend는 객체 영역의 시작점(Ostart) 이후 2차원 소나 영상 데이터에서 밝기가 제1 기준값(T0) 보다 낮아지는 객체 영역의 종료점, Send는 객체 영역의 종료점(Oend) 이후 2차원 소나 영상 데이터에서 밝기가 제2 기준값(TS) 보다 높아지는 지점, k는 비례상수, R은 객체에 이르는 거리로서, 객체에 대한 높이 측정 지점을 나타낸다.
객체의 경사각(높이 증가율)이 클수록 객체로부터 반사되어 되돌아오는 초음파 세기가 커져서 2차원 소나 영상 데이터에서 밝기 값이 증가되고, 반대로 객체의 경사각(높이 증가율)이 작을수록 객체에서의 초음파 반사각이 커져서 객체로부터 반사되어 되돌아오는 초음파 세기가 줄어들게 되므로 2차원 소나 영상 데이터에서 밝기 값이 감소된다. 따라서, 객체의 측정 지점에 대한 높이는 상기 식 1에서와 같이, 해당 객체 영역의 시작점(Ostart)에서 객체에 대한 높이 측정 지점(R)까지 2차원 소나 영상 데이터의 밝기(intensity) 값의 적분값(다시 말해, 객체의 위치별 높이 증가율의 누적합)으로부터 정확하게 산출될 수 있다.
도 11은 이미징 소나(10)에 의해 획득된 2차원 소나 영상을 보여주는 도면이고, 도 12는 2차원 소나 영상으로부터 객체의 높이 정보를 산출한 것을 보여주는 도면이고, 도 13은 2차원 소나 영상에 객체의 높이 정보를 결합하여 생성된 3차원 소나 영상을 보여주는 도면이다. 도 12 및 도 13에 도시된 바와 같이, 본 발명의 실시 예에 의하면, 2차원 소나 영상으로부터 3차원 소나 영상을 생성할 수 있으며, 생성된 3D 소나 입체 영상으로부터 수중의 물체를 효과적으로 인식할 수 있다.
본 발명의 실시 예에 따른 3차원 소나 영상 생성 방법은 예를 들어 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM)과 같은 불휘발성 메모리, 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.
이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.
10: 이미징 소나(imaging SONAR) 20: 소나빔(SONAR beam)
31~34: 객체 41~44, OA: 객체 영역
51~54, SA: 그림자 영역 100: 3차원 소나 영상 생성 장치
110: 전처리부 120: 그림자영역 검출부
130: 3차원 영상 생성부 131: 길이정보 산출부
132: 객체높이 산출부 133: 결합부
140: 출력부 150: 입력부
160: 메모리 170: 프로세서

Claims (9)

  1. 2차원 소나 영상으로부터 객체 영역에 대한 그림자 영역을 검출하는 그림자영역 검출부; 및
    검출된 그림자 영역의 정보를 이용하여 객체의 높이 정보를 산출하고, 산출된 높이 정보를 이용하여 3차원 소나 영상을 생성하는 3차원 영상 생성부를 포함하는 3차원 소나 영상 생성 장치.
  2. 제1 항에 있어서,
    상기 그림자영역 검출부는,
    상기 2차원 소나 영상에서 밝기가 제1 기준값 이상인 영역을 상기 객체 영역으로 검출하고, 상기 객체 영역에 인접하면서 상기 제1 기준값 이하로 설정되는 제2 기준값 이하의 밝기를 갖는 영역을 상기 객체 영역에 대한 그림자 영역으로 검출하는 3차원 소나 영상 생성 장치.
  3. 제2 항에 있어서,
    상기 3차원 영상 생성부는,
    상기 그림자 영역의 길이 정보를 산출하는 길이정보 산출부;
    상기 그림자 영역의 길이 정보 및 상기 2차원 소나 영상을 획득한 이미징 소나의 기울기각을 이용하여 상기 객체의 높이 정보를 산출하는 객체높이 산출부; 및
    상기 2차원 소나 영상에 상기 객체의 높이 정보를 결합하여 상기 3차원 소나 영상을 생성하는 결합부를 포함하는 3차원 소나 영상 생성 장치.
  4. 제1 항에 있어서,
    상기 2차원 소나 영상의 노이즈를 제거하는 전처리부를 더 포함하는 3차원 소나 영상 생성 장치.
  5. 2차원 소나 영상으로부터 객체 영역에 대한 그림자 영역을 검출하는 단계; 및
    검출된 그림자 영역의 정보를 이용하여 객체의 높이 정보를 산출하고, 산출된 높이 정보를 이용하여 3차원 소나 영상을 생성하는 단계를 포함하는 3차원 소나 영상 생성 방법.
  6. 제5 항에 있어서,
    상기 그림자 영역을 검출하는 단계는,
    상기 2차원 소나 영상에서 밝기가 제1 기준값 이상인 영역을 상기 객체 영역으로 검출하는 단계; 및
    상기 객체 영역에 인접하면서 상기 제1 기준값 이하로 설정되는 제2 기준값 이하의 밝기를 갖는 영역을 상기 객체 영역에 대한 그림자 영역으로 검출하는 단계를 포함하는 3차원 소나 영상 생성 방법.
  7. 제6 항에 있어서,
    상기 3차원 소나 영상을 생성하는 단계는,
    상기 그림자 영역의 길이 정보를 산출하는 단계;
    상기 그림자 영역의 길이 정보 및 상기 2차원 소나 영상을 획득한 이미징 소나의 기울기각을 이용하여 상기 객체의 높이 정보를 산출하는 단계; 및
    상기 2차원 소나 영상에 상기 객체의 높이 정보를 결합하여 상기 3차원 소나 영상을 생성하는 단계를 포함하는 3차원 소나 영상 생성 방법.
  8. 제7 항에 있어서,
    상기 2차원 소나 영상에 상기 객체의 높이 정보를 결합하여 상기 3차원 소나 영상을 생성하는 단계는 하기의 수식 1에 따라 상기 객체의 3차원 좌표 정보를 산출하며,
    [수식 1]
    Figure 112016016246471-pat00003

    상기 수식 1에서, P0는 상기 3차원 좌표 정보, z0는 상기 객체의 높이 정보, φ는 상기 이미징 소나의 상하방향 기울기각, θ는 상기 이미징 소나의 수평 음파 각도, Ostart는 상기 객체 영역의 시작점, Intensityi는 상기 객체 영역의 밝기, k는 비례상수, R은 상기 객체에 이르는 거리, Oend는 상기 객체 영역의 시작점 이후 상기 2차원 소나 영상에서 밝기가 상기 제1 기준값 보다 낮아지는 상기 객체 영역의 종료점, Send는 상기 객체 영역의 종료점 이후 상기 2차원 소나 영상에서 밝기가 상기 제2 기준값 보다 높아지는 지점을 나타내는 3차원 소나 영상 생성 방법.
  9. 제5 항 내지 제8 항 중 어느 한 항의 3차원 소나 영상 생성 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020150028364A 2015-02-27 2015-02-27 3차원 소나 영상 생성 장치 및 방법 KR101652485B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150028364A KR101652485B1 (ko) 2015-02-27 2015-02-27 3차원 소나 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150028364A KR101652485B1 (ko) 2015-02-27 2015-02-27 3차원 소나 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101652485B1 true KR101652485B1 (ko) 2016-08-31

Family

ID=56877507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150028364A KR101652485B1 (ko) 2015-02-27 2015-02-27 3차원 소나 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101652485B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004533303A (ja) * 2001-06-22 2004-11-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ３次元画像生成超音波システム
JP2008204458A (ja) * 2007-02-16 2008-09-04 Samsung Electronics Co Ltd ２次元実写映像から３次元モデルを生成する方法及び装置
JP2009085915A (ja) * 2007-10-03 2009-04-23 Furuno Electric Co Ltd 水中探知装置
KR20130052393A (ko) * 2011-11-11 2013-05-22 재단법인대구경북과학기술원 3차원 영상을 이용한 객체 검출 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004533303A (ja) * 2001-06-22 2004-11-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ３次元画像生成超音波システム
JP2008204458A (ja) * 2007-02-16 2008-09-04 Samsung Electronics Co Ltd ２次元実写映像から３次元モデルを生成する方法及び装置
JP2009085915A (ja) * 2007-10-03 2009-04-23 Furuno Electric Co Ltd 水中探知装置
KR20130052393A (ko) * 2011-11-11 2013-05-22 재단법인대구경북과학기술원 3차원 영상을 이용한 객체 검출 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US8405742B2 (en) Processing images having different focus
JP6476831B2 (ja) 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP6646667B2 (ja) ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置
CN110956603B (zh) 深度图像边缘飞点的检测方法、装置及电子设备
WO2018227576A1 (zh) 地面形态检测方法及系统、无人机降落方法和无人机
JP2012247364A (ja) ステレオカメラ装置、ステレオカメラシステム、プログラム
JP2017111803A (ja) 駐車スペースの検出装置、方法及び画像処理装置
EP2930688A1 (en) Disparity deriving apparatus, movable apparatus, robot, method of deriving disparity, method of producing disparity, and carrier medium
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
JP4843544B2 (ja) ３次元画像補正方法及びその装置
JPWO2016208318A1 (ja) 距離画像処理装置、距離画像処理方法、距離画像処理プログラムおよび記録媒体
JP2016109671A (ja) 三次元計測装置およびその制御方法
KR101635408B1 (ko) 복합 영상 생성 장치 및 방법
US9959634B2 (en) Method and system for identifying depth data associated with an object
US10318798B2 (en) Device and method for detecting non-visible content in a non-contact manner
JP2015179066A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US20160148373A1 (en) Image recording system
KR101652485B1 (ko) 3차원 소나 영상 생성 장치 및 방법
JP6273921B2 (ja) 画像処理装置
JP6735594B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
KR20190139522A (ko) 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇
JP6369058B2 (ja) 画像処理装置
JP7208061B2 (ja) 球形マーカー検出方法
KR101866107B1 (ko) 평면 모델링을 통한 깊이 정보 보정 방법과 보정 장치 및 부호화 장치
CN113673284B (zh) 深度相机抓拍方法、系统、设备及介质

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 4