KR20230068126A - 딥러닝 기반 선박 주변 인식 장치 및 방법 - Google Patents
딥러닝 기반 선박 주변 인식 장치 및 방법 Download PDFInfo
- Publication number
- KR20230068126A KR20230068126A KR1020210154132A KR20210154132A KR20230068126A KR 20230068126 A KR20230068126 A KR 20230068126A KR 1020210154132 A KR1020210154132 A KR 1020210154132A KR 20210154132 A KR20210154132 A KR 20210154132A KR 20230068126 A KR20230068126 A KR 20230068126A
- Authority
- KR
- South Korea
- Prior art keywords
- ship
- deep learning
- surroundings
- image
- recognizing
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013136 deep learning model Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims 2
- 230000004807 localization Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000011423 initialization method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000742 single-metal deposition Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Abstract
딥러닝 기반 선박 주변 인식 장치 및 방법이 개시된다. 딥러닝 기반 선박 주변 인식 방법은, 해양에 대한 가상 이미지 데이터 세트를 학습하여 딥러닝 기반 물체 검출 모델을 생성하는 단계, 선박에 장착되어 선박 주변을 촬영하는 카메라로부터 선박 주변 이미지를 획득하는 단계, 생성된 딥러닝 기반 물체 검출 모델을 이용하여, 획득된 선박 주변 이미지에서 선박 주변의 물체를 탐지하는 단계, 선박 주변 이미지를 이용하여 물체의 공간 좌표를 산출하는 단계 및 산출된 공간 좌표를 이용하여 물체를 추적하는 단계를 포함한다.
Description
본 발명은 딥러닝 기반 선박 주변 인식 장치 및 방법에 관한 것이다.
최근, 무인 선박과 자율운항 선박이 주목받으면서, 안전한 항해를 위하여 선박 주변에 대한 자동 물체 인식의 필요성이 대두되고 있다. 일반적으로, 선박은 자동식별시스템(AIS) 데이터 또는 레이더(RADAR: RAdio Detection And Ranging) 및 라이다(LIDAR: LIght Detection And Ranging)와 같은 센서를 이용하여 주변 정보를 획득한다. 그러나, 이러한 센서는 한계를 가지고 있다. AIS는 AIS 장비가 없으면 소형 보트나 부표(buoy)에 대한 정보를 획득할 수 없다. 레이더는 장거리에서 물체를 감지할 수 있는 장점이 있다. 그러나, 개체의 정보가 제한되고 업데이트 속도가 느리다. 라이다는 정확한 탐지가 가능하지만, 탐지 범위가 짧고 수면의 빛 반사를 야기한다. 그러므로, 이러한 단점을 보완하기 위해서는, 중거리 물체를 감지하고, 주변 물체를 실시간으로 관찰하고, 카메라 이미지의 다양한 정보를 활용할 수 있는 이미지 기반 물체 인식 기술의 개발이 필요하다.
최근에 영상 처리 분야에서 컴퓨터 비전과 딥러닝 기술의 발전으로 딥러닝 기반 객체 감지의 정확도가 기존의 영상 처리 방법에 비하여 크게 향상되었다. 특히, 최근 자율운항 선박에 대한 관심의 증가로, 해양 분야에서도 딥러닝 기반 선박인식에 대한 연구가 수행되어 왔다. 물체 인식 기술은 크게 탐지(detection), 로컬화(localization) 및 추적(tracking)의 세 단계로 나눌 수 있다. 감지는 주어진 이미지에서 물체 및 물체의 위치를 찾는 단계이다. 로컬화 단계에서는, 이미지에서 물체의 위치가 3차원 공간으로 변환된다. 마지막으로 추적 단계에서는, 시간이 지남에 따라 물체를 추적하고 추정한다.
따라서, 해상사고를 예방하기 위하여 선박 주변의 환경을 잘 파악할 수 있는 이미지 기반 물체 인식 기술이 요구된다.
본 발명은 선박에 장착되어 선박 주변을 촬영하는 카메라로부터 선박 주변 이미지를 획득하고, 획득된 선박 주변 이미지에서 학습 모델을 이용하여 선박 주변의 물체를 탐지하고, 탐지된 물체를 추적하여 다른 선박의 상태를 추정하는 딥러닝 기반 선박 주변 인식 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 선박 주변 인식 장치가 수행하는 딥러닝 기반 선박 주변 인식 방법이 개시된다.
본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 방법은, 해양에 대한 가상 이미지 데이터 세트를 학습하여 딥러닝 기반 물체 검출 모델을 생성하는 단계, 선박에 장착되어 선박 주변을 촬영하는 카메라로부터 선박 주변 이미지를 획득하는 단계, 상기 생성된 딥러닝 기반 물체 검출 모델을 이용하여, 상기 획득된 선박 주변 이미지에서 상기 선박 주변의 물체를 탐지하는 단계, 상기 선박 주변 이미지를 이용하여 상기 물체의 공간 좌표를 산출하는 단계 및 상기 산출된 공간 좌표를 이용하여 상기 물체를 추적하는 단계를 포함한다.
상기 딥러닝 기반 선박 주변 인식 방법은, 상기 딥러닝 기반 물체 검출 모델을 생성하는 단계 이전에, 미리 설정된 바다 질감 및 하늘 질감이 적용된 가상 해양 환경에 복수의 선박 모델을 무작위로 배치하여 상기 가상 이미지 데이터 세트를 구축하는 단계를 더 포함한다.
상기 선박 주변의 물체를 탐지하는 단계는, 상기 선박 주변 이미지에서 선박의 바운딩 박스(bounding box) 및 수평선 사이의 거리를 이용하여 다른 선박까지의 거리를 추정한다.
상기 수평선은 하기 수학식을 이용하여 산출된다.
여기서, hcenter는 수평선 중심의 y좌표이고, hinitial은 수평선의 초기 중심의 y좌표이고, θ는 선박의 피치각(pitch angle)이고, δ는 카메라의 기울기 각도(tilt angle)이고, φ는 선박의 롤 각도(roll angle)이고, w는 이미지 넓이이고, α는 카메라의 수직 시야(FOV: Field of View)이고, h1 및 h2는 각각 수평선의 좌측 끝 및 우측 끝의 y좌표이다.
상기 물체를 추적하는 단계는, 상기 선박 주변 이미지에 대한 연속 프레임에서 탐지된 선박이 동일한지 여부를 판별하기 위하여, 헝가리안 알고리즘(Hungarian algorithm)을 이용하여 상기 연속 프레임에서 탐지된 선박에 아이디(ID) 매칭을 수행하는 단계 및 칼만 필터(Kalman filter)를 이용하여 상기 탐지된 선박의 위치, 대지속력(SOG: Speed Over Ground) 및 대지침로(COG: Course Over Ground)를 포함하는 상태를 추정하는 단계를 포함한다.
상기 상태를 추정하는 단계는, 상기 대지속력(SOG) 및 상기 대지침로(COG)를 초기화하는 단계, 상기 칼만 필터를 이용한 예측 단계 및 상기 칼만 필터를 이용한 업데이트 단계를 포함한다.
상기 칼만 필터를 이용한 예측 단계는, 하기 수학식을 이용하여 상기 탐지된 선박의 상태를 추정한다.
여기서, P는 오차 공분산 행렬이고, A는 예측식의 야코비안 행렬(Jacobian matrix)이고, Q는 예측 잡음 공분산 행렬이고, R은 측정 잡음 공분산 행렬이고, 위 첨자 '-'는 예측 변수임을 나타내고, 아래 첨자 k는 k번째 반복의 변수임을 나타낸다.
상기 칼만 필터를 이용한 업데이트 단계는, 하기 수학식을 이용하여 상기 탐지된 선박의 상태를 업데이트한다.
여기서, KG는 칼만 이득이고, H는 야코비안 행렬이고, X는 상태 변수 벡터이고, z는 측정 벡터이 벡터이고, 아래 첨자 t는 타겟(target)을 나타내고, 아래 첨자 o는 자선을 나타낸다.
상기 대지속력(SOG) 및 상기 대지침로(COG)를 초기화하는 단계는, 하기 수학식을 이용하여 상기 대지침로(COG)를 초가화한다.
여기서, ψt,init는 대지침로(COG)의 초기값이고, ψc는 카메라 방향이고, ψrel은 대지침로(COG)의 초기화를 위한 딥러닝 모델을 이용하여 계산된 상대 대지침로(COG)이다.
본 발명의 다른 측면에 따르면, 딥러닝 기반 선박 주변 인식 장치가 개시된다.
본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 장치는, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 해양에 대한 가상 이미지 데이터 세트를 학습하여 딥러닝 기반 물체 검출 모델을 생성하는 단계, 선박에 장착되어 선박 주변을 촬영하는 카메라로부터 선박 주변 이미지를 획득하는 단계, 상기 생성된 딥러닝 기반 물체 검출 모델을 이용하여, 상기 획득된 선박 주변 이미지에서 상기 선박 주변의 물체를 탐지하는 단계, 상기 선박 주변 이미지를 이용하여 상기 물체의 공간 좌표를 산출하는 단계 및 상기 산출된 공간 좌표를 이용하여 상기 물체를 추적하는 단계를 포함하는 딥러닝 기반 선박 주변 인식 방법을 수행한다.
본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 장치 및 방법은, 선박에 장착되어 선박 주변을 촬영하는 카메라로부터 선박 주변 이미지를 획득하고, 획득된 선박 주변 이미지에서 학습 모델을 이용하여 선박 주변의 물체를 탐지하고, 탐지된 물체를 추적하여 다른 선박의 상태를 추정할 수 있다.
도 1은 본 발명의 실시예에 따른 선박 주변 인식 장치가 수행하는 딥러닝 기반 선박 주변 인식 방법을 개략적으로 예시하여 나타낸 흐름도.
도 2 내지 도 13은 도 1의 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 방법을 설명하기 위한 도면.
도 14는 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 장치의 구성을 개략적으로 예시하여 나타낸 도면.
도 2 내지 도 13은 도 1의 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 방법을 설명하기 위한 도면.
도 14는 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 장치의 구성을 개략적으로 예시하여 나타낸 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 선박 주변 인식 장치가 수행하는 딥러닝 기반 선박 주변 인식 방법을 개략적으로 예시하여 나타낸 흐름도이고, 도 2 내지 도 13은 도 1의 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 방법을 설명하기 위한 도면이다. 이하, 도 1을 중심으로, 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 방법에 대하여 설명하되, 도 2 내지 도 13을 참조하기로 한다.
S110 단계에서, 선박 주변 인식 장치는, 물체가 포함된 해양에 대한 가상 이미지 데이터 세트를 학습하여 딥러닝 기반 물체 검출 모델을 생성한다.
S120 단계에서, 선박 주변 인식 장치는, 선박에 장착되어 선박 주변을 촬영하는 카메라로부터 선박 주변 이미지를 획득한다.
S130 단계에서, 선박 주변 인식 장치는, 생성된 딥러닝 기반 물체 검출 모델을 이용하여 획득된 선박 주변 이미지에서 선박 주변의 물체를 탐지한다.
본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 방법은 크게 탐지(detection), 로컬화(localization) 및 추적(tracking)의 세 단계로 나뉜다. 초기의 탐지 단계에서, 가상 이미지 데이터 세트를 구축하여 딥러닝 모델을 학습하고, 학습된 딥러닝 모델을 기반으로 주어진 이미지에서 선박을 탐지한다. 로컬화 단계에서는, 선박에 장착된 자이로 센서(gyro sensor)를 이용하여 수평선을 계산한다. 검출된 바운딩 박스 정보 및 수평선을 이용하여 물체의 공간 좌표를 계산한다. 마지막 단계는, 계산된 공간 좌표를 이용하여 시간 영역에서 다른 선박의 상태를 추정하기 위한 추적을 포함한다.
물체 탐지는 이미지에서 물체의 존재 및 위치를 검출하는 기술이다. 딥러닝은 최근 그래픽 프로세싱 유닛(GPU)의 발달로 활발하게 처리되는 데이터를 이용하여 신경망 구조를 훈련시키는 방법이다. 영상처리에서의 다양한 딥러닝 기술 분야 중에서, 인간의 시신경 구조를 모방한 CNN 구조를 이용한 연구가 적용될 수 있다. 물체 탐지 분야에서는, Faster R-CNN, YOLO 및 SSD과 같은 모델이 개발되어 좋은 성능을 보여주고 있다.
딥러닝 기반 물체 검출 모델에는 도 2에 도시된 바와 같이, 주로 1단계 모델 및 2단계 모델의 두 가지 타입이 있다. 1단계 모델은 이미지에서 물체의 바운딩 박스를 동시에 찾는다. 이 1단계 모델은 2단계 모델보다 계산 속도가 더 빠르다는 장점이 있다. YOLO 및 SSD 모델은 1단계 모델의 예이다. YOLO 모델은 Darknet(Redmon and Farhadi, 2017) 구조를 기반으로 하며, 앵커를 사용하여 이미지에서 물체를 탐지한다. SSD 모델은 VGG (Simonyan and Zisserman, 2015)를 기반으로 하는 앵커를 사용하여 복수의 딥러닝 레이어에서 물체의 바운딩 박스를 계산한다. 2단계 모델은 물체의 가능한 위치를 제안하는 영역 제안 단계 및 제안된 영역의 바운딩 박스를 계산하는 후속 탐지 단계의 두 단계로 구성된다. Faster R-CNN은 대표적인 2단계 모델이다. 2단계 모델은 계산 속도가 느린 단점이 있다. 본 발명은 실시간 운항 중에 다른 선박을 탐지하고 추적하는 것이 목적이므로, 빠른 탐지 속도가 필수적이다.
한편, YOLO v2 (Redmon and Farhadi, 2017)는 SSD 및 Faster R-CNN과 비교할 때, 빠른 감지 탐지 시간과 높은 정확도를 모두 달성하였다. Faster R-CNN은 92.4% mAP(평균 정밀도)의 최고 정확도를 달성했으나, Titan Xp에서는 7fps(초당 프레임)의 느린 계산 속도를 보여주었다. SSD는 86.73% mAP를 달성했으며, 5fps에서 훨씬 느렸다. Faster R-CNN고 비교하여, YOLO v2는 79.09% mAP를 달성했으나, Titan Xp에서는 Faster R-CNN보다 빠른 91fps를 달성하였다. YOLO v2가 정확도와 실제 적용 속도 사이에 적절한 균형을 달성할 수 있다. 그래서, 본 발명의 실시예에서는, YOLO v2의 개선된 버전인 YOLO v3(Redmon and Farhadi, 2018)를 이용하여 탐지가 수행될 수 있다. 본 발명에서는, 파노라마 이미지, 단일 채널 EO 및 IR 이미지의 세가지 타입의 카메라 이미지가 사용될 수 있다. 이 이미지들 각각은 다른 종횡비, 시야(FOV) 및 색상을 가진다. 예를 들어, 파노라마 이미지의 해상도는 3840 ㅧ 720인 반면, 단일 채널 EO 이미지의 해상도는 1280 ㅧ 720픽셀이다. IR 카메라가 열원을 감지하기 때문에, IR 이미지는 흑백이다. 이러한 차이 때문에, 딥러닝 기반 물체 검출 모델은 카메라 타입별로 개발될 수 있다.
딥러닝 기반 물체 검출 모델을 훈련시키기 위해서는, 해양 물체를 포함하는 이미지 데이터 세트가 필요하다. 싱가포르 해안선과 선상에서 촬영한 비디오로 구성된 해양 산업의 공개 이미지 데이터 세트인 SMD가 사용될 수 있다. SMD는 고정 플랫폼에서 촬영한 32개의 육상 비디오 및 선상에서 촬영한 4개의 비디오로 구성된다. SMD에서, 해양 물체는 페리(ferry), 부표(buoy), 선박(vessel/ship), 쾌속정(speedboat), 보트(boat), 카약(kayak), 범선(sailboat), 수영하는 사람(swimming person), 나는 새/비행기(flying bird/plane) 등의 10가지 등급으로 분류될 수 있다. 그러나, 대부분의 SMD는 해안에서 촬영한 이미지로 구성되어 있어, 항해 중 선내 카메라에 대하여 물체 검출 모델을 훈련시키기에 적합하지 않다. 소형 보트에서 촬영한 짧은 비디오는 있으나, 대형 선박에서 촬영한 비디오는 없다. 보트에서 촬영한 이미지는 카메라의 설치 높이가 다르기 때문에, 선박에서 촬영한 이미지와 다른 뷰를 제공한다. 그러므로, 소형 보트와 대형 선박 둘 다에서 촬영한 다양한 사이즈의 선박을 포함하는 이미지 데이터 세트를 구성해야 한다.
한편, 자동차 분야에서, 가상 이미지 데이터는 딥러닝 기반 물체 검출 모델을 훈련시키는데 활용되고 있다. 특히, 가상 이미지 데이터를 기반으로 딥러닝 기반 물체 검출 모델을 훈련시키고, KITTI 데이터 세트에서 테스트되었다. 이것은 쉬운 물체에 대하여 최대 68.56%의 정확도를 달성하였는데, 이는 70%의 KITTI 데이터 세트로 훈련된 딥러닝 모델보다 약간 낮다. 이는 실제 이미지 데이터 세트를 사용할 수 없는 경우, 가상 이미지 데이터 세트를 활용할 수 있음을 의미한다. 해양 분야에서, 항해 중 선내 카메라에서 이미지를 수집하는 것이 매우 어려워 전술한 바와 같이, 가상 이미지를 사용할 수 있다. 그러므로, 본 발명에서는, 3차원 애니메이션, 시각화 및 가상현실의 개발 프로그램인 Unity를 이용하여 가상 이미지를 생성하였다. 이후, 훈련을 위한 가상 이미지 데이터 세트가 구축되었다.
도 3에 도시된 바와 같이, 가상 이미지를 생성하면서 다양한 환경 조건이 고려되었으며, 바다 질감, 하늘 질감 및 선박 모델이 사용되었다. 실제 상황을 반영하기 위하여, 가상 해양 환경에 여러 타입의 모델이 무작위로 배치되었다.
이 방법을 사용하면, 획득하기 어려운 다양한 시점에서 촬영된 이미지를 생성할 수 있다. 도 4에 도시된 바와 같이, 가상 이미지는 소형 보트 및 대형 선박의 시점을 기준으로 생성되기 때문에, 선박의 크기에 상관없이 다양한 응용 분야에 딥러닝 기반 물체 검출 모델이 적용될 수 있다. 생성된 가상 이미지를 이용하여 가상 이미지 데이터 세트를 구성하기 위해서는, 가상 이미지에 선박의 라벨링(labeling)이 수행되어야 한다. 도 5를 참조하면, 이미지에서 3차원 선박 모델의 투영된 메쉬(mesh) 경계를 찾음으로써, 이미지에서 선박의 바운딩 박스가 계산되고 자동으로 레이블된다.
딥러닝 기반 물체 검출 모델을 검증하기 위하여, 보트와 선박에서 촬영된 실제 카메라 이미지를 이용하여 테스트되었다. 실제 카메라 이미지에서 목표 선박의 지상 실측은 주석으로 레이블된다. 일부 테스트 이미지에는 크기와 이미지 품질로 인하여 명확하게 보이지 않는 선박이 포함될 수 있으며, 일부가 가려진 선박도 있다. 정확도는, 모호한 물체에 어려운 색인을 추가하여 보다 효과적으로 평가될 수 있다. 평균 정밀도를 계산할 때, 어려움으로 주석된 물체가 탐지되지 않아도 점수가 감소되지 않았으며, 탐지되면 true positives로 카운팅된다. 바운딩 박스의 사이즈 기준은 데이터 주석에 적용된다. KITTI 데이터 세트는 대상의 사이즈와 교합 수준에 대한 자체 기준을 가지고 있어, 쉬움, 보통 및 어려움의 카테고리의 주석을 가능하게 한다. 원본 KITTI 데이터 세트의 높이는 512px이고, 바운딩 박스의 높이 기준은 40px이다. 본 발명의 실시예에서는, 720픽셀 높이의 카메라 이미지가 사용된다. 동일한 비율을 적용하여, 57px의 높이 기준이 사용되며, 높이 이하의 각 박스는 어려움으로 레이블된다. 부분적으로 가려진 선박도 어려운 것으로 주석이 달린다.
본 발명에서, YOLO v3 모델은 SMD와 생성된 가상 이미지 데이터 세트를 이용하여 훈련된다. 훈련을 위한 가상 이미지 데이터 세트를 이용한 효과를 알아보기 위하여, 정확도가 비교되었다. 비교를 위하여, 도 6에 도시된 바와 같이, 두 타입의 파노라마 이미지 및 한 타입의 단일 채널 EO 이미지가 테스트되었다. 보트에서의 촬영 이미지는 무인 수상정(USV)에서 촬영되었고, 선박에서의 촬영 이미지는 컨테이너 선박에서 촬영되었다.
하기 표 2는 SMD와 가상 이미지 데이터 세트로 훈련된 물체 검출 모델의 평균 정밀도를 보여주며, 실제 테스트 이미지를 이용하여 평가되었다.
가상 이미지 데이터 세트로 훈련된 모델의 정확도가 SMD로 훈련된 모델의 정확도보다 훨씬 높은 것을 알 수 있다. 도 7에 도시된 바와 같이, 해안에서 false positives이 발생하기 때문에, SMD로 훈련된 모델을 사용하는 것은 어렵다. SMD의 이미지 대부분은 싱가포르 해안에서 촬영한 것이기 때문에, 실제 선박에서 촬영한 이미지와 차이가 있어 정확도가 떨어졌다. 그러나, 가상 이미지 데이터 세트로 훈련할 때, 단일 채널 EO 이미지의 경우, 91.72%, 선박의 파노라마 이미지의 경우, 85.64%, 보트의 파노라마 이미지의 경우, 78.79%의 정확도가 달성되었다. 실제 선박 운항 동안에 촬영된 이미지에서 탐지 수행이 잘 되는 것이 확인되었다.
S140 단계에서, 선박 주변 인식 장치는, 선박 주변 이미지를 이용하여 물체의 공간 좌표를 산출한다.
로컬화(localization) 단계에서는, 공간 좌표를 이용하여 타선(target ship) 과 자선(source ship) 사이의 거리 및 방향을 계산한다. 일반적으로, 단안 카메라 이미지를 통한 실제 물체의 사이즈를 알 수 없는 경우, 공간에서 위치를 찾기 위해서는 추가 정보가 필요하다. 본 발명의 실시예에서는, 이미지에서의 선박의 바운딩 박스(bounding box) 및 수평선 사이의 거리를 이용하여 다른 선박까지의 거리를 추정하는 방법을 사용한다. 그러므로, 로컬화를 위하여, 이미지에서 수평선의 위치를 정확하게 결정하는 것이 필수적이다.
이미지에서 수평선은 선박 및 선박에 설치된 선상 카메라의 움직임에 따라 위치가 변화한다. 수평선 탐지 방법은 이미지 정보의 활용에 따라 두 가지로 나눌 수 있다. 이미지 기반 수평선 탐지의 경우, 에지 기반 탐지 및 딥러닝 기반 탐지 방법이 적용될 수 있다. 예를 들어, 수평선 탐지를 위하여, 캐니 에지(Canny edge) 탐지 및 허프 변환(Hough transform)이 사용될 수 있다. 캐니 에지 탐지는 픽셀의 세기가 급격하게 변하는 지점을 찾아, 이미지에서 선을 검출하는 대표적인 방법이다. 허프 변환은 이미지 데이터에서 점의 특정 패턴을 찾는 방법이다. 수평선 검출의 경우, 캐니 에지 검출을 이용하여 검출된 에지 중에서 직선을 찾는다. 이 방법은 이미지에 다수의 선이 있는 경우, 수평선을 결정하는 것이 어렵다. 도 8에서, 빨간색 선은 컨테이너 선박에서 촬영한 카메라 이미지에서 캐니 에지 탐지 및 허프 변환을 이용한 검출 결과이다. 선박의 컨테이너가 카메라의 시야(FOV: Field of view)에 들어갈 때, 컨테이너의 직선은 종종 수평선으로 잘못 검출된다. 일반화된 방식으로 오탐지를 사후 처리하고 배제하는 것은 어렵다.
이미지에서 수평선은 딥러닝 기반 분할 모델을 이용하여 검출될 수도 있다. 분할(segmentation)은 이미지에서 물체를 픽셀로 분류하는 방법이다. 픽셀을 하늘과 바다로 분류한 후, 각각 하늘 및 바다에 상응하는 픽셀 사이의 점이 획득된다. 이 점들은 도 9에 도시된 바와 같이, 수평선인 선으로 회귀될 수 있다.
본 발명에서, 딥러닝 기반 분할 모델인 완전 컨볼루션 네트워크(FCN: fully convolutional network)가 사용된다. 레이블된 수평선의 양쪽 끝이 있는 200개의 이미지가 SMD로부터 획득된다. FCN 모델은 수평선 상부를 하늘로, 수평선 하부를 바다로 가정하여 학습한다. 도 10에서, 녹색 선은 FCN을 이용하여 수평선을 검출한 결과를 보여준다. 보트에서 촬영된 이미지가 적용될 때, 수평선이 위쪽으로 기울어진다. 본 발명의 실시예에서 사용된 훈련 데이터는 이미지르 하늘과 바다로 나눈다. 실제 카메라 이미지에서는, 산이나 건물과 같은 물체가 수평선 근처에 존재할 수 있으며, 바다로 잘못 분류될 수 있다. 이 문제를 해결하기 위하여, 산과 같은 물체가 별도의 클래스로 분류되어야 한다. 그러나, 이 절차는 데이터 수집 및 라벨링과 관련하여 시간이 많이 소요된다.
전술한 두 방법은 이미지 기반 수평선 탐지 방법이다. 앞서 언급한 한계 외에도, 이러한 방법은 수평선이 명확하게 보이지 않거나 장애물에 의하여 가려지면, 탐지에 영향을 주는 주요 문제를 가지고 있다. 그러므로, 강력한 수평선 검출을 위해서는, 이미지에 의존하지 않는 방법이 필요하다. 수평선은 하늘과 바다가 만나는 선이다. 만약, 선박이 정지해 있다면, 선박에서 카메라의 위치가 변화하지 않는 한 수평선은 변화하지 않는다. 그러나, 선박이 움직일 때, 선박의 방향이 변화하기 때문에, 도 11에 도시된 바와 같이, 이미지에서 수평선은 변화한다. 그래서, 본 발명에서는, 선내 카메라에서 바라보는 수평선의 초기값을 알고 있다는 가정 하에, 선박의 방향 정보를 이용하여 이동하는 수평선의 위치를 계산하는 방법이 채택되었다. 하기 수학식을 이용하여 수평선을 계산하기 위하여, 선박에 설치된 자이로 센서(gyro sensor)가 사용된다.
여기서, hcenter는 수평선 중심의 y좌표이고, hinitial은 수평선의 초기 중심의 y좌표이고, θ는 선박의 피치각(pitch angle)이고, δ는 카메라의 기울기 각도(tilt angle)이고, φ는 선박의 롤 각도(roll angle)이고, w는 이미지 넓이이고, α는 카메라의 수직 시야(FOV: Field of View)이고, h1 및 h2는 각각 수평선의 좌측 끝 및 우측 끝의 y좌표이다.
선박의 방향 데이터를 이용함으로써, 강건한 계산이 가능하고, 환경과 화질에 관계없이 수평선이 계산될 수 있다.
S150 단계에서, 선박 주변 인식 장치는, 산출된 공간 좌표를 이용하여 탐지된 물체를 추적한다.
즉, 선박 주변 인식 장치는 산출된 공간 좌표를 이용하여 탐지된 물체를 추적하여 다른 선박의 상태를 추정할 수 있다.
비디오의 각 프레임의 카메라 이미지에서 선박의 탐지 및 로컬화가 수행된 후에, 시간 영역에서 선박의 상태 추적이 수행된다. 초기에는, 연속 프레임의 탐지 결과가 동일한 선박인지 여부를 판별하기 위하여 아이디(ID) 매칭 프로세스가 필요하다. 연속 프레임의 검출 결과를 일치시키기 위하여, 헝가리안 알고리즘(Hungarian algorithm)이 사용된다. 만약, 다음 프레임에서 선박이 탐지되지 않으면, 칼만 필터(Kalman filter)에서 예측 과정만이 수행된다. 3초 이상 탐지가 이루어지지 않으면, 오경보나 보이지 않는 것으로 간주하여 선박 아이디(ID)가 제거된다. 로컬화 결과 및 아이디 일치 프로세스를 이용하여 선박의 상태가 추적된다.
칼만 필터(Kalman filter)는 노이즈가 포함된 측정값을 기반으로 선형 동적 시스템(linear dynamics system)의 상태를 추정하는 재귀 필터(recursive filter)이다. 확장된 칼만 필터를 이용하여 동적 시스템에서 비선형 방정식을 처리할 수 있다. 본 발명의 실시예에서는, 수학식 2 및 수학식 3에 포함된 비선형 방정식 때문에, 확장된 칼만 필터가 사용되었다. 도 12는 선박의 상태 및 목표 선박의 측정치를 보여준다.
도 12에서, ρ와 β는 자선과 타선 사이의 거리 및 방향이고, x 및 y는 선박의 절대 좌표이고, v는 대지속력(SOG: Speed Over Ground)이고, ψ는 선박의 대지침로(COG: Course Over Ground)이다. 목표 선박(타선)까지의 거리 및 방향은 측정값이고, 위치, SOG 및 COG는 선박의 상태이다.
칼만 필터는 예측 단계 및 업데이트 단계의 두 단계로 구성된다. 예측 단계에서는 하기 수학식 2를 이용하여 상태를 계산한다.
여기서, P는 오차 공분산 행렬이고, A는 예측식의 야코비안 행렬(Jacobian matrix)이고, Q는 예측 잡음 공분산 행렬이고, R은 측정 잡음 공분산 행렬이고, 위 첨자 '-'는 예측 변수임을 나타내고, 아래 첨자 k는 k번째 반복의 변수임을 나타낸다.
선박이 바다에서 빠르게 가속, 감속 또는 선회하는 경우가 드물기 때문에, 등속 운동이 가정되었다.
로컬화 단계에서 계산된 거리 ρ 및 β가 업데이트 단계의 측정값으로 사용된다. 업데이트는 하기 수학식 3을 이용하여 계산된다.
여기서, KG는 칼만 이득이고, H는 야코비안 행렬이고, X는 상태 변수 벡터이고, z는 측정 벡터이고, 아래 첨자 t는 타겟(target)을 나타내고, 아래 첨자 o는 자선을 나타낸다.
시스템의 측정 벡터는 물체 검출 모델로부터 계산되고, 칼만 필터에 사용된 파라미터는 각 물체 검출 모델에 대하여 실험적으로 조정된다. 그리고, 로컬화에 따른 선박의 알려진 변수는 위치이기 때문에, 선박이 처음 탐지되었을 때, SOG 및 COG는 알려지지 않았다. 그러므로, SOG 및 COG의 초기값이 가정된다. 예를 들어, SOG는 7.78노트인 4m/s로 초기화되고, COG는 선박이 최초 탐지되었을 때, 추가적인 딥러닝 기반 모델을 통해 초기화될 수 있다.
칼만 필터는 상태 변수가 참값(true value)으로 수렴하는데 많은 반복이 필요하다. 그러므로, 추정 전반에 걸쳐 수렴 시간 및 오차를 줄이기 위하여 초기값을 설정하는 것이 중요하다. 일반적으로, 초기값은 임의로 설정된다. 그러나, 이미지를 기반으로 추적하는 경우, 이미지에 선박의 위치 외에도 풍부한 정보가 포함되어 있기 때문에, 이미지의 특징을 추가적으로 활용할 수 있다. 만약, 초기값이 참값에 가깝게 설정되면, 더 빠르게 수렴이 가능하여 전체 추적 시간 동안 오류가 적어진다. 본 발명에서는, 딥러닝 모델을 이용하여 선박의 초기 COG 값을 설정하는 방법을 제안한다. 도 13은 COG 초기화를 위하여 제안된 딥러닝 모델의 구조를 나타낸다. 도 13을 참조하면, 이 딥러닝 모델은 컨볼루션 레이어(convolution layers) 및 완전 연결 레이어(fully connected layer)로 구성된다. 입력은 선박 탐지 결과인 선박의 잘라낸 이미지(cropped image)이고, 출력은 선박이 좌측 또는 우측으로 향하고 있는지 판단하기 위한 2ㅧ1 벡터로 구성된다.
COG 초기화를 위한 딥러닝 모델은 보트와 선박의 이미지 데이터의 10%로 테스트되었으며, 45개의 보트 데이터에 대하여 96.67%의 정확도, 20개의 선박 데이터에 대하여 100%의 정확도를 달성하였다. 이 모델을 기반으로, COG의 초기값은 하기 수학식 4를 이용하여 계산될 수 있다.
여기서, ψt,init는 COG의 초기값이고, ψc는 카메라 방향이고, ψrel은 딥러닝 모델을 이용하여 계산된 상대 COG이다. ψrel은 딥러닝 모델의 예측 결과가 왼쪽이면 270ㅀ이고, 오른쪽이면 90ㅀ이다.
이와 같은 방법의 효과를 검증하기 위하여, 무작위로 초기화된 COG를 이용하여 각 경우에 100회 목표 선박 추적을 수행하고, 초기화된 COG와 평균 오차를 비교하였다. 정면승부(Head-on), 횡단(crossing) 및 군집주행(platooning)의 케이스는 다양한 비디오 데이터를 이용하여 테스트되었다. 각 경우에 대하여 위치, SOG 및 COG의 오류가 비교되었다. AIS 데이터를 기준으로 오차가 계산된다. 안정화 시간은 칼만 필터가 참값에 수렴하기 위하여 반복적인 계산이 필요하기 때문에, 설정된다. 오차는 안정화 후에 계산된다. 대부분의 테스트 케이스에서, 추적 결과가 평균 7초 후에 AIS 데이터에 거의 수렴하는 것이 확인된다. 그러므로, 안정화 시간은 7초로 설정된다. 검출 및 추적 시간이 7초 미만인 경우, 시야(FOV)가 좁아 안정화 시간은 1초로 설정된다. 하기 표 3은 딥러닝 기반 COG 초기화 방법 및 랜덤 COG 초기화 방법의 오차 비율을 나타낸다.
값이 1보다 작으면, 딥러닝 초기화를 이용한 추적 오류가 랜덤 초기화 방법을 이용하여 파생된 것보다 작다. 이와 반대로, 1보다 큰 값은 딥러닝 모델을 이용한 추적 오차가 크다는 것을 의미한다. 위치 오차의 경우에, 특별한 의미가 있는 차이가 없었다. 비율은 0.975에서 1.092 사이였다. 그러나, COG 및 SOG는 상당한 차이가 있었다. COG의 경우, 초기화 모델을 사용하는 동안, 평균 오차는 0.447회이고, SOG의 평균 오차는 0.583회이다. 결과적으로, 본 발명의 실시예에 따른 COG 초기화 방법은 COG 및 SOG의 오류를 각각 44.7% 및 58.3%로 효과적으로 감소시킬 수 있다.
도 14는 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 장치의 구성을 개략적으로 예시하여 나타낸 도면이다.
도 14를 참조하면, 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 장치는 프로세서(10), 메모리(20), 통신부(30) 및 인터페이스부(40)를 포함한다.
프로세서(10)는 메모리(20)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.
메모리(20)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(20)는 ROM, RAM 등을 포함할 수 있다.
예를 들어, 메모리(20)는 본 발명의 실시예에 따른 딥러닝 기반 선박 주변 인식 방법을 수행하는 명령어들을 저장할 수 있다.
통신부(30)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.
인터페이스부(40)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10: 프로세서
20: 메모리
30: 통신부
40: 인터페이스부
20: 메모리
30: 통신부
40: 인터페이스부
Claims (10)
- 선박 주변 인식 장치가 수행하는 딥러닝 기반 선박 주변 인식 방법에 있어서,
해양에 대한 가상 이미지 데이터 세트를 학습하여 딥러닝 기반 물체 검출 모델을 생성하는 단계;
선박에 장착되어 선박 주변을 촬영하는 카메라로부터 선박 주변 이미지를 획득하는 단계;
상기 생성된 딥러닝 기반 물체 검출 모델을 이용하여, 상기 획득된 선박 주변 이미지에서 상기 선박 주변의 물체를 탐지하는 단계;
상기 선박 주변 이미지를 이용하여 상기 물체의 공간 좌표를 산출하는 단계; 및
상기 산출된 공간 좌표를 이용하여 상기 물체를 추적하는 단계를 포함하는 딥러닝 기반 선박 주변 인식 방법.
- 제1항에 있어서,
상기 딥러닝 기반 선박 주변 인식 방법은,
상기 딥러닝 기반 물체 검출 모델을 생성하는 단계 이전에,
미리 설정된 바다 질감 및 하늘 질감이 적용된 가상 해양 환경에 복수의 선박 모델을 무작위로 배치하여 상기 가상 이미지 데이터 세트를 구축하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 방법.
- 제1항에 있어서,
상기 선박 주변의 물체를 탐지하는 단계는,
상기 선박 주변 이미지에서 선박의 바운딩 박스(bounding box) 및 수평선 사이의 거리를 이용하여 다른 선박까지의 거리를 추정하는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 방법.
- 제3항에 있어서,
상기 수평선은 하기 수학식을 이용하여 산출되는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 방법.
여기서, hcenter는 수평선 중심의 y좌표이고, hinitial은 수평선의 초기 중심의 y좌표이고, θ는 선박의 피치각(pitch angle)이고, δ는 카메라의 기울기 각도(tilt angle)이고, φ는 선박의 롤 각도(roll angle)이고, w는 이미지 넓이이고, α는 카메라의 수직 시야(FOV: Field of View)이고, h1 및 h2는 각각 수평선의 좌측 끝 및 우측 끝의 y좌표임
- 제1항에 있어서,
상기 물체를 추적하는 단계는,
상기 선박 주변 이미지에 대한 연속 프레임에서 탐지된 선박이 동일한지 여부를 판별하기 위하여, 헝가리안 알고리즘(Hungarian algorithm)을 이용하여 상기 연속 프레임에서 탐지된 선박에 아이디(ID) 매칭을 수행하는 단계; 및
칼만 필터(Kalman filter)를 이용하여 상기 탐지된 선박의 위치, 대지속력(SOG: Speed Over Ground) 및 대지침로(COG: Course Over Ground)를 포함하는 상태를 추정하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 방법.
- 제5항에 있어서,
상기 상태를 추정하는 단계는,
상기 대지속력(SOG) 및 상기 대지침로(COG)를 초기화하는 단계;
상기 칼만 필터를 이용한 예측 단계; 및
상기 칼만 필터를 이용한 업데이트 단계를 포함하는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 방법.
- 제6항에 있어서,
상기 칼만 필터를 이용한 예측 단계는,
하기 수학식을 이용하여 상기 탐지된 선박의 상태를 추정하는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 방법.
여기서, P는 오차 공분산 행렬이고, A는 예측식의 야코비안 행렬(Jacobian matrix)이고, Q는 예측 잡음 공분산 행렬이고, R은 측정 잡음 공분산 행렬이고, 위 첨자 '-'는 예측 변수임을 나타내고, 아래 첨자 k는 k번째 반복의 변수임을 나타냄
- 제6항에 있어서,
상기 칼만 필터를 이용한 업데이트 단계는,
하기 수학식을 이용하여 상기 탐지된 선박의 상태를 업데이트하는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 방법.
여기서, KG는 칼만 이득이고, H는 야코비안 행렬이고, X는 상태 변수 벡터이고, z는 측정 벡터 벡터이고, 아래 첨자 t는 타겟(target)을 나타내고, 아래 첨자 o는 자선을 나타냄
- 제6항에 있어서,
상기 대지속력(SOG) 및 상기 대지침로(COG)를 초기화하는 단계는,
하기 수학식을 이용하여 상기 대지침로(COG)를 초가화하는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 방법.
여기서, ψt,init는 대지침로(COG)의 초기값이고, ψc는 카메라 방향이고, ψrel은 대지침로(COG)의 초기화를 위한 딥러닝 모델을 이용하여 계산된 상대 대지침로(COG)임
- 딥러닝 기반 선박 주변 인식 장치에 있어서,
명령어를 저장하는 메모리; 및
상기 명령어를 실행하는 프로세서를 포함하되,
상기 명령어는,
해양에 대한 가상 이미지 데이터 세트를 학습하여 딥러닝 기반 물체 검출 모델을 생성하는 단계;
선박에 장착되어 선박 주변을 촬영하는 카메라로부터 선박 주변 이미지를 획득하는 단계;
상기 생성된 딥러닝 기반 물체 검출 모델을 이용하여, 상기 획득된 선박 주변 이미지에서 상기 선박 주변의 물체를 탐지하는 단계;
상기 선박 주변 이미지를 이용하여 상기 물체의 공간 좌표를 산출하는 단계; 및
상기 산출된 공간 좌표를 이용하여 상기 물체를 추적하는 단계를 포함하는 딥러닝 기반 선박 주변 인식 방법을 수행하는 것을 특징으로 하는 딥러닝 기반 선박 주변 인식 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210154132A KR20230068126A (ko) | 2021-11-10 | 2021-11-10 | 딥러닝 기반 선박 주변 인식 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210154132A KR20230068126A (ko) | 2021-11-10 | 2021-11-10 | 딥러닝 기반 선박 주변 인식 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230068126A true KR20230068126A (ko) | 2023-05-17 |
Family
ID=86547252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210154132A KR20230068126A (ko) | 2021-11-10 | 2021-11-10 | 딥러닝 기반 선박 주변 인식 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230068126A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102060567B1 (ko) | 2019-05-13 | 2019-12-30 | 호서대학교 산학협력단 | 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템 |
-
2021
- 2021-11-10 KR KR1020210154132A patent/KR20230068126A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102060567B1 (ko) | 2019-05-13 | 2019-12-30 | 호서대학교 산학협력단 | 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102566724B1 (ko) | 항만 모니터링 장치 및 항만 모니터링 방법 | |
| Muhovič et al. | Obstacle tracking for unmanned surface vessels using 3-D point cloud | |
| KR102530691B1 (ko) | 접안 모니터링 장치 및 방법 | |
| Sinisterra et al. | Stereovision-based target tracking system for USV operations | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| US9031285B2 (en) | Detection of floating objects in maritime video using a mobile camera | |
| KR102530847B1 (ko) | 항만 및 선박 모니터링 방법 및 장치 | |
| Clunie et al. | Development of a perception system for an autonomous surface vehicle using monocular camera, lidar, and marine radar | |
| CN111723632A (zh) | 一种基于孪生网络的船舶跟踪方法及系统 | |
| Bovcon et al. | Improving vision-based obstacle detection on USV using inertial sensor | |
| Nomura et al. | Study of 3D measurement of ships using dense stereo vision: towards application in automatic berthing systems | |
| le Fevre Sejersen et al. | Safe vessel navigation visually aided by autonomous unmanned aerial vehicles in congested harbors and waterways | |
| Sorial et al. | Towards a real time obstacle detection system for unmanned surface vehicles | |
| KR20240036529A (ko) | 선박 및 항만 모니터링 장치 및 방법 | |
| Thompson | Maritime object detection, tracking, and classification using lidar and vision-based sensor fusion | |
| Shi et al. | Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles | |
| Lee et al. | Study on image-based ship detection for AR navigation | |
| Hashmani et al. | A survey on edge detection based recent marine horizon line detection methods and their applications | |
| Cortés-Pérez et al. | A mirror-based active vision system for underwater robots: From the design to active object tracking application | |
| WO2023164707A1 (en) | Bird's eye view (bev) semantic mapping systems and methods using plurality of cameras | |
| Ross et al. | Bev-slam: Building a globally-consistent world map using monocular vision | |
| KR20230068126A (ko) | 딥러닝 기반 선박 주변 인식 장치 및 방법 | |
| Muhovic et al. | Depth fingerprinting for obstacle tracking using 3D point cloud | |
| Singhal et al. | Marine Vessel Attitude Estimation from Coastline and Horizon | |
| Erdman | SeaVipers-Computer Vision and Inertial Position Reference Sensor System (CVIPRSS) |