KR20200095888A

KR20200095888A - 무인 선박 시스템의 상황인지 방법 및 장치

Info

Publication number: KR20200095888A
Application number: KR1020190013826A
Authority: KR
Inventors: 정치윤; 문경덕; 박윤경
Original assignee: 한국전자통신연구원
Priority date: 2019-02-01
Filing date: 2019-02-01
Publication date: 2020-08-11

Abstract

상황정보 인지 장치가 개시된다. 본 개시의 일 실시 예에 따른 상황정보 인지 장치는 영상에 포함된 영상 기반 객체를 검출하는 영상 분석부와, 상기 영상 기반 객체와, 적어도 하나의 레이더 장치로부터 제공되는 레이더 기반 객체, 또는 적어도 하나의 AIS 장치로부터 제공되는 AIS 기반 객체를 조합하여 통합객체를 결정하는 객체 정보 융합부와, 적어도 하나의 음향 센서로부터 수집된 음향 신호를 분석하고, 음향 이벤트의 종류 및 위치를 분석하는 음향 신호 분석부와, 상기 통합 객체와, 상기 음향 이벤트의 종류 및 위치를 고려하여, 선박의 주변에서 발생되는 상황 이벤트를 확인하고, 상기 상황 이벤트에 대응되는 상황정보를 제공하는 상황정보 분석부를 포함할 수 있다.

Description

무인 선박 시스템의 상황인지 방법 및 장치{METHOD FOR CONTEXT AWARENESS OF UNMANNED SHIP SYSTEM AND APPARATUS FOR THE SAME}

본 개시는 무인 선박 운항 시스템에 관한 것이며, 보다 구체적으로는 해상에서의 상황인지 방법 및 장치에 대한 것이다.

선박의 충돌 회피를 위한 다양한 연구가 진행되고 있으며, DCPA(Distance of the Closest Point Approach)와 TCPA(Time of the Closest Point Approach)를 입력 정보로 하여 퍼지(Fuzzy) 추론으로 충돌 위험도를 추정하는 방법도 제안되었으며, 이를 기반으로 한 연구들이 지속적으로 진행되고 있다.

특히, 선박 충돌회피 시스템과 관련되어, 전자해도, 선박 자동 식별 장치(AIS), 선박 항해 시뮬레이터 등이 있다. 상기 전자해도와 관련한 제품은 Furuno, JRC, Kelvin Hughes 등에서 개발되고 있으며, 이는 경로 계획이나 경로 감시, 선박 자동식별장치와 연계한 다른 선박 정보 파악이나 충돌 예측 정보를 표시해준다.

여기서 선박 자동식별장치는, 충돌회피 시스템 내에서 다른 선박에 대한 위치를 포함한 정보를 파악하는 기본적인 장치이다. 이러한 충돌회피 시스템은 상기 선박 자동 식별 장치를 이용하여 다른 선박에 대한 암호화된 정보를 수신하고, 이를 복호화하여 표적선박의 항해정보를 분석할 수 있다.

전술한 선박 충돌회피 시스템이나, 선박 자동식별장치는 사용자(예, 선장, 선원 등)가 선박을 운항하는데 참고하는 보조정보로서 제공하는 장치이다.

나아가, 선박의 무인 항해를 실현하기 위해서는, 선박의 운항시 발생될 수 있는 다양한 위험요인을 회피할 수 있도록 구성되어야 한다. 전술한 보조정보를 제공하는 장치가 제공하는 정보를 사용하여 선박의 무인 항해를 실현할 수 없다.

따라서, 선박의 항해에서 발생될 수 있는 다양한 위험요인을 인식하고, 안정적으로 무인 항해를 수행할 수 있는 방법 및 장치가 요구된다.

본 개시의 기술적 과제는 선박의 항해에서 발생될 수 있는 다양한 위험요인을 정확하고 신뢰성 있게 인식할 수 있는 방법 및 장치를 제공하는데 있다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면 상황정보 인지 장치가 제공될 수 있다. 상기 장치는 영상에 포함된 영상 기반 객체를 검출하는 영상 분석부와, 상기 영상 기반 객체와, 적어도 하나의 레이더 장치로부터 제공되는 레이더 기반 객체, 또는 적어도 하나의 AIS 장치로부터 제공되는 AIS 기반 객체를 조합하여 통합객체를 결정하는 객체 정보 융합부와, 적어도 하나의 음향 센서로부터 수집된 음향 신호를 분석하고, 음향 이벤트의 종류 및 위치를 분석하는 음향 신호 분석부와, 상기 통합 객체와, 상기 음향 이벤트의 종류 및 위치를 고려하여, 선박의 주변에서 발생되는 상황 이벤트를 확인하고, 상기 상황 이벤트에 대응되는 상황정보를 제공하는 상황정보 분석부를 포함할 수 있다.

본 개시의 다른 양상에 따르면 상황정보 인지 방법이 제공될 수 있다. 상기 방법은 영상에 포함된 영상 기반 객체를 검출하는 과정과, 적어도 하나의 레이더 장치로부터 제공되는 레이더 기반 객체 또는 적어도 하나의 AIS 장치로부터 제공되는 AIS 기반 객체를 검출하는 과정과, 상기 영상 기반 객체와, 상기 레이더 기반 객체 또는 AIS 기반 객체를 고려하여 통합객체를 결정하는 과정과, 적어도 하나의 음향 센서로부터 수집된 음향 신호에 기초하여, 음향 이벤트의 종류 및 위치를 분석하는 과정과, 상기 통합객체와, 상기 음향 이벤트의 종류 및 위치를 고려하여, 선박의 주변에서 발생되는 상황 이벤트를 확인하는 과정과, 상기 상황 이벤트에 대응되는 상황정보를 제공하는 과정을 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 선박의 항해에서 발생될 수 있는 다양한 위험요인을 정확하고 신뢰성 있게 인식할 수 있는 방법 및 장치가 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 상황정보 인지 장치의 구성을 도시하는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 상황정보 인지 장치에 구비되는 영상 분석부의 상세 구성을 도시하는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 상황정보 인지 장치에 구비되는 객체 정보 융합부의 상세 구성을 도시하는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 상황정보 인지 장치에 구비되는 음향 신호 분석부의 상세 구성을 도시하는 블록도이다.
도 5는 본 개시의 일 실시예에 따른 상황정보 인지 장치에 구비되는 상황정보 분석부의 상세 구성을 도시하는 블록도이다.
도 6은 본 개시의 일 실시예에 따른 상황정보 인지 방법의 순서를 도시하는 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 상황정보 인지 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 개시의 일 실시예에 따른 상황정보 인지 장치의 구성을 도시하는 블록도이다.

도 1을 참조하면, 본 개시의 일 실시예에 따른 상황정보 인지 장치(10)는 영상 분석부(11), 객체 정보 융합부(14), 음향 신호 분석부(15), 및 상황정보 분석부(16)를 포함할 수 있다.

영상 분석부(11)는 복수의 주야간 카메라로부터 영상을 수신하고, 수신된 영상을 정합하여 파노라마 영상을 구성한 후, 파노라마 영상에 포함된 객체(이하, '영상 기반 객체'라 함)를 검출할 수 있다.

주야간 카메라는 주간 및 야간에 영상을 촬영할 수 있는 카메라로서, 주간에는 가시광의 반사를 기반으로 생성되는 가시광 영상을 획득하고, 야간에는 IR(Infra-Red) 조명의 반사를 기반으로 생성되는 IR 영상을 획득할 수 있다. 이에 대응하여, 주야간 카메라로부터 획득되는 영상은 가시광 영상 및 IR 영상을 포함할 수 있다.

이하, 본 개시의 일 실시예에서, 객체는 해양에서 존재하는 물체를 의미하며, 예컨대, 선박, 부유물, 구조물, 지형 등을 포함할 수 있다.

상황정보 인지 장치(10)는 레이더 정보 분석부(12) 및 AIS 정보 분석부(13)를 더 포함할 수 있으며, 객체 정보 융합부(14)는 레이더 정보 분석부(12) 및 AIS 정보 분석부(13)와 연결되어, 레이더 정보 분석부(12)로부터 제공되는 레이더 기반 객체와, AIS 정보 분석부(13)로부터 제공되는 AIS 기반 객체를 수신할 수 있다.

영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체는 각각 다른 소스 데이터로부터 검출되고, 검출되는 시점이 일치되지 않으므로, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체가 모두 일치되도록 구성되지 않을 수 있다. 영상 기반 객체와 레이더 기반 객체는 미리 설정된 주기마다 획득되는 소스 데이터를 기반으로 검출되지만, AIS 기반 객체는 타선으로부터 수신되는 소스 데이터를 기반으로 하므로, 비주기적으로 검출되는 특성이 있다. 이를 고려하여, 객체 정보 융합부(14)는 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체가 동일한 시점으로 구성될 수 있도록 분석 주기를 맞추는 동작을 수행할 수 있다. 예컨대, 객체 정보 융합부(14)는 영상 기반 객체 및 레이더 기반 객체의 소스 데이터를 검출하는 시점을 동일하게 설정할 수 있다. AIS 기반 객체는 타선으로부터 불규칙한 시점에 수신되는 정보이므로, 영상 기반 객체 및 레이더 기반 객체를 검출하는 시점과 동일하게 설정하기가 어렵다. 따라서, 객체 정보 융합부(14)는 AIS 기반 객체의 검출 시점을 확인하고, 영상 기반 객체 및 레이더 기반 객체를 검출하는 시점과 동일하지 않을 경우, AIS 기반 객체의 검출 시점에서의 위치, 객체의 속도 등을 사용하여 영상 기반 객체 및 레이더 기반 객체를 검출하는 시점과 일치시켜 AIS 기반 객체의 위치 정보를 보간할 수 있다.

또한, 객체 정보 융합부(14)는 서로 동일한 객체인지 여부를 확인할 수 있다. 복수의 객체가 동일한지 여부는 유클리드 차이에 기초하여 결정할 수 있다. 예컨대, 영상 기반 객체와 레이더 기반 객체 사이의 유클리드 거리를 확인하고, 확인된 유클리드 거리가 미리 정해진 임계값보다 상대적으로 작은 값을 나타낼 경우, 객체 정보 융합부(14)는 동일한 객체인 것으로 결정하고, 단일의 객체로 관리할 수 있다. 반면, 확인된 유클리드 거리가 미리 정해진 임계값보다 상대적으로 크거나 동일한 값을 나타낼 경우, 객체 정보 융합부(14)는 서로 다른 객체인 것으로 결정하여 관리할 수 있다.

또한, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체가 일치하여 단일의 객체로 결정될 경우, 해당 객체는 해상에 실제 존재하는 객체일 수 있으나, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체가 일치하지 않을 경우, 해당 객체는 해상에 실제 존재하지 않는 객체일 가능성이 있다.

이에 따라, 객체 정보 융합부(14)는 영상 기반 객체, 레이더 기반 객체, 또는 AIS 기반 객체에 대한 신뢰성을 확인할 수 있다. 예를 들어, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체 중 어느 하나의 객체만 존재할 경우, 객체 정보 융합부(14)는 동적 제어가 가능한 카메라(17)를 사용하여 해당 객체에 대한 검증을 수행할 수 있다.

구체적으로, 객체 정보 융합부(14)는 PTZ 카메라(17)를 제어하여, 전술한 바와 같이 검출한 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체 중 어느 하나의 객체 영역에 대한 고해상도 영상을 획득할 수 있다. 이후, 객체 정보 융합부(14)는 획득된 고해상도 영상에 대응되는 객체가 존재하는지 여부를 확인하여, 해당 객체에 대한 검증을 수행할 수 있다.

음향 신호 분석부(15)는 적어도 하나의 음향 센서로부터 수집된 음향 신호를 분석하여 음향 이벤트의 종류와 위치를 분석할 수 있다.

상황정보 분석부(16)는 검출된 객체를 기반으로, 선박 등의 등화 및 형상물의 정보를 분석할 수 있다. 또한, 상황정보 분석부(16)는 음향 신호 분석부(15)에서 분석된 기적 소리 이벤트 정보 등을 해당 객체에 매핑 함으로써 국제 해상충돌 예방규칙을 준수하기 위해서 필요한 상황정보(해양에 존재하는 객체의 범주, 위치(거리와 방향), 등화 및 형상물 정보, 기적소리 이벤트 정보 등)를 생성할 수 있다.

나아가, 상황정보 분석부(16)는 생성된 상황정보를 무인 선박 운항 시스템 등에 제공할 수 있다.

도 2는 본 개시의 일 실시예에 따른 상황정보 인지 장치에 구비되는 영상 분석부의 상세 구성을 도시하는 블록도이다.

도 2를 참조하면, 영상 분석부(20)는 영상 정합부(21) 및 객체 분석부(23)를 포함할 수 있다.

영상 정합부(21)는 주야간 카메라로부터 획득된 영상이 입력되면 멀티 카메라의 영상을 하나의 좌표계를 가지는 영상으로 통합하는 영상 정합(image registration) 동작을 수행할 수 있으며, 이러한 영상 정합 동작을 통해 파노라마 영상을 생성할 수 있다. 선박에 장착된 카메라의 경우 선박의 움직임에 영향을 받기 때문에, 복수의 카메라로부터 획득되는 영상의 정합이 정확하게 이루어지지 않을 수 있다. 이를 고려하여, 영상 정합부(21)는 카메라로부터 획득된 영상에서, 수평선 정보를 기준으로 카메라의 움직임을 보정하고, 보정된 영상으로부터 특징점을 추출할 수 있다. 그리고, 영상 정합부(21)는 추출된 특징점 및 수평선 정보를 사용하여 파노라마 영상을 생성할 수 있다.

선박장치의 주변에 존재하는 모든 객체를 탐지하기 위해서는 다수의 카메라가 필수적이다. 각각의 카메라로부터 획득된 영상을 각각 분석하게 될 경우, 해상에 존재하는 동일한 객체가 서로 다른 카메라를 통해 촬영될 수 있으며, 이 경우 단일의 객체가 촬영된 복수의 영상에 대한 객체 검출 및 분석이 수행되는 문제점가 발생될 수 있다. 이러한 문제를 해결하기 위하여, 영상 분석부(20)는 우선적으로 영상 정합부(21)를 통해, 선박장치를 중심으로 주변 360°영역에 대한 파노라마 영상을 구성한 후, 객체 분석부(23)가 파노라마 영상을 분석하도록 구성되는 것이 바람직하다. 전술한 바에 기초하여, 영상 정합부(21)는 멀티 카메라의 영상을 하나의 파노라마 영상으로 생성한다. 영상 정합부(21)에서 생성된 파노라마 영상은 객체 분석부(23)에 제공될 수 있다. 이때, 파노라마 영상은 단일 좌표계로 구성되는 것이 바람직하다.

객체 분석부(23)는 선박 또는 부유물 등에 대응되는 객체를 검출하고, 검출된 객체의 궤적을 분석하여 객체 추적을 수행할 수 있다.

나아가, 객체 분석부(23)는 미리 구축된 학습 모델을 사용하여 영상 기반 객체를 검출할 수 있다.

정형화된 객체(선박, 부표, 등대 등)는 미리 구축된 학습 모델을 사용하여 검출할 수 있으나, 영상에 정형화되지 않은 객체가 존재할 수 있다. 이를 고려하여, 객체 분석부(23)는 배경 모델링 등의 변화 탐지 기법을 사용하여 객체 검출을 수행할 수도 있다. 예컨대, 객체 분석부(23)는 일차적으로 미리 구축된 학습 모델을 사용하여 정형화된 객체(선박, 부표, 등대 등)를 검출하고, 이차적으로 배경 모델링 등의 변화 탐지 기법을 사용하여 정형화되지 않은 객체를 검출할 수 있다.

예컨대, 영상에서 배경 영역은 비교적 긴 시간 동안 변화하지 않는 특성이 있으며, 특히, 해상을 촬영한 영상에서는 바다물이 존재하는 영역, 하늘이 존재하는 영역, 육지가 존재하는 영역 등이 배경 영역으로 설정될 수 있다. 이에 기초하여, 객체 분석부(23)는 영상에 존재하는 색상의 통계적 특성을 분석하여 배경 영역을 모델링 한 후, 모델링한 배경 영역에 대응되지 않는 색상이 검출됨에 따라, 해당 영역을 새로운 객체로 결정할 수 있다. 예를 들어, 바다가 존재하는 영역과 하늘이 존재하는 영역의 평균 색상 값을 정의한 후, 영상의 일부 영역에 대한 색상이 전술한 평균 색상 값과 미리 정해진 값 이상 차이가 나타남에 따라, 해당 영역을 새로운 객체로 결정할 수 있다.

나아가, 해양에 존재하는 주된 객체들은 이동 속도가 느리고 궤적이 급격하게 변하지 않는 특성이 있다. 따라서, 객체 분석부(23)는 칼만 필터(Kalman filter), CAM shift(Continuously Adaptive Mean shift) 등의 객체 추적 방법을 사용하여 영상 기반 객체를 검출할 수도 있다.

나아가, 객체 분석부(23)는 영상에서 탐지된 수평선 정보에 기초하여 선박장치와 객체와의 거리를 추정하거나, 영상을 촬영한 카메라 장치의 설정정보(예, 카메라 높이, 각도, 방향, 카메라의 렌즈 왜곡계수, 초점거리 등)에 기초하여 선박장치와 객체와의 거리를 추정하거나, 복수의 카메라 장치의 디스패리티(disparity)를 기반으로 선박장치와 객체와의 거리를 추정할 수 있다.

더 나아가, 객체 분석부(23)는 카메라의 촬영영상에 포함된 적어도 하나의 프레임을 검출하고, 검출된 각각의 프레임을 대상으로 적어도 하나의 객체를 추출할 수 있다. 그리고, 영상 분석부(32)는 적어도 하나의 객체의 프레임 내의 위치 및 크기를 확인하고, 카메라의 설정정보와, 적어도 하나의 객체의 위치 및 크기에 기초하여, 선박장치와 적어도 하나의 객체의 상대거리를 산출하고, 선박장치의 위치정보를 고려하여 적어도 하나의 객체의 위치정보를 산출할 수 있다.

나아가, 객체 분석부(23)는 객체가 추출된 적어도 하나의 프레임의 구성정보와, 객체의 프레임 내의 위치 및 크기를 고려하여, 적어도 하나의 객체의 이동 거리, 이동 궤적, 운항속도 등을 산출할 수 있다.

도 3은 본 개시의 일 실시예에 따른 상황정보 인지 장치에 구비되는 객체 정보 융합부의 상세 구성을 도시하는 블록도이다.

도 3을 참조하면, 객체 정보 융합부(30)는 후보 통합객체 확인부(31) 및 통합객체 결정부(33)를 포함할 수 있다.

후보 통합객체 확인부(31)는 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체를 사용하여 통합객체로 결정될 후보 객체를 검출할 수 있다.

영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체 등은 서로 다른 장비에 의해 수집된 객체들이므로, 선박장치에서 객체까지의 거리 및 방향 정보를 포함하고 있다. 특히, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체의 검출에 기초가 되는 소스 데이터, 즉, 파노라마 영상, 레이더 정보, AIS 정보 등은 서로 다른 특성을 구비하고 있으므로, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체 등이 서로 다르게 나타날 수 있다. 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체 등은 다른 소스 데이터에서 검출되지 않는 객체를 구비하거나, 오류에 의해 검출된 객체가 포함될 수 있다.

따라서 신뢰성 있는 객체를 추출하기 위해서는 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체를 검증하는 것이 바람직하다. 일반적으로 다수의 소스 데이터에서 동일한 것으로 검출된 객체는 검출 오류의 가능성이 낮다.

따라서, 후보 통합객체 확인부(31)는 특정 소스 데이터에서 검출된 객체가 다른 소스 데이터 기반의 객체에 존재하는지 여부, 특정 소스 데이터에서 검출된 객체의 검출 신뢰도 등을 고려하여 후보 통합객체를 결정할 수 있다.

예를 들어, 후보 통합객체 확인부(31)는 복수의 소스 데이터에서 존재하면서 동일한 위치 정보를 가지는 객체에 대해 검증된 통합객체로 결정할 수 있다. 그리고, 후보 통합객체 확인부(31)는 단일의 소스 데이터에서만 존재하는 객체에 대해서는 후보 통합객체로서 결정하게 된다.

통합객체 결정부(33)는 후보 통합객체를 대상으로 해당 객체가 오류의 의한 검출인지 여부를 확인할 수 있다. 예컨대, 통합객체 결정부(33)는 원거리 영상의 취득이 가능하고 동적 제어가 가능한 카메라, 예, PTZ 카메라에 연결될 수 있다. 그리고, 통합객체 결정부(33)는 후보 통합객체가 위치한 영역을 확인하고, PTZ 카메라를 제어하여 해당 영역에 대응되는 고해상도 영상을 획득할 수 있다. 그리고, 통합객체 결정부(33)는 획득된 고해상도 영상을 분석하여, 해당 영역에 후보 통합객체에 대응되는 객체가 존재하는지 여부를 확인하고, 대응되는 객체가 존재 여부에 따라 후보 통합객체에 대한 검증을 수행할 수 있다.

다른 예로서, 후보 통합객체 확인부(31)는 이전 시점의 소스 데이터에서 해당 객체가 검출되었는지 여부를 확인할 수 있으며, 이전 시점의 소스 데이터에서 해당 객체가 검출되었을 경우, 해당 객체에 대해 검증된 통합객체로서 결정할 수 있다. 반면, 후보 통합객체 확인부(31)는 이전 시점의 소스 데이터에서 해당 객체가 검출되지 않았을 경우, 해당 객체를 후보 통합객체로서 결정할 수 있다.

객체 정보 융합부(30)는 동적 제어가 가능한 PTZ 카메라를 활용하여 후보 통합객체에 대한 정확한 검증을 수행할 수 있다. 또한 객체 정보 융합부(30)는 검출된 모든 객체에 대해서 검증을 수행하지 않고, 특정 소스 데이터에서 검출된 객체가 다른 소스 데이터에도 존재하는지 여부, 특정 소스 데이터에서 검출된 객체의 검출 신뢰도, 이전 시점에의 객체 검출 여부 등을 종합적으로 고려하여 검증할 객체를 결정할 수 있다. 객체 정보 융합부(30)가 전술한 동작을 통해 객체를 검출하므로, 객체 검출의 정확성을 높일 수 있고, 또한 객체 검출 또는 결정에 소요되는 시간을 줄일 수 있다.

도 4는 본 개시의 일 실시예에 따른 상황정보 인지 장치에 구비되는 음향 신호 분석부의 상세 구성을 도시하는 블록도이다.

도 4를 참조하면, 음향 신호 분석부(40)는 기적 소리 검출부(41) 및 기적 소리 분석부(43)를 포함할 수 있다.

기적 소리 검출부(41)는 음향 센서로부터 수집된 음향 신호를 분석하여 기적 소리 음향을 검출할 수 있다. 즉, 기적 소리 검출부(41)는 음향 센서로부터 수집되는 음향신호의 성분을 분석하여, 국제해상충돌 예방규칙에서 정의된 선박의 기적 소리(단성, 단음, 장음 등)를 검출할 수 있다.

국제해상충돌 예방규칙에서는 선박에 설치된 기적의 단음, 장음의 조합을 통하여 의사표시를 하도록 규정하고 있다. 예를 들어 타선을 추월하고자 하는 선박이 장음 2발, 단음 1발을 발생시키면 '본선은 귀선의 우현 측으로 추월하고자 함'을 의미한다. 이에 기초하여, 기적 소리 분석부(43)는 기적 소리에 대응되는 음향 신호를 누적하여 이벤트를 생성하고 기적 소리의 방향과 거리를 추정하는 기능을 수행할 수 있다.

예를 들어, 단음은 1초간의 취명을 의미하며, 장음은 4초 내지 6초간의 취명을 의미하므로, 기적 소리 분석부(43)는 한번 기적 소리가 검출된 후 4초 또는 6초 동안 기적 소리가 검출되지 않으면 하나의 기적 소리 이벤트로 판단하게 된다.

나아가, 기적 소리 분석부(43)는 선박의 충돌음 등 무인 선박의 안전 운항이나 긴급 상황 탐지에 필요한 음향 신호 및 호종, 동라 등의 음향 신호를 검출하여 분석할 수도 있다.

기적 소리 분석부(43)는 사전에 배치된 음향 센서들의 간격 정보와 음향 센서에 도달하는 음향 신호의 시간 차이 및 세기 차이 등의 정보를 바탕으로, 기적 소리의 방향과 거리를 추정할 수 있다.

도 5는 본 개시의 일 실시예에 따른 상황정보 인지 장치에 구비되는 상황정보 분석부의 상세 구성을 도시하는 블록도이다.

도 5를 참조하면, 상황정보 분석부(50)는 객체범주 판단부(51), 등화 및 형상물 정보 분석부(53), 및 상황정보 생성부(55)를 포함할 수 있다.

해양에서 존재하는 물체들은 그 범주에 따라서 역할 및 특성이 달라지기 때문에 상황을 분석함에 있어서 객체의 범주는 중요한 정보가 된다. 이를 고려하여, 객체범주 판단부(51)는 PTZ 카메라와 같이 원거리 영상의 취득이 가능한 카메라를 사용하여 객체 존재 영역의 고해상도 영상을 획득하는 원거리 객체 영상 수집 모듈(51a)과 딥 러닝이나 기계학습 방법을 사용하여 영상에 존재하는 객체의 범주를 분류하는 객체 범주 분류 모듈(51b)을 구비할 수 있다.

원거리 객체 영상 수집 모듈(51a)는 상황정보의 분석이 필요한 시점에, 해당 영역의 촬영하는 PTZ 카메라를 제어하여, 고해상도 영상을 획득할 수 있다. 예를 들어, 원거리 객체 영상 수집 모듈(51a)는 영상에서의 객체의 크기 및 거리, 즉, 객체의 가로와 세로의 비율, 객체의 중심, 객체의 크기 등을 고려하여 고해상도 영상이 요구되는지를 결정할 수 있으며, 카메라의 PTZ 파라미터를 설정하고 고해상도 영상을 취득할 수 있다.

객체 범주 분류 모듈(51b)은 객체의 범주를 구분하기 위하여 사전에 학습된 분류 모델을 사용할 수 있다. 여기서, 객체의 범주는 선박, 부유물, 광파표지, 지형 등의 넓은 범주 및 선박의 역할에 따라 구분되는 상세 범주(어선, 예인선, 컨테이너선, 범선, 경비정 등) 등을 포함할 수 있다.

국제해상충돌 예방규칙에서는 선박의 상태에 대한 정보(예인중인 동력선, 항해중인 범선, 어로 종사 중인 선박, 조정 성능의 제한을 받는 선박)를 등화 및 형상물을 통하여 표시하도록 정의하고 있으며, 주간에는 형상물에 관한 규정을 적용하고 일몰시로부터 일출시까지는 등화에 관한 규정을 적용하고 있다. 또한 시계가 제한된 상황 또는 기타 필요하다고 인정되는 경우 등화로 표시하도록 규정하고 있다. 등화 및 형상물의 위치는 선박의 크기에 따라서 설치 위치 등을 규정하고 있으며, 선박의 포즈에 따라서 등화 및 형상물의 위치가 달라질 수 있다.

전술한 바를 고려하여, 등화 및 형상물 정보 분석부(53)는 객체 포즈 추정 모듈(53a)과 등화/형상물 분석 모듈(53b)을 포함할 수 있다.

객체 포즈 추정 모듈(53a)은 객체 범주 판단기에 의해 판단된 객체 중 등화나 형상물의 정보를 포함하는 객체를 선택하여 사전에 학습된 동일 범주의 객체 포즈 모델을 사용하여 객체의 현재 포즈를 추정할 수 있다.

그리고, 등화/형상물 분석 모듈(53b)은 추정된 객체 포즈 정보를 사용하여 등화의 색상 및 형상물의 모양을 분석할 수 있다.

상황정보 생성부(55)는 음향 이벤트 매핑 모듈(55a) 및 객체 별 상황 정보 생성 모듈(55b)를 포함할 수 있다. 음향 이벤트 매핑 모듈(55a)은 음향 신호 분석부에서 분석된 음향 이벤트 정보의 거리 및 방향 정보를 분석하여 특정 객체에 매핑할 수 있다.

해양에서 자선과 타선이 존재하는 경우 자선과 타선이 움직임 여부에 따라서 소리의 특성이 달라지고 거리와 방향 정보 예측의 정확도가 낮아지는 문제점이 발생한다. 따라서 단순히 현재 시점에서의 음향 이벤트 정보(거리와 방향)를 사용하여 객체에 매핑하는 경우 오류가 발생할 가능성이 존재한다. 이를 고려하여, 현재 음향 이벤트의 거리 및 방향 정보 이외에 음향 이벤트의 궤적(trajectory) 정보 및 자선의 움직임 정보, 주변에 존재하는 객체들의 궤적 정보 등의 시계열 정보를 기반으로 음향 이벤트와 해당 객체를 매핑하는 것이 바람직하다.

그리고, 객체 별 상황 정보 생성 모듈(55b)은 자선의 주변에 존재하는 객체 별로 객체의 범주, 위치(거리와 방향), 등화 및 형상물 정보, 기적 소리 이벤트 등의 분석된 정보를 매핑하여 제공할 수 있다.

또한 객체 별 상황 정보 생성 모듈에서는 국제해상 충돌예방규칙이 정의되어 있는 DB를 사용하여 고차원의 상황 정보를 생성하여 무인 운항 시스템으로 전달할 수 있다. 여기서, 고차원의 상황 정보는 자선 주변에 존재하는 타선들의 관계, 자선이 피항선인지 여부 등의 정보를 포함하며, 국제해상충돌 예방규칙 DB는 국제해사기구(IMO, International Maritime Organization)에서 정의된 규칙들을 컴퓨터가 이해할 수 있도록 구조화하여 저장된 데이터베이스를 포함할 수 있다.

도 6은 본 개시의 일 실시예에 따른 상황정보 인지 방법의 순서를 도시하는 흐름도이다.

본 개시의 일 실시예에 따른 상황정보 인지 방법은 전술한 상황정보 인지 장치에 의해 수행될 수 있다.

도 6을 참조하면, S601 단계에서, 상황정보 인지 장치는 복수의 주야간 카메라로부터 영상을 수신하고, 수신된 영상객체을 정합하여 파노라마 영상을 구성할 수 있다. 여기서, 주야간 카메라는 주간 및 야간에 영상을 촬영할 수 있는 키메라로서, 주간에는 가시광의 반사를 기반으로 생성되는 가시광 영상을 획득하고, 야간에는 IR(Infra-Red) 조명의 반사를 기반으로 생성되는 IR 영상을 획득할 수 있다. 이에 대응하여, 주야간 카메라로부터 획득되는 영상은 가시광 영상 및 IR 영상을 포함할 수 있다.

구체적으로, 상황정보 인지 장치는 주야간 카메라로부터 획득된 영상이 입력되면 멀티 카메라의 영상을 하나의 좌표계를 가지는 파노라마 영상을 구성하는 영상 정합(image registration)을 수행한다. 선박에 장착된 카메라의 경우 선박의 움직임에 영향을 받기 때문에, 복수의 카메라로부터 획득되는 영상의 정합이 정확하게 이루어지지 않을 수 있다. 이를 고려하여, 상황정보 인지 장치는 카메라로부터 획득된 영상에서, 수평선 정보를 기준으로 카메라의 움직임을 보정하고, 보정된 영상으로부터 특징점을 추출할 수 있다. 그리고, 상황정보 인지 장치는 추출된 특징점 및 수평선 정보를 사용하여 파노라마 영상을 생성할 수 있다.

이후, S602 단계에서, 상황정보 인지 장치는 선박 및 부유물 등에 대응되는 영상 기반 객체를 검출하고, 검출된 객체의 궤적을 분석하여 객체추적 수행할 수 있다.

정형화된 객체(선박, 부표, 등대 등)는 미리 구축된 학습 모델을 사용하여 검출할 수 있으나, 영상에 정형화되지 않은 객체가 존재할 수 있다. 이를 고려하여, 상황정보 인지 장치는 배경 모델링 등의 변화 탐지 기법을 사용하여 객체 검출을 수행할 수도 있다. 예컨대, 상황정보 인지 장치는 일차적으로 미리 구축된 학습 모델을 사용하여 정형화된 객체(선박, 부표, 등대 등)를 검출하고, 이차적으로 배경 모델링 등의 변화 탐지 기법을 사용하여 정형화되지 않은 객체를 검출할 수 있다.

예컨대, 영상에서 배경 영역은 비교적 긴 시간 동안 변화하지 않는 특성이 있으며, 특히, 해상을 촬영한 영상에서는 바다물이 존재하는 영역, 하늘이 존재하는 영역, 육지가 존재하는 영역 등이 배경 영역으로 설정될 수 있다. 이에 기초하여, 상황정보 인지 장치는 영상에 존재하는 색상의 통계적 특성을 분석하여 배경 영역을 모델링 한 후, 모델링한 배경 영역에 대응되지 않는 색상이 검출됨에 따라, 해당 영역을 새로운 객체로 결정할 수 있다. 예를 들어, 바다가 존재하는 영역과 하늘이 존재하는 영역의 평균 색상 값을 정의한 후, 영상의 일부 영역에 대한 색상이 전술한 평균 색상 값과 미리 정해진 값 이상 차이가 나타남에 따라, 해당 영역을 새로운 객체로 결정할 수 있다.

나아가, 해양에 존재하는 주된 객체들은 이동 속도가 느리고 궤적이 급격하게 변하지 않는 특성이 있다. 따라서, 상황정보 인지 장치는 칼만 필터(Kalman filter), CAM shift(Continuously Adaptive Mean shift) 등의 객체 추적 방법을 적용할 수 있으며, 딥 러닝 기반의 객체 추적 방법을 사용하여 영상 기반 객체를 검출할 수도 있다.

나아가, 상황정보 인지 장치는 영상에서 탐지된 수평선 정보에 기초하여 객체와의 거리를 추정하거나, 영상을 촬영한 카메라 장치의 설정정보(예, 카메라 높이, 각도, 방향, 카메라의 렌즈 왜곡계수, 초점거리 등)에 기초하여 선박장치와 객체와의 거리를 추정하거나, 복수의 카메라 장치의 구성 정보를 사용하여 디스패리티(disparity)를 기반으로 선박장치와 객체와의 거리를 추정할 수 있다.

S603 내지 S606 단계에서, 상황정보 인지 장치는 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체를 사용하여 통합객체로 결정될 후보 객체를 검출할 수 있다.

우선, S603 단계에서, 상황정보 인지 장치는 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체를 확인할 수 있다.

영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체는 각각 다른 소스 데이터로부터 검출되고, 검출되는 시점이 일치되지 않으므로, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체가 모두 일치되도록 구성되지 않을 수 있다. 영상 기반 객체와 레이더 기반 객체는 미리 설정된 주기마다 획득되는 소스 데이터를 기반으로 검출되지만, AIS 기반 객체는 타선으로부터 수신되는 소스 데이터를 기반으로 하므로, 비주기적으로 검출되는 특성이 있다.

이를 고려하여, S602 단계에서, 상황정보 인지 장치는 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체가 동일한 시점으로 구성될 수 있도록 분석 주기를 맞추는 동작을 수행할 수 있다. 예컨대, 상황정보 인지 장치는 레이더 기반 객체의 소스 데이터를 검출하는 시점에 맞추어 영상 기반 객체를 검출하는 시점을 맞출 수 있다.

AIS 기반 객체는 타선으로부터 불규칙한 시점에 수신되는 정보이므로, 영상 기반 객체 및 레이더 기반 객체를 검출하는 시점과 동일하게 설정하기가 어렵다. 따라서, S603 단계에서, 상황정보 인지 장치는 AIS 기반 객체의 검출 시점을 확인하고, 영상 기반 객체 및 레이더 기반 객체를 검출하는 시점과 동일하지 않을 경우, AIS 기반 객체의 검출 시점에서의 위치, 객체의 속도 등을 사용하여 영상 기반 객체 및 레이더 기반 객체를 검출하는 시점과 일치시켜 AIS 기반 객체의 위치 정보를 보간할 수 있다.

영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체 등은 각각 다른 소스 데이터로부터 수집된 객체들이므로, 모두 자선에서 객체까지의 거리 및 방향 정보를 포함하고 있다. 특히, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체의 검출에 기초가되는 소스 데이터, 즉, 파노라마 영상, 레이더 정보, AIS 정보 등은 서로 다른 특성을 구비하고 있으므로, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체 등이 서로 다르게 나타날 수 있다. 예를 들어, 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체 등은 다른 소스 데이터에서 검출되지 않는 객체를 구비하거나, 오류에 의해 검출된 객체가 포함될 수 있다. 따라서, 신뢰성 있는 객체를 추출하기 위해서는 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체를 검증하는 것이 바람직하다. 일반적으로 다수의 소스 데이터에서 동일한 것으로 검출된 객체는 검출 오류의 가능성이 낮다.

따라서, 상황정보 인지 장치는 특정 소스 데이터에서 검출된 객체가 다른 소스 데이터 기반의 객체에 존재하는지 여부, 특정 소스 데이터에서 검출된 객체의 검출 신뢰도 등을 고려하여 후보 통합객체를 결정할 수 있다.

따라서, 상황정보 인지 장치는 다수 소스 데이터에서 존재하면서 동일한 위치 정보를 가지는 객체의 경우(S604-예), 검증된 통합객체로 확정(S606)하고, 단일 소스 데이터에서만 존재하는 경우(S604-아니오) 객체 검증을 위한 후보 통합객체로 결정하고, 후보 통합객체에 대한 검증을 수행한다(S605).

즉, S605 단계에서, 상황정보 인지 장치는 후보 통합객체를 대상으로 해당 객체가 오류의 의한 검출인지 여부를 확인하는 동작을 수행한다. 예컨대, 상황정보 인지 장치는 원거리 영상의 취득이 가능하고 동적 제어가 가능한 카메라, 예, PTZ 카메라에 연결될 수 있으며, 후보 통합객체가 위치한 영역을 확인하고, 해당 영역에 대응되는 고해상도 영상을 확인할 수 있다. 그리고, 상황정보 인지 장치는 확인된 고해상도 영상에 후보 통합객체에 대응되는 객체가 존재하는지 여부를 확인하여, 후보 통합객체에 대한 검증을 수행할 수 있다.

다른 예로서, 상황정보 인지 장치는 이전 시점의 소스 데이터에서 해당 객체가 검출되었는지 여부를 확인할 수 있으며, 이전 시점의 소스 데이터에서 해당 객체가 검출되었을 경우, 해당 객체에 대해 검증된 통합객체로서 결정할 수 있다. 반면, 상황정보 인지 장치는 이전 시점의 소스 데이터에서 해당 객체가 검출되지 않았을 경우, 해당 객체를 후보 통합객체로서 결정할 수 있다. 그리고, 상황정보 인지 장치는 동적 제어가 가능한 PTZ 카메라를 활용하여 후보 통합객체에 대한 정확한 검증을 수행할 수 있다.

또 다른 예로서, 상황정보 인지 장치는 검출된 모든 객체에 대해서 검증을 수행하지 않고, 특정 소스 데이터에서 검출된 객체가 다른 소스 데이터에도 존재하는지 여부, 특정 소스 데이터에서 검출된 객체의 검출 신뢰도, 이전 시점에의 객체 검출 여부 등을 종합적으로 고려하여 검증할 객체를 결정할 수 있다. 상황정보 인지 장치가 전술한 동작을 통해 객체를 검출하므로, 객체 검출의 정확성을 높일 수 있고, 또한 객체 검출 또는 결정에 소요되는 시간을 줄일 수 있다.

S607 단계에서, 상황정보 인지 장치는 등화나 형상물을 가진 객체가 존재하는지를 확인할 수 있다.

구체적으로, 해양에서 존재하는 물체들은 그 범주에 따라서 역할 및 특성이 달라지기 때문에 상황을 분석함에 있어서 객체의 범주는 중요한 정보가 된다. 이를 고려하여, 상황정보 인지 장치는 PTZ 카메라와 같이 원거리 영상의 취득이 가능한 카메라를 사용하여 객체 존재 영역의 고해상도 영상을 획득하고, 딥 러닝이나 기계학습 방법을 사용하여 영상에 존재하는 객체의 범주를 분류할 수 있다.

특히, 상황정보 인지 장치는 객체의 범주를 구분하기 위하여 사전에 학습된 분류 모델을 사용할 수 있다. 여기서, 객체의 범주는 선박, 부유물, 광파표지, 지형 등의 넓은 범주 및 선박의 역할에 따라 구분되는 상세 범주(어선, 예인선, 컨테이너선, 범선, 경비정 등) 등을 포함할 수 있다.

전술한 바를 고려하여, S608 단계에서, 상황정보 인지 장치는 객체 범주 판단기에 의해 판단된 객체 중 등화나 형상물의 정보를 포함하는 객체를 선택하고, 사전에 학습된 동일 범주의 객체 포즈 모델을 사용하여 객체의 현재 포즈를 추정할 수 있다. 그리고, 상황정보 인지 장치는 추정된 객체 포즈 정보를 사용하여 등화의 색상 및 형상물의 모양을 분석할 수 있다.

S609 단계에서, 상황정보 인지 장치는 적어도 하나의 음향 센서로부터 수집된 음향 신호를 분석하여 음향 이벤트의 종류와 위치를 분석할 수 있다.

S610 단계에서, 상황정보 인지 장치는 통합 객체를 기반으로, 선박 등의 등화 및 형상물의 정보를 분석할 수 있다. 또한, 상황정보 인지 장치는 음향 신호를 기반으로 분석된 기적 소리 이벤트 정보 등을 해당 객체에 매핑 함으로써 국제해상충돌 예방규칙을 준수하기 위해서 필요한 정보(해양에 존재하는 객체의 범주, 위치(거리와 방향), 등화 및 형상물 정보, 기적소리 이벤트 정보 등)를 생성할 수 있다.

이후, S611 단계에서, 상황정보 인지 장치는 생성된 정보를 무인 선박 운항 시스템 등에 제공할 수 있다.

도 7은 본 개시의 일 실시예에 따른 상황정보 인지 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims

전자장치에 있어서,
영상에 포함된 영상 기반 객체를 검출하는 영상 분석부와,
상기 영상 기반 객체와, 적어도 하나의 레이더 장치로부터 제공되는 레이더 기반 객체, 또는 적어도 하나의 AIS 장치로부터 제공되는 AIS 기반 객체를 조합하여 통합객체를 결정하는 객체 정보 융합부와,
적어도 하나의 음향 센서로부터 수집된 음향 신호를 분석하고, 음향 이벤트의 종류 및 위치를 분석하는 음향 신호 분석부와,
상기 통합객체와, 상기 음향 이벤트의 종류 및 위치를 고려하여, 선박의 주변에서 발생되는 상황 이벤트를 확인하고, 상기 상황 이벤트에 대응되는 상황정보를 제공하는 상황정보 분석부를 포함하는 것을 특징으로 하는 상황정보 인지 장치.
제1항에 있어서,
상기 영상 분석부는,
복수의 카메라로부터 획득된 복수의 영상을 조합하여 파노라마 영상을 생성하는 영상 정합부 및
상기 파노라마 영상으로부터 영상 기반 객체를 검출하는 객체 분석부를 포함하는 것을 특징으로 하는 상황정보 인지 장치.
제3항에 있어서,
상기 영상 정합부는,
상기 복수의 영상으로부터 수평선을 검출하고,
상기 검출된 수평선을 기준으로 상기 복수의 영상을 정합하여 상기 파노라마 영상을 구성하는 것을 특징으로 하는 상황정보 인지 장치.
제3항에 있어서,
상기 객체 분석부는,
상기 검출된 수평선에 기초하여 선박장치와 객체와의 거리를 추정하는 것을 특징으로 하는 상황정보 인지 장치.
제3항에 있어서,
사기 파노라마 영상에 포함된 프레임으로부터 적어도 하나의 객체를 검출하고,
상기 적어도 하나의 객체의 프레임 내의 위치 및 크기를 확인하고,
상기 복수의 카메라의 설정정보와, 상기 적어도 하나의 객체의 위치 및 크기에 기초하여, 선박장치와 상기 적어도 하나의 객체의 상대거리를 산출하고,
선박장치의 위치정보를 고려하여 상기 적어도 하나의 객체의 위치정보를 추정하는 것을 특징으로 하는 상황정보 인지 장치.
제1항에 있어서,
상기 객체 정보 융합부는,
상기 영상 기반 객체와, 상기 레이더 기반 객체 또는 상기 AIS 기반 객체가 일치하는지 여부를 확인하고,
상기 영상 기반 객체, 레이더 기반 객체, 및 AIS 기반 객체가 일치함에 대응하여, 해당 객체를 통합객체로서 결정하는 것을 특징으로 하는 상황정보 인지 장치.
제1항에 있어서,
상기 객체 정보 융합부는,
상기 영상 기반 객체와, 상기 레이더 기반 객체 또는 상기 AIS 기반 객체가 일치하는지 여부를 확인하고,
상기 영상 기반 객체와, 상기 레이더 기반 객체 또는 상기 AIS 기반 객체가 일치하지 않음에 대응하여, 해당 객체를 후보 통합객체로서 결정하는 것을 특징으로 하는 상황정보 인지 장치.
제7항에 있어서,
상기 객체 정보 융합부는,
고해상도 영상으로부터 적어도 하나의 고해상도 기반 객체를 검출하고,
상기 검출된 고해상도 기반 객체와, 상기 후보 통합객체가 일치하는지 확인하고,
상기 검출된 고해상도 기반 객체와, 상기 후보 통합객체가 일치함에 대응하여, 해당 객체를 통합객체로서 결정하는 것을 특징으로 하는 상황정보 인지 장치.
제8항에 있어서,
상기 객체 정보 융합부는,
상기 검출된 고해상도 기반 객체와, 상기 후보 통합객체가 일치하지 않음에 대응하여, 해당 객체를 오류 객체로서 결정하는 것을 특징으로 하는 상황정보 인지 장치.
상황정보 인지 방법에 있어서,
영상에 포함된 영상 기반 객체를 검출하는 과정과,
적어도 하나의 레이더 장치로부터 제공되는 레이더 기반 객체 또는 적어도 하나의 AIS 장치로부터 제공되는 AIS 기반 객체를 검출하는 과정과,
상기 영상 기반 객체와, 상기 레이더 기반 객체 또는 AIS 기반 객체를 고려하여 통합객체를 결정하는 과정과,
적어도 하나의 음향 센서로부터 수집된 음향 신호에 기초하여, 음향 이벤트의 종류 및 위치를 분석하는 과정과,
상기 통합객체와, 상기 음향 이벤트의 종류 및 위치를 고려하여, 선박의 주변에서 발생되는 상황 이벤트를 확인하는 과정과,
상기 상황 이벤트에 대응되는 상황정보를 제공하는 과정을 포함하는 것을 특징으로 하는 상황정보 인지 방법.
제10항에 있어서,
상기 영상 기반 객체를 검출하는 과정은,
복수의 카메라로부터 획득된 복수의 영상을 조합하여 파노라마 영상을 생성하는 과정과,
상기 파노라마 영상으로부터 영상 기반 객체를 검출하는 과정을 포함하는 것을 특징으로 하는 상황정보 인지 방법.
제11항에 있어서,
상기 파노라마 영상을 생성하는 과정은,
상기 복수의 영상으로부터 수평선을 검출하는 과정과,
상기 검출된 수평선을 기준으로 상기 복수의 영상을 정합하여 상기 파노라마 영상을 구성하는 과정을 포함하는 것을 특징으로 하는 상황정보 인지 방법.
제12항에 있어서,
상기 영상 기반 객체를 검출하는 과정은,
상기 검출된 수평선에 기초하여 선박장치와 객체와의 거리를 추정하는 것을 특징으로 하는 상황정보 인지 방법.
제12항에 있어서,
상기 영상 기반 객체를 검출하는 과정은,
상기 파노라마 영상에 포함된 프레임으로부터 적어도 하나의 객체를 검출하는 과정과,
상기 적어도 하나의 객체의 프레임 내의 위치 및 크기를 확인하는 과정과,
상기 복수의 카메라의 설정정보와, 상기 적어도 하나의 객체의 위치 및 크기에 기초하여, 상기 선박장치와 상기 적어도 하나의 객체의 상대거리를 산출하는 과정과,
상기 선박장치의 위치정보를 고려하여 상기 적어도 하나의 객체의 위치정보를 추정하는 과정을 포함하는 것을 특징으로 하는 상황정보 인지 방법.
제10항에 있어서,
상기 통합객체를 결정하는 과정은,
상기 영상 기반 객체와, 상기 레이더 기반 객체 또는 상기 AIS 기반 객체가 일치하는지 여부를 확인하는 과정과,
상기 영상 기반 객체와, 상기 레이더 기반 객체 또는 상기 AIS 기반 객체가 일치함에 대응하여, 해당 객체를 통합객체로서 결정하는 과정을 포함하는 것을 특징으로 하는 상황정보 인지 방법.
제15항에 있어서,
상기 통합객체를 결정하는 과정은,
상기 영상 기반 객체와, 상기 레이더 기반 객체 또는 상기 AIS 기반 객체가 일치하지 않음에 대응하여, 해당 객체를 후보 통합객체로서 결정하는 과정을 포함하는 것을 특징으로 하는 상황정보 인지 방법.
제16항에 있어서,
상기 통합객체를 결정하는 과정은,
고해상도 영상으로부터 적어도 하나의 고해상도 기반 객체를 검출하는 과정과,
상기 검출된 고해상도 기반 객체와, 상기 후보 통합객체가 일치하는지 확인하는 과정과,
상기 검출된 고해상도 기반 객체와, 상기 후보 통합객체가 일치함에 대응하여, 해당 객체를 통합객체로서 결정하는 과정을 포함하는 것을 특징으로 하는 상황정보 인지 방법.
제17항에 있어서,
상기 통합객체를 결정하는 과정은,
상기 검출된 고해상도 기반 객체와, 상기 후보 통합객체가 일치하지 않음에 대응하여, 해당 객체를 오류 객체로서 결정하는 과정을 포함하는 것을 특징으로 하는 상황정보 인지 방법.