KR102202794B1 - 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법 - Google Patents

다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR102202794B1
KR102202794B1 KR1020190142906A KR20190142906A KR102202794B1 KR 102202794 B1 KR102202794 B1 KR 102202794B1 KR 1020190142906 A KR1020190142906 A KR 1020190142906A KR 20190142906 A KR20190142906 A KR 20190142906A KR 102202794 B1 KR102202794 B1 KR 102202794B1
Authority
KR
South Korea
Prior art keywords
collision
ship
calculated
prediction information
detection
Prior art date
Application number
KR1020190142906A
Other languages
English (en)
Inventor
원인식
유재관
Original Assignee
엘아이지넥스원(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원(주) filed Critical 엘아이지넥스원(주)
Priority to KR1020190142906A priority Critical patent/KR102202794B1/ko
Application granted granted Critical
Publication of KR102202794B1 publication Critical patent/KR102202794B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00—Monitoring properties or operating parameters of vessels in operation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함하는 충돌 예측 정보를 생성하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법에 대한 것으로, 다중의 환경 인식 센서를 활용해서 물체의 검출 및 인식을 수행하고, 검출 및 인식된 물체에 대한 예측 경로를 생성해서 본 선박과의 충돌 가능성을 가중치로 계산하여 예측할 수 있으며, 충돌 가능성에 따라 식별 중요도를 분류하여 상대적으로 식별 중요도가 높은 물체들 만을 대상으로 물체의 검출 지속여부를 결정하여 연산 자원의 사용량을 현저하게 감소시킬 수 있는 효과가 존재한다.

Description

다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법{multi-sensor based collision prediction information generating apparatus for ships and method therefor}
본 발명은 선박을 포함한 해상 환경에서 물체를 검출하여 이를 통해 충돌 예측 정보를 생성하는 기술에 대한 것으로, 더욱 자세하게는 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함하는 충돌 예측 정보를 생성하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법을 제공하는 것을 목적으로 한다.
최근 무인화 기술이 발달됨에 따라 무인화 장비와 관련된 센서 및 제어 방법 등이 지속적으로 개발되고 있으며, 우리나라 지리적 특성상 3면이 바다이기 때문에 바다와 관련된 무인화 장비 개발에 대한 요구가 점차 증대되고 있다.
그 뿐만 아니라 무인수상, 해양분야의 경우 악천후와 같은 위험이나 유해물질, 장시간 소요작업 등으로 인하여 유인 선박이 하기 어려운 해양 관측 및 탐사, 해난구조, 기뢰 탐색 및 제거, 천해역 혹은 오염해역에서의 작업, 무인 정찰 및 감시를 위해 필요성이 점점 증가하고 있으며, 이와 같은 상황에서 안전하고 효율적인 해양 정찰 및 감시, 해양조사 그리고 인명구조 및 방제, 테러진압을 수행하기 위해서 유인선박의 기능을 보조하고, 인명손실을 최소화 할 수 있도록 악천후에도 활용이 가능한 무인 선박 개발의 필요성이 점차 대두되어 가고 있다.
종래 기술에서의 발생하는 환경인식 센서가 본래 가지고 있는 시야 (Field of View)내의 모든 데이터를 수집하여 분석하여 왔으며, 이에 따라 센서가 전달하는 모든 데이터의 크기를 수용하여 연산하여야 하므로, 물체로 인식 및 검출하기 위한 과정을 수행하기 위애서는 그 시간이 많이 소요되어 실시간 작업의 경우 지연시간이 길어지는 문제점이 존재할 뿐만 아니라 물체를 검출함에 있어 왜곡된 데이터도 처리해야 하기 때문에 컴퓨팅 소스가 많이 필요한 문제점이 존재하며, 이를 해결하기 위하여 본 발명은 다중의 환경 인식 센서를 활용해서 물체의 검출 및 인식을 수행하고, 검출 및 인식된 물체에 대한 예측 경로를 생성해서 본 선박과의 충돌 가능성을 가중치로 계산하여 예측하여 식별 중요도에 따라 물체 검출의 지속여부를 결정하여 연산 자원의 사용량을 현저하게 감소 시킬 수 있다.
본 발명의 실시 예에 따르면 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치는 선박의 이동속도를 기준으로 검출 반경을 산정하고, 산정된 상기 검출 반경을 적용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 선정하는 검출 구역 선정부; 상기 다수의 센서를 이용하여 선정된 상기 검출 구역을 대상으로 물체에 대한 검출 정보를 수집하는 검출 정보 수집부; 수집된 상기 검출 정보를 이용하여 식별된 물체와의 선수각을 계산하는 선수각 계산부; 및 계산된 상기 선수각과 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함하는 충돌 예측 정보를 생성하는 충돌 예측정보 생성부를 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 검출 구역 선정부는, 입력 받거나 수집한 상기 검출 정보에 포함된 복수의 물체 위치 데이터를 미리 설정된 기준에 따라 선분류 할 수 있다.
본 발명의 일 실시 예에 따르면 상기 충돌 예측정보 생성부는, 상기 선분류 된 결과에 파티클 필터(Particle filter)를 적용하여 물체의 이동경로를 산출하며, 상기 산출된 물체의 이동경로를 기준으로 상기 충돌 예상 경로를 산출할 수 있다.
본 발명의 일 실시 예에 따르면 상기 검출 구역 선정부는, 상기 선박의 이동 속도를 기준으로 상기 선박이 회피하거나 정지 상태로 복원할 수 있는 안전 거리를 반영하여 검출 반경(r)을 결정하는 검출 반경 결정부; 및 결정된 상기 검출 반영을 이용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 확정할 수 있다.
본 발명의 일 실시 예에 따르면 상기 충돌 예측정보 생성부는, 상기 식별된 물체의 위치정보, 상기 선박과 식별된 물체와의 상대 속도, 계산된 상기 선수각을 이용하여 상기 선박과 식별된 물체의 충돌 지점을 계산하는 선박충돌 지점 계산부;
계산된 상기 선박충돌 지점과 상기 선박과의 거리를 기반으로 상기 선박 충돌 시점을 계산하고, 계산된 상기 선박 충돌 시점을 이용하여 충돌 확률을 산출하는 충돌 확률 산출부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 충돌 예측정보 생성부는, 산출된 상기 충돌 확률이 높을수록 상기 충돌 가중치는 1에, 상기 충돌 확률이 낮을수록 충돌 가중치는 0에 가까워지는 것을 기준으로 0에서 1 사이의 출동 가중치를 산출할 수 있다.
본 발명의 일 실시 예에 따르면 산출된 상기 충돌 가중치를 적용하여 상기 검출 구역에 포함되는 모든 물체를 대상으로 관측 중요도를 산출할 수 있다.
본 발명의 일 실시 예에 따르면 산출된 상기 관측 중요도를 이용하여 관측 중요도가 높은 물체에 물체 식별을 위해 상대적으로 더 많은 연산 자원 배분할 수 있다.
본 발명의 일 실시 예에 따르면 상기 관측 중요도가 높은 물체만을 식별하여 충동 예측정보를 생성할 수 있다.
본 발명이 실시 예에 따르면 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법은 선박의 이동속도를 기준으로 검출 반경을 산정하고, 산정된 상기 검출 반경을 적용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 선정하는 단계; 상기 다수의 센서를 이용하여 선정된 상기 검출 구역을 대상으로 물체에 대한 검출 정보를 수집하는 단계; 수집된 상기 검출 정보를 이용하여 식별된 물체와의 선수각을 계산하는 단계; 및 계산된 상기 선수각과 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함하는 충돌 예측 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 검출 구역을 선정하는 단계는, 입력 받거나 수집한 상기 검출 정보에 포함된 복수의 물체 위치 데이터를 미리 설정된 기준에 따라 선분류 할 수 있다.
본 발명의 일 실시 예에 따르면 상기 충돌 예측 정보를 생성하는 단계는, 상기 선분류 된 결과에 파티클 필터(Particle filter)를 적용하여 물체의 이동경로를 산출하며, 상기 산출된 물체의 이동경로를 기준으로 상기 충돌 예상 경로를 산출할 수 있다.
본 발명의 일 실시 예에 따르면 상기 검출 구역을 선정하는 단계는, 상기 선박의 이동 속도를 기준으로 상기 선박이 회피하거나 정지 상태로 복원할 수 있는 안전 거리를 반영하여 검출 반경(r)을 결정하는 단계; 및 결정된 상기 검출 반영을 이용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 확정할 수 있다.
본 발명의 일 실시 예에 따르면 상기 충돌 예측 정보를 생성하는 단계는, 상기 식별된 물체의 위치정보, 상기 선박과 식별된 물체와의 상대 속도, 계산된 상기 선수각을 이용하여 상기 선박과 식별된 물체의 충돌 지점을 계산하는 단계; 및 계산된 상기 선박충돌 지점과 상기 선박과의 거리를 기반으로 상기 선박 충돌 시점을 계산하고, 계산된 상기 선박 충돌 시점을 이용하여 충돌 확률을 산출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면 상기 충돌 예측 정보를 생성하는 단계는, 산출된 상기 충돌 확률이 높을수록 상기 충돌 가중치는 1에, 상기 충돌 확률이 낮을수록 충돌 가중치는 0에 가까워지는 것을 기준으로 0에서 1 사이의 출동 가중치를 산출할 수 있다.
본 발명의 일 실시 예에 따르면 산출된 상기 충돌 가중치를 적용하여 상기 검출 구역에 포함되는 모든 물체를 대상으로 관측 중요도를 산출할 수 있다.
본 발명의 일 실시 예에 따르면, 산출된 상기 관측 중요도를 이용하여 관측 중요도가 높은 물체에 물체 식별을 위해 상대적으로 더 많은 연산 자원 배분할 수 있다.
본 발명의 일 실시 예에 따르면 상기 관측 중요도가 높은 물체만을 식별하여 충동 예측정보를 생성할 수 있다.
본 발명에 따르면 다중의 환경 인식 센서를 활용해서 물체의 검출 및 인식을 수행하고, 검출 및 인식된 물체에 대한 예측 경로를 생성해서 본 선박과의 충돌 가능성을 가중치로 계산하여 예측할 수 있으며, 충돌 가능성에 따라 식별 중요도를 분류하여 상대적으로 식별 중요도가 높은 물체들 만을 대상으로 물체의 검출 지속여부를 결정하여 연산 자원의 사용량을 현저하게 감소시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치의 구성도이다.
도 2는 도 1에 도시된 검출 구역 선정부의 세부 구성도이다.
도 3은 도 1에 개시된 충돌 예측정보 생성부의 세부 구성도이다.
도 4는 본 발명의 일 실시 에에 따라 선정된 검출 구역을 나타낸 도면이다.
도 5는 본 발명의 일 실시 에에 따라 계산된 충돌 예상 지점 및 충돌 경로를 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 계산 결과 충돌 예상 지점이 없는 경우를 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따라 계산된 충돌 예상 지점, 충돌 예상 경로, 선박 이동 경로, 물체 이동 경로를 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따라 검출된 물체에 대해서 확대를 통해 상세 식별 및 그에 따른 정확한 충돌 예측 과정을 나타낸 도면이다.
도 9은 본 발명의 일 실시 예에 따라 물체의 위치 데이터를 분류화 하고 파티클 필터를 통해서 예측 장애물 경로를 생성하는 것을 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법의 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치의 구성도이다.
도 1을 참조하면 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치는 검출 구역 선정부(100), 검출 정보 수집부(200), 선수각 계산부(300), 충돌 예측정보 생성부(400)를 포함할 수 있다.
검출 구역 선정부(100)는 선박의 이동속도를 기준으로 검출 반경을 산정하고, 산정된 검출 반경을 적용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 선정할 수 있다.
여기서 다수의 센서는 환경을 인식할 수 있는 환경 인식 센서를 의미할 수 있으며, 환경 인식 센서에는 카메라, 라이다, GPS, 속도계, 소나 센서 등일 수 있으나 이에 한정되지 아니하면 선박의 주변 환경을 인식할 수 있는 센서라면 제한 없이 사용될 수 있다.
본 발명의 일 실시 예에 따르면 검출 구역 선정부(100)는 입력 받거나 수집한 검출 정보에 포함된 복수의 물체 위치 데이터를 미리 설정된 기준에 따라 선분류할 수 있다.
본 발명의 일 실시 예에 따르면 입력 받거나 다수의 환경 센서를 통해 수집한 물체의 검출 정보를 이용하여 선박과 충돌할 위험성이 존재하는 물체의 위치에 대한 데이터를 크기, 속도, 종류, 형상 등 적어도 하나의 미리 설정된 기준으로 미리 분류하여 연산 자원의 소모를 감소시킬 수 있다.
본 발명의 일 실시 예에 따르면 검출 구역 선정부(100)에서 미리 설정된 기준에 따라 선분류를 수행하면 충돌 예측정보 생성부(400)는 선분류 된 결과에 파티클 필터(Particle filter)를 적용하여 물체의 이동경로를 산출하며, 상기 산출된 물체의 이동경로를 기준으로 상기 충돌 예상 경로를 산출할 수 있다.
검출 정보 수집부(200)는 다수의 센서를 이용하여 선정된 상기 검출 구역을 대상으로 물체에 대한 검출 정보를 수집할 수 있다.
여기서 물체에 대한 검출 정보는 물체의 크기 정보, 위치 정보, 형태 정보, 속도 정보 등 적어도 하나 이상을 포함하는 정보일 수 있으나 이에 한정되지 아니하며,
선수각 계산부(300)는 수집된 검출 정보를 이용하여 식별된 물체와의 선수각을 계산할 수 있다.
본 발명의 일 실시 예에 따르면 검출 정보 수집부(200)에서 수집된 물체에 대한 검출 정보 중 물체 위치정보 및 속도 정보를 이용하여 검출 구역 내에 포함된 물체와 본 선박과의 선수각을 계산할 수 있다.
충돌 예측정보 생성부(400)는 계산된 선수각과 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함하는 충돌 예측 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 충돌 예측 정보는 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함할 수 있으며, 충돌 예상 지점은 본 선박과 물체의 이동 경로가 서로 겹치는 경우 본 선박이 이동하는 경로 중 충돌이 예상되는 지점을 의미할 수 있으며, 충돌 예상 경로는 본 선박이 충돌 예상 지점까지 이동하는 경로에 대한 정보일 수 있다.
또한 충돌 예상 시간은 본 선박과 물체가 충돌하기까지 소요되는 시간을 의미할 수 있으며, 충돌 확률은 본 선박과 물체의 상대 속도 및 충돌 예상 경로, 충돌 시간들을 고려하여 본 선박과 물체가 충돌할 가능성을 확률적인 수치로 나타낸 것이며, 충돌 가중치는 충동 확률이 높은 물체일수록 높은 가중치를 부여할 수 있다.
본 발명의 일 실시 예에 따르면 산출된 충돌 가중치를 적용하여 상기 검출 구역에 포함되는 모든 물체를 대상으로 관측 중요도를 산출할 수 있다.
또한 본 발명의 일 실시 예에 따르면 산출된 상기 관측 중요도를 이용하여 관측 중요도가 높은 물체에 물체 식별을 위해 상대적으로 더 많은 연산 자원 배분할 수 있으며, 또 다른 일 실시 예에 따르면 관측 중요도가 높은 물체만을 식별하여 충동 예측정보를 생성할 수 있다.
도 2는 도 1에 도시된 검출 구역 선정부의 세부 구성도이다.
도 2를 참조하면 검출 구역 선정부(100)는 검출 반경 결정부(110), 검출 구역 확정부(120)를 더 포함할 수 있다.
검출 반경 결정부(110)는 선박의 이동 속도를 기준으로 상기 선박이 회피하거나 정지 상태로 복원할 수 있는 안전 거리를 반영하여 검출 반경(r)을 결정할 수 있다.
본 발명의 일 실시 예에 따르면 검출 반경 결정부(110)는 본 선박을 중심으로 다중 환경 센서 기반의 검출 가능한 모든 물체에 선 분류를 진행할 수 있으며, 이때 지속적인 물체 검출이 필요한 구역을 결정하기 위하여 본 선박의 이동속도에 비례하는 일정 범위에 대한 r값을 검출 구역으로 정의하여 물체를 검출할 검출 구역을 확정할 수 있다.
본 발명의 일 실시 예에 따르면 검출 반경 결정부(110)는 검출 구역의 범위인 r값을 정의하기 위하여 실제 본 선박이 회피할 수 있는 거리 또는 정지상태로 복원할 수 있는 안전거리를 r값 계산에 반영할 수 있다.
검출 구역 확정부(120)는 결정된 검출 반영을 이용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 확정할 수 있다.
도 3은 도 1에 개시된 충돌 예측정보 생성부의 세부 구성도이다.
도 3을 참조하면 충돌 예측정보 생성부(400)은 선박충돌 지점 계산부(410), 충돌 확률 산출부(420)를 더 포함할 수 있다.
선박충돌 지점 계산부(410)는 식별된 물체의 위치정보, 상기 선박과 식별된 물체와의 상대 속도, 계산된 상기 선수각을 이용하여 상기 선박과 식별된 물체의 충돌 지점을 계산할 수 있다.
충돌 확률 산출부(420)는 계산된 선박충돌 지점과 상기 선박과의 거리를 기반으로 상기 선박 충돌 시점을 계산하고, 계산된 상기 선박 충돌 시점을 이용하여 충돌 확률을 산출할 수 있다.
본 발명의 일 실시 예에 따르면 충돌 확률은 본 선박과 물체의 상대 속도 및 충돌 예상 경로, 충돌 시간들을 고려하여 본 선박과 물체가 충돌할 가능성을 확률적인 수치로 나타내어 산출할 수 있다.
본 발명의 일 실시 예에 따르면 산출된 상기 충돌 확률이 높을수록 상기 충돌 가중치는 1에, 상기 충돌 확률이 낮을수록 충돌 가중치는 0에 가까워지는 것을 기준으로 0에서 1 사이의 출동 가중치를 산출할 수 있으며, 충돌 가중치는 충동 확률이 높은 물체일수록 높은 가중치를 부여할 수 있다.
도 4는 본 발명의 일 실시 에에 따라 선정된 검출 구역을 나타낸 도면이다.
도4를 참조하면 본 발명의 일 실시 에에 따라 선정된 검출 구역이 나타나 있으며, 상술한 바와 같이 본 선박을 중심으로 다중 환경 센서 기반의 검출 가능한 모든 물체에 선 분류를 진행할 수 있으며, 이때 지속적인 물체 검출이 필요한 구역을 결정하기 위하여 본 선박의 이동속도에 비례하는 일정 범위에 대한 r값을 검출 구역으로 정의하여 물체를 검출할 검출 구역을 확정할 수 있다.
도 5는 본 발명의 일 실시 에에 따라 계산된 충돌 예상 지점 및 충돌 예상 경로를 나타낸 도면이다.
도 5를 참조하면 본 발명의 일 실시 에에 따라 본 선박과 물체의 이동 계산된 충돌 예상 지점 및 충돌 경로가 나타나 있으며, 본 선박과 물체의 이동 경로가 서로 겹치는 경우 본 선박이 이동하는 경로 중 충돌이 예상되는 지점을 충돌 예상지점으로 볼 수 있으며, 본 선박의 충돌 예상지점까지의 이동 경로를 충돌 예상 경로로 볼 수 있다.
도 6은 본 발명의 일 실시 예에 따른 계산 결과 충돌 예상 지점이 없는 경우를 나타낸 도면이다.
본 발명의 일 실시 예에 따르면 도 6과 같이 본 선박과 특정 물체 사이에 출동 예상 지점이 없는 경우도 존재하며, 이런 경우 충돌 확률은 0으로 산출될 수 있다.
도 7은 본 발명의 일 실시 예에 따라 계산된 충돌 예상 지점, 충돌 예상 경로, 선박 이동 경로, 물체 이동 경로를 나타낸 도면이다.
도 7을 참조하면 본 발명의 일 실시 예에 따라 선정된 검출 구역 내에서 검출된 물체와 본 선박사이의 선수각(
Figure 112019115032736-pat00001
)을 산출 할 수 있으며, 선수각과 본 선박의이동 속도, 물체의 이동속도 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 생성한 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로를 이용하여 칼만 필터(Kalman Filter) 기반의 예측 정보를 생성할 수 있으며, 물체와 본 선박 간의 접점까지의 이동시간을 역 계산하여, 충돌 예측을 할 수 있으며, 예측된 이동시간이 충돌 범위에 속한다면 이는 충돌 가중치 w가 1에 가깝게 산출될 수 있다.
도 8은 본 발명의 일 실시 예에 따라 검출된 물체에 대해서 확대를 통해 상세 식별 및 그에 따른 정확한 충돌 예측 과정을 나타낸 도면이다.
도 8을 참조하면 일 실시 예에 따라 검출된 물체에 대해서 확대를 통해 상세 식별 및 그에 따른 정확한 충돌 예측 과정이 나타나 있으며 검출된 물체에 대한 데이터 중 선박일 가능성이 가장 높은 데이터에 대해서는 확대(zooming)를 통해 상세하게 물체의 식별을 수행하고, 이에 대한 충돌 예측을 지속적으로 수행할 수 있다
도 9은 본 발명의 일 실시 예에 따라 물체의 위치 데이터를 분류화 하고 파티클 필터를 통해서 예측 장애물 경로를 생성하는 것을 나타낸 도면이다.
도 9를 참조하면 본 발명의 일 실시 예에 따라 물체의 위치 데이터를 분류화 하고 파티클 필터를 통해서 예측 장애물 경로를 생성하는 것이 도시되어 있으며, 임의로 받은 물체의 위치 데이터를 분류화 하여 파티클 필터를 통해서 물체의 예상 이동 경로를 생성하며, 정확한 충돌예측을 위한 사전 작업을 실시할 수 있다.
도 10은 본 발명의 실시 예에 따른 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법의 흐름도이다.
선박의 이동속도를 기준으로 검출 반경을 산정한다(S10).
본 발명의 일 실시 예에 따르면 선박의 이동속도를 기준으로 검출 반경을 산정할 수 있으며, 입력 받거나 수집한 검출 정보에 포함된 복수의 물체 위치 데이터를 미리 설정된 기준에 따라 선분류할 수 있다.
본 발명의 일 실시 예에 따르면 입력 받거나 다수의 환경 센서를 통해 수집한 물체의 검출 정보를 이용하여 선박과 충돌할 위험성이 존재하는 물체의 위치에 대한 데이터를 크기, 속도, 종류, 형상 등 적어도 하나의 미리 설정된 기준으로 미리 분류하여 연산 자원의 소모를 감소시킬 수 있다.
본 발명의 일 실시 예에 따르면 선박의 이동 속도를 기준으로 상기 선박이 회피하거나 정지 상태로 복원할 수 있는 안전 거리를 반영하여 검출 반경(r)을 결정할 수 있다.
본 발명의 일 실시 예에 따르면 검출 반경 결정부(110)는 본 선박을 중심으로 다중 환경 센서 기반의 검출 가능한 모든 물체에 선 분류를 진행할 수 있으며, 이때 지속적인 물체 검출이 필요한 구역을 결정하기 위하여 본 선박의 이동속도에 비례하는 일정 범위에 대한 r값을 검출 구역으로 정의하여 물체를 검출할 검출 구역을 확정할 수 있다.
본 발명의 일 실시 예에 따르면 검출 반경 결정부(110)는 검출 구역의 범위인 r값을 정의하기 위하여 실제 본 선박이 회피할 수 있는 거리 또는 정지상태로 복원할 수 있는 안전거리를 r값 계산에 반영할 수 있다.
검출 반경을 적용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 선정한다(S20).
본 발명의 일 실시 예에 따르면 산정된 검출 반경을 적용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 선정할 수 있다.
본 발명의 일 실시 예에 따르면 결정된 검출 반영을 이용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 확정할 수 있다.
본 발명의 일 실시 예에 따르면 미리 설정된 기준에 따라 선분류를 수행하면 선분류 된 결과에 파티클 필터(Particle filter)를 적용하여 물체의 이동경로를 산출하며, 상기 산출된 물체의 이동경로를 기준으로 상기 충돌 예상 경로를 산출할 수 있다.
다수의 센서를 이용하여 선정된 상기 검출 구역을 대상으로 물체에 대한 검출 정보를 수집한다(S30).
본 발명의 일 실시 예에 따르면 다수의 센서를 이용하여 선정된 상기 검출 구역을 대상으로 물체에 대한 검출 정보를 수집할 수 있다.
본 발명의 일 실시 예에 따르면 물체에 대한 검출 정보는 물체의 크기 정보, 위치 정보, 형태 정보, 속도 정보 등 적어도 하나 이상을 포함하는 정보일 수 있으나 이에 한정되지 아니한다.
수집된 상기 검출 정보를 이용하여 식별된 물체와의 선수각을 계산한다(S40).
본 발명의 일 실시 예에 따르면 수집된 검출 정보를 이용하여 식별된 물체와의 선수각을 계산할 수 있다.
본 발명의 일 실시 예에 따르면 수집된 물체에 대한 검출 정보 중 물체 위치정보 및 속도 정보를 이용하여 검출 구역 내에 포함된 물체와 본 선박과의 선수각을 계산할 수 있다.
계산된 상기 선수각과 검출된 객체와의 거리를 이용하여 충돌 예측 정보를 생성한다(S50).
본 발명의 일 실시 예에 따르면 계산된 선수각과 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함하는 충돌 예측 정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 충돌 예측 정보는 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함할 수 있으며, 충돌 예상 지점은 본 선박과 물체의 이동 경로가 서로 겹치는 경우 본 선박이 이동하는 경로 중 충돌이 예상되는 지점을 의미할 수 있으며, 충돌 예상 경로는 본 선박이 충돌 예상 지점까지 이동하는 경로에 대한 정보일 수 있다.
또한 충돌 예상 시간은 본 선박과 물체가 충돌하기까지 소요되는 시간을 의미할 수 있으며, 충돌 확률은 본 선박과 물체의 상대 속도 및 충돌 예상 경로, 충돌 시간들을 고려하여 본 선박과 물체가 충돌할 가능성을 확률적인 수치로 나타낸 것이며, 충돌 가중치는 충동 확률이 높은 물체일수록 높은 가중치를 부여할 수 있다.
본 발명의 일 실시 예에 따르면 산출된 충돌 가중치를 적용하여 상기 검출 구역에 포함되는 모든 물체를 대상으로 관측 중요도를 산출할 수 있다.
또한 본 발명의 일 실시 예에 따르면 산출된 상기 관측 중요도를 이용하여 관측 중요도가 높은 물체에 물체 식별을 위해 상대적으로 더 많은 연산 자원 배분할 수 있으며, 또 다른 일 실시 예에 따르면 관측 중요도가 높은 물체만을 식별하여 충동 예측정보를 생성할 수 있다.
본 발명의 일 실시 예에 따르면 식별된 물체의 위치정보, 상기 선박과 식별된 물체와의 상대 속도, 계산된 상기 선수각을 이용하여 상기 선박과 식별된 물체의 충돌 지점을 계산할 수 있다.
본 발명의 일 실시 예에 따르면 계산된 선박충돌 지점과 상기 선박과의 거리를 기반으로 상기 선박 충돌 시점을 계산하고, 계산된 상기 선박 충돌 시점을 이용하여 충돌 확률을 산출할 수 있다.
본 발명의 일 실시 예에 따르면 충돌 확률은 본 선박과 물체의 상대 속도 및 충돌 예상 경로, 충돌 시간들을 고려하여 본 선박과 물체가 충돌할 가능성을 확률적인 수치로 나타내어 산출할 수 있다.
본 발명의 일 실시 예에 따르면 산출된 상기 충돌 확률이 높을수록 상기 충돌 가중치는 1에, 상기 충돌 확률이 낮을수록 충돌 가중치는 0에 가까워지는 것을 기준으로 0에서 1 사이의 출동 가중치를 산출할 수 있으며, 충돌 가중치는 충동 확률이 높은 물체일수록 높은 가중치를 부여할 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 선박의 이동속도를 기준으로 검출 반경을 산정하고, 산정된 상기 검출 반경을 적용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 선정하는 검출 구역 선정부;
    상기 다수의 센서를 이용하여 선정된 상기 검출 구역을 대상으로 물체에 대한 검출 정보를 수집하는 검출 정보 수집부;
    수집된 상기 검출 정보를 이용하여 식별된 물체와의 선수각을 계산하는 선수각 계산부; 및
    계산된 상기 선수각과 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함하는 충돌 예측 정보를 생성하는 충돌 예측정보 생성부를 포함하고,
    상기 충돌 예측정보 생성부는, 산출된 상기 충돌 가중치를 적용하여 상기 검출 구역에 포함되는 모든 물체를 대상으로 관측 중요도를 산출하며, 상기 관측 중요도가 높은 물체만을 식별하여 충돌 예측정보를 생성하며,
    상기 충돌 예측정보 생성부는, 상기 식별된 물체의 위치정보, 상기 선박과 식별된 물체와의 상대 속도, 계산된 상기 선수각을 이용하여 상기 선박과 식별된 물체의 상기 충돌 예상 지점을 계산하는 선박충돌 지점 계산부 및 계산된 상기 충돌 예상 지점과 상기 선박과의 거리를 기반으로 상기 충돌 예상 시간을 계산하고, 계산된 상기 충돌 예상 시간을 이용하여 상기 충돌 확률을 산출하는 충돌 확률 산출부를 포함하며,
    상기 충돌 예측 정보 생성부는 상기 충돌 예상 시간, 충돌 예상 지점 및 상기충돌 예상 경로를 이용하여 칼만 필터 기반으로 상기 충돌 예측 정보를 생성하며, 상기 선박과 상기 물체 간의 접점까지의 이동시간을 역계산하여 충돌 예측을 수행하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치.
  2. 제 1 항에 있어서 상기 검출 구역 선정부는,
    입력 받거나 수집한 상기 검출 정보에 포함된 복수의 물체 위치 데이터를 미리 설정된 기준에 따라 선분류 하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치.
  3. 제 2 항에 있어서 상기 충돌 예측정보 생성부는,
    상기 선분류 된 결과에 파티클 필터(Particle filter)를 적용하여 물체의 이동경로를 산출하며, 상기 산출된 물체의 이동경로를 기준으로 상기 충돌 예상 경로를 산출하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치.
  4. 제 1 항에 있어서 상기 검출 구역 선정부는,
    상기 선박의 이동 속도를 기준으로 상기 선박이 회피하거나 정지 상태로 복원할 수 있는 안전 거리를 반영하여 검출 반경(r)을 결정하는 검출 반경 결정부; 및
    결정된 상기 검출 반경을 이용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 확정하는 검출 구역 확정부를 더 포함하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치.
  5. 삭제
  6. 제 1 항에 있어서 상기 충돌 예측정보 생성부는,
    산출된 상기 충돌 확률이 높을수록 상기 충돌 가중치는 1에, 상기 충돌 확률이 낮을수록 충돌 가중치는 0에 가까워지는 것을 기준으로 0에서 1 사이의 출동 가중치를 산출하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치.
  7. 삭제
  8. 제 1 항에 있어서,
    산출된 상기 관측 중요도를 이용하여 관측 중요도가 높은 물체에 물체 식별을 위해 상대적으로 더 많은 연산 자원 배분하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치.
  9. 삭제
  10. 선박의 이동속도를 기준으로 검출 반경을 산정하고, 산정된 상기 검출 반경을 적용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 선정하는 단계;
    상기 다수의 센서를 이용하여 선정된 상기 검출 구역을 대상으로 물체에 대한 검출 정보를 수집하는 단계;
    수집된 상기 검출 정보를 이용하여 식별된 물체와의 선수각을 계산하는 단계; 및
    계산된 상기 선수각과 검출된 객체와의 거리를 이용하여 충돌 예상 시간, 충돌 예상 지점, 충돌 예상 경로, 충돌 확률, 충돌 가중치 중 적어도 하나를 포함하는 충돌 예측 정보를 생성하는 단계를 포함하고,
    상기 충돌 예측 정보를 생성하는 단계에서는, 산출된 상기 충돌 가중치를 적용하여 상기 검출 구역에 포함되는 모든 물체를 대상으로 관측 중요도를 산출하며, 상기 관측 중요도가 높은 물체만을 식별하여 충돌 예측정보를 생성하며,
    상기 충돌 예측 정보를 생성하는 단계는, 상기 식별된 물체의 위치정보, 상기 선박과 식별된 물체와의 상대 속도, 계산된 상기 선수각을 이용하여 상기 선박과 식별된 물체의 상기 충돌 예상 지점을 계산하는 단계 및 계산된 상기 충돌 예상 지점과 상기 선박과의 거리를 기반으로 상기 충돌 예상 시간을 계산하고, 계산된 상기 충돌 예상 시간을 이용하여 충돌 확률을 산출하는 단계를 포함하며,
    상기 충돌 예상 시간, 충돌 예상 지점 및 상기 충돌 예상 경로를 이용하여 칼만 필터 기반으로 상기 충돌 예측 정보를 생성하며, 상기 선박과 상기 물체 간의 접점까지의 이동시간을 역계산하여 충돌 예측을 수행하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법.
  11. 제 10 항에 있어서 상기 검출 구역을 선정하는 단계는,
    입력 받거나 수집한 상기 검출 정보에 포함된 복수의 물체 위치 데이터를 미리 설정된 기준에 따라 선분류 하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법.
  12. 제 11 항에 있어서 상기 충돌 예측 정보를 생성하는 단계는,
    상기 선분류 된 결과에 파티클 필터(Particle filter)를 적용하여 물체의 이동경로를 산출하며, 상기 산출된 물체의 이동경로를 기준으로 상기 충돌 예상 경로를 산출하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법.
  13. 제 10 항에 있어서 상기 검출 구역을 선정하는 단계는,
    상기 선박의 이동 속도를 기준으로 상기 선박이 회피하거나 정지 상태로 복원할 수 있는 안전 거리를 반영하여 검출 반경(r)을 결정하는 단계; 및
    결정된 상기 검출 반경을 이용하여 다수의 센서를 이용하여 물체를 검출할 검출 구역을 확정하는 단계를 더 포함하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법.
  14. 삭제
  15. 제 10 항에 있어서 상기 충돌 예측 정보를 생성하는 단계는,
    산출된 상기 충돌 확률이 높을수록 상기 충돌 가중치는 1에, 상기 충돌 확률이 낮을수록 충돌 가중치는 0에 가까워지는 것을 기준으로 0에서 1 사이의 출동 가중치를 산출하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법.
  16. 삭제
  17. 제 10 항에 있어서,
    산출된 상기 관측 중요도를 이용하여 관측 중요도가 높은 물체에 물체 식별을 위해 상대적으로 더 많은 연산 자원 배분하는 것을 특징으로 하는 다중 센서 기반의 선박용 충돌 예측 정보 생성 방법.
  18. 삭제
KR1020190142906A 2019-11-08 2019-11-08 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법 KR102202794B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190142906A KR102202794B1 (ko) 2019-11-08 2019-11-08 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190142906A KR102202794B1 (ko) 2019-11-08 2019-11-08 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102202794B1 true KR102202794B1 (ko) 2021-01-14

Family

ID=74141495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190142906A KR102202794B1 (ko) 2019-11-08 2019-11-08 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102202794B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120047646A (ko) * 2010-11-04 2012-05-14 목포대학교산학협력단 다중 선박 충돌회피 제어 시스템
KR20130003629A (ko) * 2011-06-30 2013-01-09 주식회사 희망에어텍 선박을 감시하는 통합 감시 시스템 및 그의 방법
KR20150083263A (ko) * 2014-01-09 2015-07-17 한국전자통신연구원 선박의 충돌위험도 산출 시스템
KR20190005413A (ko) * 2017-07-06 2019-01-16 세한대학교기술지주회사 주식회사 레이저 센서 기반에서 마리나 계류장 레저 선박의 충돌감지 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120047646A (ko) * 2010-11-04 2012-05-14 목포대학교산학협력단 다중 선박 충돌회피 제어 시스템
KR20130003629A (ko) * 2011-06-30 2013-01-09 주식회사 희망에어텍 선박을 감시하는 통합 감시 시스템 및 그의 방법
KR20150083263A (ko) * 2014-01-09 2015-07-17 한국전자통신연구원 선박의 충돌위험도 산출 시스템
KR20190005413A (ko) * 2017-07-06 2019-01-16 세한대학교기술지주회사 주식회사 레이저 센서 기반에서 마리나 계류장 레저 선박의 충돌감지 장치

Similar Documents

Publication Publication Date Title
EP3408720B1 (en) Autonomous operation of a vessel
KR101900851B1 (ko) 선박 항해 감시장치 및 방법
KR102235787B1 (ko) 접안 모니터링 장치 및 방법
JP3186401B2 (ja) 車両用距離データ処理装置
JP6805989B2 (ja) カバレッジ装置、移動体、制御装置、移動体の分散制御プログラム
KR20200071959A (ko) 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치
US20220351523A1 (en) Method and device for monitoring port and ship in consideration of sea level
Clunie et al. Development of a perception system for an autonomous surface vehicle using monocular camera, lidar, and marine radar
KR101069884B1 (ko) 충돌 회피 경로 설정 장치, 경로 제어 시스템 및 충돌 회피 경로 제어 방법
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
Bloisi et al. Camera based target recognition for maritime awareness
CN109343051A (zh) 一种用于高级辅助驾驶的多传感器数据融合方法
KR20190135319A (ko) 선박 고속 추적 장치 및 방법
Reed et al. The detection and disposal of IED devices within harbor regions using AUVs, smart ROVs and data processing/fusion technology
KR102559637B1 (ko) 인공지능 기반의 선박 과속 판정 장치, 방법 및 그 시스템
Perera et al. Detections of potential collision situations by relative motions of vessels under parameter uncertainties
KR102202794B1 (ko) 다중 센서 기반의 선박용 충돌 예측 정보 생성 장치 및 그 방법
KR102535115B1 (ko) 선박 및 항만 모니터링 장치 및 방법
JP2019175287A (ja) 移動体の避航判断方法、避航判断装置及び避航判断プログラム
CN112526525A (zh) 对静态对象和动态对象的分类
CN114537474A (zh) 一种列车行驶安全的防护方法及装置
Bloisi et al. Integrated visual information for maritime surveillance
Ciany et al. Real-time performance of fusion algorithms for computer aided detection and classification of bottom mines in the littoral environment
KR102311245B1 (ko) 해상 환경에서 다종 카메라 영상을 기초로 심층신경망을 이용하여 목표 대상물과 항해장치 간 헤딩각도 차이와 상대거리를 추정하여 복수의 스러스터를 제어하기 위한 방법
Petković et al. Target detection for visual collision avoidance system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant