KR20240022576A - Ｍｌ을 연속적으로 업데이트하는 내비게이션 시스템 및 방법 - Google Patents

Ｍｌ을 연속적으로 업데이트하는 내비게이션 시스템 및 방법 Download PDF

Info

Publication number
KR20240022576A
KR20240022576A KR1020247001348A KR20247001348A KR20240022576A KR 20240022576 A KR20240022576 A KR 20240022576A KR 1020247001348 A KR1020247001348 A KR 1020247001348A KR 20247001348 A KR20247001348 A KR 20247001348A KR 20240022576 A KR20240022576 A KR 20240022576A
Authority
KR
South Korea
Prior art keywords
data
radar
image data
module
objects
Prior art date
Application number
KR1020247001348A
Other languages
English (en)
Inventor
오메르 레제브
Original Assignee
이스라엘 에어로스페이스 인더스트리즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이스라엘 에어로스페이스 인더스트리즈 리미티드 filed Critical 이스라엘 에어로스페이스 인더스트리즈 리미티드
Publication of KR20240022576A publication Critical patent/KR20240022576A/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Ocean & Marine Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

적어도 제1 시야를 나타내는 레이더 입력 데이터 및 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 나타내는 화상 입력 데이터를 포함하는 입력 데이터를 수신하는 단계를 포함하는 해양 선박 관리 시스템 및 방법이 설명된다. 레이더 입력 데이터를 처리하여 상기 제1 시야의 중첩 부분 내에서 하나 이상의 반사 객체를 나타내는 데이터를 결정하는 단계. 상기 하나 이상의 반사 객체가 식별되는, 상기 제2 시야 내의 하나 이상의 각각의 위치를 결정하고, 상기 하나 이상의 반사 객체의 레이더 메타데이터를 획득하는 단계; 상기 입력 화상 데이터를 상기 제2 시야의 중첩 부분 내의 상기 각각의 위치에서 처리하는 단계. 상기 하나 이상의 반사 객체와 연관된 상기 화상 데이터의 하나 이상의 섹션과 대응하는 하나 이상의 이미지 데이터 피스를 결정하는 단계. 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 레이더 메타데이터를 사용하는 단계. 그에 의해, 하나 이상의 객체의 이미지 데이터와 상기 레이더 메타데이터의 연결을 용이하게 하여, 상기 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 하는 단계.

Description

ＭＬ을 연속적으로 업데이트하는 내비게이션 시스템 및 방법
본 발명은 AI(인공 지능) 제어 기술을 사용하는 자동 내비게이션, 교통 회피(traffic avoidance), 및 충돌-방지의 기법에 관한 것이며, 구체적으로는 해양 교통 및 해양 환경에서 자동 및 "온 더 플라이(on the fly)" 기계 학습 훈련을 사용함으로써 자율적으로 그리고 자동으로 업데이트된 AI에 관한 것이다.
자율 차량에 대한 높아지는 관심은 자율 해양 선박으로도 향하고 있다. 해양 환경 및 경로는 자율 내비게이션 및 취급에 대한 유망한 후보가 될 수 있으나, 기존의 IMO(국제해사기구) 규정 및 규칙에는 상황 및 충돌 위험의 완전한 평가를 행하기 위해 선박의 선교 상에서의 육안에 의한 24/7 인간 감시의 존재가 지시되어 있다. 그러한 규정에는 선박의 자동 또는 자율 감시 기능 및 내비게이션 제어에 대한 입력으로서 광학 이미징 및 광학 이미지 처리의 사용이 지시되어 있다.
해양 선박의 자율 또는 자동 제어는 일반적으로 내비게이션, 장애물의 회피, 및 다른 선박과의 경로 및 교통 상충(conflict)의 해결을 포함하는 몇몇 양태에서 선박의 작동을 필요로 한다. 해양 규정에 따르면 시각적 입력의 사용이 필요하므로, 육안에 의한 인간 감시를 이용함으로써 상황 및 충돌 위험의 완전한 평가를 행한다. 해양 선박의 자동 및 자율 내비게이션에 대한 제어는 시각적 광학 입력의 처리를 필요로 한다. 이를 위해, 해양 선박의 그러한 자동 또는 자율 내비게이션을 위한 적절한 제어 시스템은, 충돌을 회피하고 발생할 수 있는 다양한 내비게이션 상충 또는 잠재적인 상충을 적시에 해결하기 위해, 상이한 시각적 조건에서 다양한 객체를 검출하고 분석하여 객체 검출, 객체 분류 및 객체 거동의 특징을 결정하는 것뿐만 아니라, 항로 재계획 또는 일시적 항로 변경을 가능하게 하기 위해 훈련된다.
규정을 따르면서, 다양한 조건에서 자동 및/또는 자율 해양 내비게이션을 가능하게 하기 위해, 본 기법은 다양한 시각적 조건에서 다양한 객체의 검출, 분류 및 거동 프로파일 생성을 가능하게 하기 위해 자동 및 "온 더 플라이" 기계 학습 제어에 의한 AI 기술의 진행 중인 학습 및 훈련을 제공한다.
이를 위해, 본 발명은 하나 이상의 광학 이미저(예컨대, 하나 이상의 카메라 유닛) 및 하나 이상의 레이더 시스템을 포함하는 해양 선박 상의 감지 장치, 및 하나 이상의 컴퓨터 프로세서 및 메모리 유닛을 포함하는 내비게이션 제어 시스템(제어 시스템)을 활용한다. 제어 시스템은 또한 로컬 또는 원격 디스플레이 및 배 오토파일럿 및 엔진 스로틀에 대한 제어를 제공하는 하나 이상의 배 제어 유닛, 및 배 인터페이스 유닛을 포함할 수 있다. 제어 시스템은 일반적으로 입력 이미지 데이터 및 입력 레이더 데이터를 수신하기 위해 감지 장치에 작동 가능하게 연결된 입력 및 출력 통신 포트를 포함한다. 제어 시스템은 일반적으로 선박 엔진 및 조향 내비게이션 모듈에 연결되어 선박의 조향 및 추력을 제어하고, 그에 의해 선박을 제어, 조타, 및 내비게이션한다.
제어 시스템은 예를 들어 입력 데이터, 적어도 이미지 데이터를 수신 및 처리하고, 선박 주위의 또는 그의 경로 내의 객체와 연관된 위험 레벨을 결정하도록 구성된 안전 모듈, 및 선박 및 그 주위의 환경에 대한 데이터를 수신 및 처리하고, 하나 이상의 의사 결정 알고리즘을 적용하고, 엔진 및 조향 모듈에 대한 작동 커맨드를 생성하도록 구성된 오토-캡틴(auto-captain) 모듈을 포함하는 하나 이상의 처리 모듈을 추가로 포함할 수 있다. 제어 시스템은 또한 선박의 연료 사용을 모니터링 및 최적화하기 위한 효율 모듈과 같은 추가 모듈; 보안 침입을 제한하기 위해 데이터 통신을 모니터링 및 검증하도록 구성된 사이버 보안 모듈을 포함할 수 있다. 일반적으로, 제어 시스템은 하나 이상의 이미저로부터 입력 화상 데이터를 수신하고, 화상 데이터 내의 하나 이상의 객체를 식별하고, 그렇게 식별된 객체의 하나 이상의 분류 데이터를 결정하고 안전 모듈 및 오토-캡틴 모듈 중 적어도 하나에 대응하는 출력을 제공하도록 구성된 객체 분석 모듈을 포함할 수 있다. 전형적으로, 해양 환경에서, 객체 분석 모듈은, 예를 들어 배, 보트, 래프트, 장애물, 다양한 플랫폼(예를 들어, 석유 굴착 장치) 등을 포함하는 다양한 타입의 해양 선박을 검출, 인식, 및 분류할 뿐만 아니라 정적 객체에 대한 그러한 해양 선박의 거동 프로파일을 분석하기 위해 훈련될 수 있다. 추가적으로, 분석 모듈은 객체 조명, 연기, 플래그, 형상, 돛, 선박 벡터 및 조종, 후방 워터 트레일(rear water trail), 전방(기수(nose)) 파랑, 물거품 등과 같은 객체 특징을 결정하도록 훈련될 수 있다. 추가로, 객체 분석 모듈은 섬 및 해변과 같은 육지 영역을 인식하기 위해 훈련될 수 있다.
일반적으로, 객체 분석 모듈뿐만 아니라, 안전 모듈 및 오토-캡틴 모듈 중 하나 이상은 대응하는 인공 지능(AI) 처리 모듈을 활용할 수 있다. 이를 위해, AI 모듈은 전형적으로 다양한 시나리오에 대해 그리고 해양 규정에 따라 훈련된다. 본 기법은 일반적으로 선박이 직면할 수 있는 다양한 타입의 객체를 검출하고 분류하기 위해 객체 분석 모듈의 진행 중인 훈련을 활용하여 재훈련 및 연속 학습 능력을 해양 선박에 제공한다. 이를 위해, 본 기법은 화상 입력 데이터 및 레이더 입력 데이터를 포함하는 입력 데이터를 수신하기 위해, 그리고 선박 주위에서 발견되는 객체와 연관된 하나 이상의 라벨링된 이미지 섹션을 생성하기 위한 입력 데이터를 처리하기 위해 감지 장치에 연결 가능한 훈련 데이터 생성기 모듈을 활용한다. 각각의 이미지 데이터 섹션은 객체를 묘사하고 객체 상에 하나 이상의 분류 데이터를 제공하는 메타데이터 라벨을 포함하는, 하나 이상의 입력 이미지 프레임의 컷 섹션이다.
보다 구체적으로, 훈련 데이터 생성기는 감지 장치로부터 입력 데이터를 수신하도록 구성되고 작동 가능하다. 입력 데이터는 하나 이상의 이미저/카메라 유닛에 의해 획득된 화상 데이터 및 하나 이상의 레이더 유닛에 의해 획득된 레이더 입력 데이터를 포함한다. 레이더 입력 데이터는 제1 시야를 나타내고, 화상 입력 데이터는 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 나타낸다. 훈련 데이터 생성기는 레이더 입력 데이터를 처리하여 하나 이상의 반사 객체를 나타내는 데이터를 결정하고 객체의 각각의 위치 및 레이더 메타데이터를 포함하는 반사 객체에 대한 데이터를 결정하도록 구성된다. 훈련 데이터 생성기는 화상 데이터 내의 하나 이상의 객체를 검출하기 위해 입력 화상 데이터를 처리하도록 추가로 구성된다. 일반적으로, 훈련 데이터 생성기는 레이더 입력 데이터에서 검출된 객체의 각각의 위치 내에서 화상 데이터를 처리하여, 하나 이상의 반사 객체와 연관된 상기 화상 데이터의 하나 이상의 섹션과 대응하는 하나 이상의 이미지 데이터 피스를 결정할 수 있다. 훈련 데이터 생성기는 레이더 입력 데이터로부터 획득된 객체 특징과 화상 데이터에서 검출된 각각의 객체 사이의 상관관계를 결정하도록 작동할 수 있다. 상관관계 레벨은 검출된 객체에 대한 데이터의 사용성을 결정하기 위해 사용될 수 있으며, 여기서 점수 임계치는 날씨 및 가시성 조건, 및 주간 또는 야간 조건에 따라 선택될 수 있다.
레이더 메타데이터를 사용하여, 훈련 데이터 생성기는 라벨링 데이터를 생성하고, 따라서 상기 하나 이상의 이미지 데이터 섹션 및 대응하는 라벨 데이터를 포함하는 출력 데이터를 생성한다. 라벨링 데이터는 또한 화상 메타데이터를 제공하는 화상 데이터의 처리로부터 결정된 객체 특징, 및 화상 데이터 섹션과 반사 레이더 데이터 사이의 상관관계와 연관된 데이터를 포함할 수 있다. 출력 데이터는 전형적으로 해양 선박 주위에서 발견된 객체를 나타내는 라벨링된 이미지 데이터 피스 및 대응하는 레이더 메타데이터의 형태일 수 있다. 따라서, 훈련 데이터 생성기는 레이더 입력 데이터로부터 획득된 메타데이터와 하나 이상의 객체의 이미지 데이터 사이의 연결을 용이하게 하고, 따라서 상기 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 한다. 훈련 데이터 생성기는 선박 시스템 데이터 및 알마낙 데이터베이스와 대응하는 라벨 데이터를 향상시킬 수 있다.
따라서, 훈련 데이터 생성기는 해양 선박의 주변에서 발견되는 다양한 객체에 대해, 라벨링된 이미지 데이터 피스를 연속적으로 생성할 수 있고, 라벨링된 이미지 데이터 피스를 활용하여 객체 분석 모듈, 안전 모듈, 및 오토-캡틴 모듈 중 적어도 하나와 연관된 AI 모듈의 연속 및 온-더-플라이 훈련을 가능하게 한다. 따라서, 이는 선박을 작동시키면서, 자동화된 기계 학습을 사용하여 선박 AI 모듈의 연속 훈련을 가능하게 한다.
따라서, 광범위한 양태에 따르면, 본 발명은 예를 들어, 하나 이상의 프로세서 및 메모리 회로에 의해 실장(implement)되는 방법을 제공하며, 방법은 적어도 제1 시야를 나타내는 레이더 입력 데이터 및 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 나타내는 화상 입력 데이터를 포함하는 입력 데이터를 수신하는 단계; 레이더 입력 데이터를 처리하여 상기 제1 시야의 중첩 부분 내에서 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 상기 하나 이상의 반사 객체가 식별되는 상기 제2 시야 내의 하나 이상의 각각의 위치를 결정하고, 상기 하나 이상의 반사 객체의 레이더 메타데이터를 획득하는 단계; 상기 입력 화상 데이터를 상기 제2 시야의 중첩 부분 내의 상기 각각의 위치에서 처리하고, 상기 하나 이상의 반사 객체와 연관된 상기 화상 데이터의 하나 이상의 섹션과 대응하는 하나 이상의 이미지 데이터 피스를 결정하고, 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 레이더 메타데이터를 사용하고, 그에 의해 하나 이상의 객체의 이미지 데이터와 상기 레이더 메타데이터의 연결을 용이하게 하여, 상기 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 하는 단계를 포함한다.
일부 구현예에 따르면, 레이더 메타데이터는 상기 레이더 신호를 반사하는 하나 이상의 객체의 레이더 시그니처를 나타내는 하나 이상의 데이터 피스를 포함한다.
일부 구현예에 따르면, 레이더 메타데이터는 객체 크기, 객체 거리, 객체 폐쇄 속도, 및 객체 양태, 객체 위치, 각도, 방위각, 벡터, 도플러, 단면 및 시그니처의 그룹으로부터 선택된 하나 이상의 데이터 피스를 포함한다.
일부 구현예에 따르면, 방법은 하나 이상의 인공 지능(AI) 모듈의 처리를 훈련하기 위해 하나 이상의 이미지 데이터 피스 및 라벨링 데이터를 포함하는 상기 출력 데이터를 제공함으로써, 상기 화상 데이터에서의 객체 인식 및/또는 분류를 위한 연속 훈련을 가능하게 하는 단계를 추가로 포함할 수 있다.
일부 구현예에 따르면, AI 모듈은 해양 환경에서의 객체 검출에 적합하여, 상기 화상 데이터에 따라 해양 선박에서 충돌 방지를 가능하게 한다.
일부 구현예에 따르면, AI 모듈은 하나 이상의 위치 검출 유닛(GPS)으로부터 위치 데이터를 수신하고 상기 해양 선박의 내비게이션 항로를 결정하도록 추가로 구성된다.
일부 구현예에 따르면, AI 모듈은 상기 해양 선박의 조향 제어부에 연결 가능하고, 그에 의해 상기 해양 선박의 적어도 부분적으로 자율적인 작동을 가능하게 한다. 예를 들어, 오토-캡틴 모듈은 선박의 구동 제어부 및 구동 시스템에 연결될 수 있다.
일부 구현예에 따르면, 방법은 레이더 입력 데이터를 처리하여 상기 제1 시야 내의 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 반사 객체가 식별되는 하나 이상의 각각의 위치가 상기 제2 시야의 외부에 있다고 결정할 때, 작동 커맨드를 생성하여 상기 하나 이상의 각각의 위치로부터 화상 데이터를 획득하는 단계를 추가로 포함할 수 있다.
일부 구현예에 따르면, 방법은 상기 하나 이상의 반사 객체의 위치에 대한 데이터를 제공하고 선박 자동 식별 시스템(AIS: automatic identification system) 및 상기 하나 이상의 반사 객체의 상기 위치를 활용하여 상기 하나 이상의 반사 객체의 아이덴티티에 대한 데이터를 획득하고, 추가 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터 및 상기 추가 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 아이덴티티에 대한 데이터를 사용하는 단계를 추가로 포함할 수 있다.
다른 광범위한 양태에 따르면, 본 발명은 적어도 하나의 프로세서 및 메모리 회로, 하나 이상의 카메라 유닛 및 하나 이상의 레이더 유닛을 포함하는 해양 선박 관리 시스템을 제공하며, 적어도 하나의 프로세서는 오토-캡틴 모듈, 객체 검출 훈련 모듈, 및 훈련 데이터 생성기를 포함하고;
오토-캡틴 모듈은 라벨링된 이미지 데이터에 기초하여 연속적으로 훈련 가능한 인공 지능(AI) 모듈을 포함하고, 상기 하나 이상의 카메라 유닛으로부터 화상 데이터를 수신하여, 상기 해양 선박 주위의 선택된 시야 내의 하나 이상의 객체에 대한 데이터를 결정하기 위해 상기 화상 데이터를 처리하도록 구성되고;
훈련 데이터 생성기는 상기 하나 이상의 카메라 유닛 및 하나 이상의 레이더 유닛으로부터 입력 데이터를 수신하고(상기 입력 데이터는 적어도 제1 시야를 나타내는 레이더 입력 데이터 및 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 나타내는 화상 입력 데이터를 포함함), 레이더 입력 데이터를 처리하여 상기 제1 시야의 중첩 부분 내에서 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 상기 하나 이상의 반사 객체가 식별되는 상기 제2 시야 내의 하나 이상의 각각의 위치를 결정하고, 상기 하나 이상의 반사 객체의 레이더 메타데이터를 획득하고; 상기 입력 화상 데이터를 상기 제2 시야의 중첩 부분 내의 상기 각각의 위치에서 처리하고, 상기 하나 이상의 반사 객체와 연관된 상기 화상 데이터의 하나 이상의 섹션과 대응하는 하나 이상의 이미지 데이터 피스를 결정하고, 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 레이더 메타데이터를 사용하고, 그에 의해 하나 이상의 객체의 이미지 데이터와 상기 레이더 메타데이터의 연결을 용이하게 하여, 상기 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 하도록 구성되고 작동 가능하며;
객체 검출 훈련 모듈은 상기 출력 라벨링된 데이터를 수신하고, 상기 출력 라벨링된 데이터에 기초하여 객체를 검출하기 위해 상기 오토-캡틴 모듈의 AI 모듈의 훈련을 업데이트하고, 그에 의해 상기 AI 모듈의 훈련을 연속적으로 업데이트하는 것을 가능하게 하도록 구성된다.
일부 구현예에 따르면, AI 모듈은 상기 하나 이상의 카메라 유닛으로부터 수신된 입력 화상 데이터를 처리하고 상기 화상 데이터에서 식별된 하나 이상의 객체에 대한 데이터를 결정함으로써, 상기 화상 데이터로부터 하나 이상의 객체의 객체 인식을 제공하기에 적합하다.
일부 구현예에 따르면, 레이더 메타데이터는 상기 레이더 신호를 반사하는 하나 이상의 객체의 레이더 시그니처를 나타내는 하나 이상의 데이터 피스를 포함한다.
일부 구현예에 따르면, 레이더 메타데이터는 객체 크기, 객체 거리, 객체 폐쇄 속도, 객체 양태, 객체 위치, 각도, 방위각, 벡터, 도플러, 단면, 및 시그니처의 그룹으로부터 선택된 하나 이상의 데이터 피스를 포함한다.
일부 구현예에 따르면, AI 모듈은 하나 이상의 위치 검출 유닛(GPS)으로부터 위치 데이터를 수신하고 상기 해양 선박의 내비게이션 항로를 결정하도록 추가로 구성된다.
일부 구현예에 따르면, 오토-캡틴 모듈은 상기 해양 선박의 조향 제어부에 연결 가능하고 상기 해양 선박의 속도 및 선수방향 중 적어도 하나를 변경함으로써, 상기 해양 선박의 적어도 부분적으로 자율적인 작동을 가능하게 하도록 구성된다.
일부 구현예에 따르면, 시스템은 레이더 입력 데이터를 처리하여 상기 제1 시야 내의 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 반사 객체가 식별되는 하나 이상의 각각의 위치가 상기 제2 시야의 외부에 있다고 결정할 때, 작동 커맨드를 생성하여 상기 하나 이상의 각각의 위치로부터 화상 데이터를 획득하는 것을 추가로 포함할 수 있다.
일부 구현예에 따르면, 시스템은 선박 자동 식별 시스템(AIS) 모듈을 추가로 포함할 수 있으며, 상기 훈련 데이터 생성기는 상기 하나 이상의 반사 객체의 위치에 대한 데이터를 제공하고 상기 AIS 모듈로부터 상기 위치에 위치된 해양 선박의 아이덴티티에 대한 데이터를 획득하여, 추가 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터 및 상기 추가 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 아이덴티티에 대한 데이터를 사용하도록 추가로 구성된다.
또 다른 광범위한 양태에 따르면, 본 발명은 라벨링된 훈련 데이터를 생성하기 위한 시스템을 제공하며, 시스템은 하나 이상의 프로세서, 메모리 유닛, 및 하나 이상의 카메라 유닛 및 하나 이상의 레이더 유닛에 연결 가능한 통신 모듈을 포함하는 처리 유틸리티를 포함하며; 처리 유틸리티는 적어도 제1 시야를 나타내는 레이더 입력 데이터 및 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 나타내는 화상 입력 데이터를 포함하는 입력 데이터를 수신하고; 레이더 입력 데이터를 처리하여 상기 제1 시야의 중첩 부분 내에서 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 상기 하나 이상의 반사 객체가 식별되는 상기 제2 시야 내의 하나 이상의 각각의 위치를 결정하고, 상기 하나 이상의 반사 객체의 레이더 메타데이터를 획득하고; 상기 입력 화상 데이터를 상기 제2 시야의 중첩 부분 내의 상기 각각의 위치에서 처리하고, 상기 하나 이상의 반사 객체와 연관된 상기 화상 데이터의 하나 이상의 섹션과 대응하는 하나 이상의 이미지 데이터 피스를 결정하고, 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 레이더 메타데이터를 사용하고, 그에 의해 하나 이상의 객체의 이미지 데이터와 상기 레이더 메타데이터의 연결을 용이하게 하여, 상기 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 하도록 구성된다.
일부 구현예에 따르면, 처리 유틸리티는 레이더 반사 검출기, 레이더 시그니처 처리 모듈, 및 FOV 분석기를 포함하고; 상기 레이더 반사 검출기는 하나 이상의 레이더 유닛으로부터 입력 데이터를 수신하고 하나 이상의 레이더 유닛의 시야 내의 하나 이상의 객체를 나타내는 하나 이상의 레이더 신호 반사, 및 상기 하나 이상의 객체의 위치의 데이터를 결정하도록 구성되고; 레이더 시그니처 처리 모듈은 상기 레이더 신호 반사에 대한 데이터를 수신 및 처리하고 상기 하나 이상의 객체의 레이더 시그니처에 대한 데이터를 결정하도록 구성되고; 상기 FOV 분석기는 상기 하나 이상의 카메라 유닛으로부터의 입력 화상 데이터 및 상기 하나 이상의 객체의 위치에 대한 상기 데이터를 수신하고, 입력 화상 데이터를 처리하여 상기 하나 이상의 객체의 상기 위치와 연관된 하나 이상의 이미지 데이터 피스를 결정하도록 구성되고; 처리 유틸리티는 상기 하나 이상의 객체의 레이더 시그니처에 대한 상기 데이터와 연관된 상기 이미지 데이터 피스 및 라벨링 데이터를 포함하는 출력 데이터를 생성하고, 그에 의해 하나 이상의 인공 지능(AI) 모듈의 훈련을 위한 라벨링된 훈련 데이터를 생성한다.
일부 구현예에 따르면, 레이더 메타데이터는 상기 레이더 신호를 반사하는 하나 이상의 객체의 레이더 시그니처를 나타내는 하나 이상의 데이터 피스를 포함한다.
일부 구현예에 따르면, 레이더 메타데이터는 객체 크기, 객체 거리, 객체 폐쇄 속도, 객체 양태, 객체 위치, 각도, 방위각, 벡터, 도플러, 단면, 및 시그니처의 그룹으로부터 선택된 하나 이상의 데이터 피스를 포함한다.
일부 구현예에 따르면, 처리 유틸리티는 하나 이상의 AI 모듈의 처리를 훈련하기 위해 하나 이상의 이미지 데이터 피스 및 라벨링 데이터를 포함하는 상기 출력 데이터를 제공함으로써, 상기 화상 데이터에서의 객체 검출을 위한 연속 훈련을 가능하게 하도록 추가로 구성된다.
일부 구현예에 따르면, 하나 이상의 AI 모듈은 해양 환경에서의 객체 검출에 적합하여, 상기 화상 데이터에 따라 해양 선박에서 충돌 방지를 가능하게 한다.
일부 구현예에 따르면, 하나 이상의 AI 모듈은 하나 이상의 위치 검출 유닛(GPS)으로부터 위치 데이터를 수신하고 상기 해양 선박의 내비게이션 항로를 결정하도록 추가로 구성된다.
일부 구현예에 따르면, 하나 이상의 AI 모듈은 상기 해양 선박의 조향 제어부에 연결 가능하고, 그에 의해 상기 해양 선박의 적어도 부분적으로 자율적인 작동을 가능하게 한다.
일부 구현예에 따르면, 처리 유닛은 상기 제1 시야 내의 하나 이상의 반사 객체를 나타내는 데이터를 식별하고 반사 객체가 식별되는 하나 이상의 각각의 위치가 상기 제2 시야의 외부에 있다고 결정하는 것에 응답하여, 작동 커맨드를 생성하여 추가적인 하나 이상의 각각의 위치로부터 화상 데이터를 획득하도록 구성된다.
일부 구현예에 따르면, 시스템은 선박 자동 식별 시스템(AIS) 모듈을 추가로 포함할 수 있으며, 상기 훈련 데이터 생성기는 상기 하나 이상의 반사 객체의 위치에 대한 데이터를 제공하고 상기 AIS 모듈로부터 상기 위치에 위치된 해양 선박의 아이덴티티에 대한 데이터를 획득하여, 추가 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터 및 상기 추가 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 아이덴티티에 대한 데이터를 사용하도록 추가로 구성된다.
또한, 본 발명에 따른 시스템은 적절하게 프로그래밍된 컴퓨터일 수 있음을 이해할 것이다. 마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위한 컴퓨터에 의해 판독 가능한 컴퓨터 프로그램을 고려한다. 본 발명은 본 발명의 방법을 실행하기 위해 기계에 의해 실행 가능한 명령어의 프로그램을 유형적으로 구현하는 기계 판독 가능 메모리를 추가로 고려한다.
따라서, 또 다른 광범위한 양태에 따르면, 본 발명은 하나 이상의 프로세서 및 메모리 회로에 의해 실장되는 방법을 수행하기 위해 기계에 의해 실행 가능한 명령어의 프로그램을 유형적으로 구현하는, 기계에 의해 판독 가능한 프로그램 저장 디바이스를 제공하며, 방법은 적어도 제1 시야를 나타내는 레이더 입력 데이터 및 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 나타내는 화상 입력 데이터를 포함하는 입력 데이터를 수신하는 단계; 레이더 입력 데이터를 처리하여 상기 제1 시야의 중첩 부분 내에서 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 상기 하나 이상의 반사 객체가 식별되는 상기 제2 시야 내의 하나 이상의 각각의 위치를 결정하고, 상기 하나 이상의 반사 객체의 레이더 메타데이터를 획득하는 단계; 상기 입력 화상 데이터를 상기 제2 시야의 중첩 부분 내의 상기 각각의 위치에서 처리하고, 상기 하나 이상의 반사 객체와 연관된 상기 화상 데이터의 하나 이상의 섹션과 대응하는 하나 이상의 이미지 데이터 피스를 결정하고, 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 레이더 메타데이터를 사용하고, 그에 의해 하나 이상의 객체의 이미지 데이터와 상기 레이더 메타데이터의 연결을 용이하게 하여, 상기 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 하는 단계를 포함한다.
본원에 개시된 주제를 더 잘 이해하고 이것이 실제로 어떻게 수행될 수 있는지를 예시하기 위해, 이제 첨부 도면을 참조하여 단지 비제한적 예로서 구현예를 설명할 것이다.
도 1은 본 발명의 일부 구현예에 따른 선박(예를 들어, 해양 선박)을 개략적으로 도시하고;
도 2는 본 발명의 일부 구현예에 따른 선박의 메인 모듈 및 작동을 예시하고;
도 3은 본 발명의 일부 구현예에 따른 자동 및/또는 자율 선박에서의 의사 결정 작동을 도시하고;
도 4는 본 발명의 일부 구현예에 따른 라벨링된 훈련 데이터를 연속적으로 생성하기 위한 기법을 도시하고;
도 5는 본 발명의 일부 구현예에 따른 라벨링된 훈련 데이터를 연속적으로 생성하기 위한 시스템을 개략적으로 도시한다.
위에 나타낸 바와 같이, 본 기법은 선박의 환경 및 아레나(arena)에 대한 수집된 데이터에 따라 작동을 연속적으로 학습하고 업데이트할 수 있는, 자동 및/또는 자율적으로 작동하는 선박, 전형적으로 해양 선박을 제공한다. 이와 관련하여, 시스템(50), 예를 들어 선박, 예컨대 해양 선박, 배, 보트 등을 예시하는 도 1이 참조된다. 시스템(50)은, 예를 들어 엔진, 운전 및 내비게이션 수단, 예컨대 키(rudder), 프로펠러 등을 포함하는 특정 구동 시스템(180), 감지 장치(200) 및 제어 시스템(100)을 포함할 수 있다. 제어 시스템은 일반적으로 하나 이상의 프로세서, 메모리 유닛(190), 입력/출력 통신 포트를 포함하는 컴퓨터 제어 시스템(computerized control system)으로서 구성되고 디스플레이 스크린 및 키보드와 같은 하나 이상의 사용자 인터페이스 모듈을 포함할 수 있다. 제어 시스템(100)은 작동 명령어/커맨드를 제공하고, 입력 감지 데이터를 수신하기 위한 감지 장치(200)에 연결되고, 구동 시스템의 작동에 대한 작동 커맨드를 제공하고, 구동 시스템(180)의 상태에 대한 입력 데이터를 때때로 수신하기 위한 구동 시스템(180)에 연결된다. 이를 위해, 제어 시스템(100)은 하나 이상의 프로세서 및 메모리를 포함하고 하나 이상의 인공 지능(AI) 모듈을 작동시키는 프로세서 및 메모리 회로(PMC)를 포함한다. 제어 시스템(100)의 하나 이상의 프로세서는 비일시적 컴퓨터 판독 가능 메모리(190) 상에 실장되는 컴퓨터 판독 가능 명령어에 따라 몇몇 기능 모듈을 실행하도록 구성될 수 있다. 이러한 기능 모듈은 이하에서 PMC에 포함된 것으로 지칭된다.
감지 장치(200)는 선박의 주변의 가시 및/또는 적외선 스펙트럼에서 이미지 데이터를 수집하도록 구성된 하나 이상의 이미저 또는 카메라 유닛(210), 및 RF 방사선을 사용하여 선박(50)의 주변을 스캐닝하도록 구성된 레이더 유닛을 포함한다. 이와 관련하여, 카메라 유닛 또는 이미저라는 용어는 광학 파장 범위를 사용하고 IR 및/또는 UV 파장을 포함할 가능성이 있는 주변부에 대한 입력 데이터를 수집하도록 구성된 유닛과 관련된 것으로 광범위하게 이해되어야 한다.
제어 시스템(100)은 선박(50)의 작동을 관리하도록 구성된 오토-캡틴 모듈(130)을 포함할 수 있다. 오토-캡틴 모듈(130)은 일반적으로, 예를 들어 선박의 선택된 항로에 대한 데이터, 선박 주위의 환경에 대한 감지 데이터 및 구동 시스템(180)의 작동 및 유효성에 대한 데이터를 포함하는 입력 데이터를 획득하도록 구성된다. 오토-캡틴 모듈(130)은 입력 데이터를 처리하고, 구동 시스템(180)의 선택된 작동을 결정하여, 필요한 경우 선박(50)을 조종하고, 경로를 변경하고 경로 상충을 해결하도록 구성된다. 오토-캡틴 모듈(130)은 또한, 필요한 경우 경보를 발령하고 항로 변화 추천을 제공하고, 선박 상태 및 경보에 대한 데이터를 선박 직원(존재하는 경우)에게 전달하고/하거나 원격 제어 센터(remote control-center) 및/또는 다른 선박에 전달하도록 작동할 수 있다. 일반적으로, 오토-캡틴 모듈(130)은 사전 저장된 데이터 및 선박의 조건에 대한 데이터를 활용하여 입력 데이터를 처리하기 위해 사전 훈련된 AI 모듈을 활용할 수 있다. 그러한 데이터는 태양 및 태음 경로, 별자리표, 날씨 조건, 조명 조건 등을 나타내는 알마낙 데이터를 포함할 수 있다.
전형적으로, 선박(50)은 사전 결정된 항로를 따라 선택된 목적지로 선박을 내비게이션하도록 작동 가능한 오토-파일럿 모듈을 포함할 수 있다는 점이 주목되어야 한다. 오토-파일럿 모듈은 구동 시스템(180) 및/또는 오토-캡틴 모듈(130)과 연관될 수 있다.
오토-캡틴 모듈(130)은 선박(50) 주위의 다양한 안전 문제의 입력 데이터 및 작동 추천을 수신하기 위해 안전 모듈(120)에 연결될 수 있다. 그러한 안전 문제는 선박(50) 주위의 다양한 객체, 환경 조건의 변화 등과 연관될 수 있다. 안전 모듈은 적절한 안전 관련 문제 및 해결 옵션을 이용하여 다양한 상황에 대해 훈련된 AI 모듈을 활용할 수 있다. 추가적으로, 오토-캡틴 모듈은 또한 구동 시스템(180)의 작동에 대한 데이터를 수신 및 처리하고 효율, 예를 들어 연료 효율, 전기 효율, 시간 절약 등을 최적화하기 위한 작동에 대한 작동 추천을 제공하도록 구성된 효율 모듈(140)에 연결될 수 있다. 오토-캡틴 모듈(130)은 또한 입력 및 출력 통신을 모니터링하고, 다양한 사이버 보안 위협을 검출하고 인터셉트하도록 구성된 사이버 모듈(150)에 연결될 수 있다. 이를 위해, 사이버 모듈은 입력 통신을 모니터링 및 처리하고, 허용된 커맨드 입력 경로에 따라 작동 커맨드의 시그니처를 검증하도록 구성될 수 있다.
일반적으로, 오토-캡틴 모듈(130)은 하나 이상의 이미저 또는 카메라 유닛(210)에 의해 수집된 화상 입력에 기초하여 작동 가능할 수 있다. 이는 해양 선박 상에서의 감시를 필요로 하는 IMO 규정을 준수하는 것이다. 수집된 화상 데이터를 처리하고 그로부터 객체를 검출하고 분석하기 위해, 제어 시스템(100)은 하나 이상의 카메라 유닛(210)으로부터 입력 화상 데이터를 수신 및 처리하고 화상 데이터 내의 객체의 존재를 식별하도록 구성된 객체 분석 모듈(110)을 포함하고, 객체 위치를 결정하고, 객체의 타입을 분류하고, 객체 데이터를 오토-캡틴 모듈(130) 및/또는 안전 모듈(120)에 제공할 수 있다.
전형적으로, 오토-캡틴 모듈(130) 및/또는 안전 모듈(120)은 또한 선박(50) 부근에서 검출된 해양 선박의 위치 및/또는 아이덴티티를 결정하기 위해 선박 자동 식별 시스템 AIS 모듈(미도시)로부터의 데이터를 활용할 수 있다. AIS 시스템은 일반적으로 배, 보트, 플랫폼, 및 다른 해양 선박의 위치 및 아이덴티티에 대한, 전 세계에서 액세스 가능한 데이터를 제공하는 해양 선박 내의 필요한 모듈이다.
객체 분석 모듈(110)은 일반적으로, 기계 학습에 의해 훈련된, 예를 들어 ML 훈련 모듈(170)에 의해 연속적으로 훈련된 AI 처리를 활용하도록 구성될 수 있다. 객체 분석 모듈(110)은 선박이 사용될 수 있는 환경에서 검출될 수 있는 다양한 객체의 객체 인식 및 분류에 대해 훈련된다. 예를 들어, 선박(50)은 수상 운송 시 사용하기 위한 해양 선박, 예컨대 배 또는 임의의 다른 타입의 선박일 수 있다. 따라서, 객체 분석 모듈(110)은 다양한 타입의 해양 선박, 래프트, 해양 결합 플랫폼(예를 들어, 석유 굴착 장치)뿐만 아니라, 빙산, 대륙, 섬, 또는 해변 영역의 인식 및 분류에 대해 훈련될 수 있다. 객체 분석 모듈(110)은 바람직하게는 비, 안개 등과 같은 해양 이동 동안 전형적으로 발생하는 다양한 날씨 조건에서 객체 인식 및 분류를 위해 훈련된다. 객체 분석 모듈은 또한 입력 감각 데이터(이미지 데이터 및/또는 레이더 데이터), 선박 측위 시스템(예를 들어, GPS)에 의해 제공되는 위치 데이터, 및 선박(50) 부근에 위치된 다양한 해양 선박의 아이덴티티에 대한 AIS 데이터 사이의 상관관계를 결정하도록 작동할 수 있다. 추가적으로, 객체 분석 모듈(110)은 객체 조명, 연기, 플래그, 형상, 돛, 선박 벡터 및 조종, 후방 워터 트레일, 전방(기수) 파랑, 물거품 등과 같은 객체 및/또는 환경 특징을 결정하도록 훈련될 수 있다. 추가로, 객체 분석 모듈(110)은 섬 및 해변과 같은 육지 영역을 인식하기 위해 훈련될 수 있다.
본 기법은 감지 장치와 연관된 하나 이상의 레이더 유닛(220), 훈련 데이터 생성기(160), 및 ML 훈련 모듈(170)을 추가로 활용하여 선박(50)의 연속 학습을 가능하게 한다. 레이더 유닛(220)은 선박(50) 주변의 환경에 대한 데이터를 획득하기 위해 RF 신호를 활용한다. 보다 구체적으로, 레이더 유닛(220)은 선박(50) 주위의 제1 시야를 향해 RF 신호를 송신하고 선박(50) 주위의 제1 시야 내의 다양한 객체로부터 반사된 반사 RF 신호에 대한 수집된 데이터를 송신하도록 작동한다. 따라서, 감지 장치(200)는 제1 시야로부터의 RF 반사 데이터를 표시하는 레이더 데이터, 및 제2 시야로부터 하나 이상의 이미저/카메라 유닛(210)에 의해 수집된 이미저 데이터를 포함하는 입력 감지 데이터를 제공하도록 구성된다. 전형적으로, 제1 및 제2 시야는 적어도 부분적으로 중첩된다. 추가로, 일부 바람직한 구현예에서, 제1 및 제2 시야는 선박 주위의 360º 수평 시야를 포함하고, 선택된 수직 시야, 예를 들어 약 30º 수직 시야를 포함할 수 있다.
훈련 데이터 생성기(160)는 감지 장치(200)로부터 입력 데이터를 수신하도록 구성되며, 여기서 입력 데이터는 레이더 입력 데이터 및 화상 입력 데이터를 포함한다. 훈련 데이터 생성기(160)는 레이더 입력 데이터를 처리하여 하나 이상의 반사 객체를 나타내는 데이터를 결정하도록 구성된다. 전형적으로, 해양 환경에서, 레이더 데이터는 파 반사 배경을 포함할 수 있으며, 그에 따라 처리는 선박 주위의 파로부터의 RF 신호의 반사와 연관된 배경 잡음에 걸쳐 반사를 식별하는 것을 지향할 수 있다. 일반적으로, 그러한 배경 잡음은 레이더 유닛(220)과 연관된 하나 이상의 처리 유닛에 의해, 또는 일부 구성에서는 시스템(100)의 적절한 필터링 모듈에 의해 필터링될 수 있다. 훈련 데이터 생성기(160)는 잡음 임계치에 걸쳐 반사를 나타내는 수집된 레이더 신호를 분석하고 그러한 수집된 반사를 야기하는 객체에 대한 레이더 메타데이터를 결정하도록 구성된 레이더 신호 분석기(구체적으로 도시되지 않음)를 포함할 수 있다. 레이더 메타데이터는 객체의 레이더 시그니처를 형성하는 RF 신호를 반사하는 객체에 대한 다양한 데이터 피스를 포함할 수 있다. 레이더 메타데이터는 일반적으로 객체 크기, 객체 양태, 유효 반사 특성, 반사 크기, 도플러 시프트 구성요소, 폐쇄 속도 및 레이더 기술을 사용하여 결정될 수 있는 임의의 다른 객체 특징에 대한 데이터와 같은 객체 범위, 객체 위치, 방위각 및 고도에 대한 데이터, 및 레이더 시그니처 데이터를 포함한다.
훈련 데이터 생성기(160)는 입력 화상 데이터, 및 구체적으로 레이더 반사가 식별되는 하나 이상의 위치와 연관된 화상 데이터의 섹션을 처리하도록 추가로 구성된다. 이와 관련하여, 훈련 데이터 생성기(160)는 화상 데이터에서 캡처된 하나 이상의 객체에 대한 데이터를 결정하기 위해 하나 이상의 이미지 처리 및 객체 인식 기법을 활용할 수 있다. 훈련 데이터 생성기(160)는 전형적으로 반사 객체가 식별되는 시야 내의 위치와 연관된, 상기 화상 데이터의 하나 이상의 섹션인 하나 이상의 이미지 데이터 피스를 결정하기 위해 작동한다. 이들 이미지 섹션은 일반적으로 레이더 데이터에서 식별된 객체의 이미지 데이터를 포함할 수 있다.
훈련 데이터 생성기(160)는 검출된 객체와 연관된 레이더 메타데이터와, 대응하는 영역을 묘사하는 이미지 데이터 사이의 상관관계를 결정하고, 화상 데이터로부터의 객체에 대해 결정된 데이터를 때때로 사용하도록 구성된 상관기 모듈(구체적으로 도시되지 않음)을 포함할 수 있다. 일반적으로, 높은 상관관계는 이미저 데이터 섹션이 레이더 입력 데이터에서 검출된 것과 동일한 객체와 연관되어 있다는 것을 표시할 수 있다. 충분한 상관관계 레벨을 결정하는 임계치는 주간 또는 야간, 날씨, 및 일반적으로 가시성 조건과 연관될 수 있다.
상기 레이더 메타데이터를 사용하여, 훈련 데이터 생성기(160)는 라벨 데이터를 생성하고 라벨 데이터를 각각의 하나 이상의 이미지 데이터 피스에 부착하여 출력 데이터를 형성하도록 추가로 작동 가능하다. 출력 데이터는 일반적으로 각각의 위치로부터 획득된 레이더 메타데이터에 의해 라벨링된, 하나 이상의 카메라 유닛(210)에 의해 수집된 화상 데이터의 섹션인 하나 이상의 이미지 데이터 피스의 형태이다. 따라서, 훈련 데이터 생성기는 하나 이상의 반사 객체로부터 획득된 레이더 메타데이터와 각각의 하나 이상의 객체의 이미지 데이터 사이의 연결을 용이하게 한다. 따라서, 출력은 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 하기 위해 사용될 수 있다.
재훈련 데이터 생성기(160)는 또한 이미지 라벨 데이터에서 해양 선박 아이덴티티를 추가로 포함하기 위해 AIS 및 위치(예를 들어, GPS) 데이터를 활용할 수 있다. 이는 레이더 메타데이터 외에도 배의 아이덴티티 및 대응하는 시각적 특징에 기초하여 훈련을 추가로 허용하는 것을 가능하게 한다.
일반적으로, 레이더 입력 데이터 및 화상 데이터가 약간 상이한 시야와 연관될 수 있으므로, 훈련 데이터 생성기(160)는 하나 이상의 선택된 위치로부터 화상 데이터를 획득하는 것에 대한 작동 명령어를 제공하기 위해, 하나 이상의 이미저/카메라 유닛(210)에 연결 가능할 수 있다. 따라서, 입력 화상 데이터의 시야(제2 시야)가, 레이더 반사 신호가 식별되는 각각의 위치를 포함하지 않는 경우, 훈련 데이터 생성기(160)는 하나 이상의 카메라 유닛(210)으로 하여금 객체가 레이더 입력 데이터에서 식별되는 각각의 위치로부터 이미지 데이터를 획득할 것을 지시할 수 있다.
훈련 데이터 생성기(160)는 나중의 사용을 위해, 라벨링된 이미지 데이터 피스를 메모리 유닛(190)에 저장할 수 있다. 추가적으로, 훈련 데이터 생성기(160)는 객체 분석 모듈(110), 안전 모듈(120) 및 오토-캡틴 모듈(130) 중 하나 이상을 포함하는 AI 모듈의 추가 ML 훈련을 위해, 라벨링된 이미지 데이터 피스를 ML 훈련 모듈(170)에 제공할 수 있다. ML 훈련 모듈(170)은 추가 훈련을 위해 주기적으로 또는 선택된 볼륨의 라벨링된 이미지 데이터 피스의 수집에 응답하여 작동될 수 있다. 이는 선박의 제어 시스템(100)이 작동 동안 경험한 다양한 객체 및 상이한 환경 조건에 기초하여 연속적으로 훈련하고 학습하는 것을 가능하게 한다. 따라서, 사전 제공된 훈련 데이터에 기초하여 제어된 ML 훈련과 연관된 제한을 제거한다. 업데이트된 학습은 비, 안개 등과 같은 다양한 날씨 조건뿐만 아니라, 주간과 야간 사이의 상이한 조도 조건 및 상이한 날씨 또는 일반적인 가시성 조건에서 인근 객체를 식별하고 분류하는 업데이팅 능력을 자동 또는 자율 해양 선박에 제공할 수 있다.
일반적으로, ML 훈련 모듈은 객체 분석 모듈(110), 안전 모듈(120) 및 오토-캡틴 모듈(130)의 하나 이상의 AI 모듈을 훈련하기 위해, 선택된 수집 기간 전체에 걸쳐 하나 이상의 기계 학습 기법, 및 훈련 데이터 생성기(160)에 의해 수집된 라벨링된 이미지 데이터 피스의 세트를 활용할 수 있다. ML 훈련 모듈은 AI 모듈을 훈련하기 위한 자동 ML 기법 및/또는 다른 기계 학습 훈련 기법을 활용할 수 있다. 훈련 기법은 IMO 규정과 연관된 작동 제약을 포함할 수 있다. 추가로, 훈련은 전형적으로는 구성적이며 이전 훈련을 활용한다.
전형적으로, 오토-캡틴 모듈(130)은 선박을 작동시키기 위해 다양한 데이터를 활용할 수 있다. 예를 들어, 오토-캡틴 모듈(130)은 사전 저장된 데이터 테이블, 예컨대 일출 및 일몰 데이터 및 태양 경로를 포함하는 태양 테이블(sun table), 태음 경로 및 월출 및 월몰 시간을 포함하는 태음 테이블(lunar table), 위치 데이터(예를 들어, 위성항법시스템 GPS와 같은 위치 시스템을 사용함), 가속도 데이터(예를 들어, 하나 이상의 관성 가속도계에 의해 제공됨), 해류 맵, 지도, 및 선박의 작동을 제어하기 위해 사용될 수 있는 임의의 다른 데이터를 활용할 수 있다. 오토-캡틴 모듈(130)은 또한 날씨 업데이트 및 예측 데이터, 및 파고, 가시성, 다른 인근 선박의 경로 등에 대한 데이터를 수신하기 위한 하나 이상의 원격 지국과 통신하도록 구성될 수 있다. 오토-캡틴 모듈은 타겟 목표에 따라 선박(50)을 작동시키기 위해 그러한 데이터를 활용할 수 있다. 보다 구체적으로, 오토-캡틴 모듈(130)은 선박 항로를 결정하거나, 항로를 유지하기 위한 오토-파일럿 모듈을 작동시키거나, 변하는 날씨 조건 또는 검출된 가능한 항로 상충에 응답하여 항로 및/또는 속도를 변화시키도록 작동할 수 있다.
전형적으로 오토-캡틴 모듈(130) 및/또는 안전 모듈(120)을 사용하는 제어 시스템(100)은 변하는 조건에 대한 데이터 및/또는 선박(50) 부근에 위치된 다양한 객체에 대한 데이터를 활용하여 항로지정 상충(routing conflict)을 해결하고 그에 따라 충돌의 위험을 회피하도록 구성될 수 있다. 이를 위해, 오토-캡틴 모듈(130)은 해양 항로 프로토콜 및 항로 상충 규칙에 대해 훈련될 수 있다.
예를 들어, 선박(50) 부근의 하나 이상의 해양 선박의 검출 시에 객체 분석 모듈(110)로부터의 입력 데이터에 응답하여, 오토-캡틴 모듈(130)은 혼(horn), 광 신호, RF 비콘 등과 같은 하나 이상의 시그널링 유닛(구체적으로 도시되지 않음)을 작동시키고, 그의 훈련에 따라 선박(50)의 내비게이션을 재계산할 수 있다.
일부 구현예에 따른 선박(50)의 개략적인 아키텍처 차트를 예시하는 도 2가 참조된다. 도시된 바와 같이, 오토-캡틴 모듈(130)은 선박 작동에 대한 입력 데이터를 획득하고/하거나 수신하고, 사전 저장된 데이터 및 ML 훈련에 따라 입력 데이터를 활용하여 선박 구동 시스템(180)을 작동시키도록 구성된다. 추가로, 오토-캡틴 모듈(130)은 필요한 경우 하나 이상의 원격 지국(195)과 통신할 수 있다. 입력 데이터는 하나 이상의 카메라 유닛에 의해 획득된 광학 이미징 데이터(210), 레이더 시스템에 의해 획득된 레이더 입력 데이터(220), AIS(240)로부터 획득된 인근 배에 대한 데이터, 위치 데이터(230), 구동 상태 데이터(300), 속도 로그(310) 및 선박 배향 또는 자이로 데이터(320)와 연관된 하나 이상의 데이터 피스를 포함할 수 있다. 위에 나타낸 바와 같이, 입력 화상 데이터(210) 및 레이더 입력 데이터(220)와 같은 외부 입력 데이터는 객체 분석 모듈(OAM)(110)에 의한 객체 인식을 위해 처리되어, 수집된 데이터에서 식별된 객체를 결정하고 분류할 수 있다. 추가적으로, 객체 분석 모듈(110)은 화상 데이터 및 레이더 입력 데이터를 포함하는 감지 데이터를 처리하여 파, 수평선, 날씨, 및 일반적인 가시성 조건에 대한 데이터를 결정할 수 있다.
선박을 위태롭게 만들 수 있는 객체 또는 다른 조건이 시계(sight) 내 또는 선택된 범위 내에서 검출되면, 각각의 데이터는 안전 모듈(120)에 송신되어 위험 레벨(예를 들어, 충돌 위험)을 결정한다. 오토-캡틴 모듈(130)은 선박의 작동을 결정하기 위해 그러한 데이터를 활용한다. 오토-캡틴 모듈(130)은 전술한 상이한 타입의 입력 데이터를 처리하고, 선박이 하나 이상의 작동 목표를 확립하는 것을 보조하기 위한 하나 이상의 액션과 연관된 조건을 결정하도록 구성된다. 예를 들어, 오토-캡틴 모듈(130)은 잠재적인 상충의 레벨을 결정하고 적절한 충돌 해결 작동을 선택하도록 작동할 수 있다. 조건 해결 작동은, 예를 들어 선박 시그널링 유닛을 작동시키고 선박(50) 부근의 검출된 배에 경보를 발하는 명령어를 생성하는 것을 포함할 수 있다. 검출된 배/객체의 항로가, 선택된 또는 사전 결정된 임계치를 초과하는 충돌에 대한 잠재력을 갖는다고 안전 모듈(120)이 결정하는 경우, 오토-캡틴 모듈(130)은 작동 명령어를 생성하여, 선박 구동 시스템(180)을 작동시키고, 선박의 항로를 변경하여, 선택된 항로 변화 옵션에 따라 그러한 충돌을 회피할 수 있다.
일반적으로, 오토-캡틴 모듈(130)은 교통 및 항로 계획에 대한 데이터, 경보 해석 데이터 및 국제해상충돌예방규칙(COLREG)을 포함하는 사전 저장되고/되거나 일상적으로 업데이트되는 전자해도표시시스템 ECDIS(135)와 연관될 수 있다. 오토-캡틴 모듈(130)은 상이한 상황에 응답하여 적절한 조건 해결 작동을 결정하기 위해 사전 저장된 데이터를 활용할 수 있다.
위에 나타낸 바와 같이, 상이한 데이터 소스는 입력 데이터를 오토-캡틴 모듈(130)에 제공하기 위해 사용된다. 오토-캡틴 모듈은 상이한 소스의 데이터에 대한 가중치를 결정하고, 선박 및 그의 주변의 상태 및 적절한 조건 해결 작동을 결정할 수 있다. 따라서, 입력 데이터는, 예를 들어 선박 주위에서 검출된 상이한 객체와 연관된 데이터 외에도 환경 데이터를 포함하는 다양한 타입의 입력 데이터를 포함할 수 있다. 환경 데이터는 하나 이상의 이미저에 의해 수집된 화상 데이터의 처리에 의해 결정될 수 있다. 예를 들어, 환경 데이터는 광 레벨 데이터, 상대적 수평선, 해상 클러터(sea clutter) 레벨(파 및 파 자체의 폼(foam)), 태양 또는 달의 글리터링, 날씨, 및 가시성 조건 등을 포함할 수 있다. 오토-캡틴 모듈(130)은 또한 메모리 유닛(미도시)으로부터의 사전 저장된 데이터를 활용하여, 사전 저장된 데이터를 획득하거나, 선박의 위치일 수 있는 하나 이상의 원격 지국 및/또는 추가 센서와 통신할 수 있다. 사전 저장된 데이터 또는 원격 통신에 의해 획득된 데이터는, 예를 들어 AIS 시스템에 의해 획득된 태양 및 태음 알마낙 데이터, 세계 배 데이터베이스를 포함할 수 있다. 추가로, 추가 데이터는 온도, 구름 데이터, 습도, 해수 분무 레벨, 안개 조건, 비 레벨(예를 들어, 밀리미터 단위), 파 크기/파고, 가시성 범위 등과 같은 날씨 조건을 포함할 수 있다.
위에 나타낸 바와 같이, 오토-캡틴 모듈(130)은 다양한 상충 타입을 해결하기 위한 사전 정의된 규칙에 따라 하나 이상의 결정 트리로 훈련된 하나 이상의 인공 지능 모듈에 의해 형성되거나 이를 활용할 수 있다. 이와 관련하여, 선박(50) 부근의 하나 이상의 객체의 검출과 연관된 일부 구성에 따른 의사 결정 방식을 예시하는 도 3이 참조된다. 감지 데이터는 감지 장치에 의해 수집되고 제어 시스템(100)에 송신된다. 제어 시스템은 감지 장치로부터의 입력 데이터를 처리하기 위해 하나 이상의 프로세서를 작동시키는 선박 내비게이션 명령어에 의해 작동 가능하다(3010). 그러한 데이터는 하나 이상의 이미저, 레이더 데이터 및/또는 다른 센서로부터의 화상 데이터를 포함할 수 있다. 검출된 센서 데이터는 일반적으로 객체의 하나 이상의 특징을 결정하기 위한 객체 인식/분류를 위해 송신될 수 있다(3020). 인식 및/또는 분류는 객체 분석 모듈(110)의 훈련을 활용할 수 있고, 배 아이덴티티에 대한 AIS 데이터와 조합된 측위 시스템으로부터 획득된 데이터를 포함할 수도 있다. 객체 데이터는 특정 기간을 따라 추가로 분석되고/되거나 상관되어(3030), 객체의 예상 궤적/경로를 결정할 수 있다. 분석은 경로 상충 및/또는 충돌의 확률을 결정하는 것을 포함할 수 있다. 이는 검출된 객체의 결정된 경로, 및/또는 선박(50)의 계획된 경로와 연관될 수 있다. 검출된 객체에 기초한 의사 결정은 전형적으로 상충 해결, 내비게이션, 및 교통 규정, 시그널링 프로토콜 등에 대한 가이드라인을 포함하는 ECDIS 데이터와 연관된다(3040). 분석 및 ECDIS 가이드라인에 기초하여, 처리는 검출된 객체와의 경로 경계 상충의 레벨을 결정한다(3050). 어떠한 경로 경계 상충도 결정되지 않는 경우, 예를 들어 검출된 객체가 선박 경로 엔벨로프를 벗어난 경우, 시스템은 내부 경보를 발령하도록 작동할 수 있다(3060). 검출된 객체가 엔벨로프 내에 있지만, 임의의 상충 위험을 야기하지는 않는 경우, 적절한 외부 시그널링(예를 들어, 혼을 사용하는 음향 신호, RF, 또는 시각 신호)이 사용될 수 있다(3070). 그러한 시그널링은 전형적으로 다양한 가능한 경로 상충을 해결할 수 있다. 그러나, 검출된 객체가 특정 확률 임계치 초과의 충돌을 초래할 수 있는 경로 경계 상충을 야기하는 경우, 결정은 또한, 예를 들어 궤적 상충의 위험이 최소화되는 것을 검증하기 위해, 선박 구동 시스템의 적절한 작동과 연관될 수 있다(3090). 검출된 객체 및 그의 분석이 사전 결정된 임계치 초과의 충돌 위험과 관련된 가능한 궤적 상충 경로 경계 상충을 표시하는 경우, 적절한 충돌-방지 액션 세트가 취해진다(3080). 그러한 충돌-방지 액션 세트는 적어도 선박 구동 및 시그널링 시스템을 작동시키기 위한 하나 이상의 작동 액션을 포함할 수 있고, 전형적으로 ECDIS 및 대응하는 가이드라인에 따라 결정된다. 따라서, 오토-캡틴은 구동 시스템의 작동을 변경하도록 작동하여(3090), 선박 궤적을 정정하고 충돌 위험을 제거할 수 있다.
위에 나타낸 바와 같이, 본 기법은 제어 시스템(100)의 기계 학습 시스템을 위한 연속 학습 능력을 추가로 제공한다. 그러한 연속 학습 능력은 선박(50) 부근에서 검출된 다양한 객체의 객체 인식과 연관될 수 있다. 본 기법의 일부 구현예에 따른 라벨링된 이미지 데이터 피스의 형태로 훈련 데이터를 연속적으로 생성하기 위한 기법을 예시하는 도 4가 참조된다. 전술한 바와 같이, 기법은 전술한 제어 시스템(100)과 같은 하나 이상의 프로세서 및 메모리 회로를 사용하여 실장될 수 있다. 도시된 바와 같이, 기법은 레이더 유닛에 의해 획득된 입력 레이더 데이터를 제공하는 것(4010) 및 하나 이상의 카메라 유닛에 의해 획득된 입력 화상 데이터를 제공하는 것(4020)을 포함한다. 일반적으로, 레이더 입력 데이터는 제1 특정 시야를 나타내고, 화상 데이터는 제2 시야를 나타내며, 여기서 제1 및 제2 시야는 적어도 부분적으로 중첩된다. 일부 바람직한 예에서, 레이더 데이터는 360º 수평으로 그리고 적어도 30º 고도로 연장되는 시야로부터 수집된다. 화상 데이터가 바람직하게는 유사한 시야로부터 수집될 수 있지만, 특정 지연이 시야의 동일한 섹션의 화상 데이터 및 레이더 데이터의 수집 사이에서 발생할 수 있다.
레이더 입력 데이터 및 화상 데이터에 의해 형성된 입력 데이터는 라벨링된 이미지 데이터를 생성하기 위해 처리된다. 입력 레이더 데이터는, 예를 들어 해양 환경 내의 파로부터의 반사와 연관된 잡음을 제거하기 위해 필터링될 수 있다(4015). 그러한 필터링은 상이한 해황으로 인한 파 반사의 변화와 관련되도록 날씨 및 파 조건에 대한 입력 데이터를 활용할 수 있다는 점이 주목되어야 한다. 레이더 데이터의 필터링은 일반적으로 레이더 유닛에 의해 제공될 수 있다. 레이더 데이터는 선박 부근의 다양한 객체와 연관된 하나 이상의 반사 신호의 검출을 위해 처리된다(4030). 객체의 검출 시에는, 객체의 위치(4035) 및 레이더 메타데이터(4050)가 결정되고 있다. 객체의 위치는 선박(50)에 대한 상대 위치로서 결정되고/되거나, 객체의 지구상에서의 위치로서 적절한 처리 및 선박 측위 시스템을 사용하여 결정될 수 있다. 레이더 메타데이터는 입력 레이더 반사 시그니처, 도플러 시프트, 및 객체가 2개 이상의 레이더 스위프(radar sweep)에서 검출되는 경우 검출 인스턴스 사이의 각각의 변화에 기초하여 결정된다. 메타데이터는 객체 크기, 양태, 단면, 거리, 방위각, 고도, 객체 위치, 폐쇄 속도, 도플러 시프트, 및 객체 레이더 시그니처와 같은 하나 이상의 데이터 피스를 포함할 수 있다. 전형적으로 해양 선박에 대한 일부 구성에서, 본 기법은 검출된 객체의 위치에서 하나 이상의 해양 선박의 존재에 대해 AIS 데이터를 활용할 수 있다(4060). AIS 데이터는 전형적으로 해양 선박의 아이덴티티 및 그의 지구상에서의 위치를 포함하고, 그에 의해 플래그 데이터, 크기, 방향, 시그니처 컬러 등을 포함하는, 검출된 배에 대한 거의 완전한 데이터의 직접적 정보를 획득하는 것을 가능하게 한다.
객체 상대 위치를 활용하여, 화상 데이터의 대응하는 섹션은 이미지 데이터 피스를 생성하기 위해 선택되고 크로핑되어(4040), 전형적으로 객체를 묘사한다. 화상 데이터가 각각의 위치의 이미지 데이터를 포함하지 않는 경우, 기법은 각각의 위치의 이미지 데이터를 수집하기 위해, 카메라 유닛 중 하나 이상에 작동 명령어를 생성하도록 작동할 수 있다.
일부 구성에서, 이미지 데이터 섹션 및 레이더 메타데이터는 화상에서 검출된 객체와, 대응하는 위치 좌표에서의 레이더 데이터 사이의 상관관계를 결정하기 위해 추가 처리를 거칠 수 있다(4045). 이를 위해, 기법은 객체 검출을 위한 입력 화상 데이터뿐만 아니라, 추가 데이터, 예컨대 파고 및 파향, 수평 곡선 각도, 구름 데이터 등의 처리를 포함할 수 있다.
검출된 객체의 레이더 신호와 이미저 데이터 섹션 사이의 상관관계가 선택된 임계치를 초과한다고 결정할 때, 관련 데이터는 라벨링된 출력 데이터로서 사용된다. 일부 희미하게 검출된 객체 반사는 임계치 미만의 화상 데이터와의 상관관계 레벨에 응답하여 생략될 수 있다. 상관관계를 위한 임계치는 일반적으로 날씨, 조도, 및 다른 가시성 조건에 기초하여 결정된다.
이미지 데이터 피스, 및 레이더 메타데이터 및 사용되는 경우 AIS 데이터를 포함하는 수집된 데이터는 라벨링된 출력 데이터를 생성하기 위해 사용된다(4070). 라벨링된 출력 데이터는 선박 부근에서 검출된 객체와 연관된 이미저 데이터와 레이더 입력 데이터 사이의 연결을 용이하게 하고 제공한다. 본 기법은 전형적으로 입력 데이터를 연속적으로 수집하고, 다른 해양 선박, 해양 플랫폼, 보트, 석유 굴착 장치, 빙산, 섬 및 해안선, 및 선박 주위에서 검출된 임의의 다른 타입의 객체에 이르는 다양한 검출된 객체를 나타내는 라벨링된 출력 데이터를 생성하도록 작동할 수 있다. 수집된 라벨링된 출력 데이터는 일반적으로 선박 주위의 다양한 객체를 인식하기 위해 제어 시스템의 ML 모듈을 연속적으로 또는 일상적으로 훈련시키기 위해 사용될 수 있다(4080). 이는 초기 훈련 및 주기적 업데이트에 의해 제공하는 것에 걸쳐 연속적으로 학습할 수 있는 자동 및/또는 자율 선박을 제공하는 것을 가능하게 한다.
도 5는 본 기법의 일부 구현예에 따른 라벨링된 훈련 데이터를 생성하기 위한 시스템의 구성을 예시한다. 전술한 바와 같이, 시스템은 제어 시스템(100) 또는 훈련 데이터 생성기(TDG) 모듈(160)의 형태로 구성될 수 있다. 일반적으로, 시스템(100)은 하나 이상의 프로세서, 및 하나 이상의 프로세서, 메모리 유닛(190), 및 하나 이상의 카메라 유닛 및 하나 이상의 레이더 유닛에 연결 가능한 통신 모듈, I/O 포트(195)를 활용하는 메모리 회로를 포함한다. TDG(160)는 적어도 레이더 입력 데이터 및 화상 입력 데이터와 연관된 입력 데이터를 수신하고, 입력 데이터를 처리하여 하나 이상의 라벨링된 이미지 데이터 피스를 생성하고 라벨링된 이미지 데이터를 ML 훈련 모듈(170)에 제공하여 연속 훈련을 가능하게 하도록 구성된다. 라벨링된 이미지 데이터 피스는 일반적으로 레이더 데이터의 수신된 신호 반사와 이미지 데이터의 대응하는 섹션 사이의 연결에 기초하여 라벨링되어, 선박 주위의 객체를 묘사한다. 이러한 예에서, TDG(160)는 레이더 반사 검출기(410), 레이더 신호 처리 모듈(420), 시야 분석기(430), 객체 데이터 상관기(435), 및 라벨링된 출력 데이터 생성기(440)를 포함하는 소프트웨어 또는 하드웨어 모듈을 포함할 수 있다.
레이더 반사 검출기(410)는 하나 이상의 수집 빔을 사용하여 레이더 시스템에 의해 수집되는, 수집된 RF 신호에 대한 데이터를 수신하고, 수집된 신호를 처리하여 시야 내의 객체를 나타내는 신호 부분을 결정하도록 구성된다. 이를 위해, 레이더 반사 검출기(410)는 배경 노즈에 걸쳐 객체를 나타내는 수집된 신호 부분을 검출하기 위해, 잡음 필터링, 적절한 위상 변화와 RF 수집 채널의 합, 및/또는 피크 검출 기법을 활용할 수 있다. 하나 이상의 객체에 의해 야기된 반사 신호를 검출할 때, 레이더 반사 검출기(410)는, 반사된 신호 구성요소를 처리하고, 반사된 RF 신호에 기초하여 객체의 하나 이상의 특징을 결정하기 위해 레이더 신호 처리 모듈(420)에 검출된 반사에 대한 데이터를 송신한다. 레이더 신호 처리 모듈(420)은 수집된 RF 신호를 반사하는 하나 이상의 객체에 대한 데이터를 결정하기 위해 다양한 처리 알고리즘을 활용할 수 있다. 그러한 처리는 수집된 신호의 푸리에 구성요소를 결정하는 것, 도플러 시프트를 결정하는 것, 수집된 채널을 처리하는 것, 및 하나 이상의 추가 수집 빔을 결정하여 반사된 신호를 그룹 내에 위치된 하나 이상의 객체와 구별하는 것 등을 포함할 수 있다. 처리는 일반적으로 객체의 수, 객체의 위치, 방위각, 고도, 선박으로부터의 거리, 객체 크기, 길이, 폭, 높이, 객체 양태, 단면 폐쇄 속도, 부분적 도플러 시프트(예를 들어, 객체 내의 요소의 내부 이동과 연관됨) 등으로부터 선택된 데이터 피스를 포함하는 객체에 대한 레이더 메타데이터를 결정하도록 구성된다. 레이더 신호 처리 모듈(420)은 객체의 횡방향 속도를 결정하기 위해 공통 객체의 2개 이상의 검출 인스턴스를 추가로 활용할 수 있다. 그렇게 결정된 레이더 메타데이터는 화상 데이터의 대응하는 섹션의 라벨링을 위해, 라벨링 데이터에 패키징된다. 또한, 레이더 신호 처리 모듈(420)은 선박의 위치 및 선박(50)에 대한 객체의 상대 위치에 기초하여, 검출된 객체의 지구상에서의 위치를 결정하기 위해 측위 데이터(예를 들어, GPS 데이터)를 활용할 수 있다. 이를 위해, 레이더 신호 처리 모듈(420)은 일반적으로 방위각, 고도, 및 거리를 포함하는, 적어도 객체 위치에 대한 데이터를 시야(FOV) 분석기(430)에 제공한다.
FOV 분석기(430)는 검출된 하나 이상의 객체의 위치에 대한 데이터 및 하나 이상의 카메라 유닛에 의해 수집된 화상 데이터를 수신하고, 화상 데이터를 처리하여 객체가 검출되는 각각의 위치로부터 수집된 화상 데이터의 섹션과 연관된 하나 이상의 이미지 데이터 피스를 결정하기 위해 작동한다. FOV 분석기(430)는 객체 거리 및 객체 크기/단면에 대한 데이터를 활용하여, 전형적으로 이미지 섹션에 커버될 입체각에 기초하여 이미지 섹션의 크기를 결정할 수 있다. 일반적으로, 화상 데이터가 각각의 위치의 충분한 데이터를 포함하지 않는 경우, FOV 분석기(430)는 감지 장치에 대한 요청을 생성하여 하나 이상의 카메라 유닛을 작동시키고 각각의 위치의 추가 이미지 데이터를 수집할 수 있다.
FOV 분석기(430)는 화상 데이터의 하나 이상의 관련 섹션을 처리하여 각각의 섹션에 나타난 객체에 대한 데이터를 결정하도록 구성된 이미지 처리 모듈을 포함하거나 이와 연관될 수 있다. 이를 위해, FOV 분석기(430)는 상이한 시간 인스턴스에서 획득된 화상 데이터, 또는 하나 이상의 상이한 시간을 활용하여, 일반적으로 여전히 배경에 걸쳐 이동 객체의 검출을 가능하게 할 수 있다. 추가적으로 또는 대안적으로, FOV 분석기(430)는 화상 데이터에 나타난 객체에 대한 데이터를 결정하기 위해 구배 검출 또는 다른 기법(AI 이미지 처리를 포함함)을 활용할 수 있다.
객체 상관기(435)는 검출된 객체를 나타내는 상이한 데이터 피스를 처리하도록 구성될 수 있다. 보다 구체적으로, 객체 상관기(435)는 검출된 객체에 대한 레이더 메타데이터, 및 각각의 하나 이상의 위치의 이미지 데이터 섹션을 수신하고, 레이더 및 이미지 데이터를 처리하여 상이한 기술에서의 객체 검출 사이의 상관관계를 결정하도록 구성된다. 상관관계 레벨은 라벨링 데이터에 포함될 수 있다. 추가적으로, 상관관계 레벨에 대해서는 날씨, 가시성 및/또는 조도 조건에 따라 처리될 수 있다. 검출된 객체의 센서 표현 사이에, 선택된 임계치 미만의 상관관계가 있는 경우, 기법은 상관관계를 개선하고/하거나, 각각의 감지 데이터를 생략하기 위해 추가 감지 데이터를 획득하도록 작동할 수 있다.
따라서, 크로핑된 이미지 데이터 피스 및 레이더 메타데이터는 라벨링된 출력 데이터로 패키징될 라벨링된 출력 데이터 생성기(440)에 송신된다. 전술한 바와 같이, 라벨링된 출력 데이터 생성기는 AIS 시스템(240) 및/또는 원격 통신을 활용하여, 검출된 객체의 위치에서 발견될 수 있는 하나 이상의 해양 선박에 대한 데이터를 획득할 수 있다. 그러한 AIS 데이터는, 존재하는 경우, 라벨링된 출력 데이터의 값을 향상시키는 추가 라벨링 데이터 필드를 제공할 수 있다. 예를 들어, AIS 데이터는 검출된 객체가 특정 타입의 배임을 명확히 하는 배 아이덴티티를 표시할 수 있다. 추가적으로, AIS 데이터는 배 플래그 데이터, 컬러 스킴, 선수방향 등을 표시할 수 있다. 따라서, 라벨링된 출력 데이터 생성기(440)는 하나 이상의 객체의 이미지에 의해 형성된 라벨링된 이미지 데이터 피스 및 객체 상에서 수집된 레이더 메타데이터의 형태의 출력 데이터를 생성하도록 작동하고, 객체에 대한 AIS 데이터를 포함할 수도 있다. 라벨링된 출력 데이터는 전형적으로 나중의 사용을 위해 메모리 유닛(190)에 저장되고, 일반적으로 ML 훈련 모듈(170)을 사용하여 ML 객체 분석 모듈의 연속 훈련을 가능하게 하는 데 사용된다.
따라서, 본 기법은 라벨링된 이미지 데이터를 연속적으로 생성하기 위해 조합된 RF 및 광 신호 수집을 활용하고, 자율 선박을 연속적으로 학습시키는 것을 가능하게 한다. 본 기법은 일반적으로 기법이 공통 객체에 대한 화상 데이터 및 레이더 입력 데이터를 고유하게 그리고 효율적으로 상관시키는 것을 가능하게 하는 파스 시야(parse field of view)를 활용하는 해양 선박에 사용하기에 특히 적절하다.

Claims (15)

  1. 하나 이상의 프로세서 및 메모리 회로에 의해 실장(implement)되는 방법으로서, 상기 방법은 적어도 제1 시야를 나타내는 레이더 입력 데이터 및 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 나타내는 화상 입력 데이터를 포함하는 입력 데이터를 수신하는 단계; 상기 레이더 입력 데이터를 처리하여 상기 제1 시야의 중첩 부분 내에서 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 상기 하나 이상의 반사 객체가 식별되는 상기 제2 시야 내의 하나 이상의 각각의 위치를 결정하고, 상기 하나 이상의 반사 객체의 레이더 메타데이터를 획득하는 단계; 상기 입력 화상 데이터를 상기 제2 시야의 중첩 부분 내의 상기 각각의 위치에서 처리하고, 상기 하나 이상의 반사 객체와 연관된 상기 화상 데이터의 하나 이상의 섹션과 대응하는 하나 이상의 이미지 데이터 피스를 결정하고, 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 레이더 메타데이터를 사용하고, 그에 의해 하나 이상의 객체의 이미지 데이터와 상기 레이더 메타데이터의 연결을 용이하게 하여, 상기 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 하는 단계를 포함하고; 상기 방법은 하나 이상의 인공 지능(AI) 모듈의 처리를 훈련하기 위해 하나 이상의 이미지 데이터 피스 및 라벨링 데이터를 포함하는 상기 출력 데이터를 제공함으로써, 상기 화상 데이터에서의 객체 인식 및/또는 분류를 위한 연속 훈련을 가능하게 하는 단계를 추가로 포함하는, 방법.
  2. 제1항에 있어서, 레이더 메타데이터는 객체 크기, 객체 거리, 객체 폐쇄 속도, 및 객체 양태, 객체 위치, 각도, 방위각, 벡터, 도플러, 단면 및 시그니처의 그룹으로부터 선택된 하나 이상의 데이터 피스를 포함하는, 방법.
  3. 제1항에 있어서, 상기 AI 모듈은 해양 환경에서의 객체 검출에 적합하여, 상기 화상 데이터에 따라 해양 선박에서 충돌 방지를 가능하게 하는, 방법.
  4. 제3항에 있어서, 상기 AI 모듈은 하나 이상의 위치 검출 유닛(GPS)으로부터 위치 데이터를 수신하고 상기 해양 선박의 내비게이션 항로를 결정하도록 추가로 구성되는, 방법.
  5. 제4항에 있어서, 상기 AI 모듈은 상기 해양 선박의 조향 제어부에 연결 가능하고, 그에 의해 상기 해양 선박의 적어도 부분적으로 자율적인 작동을 가능하게 하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 레이더 입력 데이터를 처리하여 상기 제1 시야 내의 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 반사 객체가 식별되는 하나 이상의 각각의 위치가 상기 제2 시야의 외부에 있다고 결정할 때, 작동 커맨드를 생성하여 상기 하나 이상의 각각의 위치로부터 화상 데이터를 획득하는 단계를 추가로 포함하는, 방법.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 하나 이상의 반사 객체의 위치에 대한 데이터를 제공하고 선박 자동 식별 시스템(AIS: automatic identification system) 및 상기 하나 이상의 반사 객체의 상기 위치를 활용하여 상기 하나 이상의 반사 객체의 아이덴티티에 대한 데이터를 획득하고, 추가 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터 및 상기 추가 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 아이덴티티에 대한 데이터를 사용하는 단계를 추가로 포함하는, 방법.
  8. 적어도 하나의 프로세서 및 메모리 회로, 하나 이상의 카메라 유닛 및 하나 이상의 레이더 유닛을 포함하는 해양 선박 관리 시스템으로서, 상기 적어도 하나의 프로세서는 오토-캡틴(auto-captain) 모듈, 객체 검출 훈련 모듈, 및 훈련 데이터 생성기를 포함하고;
    상기 오토-캡틴 모듈은 라벨링된 이미지 데이터에 기초하여 연속적으로 훈련 가능한 인공 지능(AI) 모듈을 포함하고, 상기 하나 이상의 카메라 유닛으로부터 화상 데이터를 수신하여, 상기 해양 선박 주위의 선택된 시야 내의 하나 이상의 객체에 대한 데이터를 결정하기 위해 상기 화상 데이터를 처리하도록 구성되고;
    상기 훈련 데이터 생성기는, 상기 하나 이상의 카메라 유닛 및 하나 이상의 레이더 유닛으로부터 입력 데이터를 수신하고(상기 입력 데이터는 적어도 제1 시야를 나타내는 레이더 입력 데이터 및 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 나타내는 화상 입력 데이터를 포함함), 상기 레이더 입력 데이터를 처리하여 상기 제1 시야의 중첩 부분 내에서 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 상기 하나 이상의 반사 객체가 식별되는 상기 제2 시야 내의 하나 이상의 각각의 위치를 결정하고, 상기 하나 이상의 반사 객체의 레이더 메타데이터를 획득하고; 상기 입력 화상 데이터를 상기 제2 시야의 중첩 부분 내의 상기 각각의 위치에서 처리하고, 상기 하나 이상의 반사 객체와 연관된 상기 화상 데이터의 하나 이상의 섹션과 대응하는 하나 이상의 이미지 데이터 피스를 결정하고, 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 레이더 메타데이터를 사용하고, 그에 의해 하나 이상의 객체의 이미지 데이터와 상기 레이더 메타데이터의 연결을 용이하게 하여, 상기 화상 데이터에 기초하여 객체 검출을 위한 기계 학습 훈련을 가능하게 하도록, 구성되고 작동 가능하며;
    상기 객체 검출 훈련 모듈은 상기 출력 라벨링된 데이터를 수신하고, 상기 출력 라벨링된 데이터에 기초하여 객체를 검출하기 위해 상기 오토-캡틴 모듈의 AI 모듈의 훈련을 업데이트하고, 그에 의해 상기 AI 모듈의 훈련을 연속적으로 업데이트하는 것을 가능하게 하도록 구성되는, 해양 선박 관리 시스템.
  9. 제8항에 있어서, 상기 AI 모듈은 상기 하나 이상의 카메라 유닛으로부터 수신된 입력 화상 데이터를 처리하고 상기 화상 데이터에서 식별된 하나 이상의 객체에 대한 데이터를 결정함으로써, 상기 화상 데이터로부터 하나 이상의 객체의 객체 인식을 제공하기에 적합한, 시스템.
  10. 제8항에 있어서, 상기 레이더 메타데이터는 상기 레이더 신호를 반사하는 하나 이상의 객체의 레이더 시그니처를 나타내는 하나 이상의 데이터 피스를 포함하는, 시스템.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 레이더 메타데이터는 객체 크기, 객체 거리, 객체 폐쇄 속도, 객체 양태, 객체 위치, 각도, 방위각, 벡터, 도플러, 단면, 및 시그니처의 그룹으로부터 선택된 하나 이상의 데이터 피스를 포함하는, 시스템.
  12. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 AI 모듈은 하나 이상의 위치 검출 유닛(GPS)으로부터 위치 데이터를 수신하고 상기 해양 선박의 내비게이션 항로를 결정하도록 추가로 구성되는, 시스템.
  13. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 오토-캡틴 모듈은 상기 해양 선박의 조향 제어부에 연결 가능하고 상기 해양 선박의 속도 및 선수방향 중 적어도 하나를 변경함으로써, 상기 해양 선박의 적어도 부분적으로 자율적인 작동을 가능하게 하도록 구성되는, 시스템.
  14. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 레이더 입력 데이터를 처리하여 상기 제1 시야 내의 하나 이상의 반사 객체를 나타내는 데이터를 결정하고, 반사 객체가 식별되는 하나 이상의 각각의 위치가 상기 제2 시야의 외부에 있다고 결정할 때, 작동 커맨드를 생성하여 상기 하나 이상의 각각의 위치로부터 화상 데이터를 획득하는 것을 추가로 포함하는, 시스템.
  15. 제8항 내지 제10항 중 어느 한 항에 있어서, 선박 자동 식별 시스템(AIS) 모듈을 추가로 포함하며, 상기 훈련 데이터 생성기는 상기 하나 이상의 반사 객체의 위치에 대한 데이터를 제공하고 상기 AIS 모듈로부터 상기 위치에 위치된 해양 선박의 아이덴티티에 대한 데이터를 획득하여, 추가 라벨 데이터를 생성하고 상기 하나 이상의 이미지 데이터 섹션 및 상기 라벨 데이터 및 상기 추가 라벨 데이터를 포함하는 출력 데이터를 생성하기 위해 상기 아이덴티티에 대한 데이터를 사용하도록 추가로 구성되는, 시스템.
KR1020247001348A 2021-06-17 2022-06-08 Ｍｌ을 연속적으로 업데이트하는 내비게이션 시스템 및 방법 KR20240022576A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL284155A IL284155A (en) 2021-06-17 2021-06-17 A system and method for navigation with an updated learning machine
IL284155 2021-06-17
PCT/IL2022/050610 WO2022264120A1 (en) 2021-06-17 2022-06-08 Navigation system and method with continuously updating ml

Publications (1)

Publication Number Publication Date
KR20240022576A true KR20240022576A (ko) 2024-02-20

Family

ID=84526265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247001348A KR20240022576A (ko) 2021-06-17 2022-06-08 Ｍｌ을 연속적으로 업데이트하는 내비게이션 시스템 및 방법

Country Status (5)

Country Link
EP (1) EP4356160A1 (ko)
KR (1) KR20240022576A (ko)
CN (1) CN118159873A (ko)
IL (1) IL284155A (ko)
WO (1) WO2022264120A1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7486355B2 (ja) * 2020-06-18 2024-05-17 古野電気株式会社 船舶用物標検出システム、船舶用物標検出方法、信頼度推定装置、及びプログラム
CN111856448A (zh) * 2020-07-02 2020-10-30 山东省科学院海洋仪器仪表研究所 基于双目视觉和雷达的海上障碍物识别方法及系统

Also Published As

Publication number Publication date
EP4356160A1 (en) 2024-04-24
IL284155A (en) 2023-01-01
WO2022264120A1 (en) 2022-12-22
CN118159873A (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
KR102604969B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
Han et al. Autonomous collision detection and avoidance for ARAGON USV: Development and field tests
Polvara et al. Obstacle avoidance approaches for autonomous navigation of unmanned surface vehicles
US20200012283A1 (en) System and method for autonomous maritime vessel security and safety
KR102623124B1 (ko) 접안 모니터링 장치 및 방법
Helgesen et al. Heterogeneous multi-sensor tracking for an autonomous surface vehicle in a littoral environment
Johansen et al. Unmanned aerial surveillance system for hazard collision avoidance in autonomous shipping
KR102099699B1 (ko) 무인수상선의 충돌 회피 장치 및 방법
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
US20230023434A1 (en) Deep learning-based marine object classification using 360-degree images
Clunie et al. Development of a perception system for an autonomous surface vehicle using monocular camera, lidar, and marine radar
KR20180081979A (ko) 자율 운항선 충돌방지 시스템
Sorbara et al. Low cost optronic obstacle detection sensor for unmanned surface vehicles
Oleynikova et al. Perimeter patrol on autonomous surface vehicles using marine radar
KR20240022576A (ko) Ｍｌ을 연속적으로 업데이트하는 내비게이션 시스템 및 방법
WO2023164707A1 (en) Bird's eye view (bev) semantic mapping systems and methods using plurality of cameras
JP2024524100A (ja) Ｍｌを連続的に更新する航行システム及び方法
KR102558387B1 (ko) 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법
Friebe et al. Situational awareness and obstacle avoidance for a wind propelled marine research ASV
KR102249156B1 (ko) 증강현실 이미지를 이용한 항해 보조장치
Wilthil Maritime Target Tracking with Varying Sensor Performance
KR102464086B1 (ko) 자율운항 선박과 일반 선박 간 충돌 회피 시스템 및 방법
Lin et al. Perception and Observation with Networked Multi-Agent Systems for Automated Shipping and Harbor Applications
Meyers et al. Towards A COLREGs Compliant Autonomous Surface Vessel in a Constrained Channel
Meyers Towards a Colregs Compliant Autonomous Surface Vessel