KR102617983B1 - 증강현실을 이용한 자율운항선박의 제어 시스템 - Google Patents

증강현실을 이용한 자율운항선박의 제어 시스템 Download PDF

Info

Publication number
KR102617983B1
KR102617983B1 KR1020210038081A KR20210038081A KR102617983B1 KR 102617983 B1 KR102617983 B1 KR 102617983B1 KR 1020210038081 A KR1020210038081 A KR 1020210038081A KR 20210038081 A KR20210038081 A KR 20210038081A KR 102617983 B1 KR102617983 B1 KR 102617983B1
Authority
KR
South Korea
Prior art keywords
autonomous
navigation
ship
information
vessel
Prior art date
Application number
KR1020210038081A
Other languages
English (en)
Other versions
KR20220132912A (ko
Inventor
김대인
Original Assignee
주식회사 비지에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비지에스 filed Critical 주식회사 비지에스
Priority to KR1020210038081A priority Critical patent/KR102617983B1/ko
Publication of KR20220132912A publication Critical patent/KR20220132912A/ko
Application granted granted Critical
Publication of KR102617983B1 publication Critical patent/KR102617983B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0206Control of position or course in two dimensions specially adapted to water vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20Feelers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/10Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/30Monitoring properties or operating parameters of vessels in operation for diagnosing, testing or predicting the integrity or performance of vessels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/40Monitoring properties or operating parameters of vessels in operation for controlling the operation of vessels, e.g. monitoring their speed, routing or maintenance schedules
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B35/00Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
    • B63B2035/006Unmanned surface vessels, e.g. remotely controlled
    • B63B2035/007Unmanned surface vessels, e.g. remotely controlled autonomously operating
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B35/00Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
    • B63B2035/006Unmanned surface vessels, e.g. remotely controlled
    • B63B2035/008Unmanned surface vessels, e.g. remotely controlled remotely controlled
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Ocean & Marine Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

증강현실을 이용한 자율운항선박의 제어 시스템이 개시된다. 증강현실을 이용한 자율운항선박의 제어 시스템은, 자율운항선박의 항해에 따른 주변환경의 상태를 측정하고, 자율운항선박의 설비에 설치되어 설비의 상태를 측정하는 센서 장치, 센서 장치로부터 센서 데이터를 수신하여 자율운항선박의 항해 및 설비의 상태에 대하여 모니터링하고, 항해 또는 설비에 대한 이상상황 발생 여부를 판단하는 모니터링 장치, 자율운항선박이 미리 설정된 항해경로에 따라 항해하도록 제어하는 자율운항 장치, 수동제어 명령 및 제어 정보가 수신되면, 수동제어 명령에 따라 자율운항 장치를 정지시켜 자율운항선박의 자율항해를 중지시키고, 제어 정보에 따라 자율운항선박을 제어하는 수동제어 장치 및 자율운항선박을 관제하는 육상관제센터에 설치되며, 항해 또는 설비에 대한 이상상황이 발생한 경우, 모니터링 장치로부터 이상상황 정보를 수신하여 증강현실 영상으로 출력하고, 수동제어 명령 및 제어 정보를 입력받아 수동제어 장치로 전송하는 육상관제 장치를 포함한다.

Description

증강현실을 이용한 자율운항선박의 제어 시스템{Control system for autonomous ships using augmented reality}
본 발명은 증강현실을 이용한 자율운항선박의 제어 시스템에 관한 것이다.
자율운항선박은 선원 없이 자동으로 정해진 경로를 항해하고, 필요한 경우, 원격 조종 통제 센터에서 항해 및 기관부(예를 들면, 엔진, 방향타 장치)를 제어할 수 있는 선박을 말한다. 이를 위하여, 지상에는 자율운항선박을 원격으로 조종하기 위한 원격 조종 통제 센터가 필요하며, 기술적인 문제 및 법적인 문제 등의 해결을 위하여 원격 조종 통제 센터에서는 선장 및 기관장이 직접 지휘 통솔을 수행해야 한다.
한편, 통상적으로 선박은 운항 중 메인 엔진에 의해 그 추진력이 발생되고, 메인 엔진을 구동하기 위해서는 많은 수의 기계, 보조기계와 저장용기, 장치 등이 파이프 라인과 전선 등에 의해 유기적으로 연결된다. 이에, 부품 중 어느 하나라도 고장 발생시 선박 운항에 치명적인 영향을 줄 수 있기 때문에, 동작 상태가 정상적으로 유지되고 있는지 상시 모니터링하고, 문제가 발생하는 경우 신속한 처리가 매우 중요하다.
그러나, 통상의 선박은 단지 선박 운항 시스템의 감시 및 제어를 담당하는 AMS(alarm monitoring system) 등에 의해 엔진의 동작 상태를 디스플레이해주거나 엔진의 주요 압력이나 온도 등의 동작 상태와 관련된 데이터값이 기설정된 기준값을 넘어갈 때 알람을 발생시켜 선장이나 기관사가 인지할 수 있도록 하는 정도에 그치는 실정이다.
따라서, 자율운항선박을 원격으로 조종하는 지상의 관제센터에서 자율운항선박의 비상상황 시, 이를 판단하여 자율운항선박을 효율적으로 원격조종하는 기술이 요구된다.
대한민국등록특허공보 제10-0734814호(2007.06.27)
본 발명은 자율운항선박의 항해 중에, 자율운항선박의 상태를 모니터링하고, 항해 또는 설비에 대하여 이상상황 발생 시, 육상관제센터에서 자율운항선박 내외부의 증강현실 영상을 이용하여 자율운항선박을 신속하고 효과적으로 원격 조종하게 하는 증강현실을 이용한 자율운항선박의 제어 시스템을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 증강현실(AR: Augmented Reality)을 이용한 자율운항선박의 제어 시스템이 개시된다.
본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템은, 상기 자율운항선박의 항해에 따른 주변환경의 상태를 측정하고, 상기 자율운항선박의 설비에 설치되어 설비의 상태를 측정하는 센서 장치, 상기 센서 장치로부터 센서 데이터를 수신하여 상기 자율운항선박의 항해 및 설비의 상태에 대하여 모니터링하고, 상기 항해 또는 상기 설비에 대한 이상상황 발생 여부를 판단하는 모니터링 장치, 상기 자율운항선박이 미리 설정된 항해경로에 따라 항해하도록 제어하는 자율운항 장치, 수동제어 명령 및 제어 정보가 수신되면, 상기 수동제어 명령에 따라 상기 자율운항 장치를 정지시켜 상기 자율운항선박의 자율항해를 중지시키고, 상기 제어 정보에 따라 상기 자율운항선박을 제어하는 수동제어 장치 및 상기 자율운항선박을 관제하는 육상관제센터에 설치되며, 상기 항해 또는 상기 설비에 대한 이상상황이 발생한 경우, 상기 모니터링 장치로부터 이상상황 정보를 수신하여 증강현실 영상으로 출력하고, 상기 수동제어 명령 및 상기 제어 정보를 입력받아 상기 수동제어 장치로 전송하는 육상관제 장치를 포함한다.
상기 모니터링 장치는, 자동선박식별장치, 레이더, 파고 센서, 바람 센서, 위치 센서 및 어라운드뷰 카메라를 이용하여 획득되는 정보를 이용하여, 충돌 가능한 장애물 존재 여부 및 상기 자율운항선박의 항해 불안정 여부를 산출하여 상기 항해에 대한 이상상황 발생 여부를 판단한다.
상기 모니터링 장치는, 상기 수신되는 센서 데이터 중 상기 설비의 정상상태의 센서 데이터를 반복적으로 학습하고, 상기 학습에 기초하여 상기 정상상태의 예측 데이터를 산출하고, 상기 산출된 정상상태의 예측 데이터를 실시간 측정된 센서 데이터와 비교하여 상기 설비의 상태를 모니터링하고, 상기 정상상태의 예측 데이터와 상기 측정된 센서 데이터의 차이의 크기에 따라 이상현상을 감지하여 상기 설비에 대한 이상상황 발생 여부를 판단한다.
상기 육상관제 장치는, 상기 자율운항선박의 주변 영상 또는 상기 자율운항선박의 내부 영상에 충돌 가능한 장애물 정보 또는 항해 불안정 정보를 오버랩시켜 출력하며, 머리에 착용하는 안경 형태를 가지는 증강현실 디스플레이 및 상기 증강현실 디스플레이를 머리에 착용하여 출력되는 정보를 확인하는 상기 육상관제센터의 관제사로부터 상기 수동제어 명령 및 상기 제어 정보를 입력받아 상기 수동제어 장치로 전송하는 선박 조종기를 포함한다.
본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템은, 자율운항선박의 항해 중에, 자율운항선박의 상태를 모니터링하고, 항해 또는 설비에 대하여 이상상황 발생 시, 육상관제센터에서 자율운항선박 내외부의 증강현실 영상을 이용하여 자율운항선박을 신속하고 효과적으로 원격 조종하게 할 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템이 구현될 수 있는 환경을 개략적으로 예시하여 나타낸 도면.
도 2는 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템의 구성을 개략적으로 예시하여 나타낸 도면.
도 3은 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템의 동작 방법을 예시하여 나타낸 흐름도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템이 구현될 수 있는 환경을 개략적으로 예시하여 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템의 구성을 개략적으로 예시하여 나타낸 도면이다. 이하에서는, 도 1 및 도 2를 참조하여, 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템에 대하여 설명하기로 한다.
우선, 도 1을 참조하면, 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템은, 자율운항선박(100) 및 자율운항선박(100)의 운항을 지원하는 육상관제센터(200)에 구현될 수 있다.
예를 들어, 자율운항선박(100)과 육상관제센터(200) 간의 통신은 LTE-Maritime과 같은 해양통신망을 통해 이루어질 수 있다.
그리고, 도 2를 참조하면, 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템은 자율운항선박(100)에 설치되는 센서 장치(110), 모니터링 장치(120), 선박통신장치(130), 자율운항 장치(140) 및 수동제어 장치(150)와 육상관제센터(200)에 설치되는 육상관제 장치(210)를 포함하여 구성될 수 있다.
여기서, 모니터링 장치(120) 및 육상관제 장치(210)는 네트워크 연결 가능한 서버를 통해 구현될 수 있다. 예를 들어, 서버는 자율운항선박(100)의 설비를 제어 및 관리하는 기능을 수행하거나, 자율운항선박(100)의 운항을 지원하는 기능을 수행할 수 있으며, 본 발명의 실시예에 따른 모니터링 장치(120) 또는 육상관제 장치(210)를 포함하여 구성될 수 있다.
본 명세서에서 서버란 본 발명의 실시예에 따른 자율운항선박의 제어 방법을 수행하는 컴퓨팅 디바이스로서, 하나 또는 둘 이상의 물리적 개체일 수 있다. 서버가 복수의 물리적 개체로 나뉘어 구현될 때, 각각의 물리적 개체의 관리 주체는 서로 상이할 수 있다. 서버에는 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미하는 DB가 포함될 수 있으며, DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.
다시, 도 2를 참조하면, 자율운항선박(100)에는, 센서 장치(110), 모니터링 장치(120), 선박통신장치(130), 자율운항 장치(140) 및 수동제어 장치(150)가 설치될 수 있다.
센서 장치(110)는 자율운항선박(100)의 항해에 따른 주변환경의 상태를 측정하기 위한 각종 센서를 포함할 수 있으며, 각종 센서에 의하여 측정되는 센싱 정보를 모니터링 장치(120)로 전송할 수 있다.
즉, 센서 장치(110)는 자동선박식별장치(AIS: Automatic Identification System), 레이더(RADAR), 파고 센서, 바람 센서, 위치 센서, 어라운드뷰 카메라 및 선박내부 카메라를 포함할 수 있다.
여기서, 자동선박식별장치는 다른 선박들의 항적 데이터인 AIS 데이터를 수신하여 수집한다. 여기서, AIS 데이터는 정적(static) 정보와 동적(dynamic) 정보로 구성되며, 정적 정보는 선명, 선박의 제원, 목적지 등을 포함하고, 동적 정보는 선박의 현재 위치 및 침로, 속도 등의 운항정보를 포함한다.
그리고, 레이더는 자율운항선박(100)의 주변에 존재하는 물체를 감지하고, 감지된 물체의 위치 정보, 이동속도, 이동방향 및 형태 정보를 획득한다. 여기서, 물체는 자율운항선박 주변에서 항해하는 선박, 빙산, 암초, 부유물 등을 포함할 수 있다.
그리고, 파고 센서는 주변 해양의 파고를 측정하고, 바람 센서는 주변 해양의 풍속 및 풍향을 측정하고, 위치 센서는 자율운항선박의 현재 위치를 측정하며, 이동 중인 경우, 측정되는 실시간 현재 위치로부터 이동방향 및 이동속도를 측정한다. 예를 들어, 위치 센서는 GPS(Global Positioning System) 장치일 수 있다.
그리고, 어라운드뷰 카메라는 영상분석을 통한 자율운항선박(100) 주변의 물체를 감지하기 위하여, 자율운항선박(100) 주변의 영상을 획득한다. 예를 들어, 어라운드뷰 카메라는 자율운항선박(100)의 전방, 후방 및 측방에서 외부 방향을 지향하도록 자율운항선박(100)의 외측을 따라 설치되는 복수의 카메라로 구성될 수 있다. 그래서, 어라운드뷰 카메라는 전방, 후방 및 측방에 미리 설정된 영역을 미리 설정된 시점으로 촬영하고, 이를 통해 획득되는 복수의 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상을 생성할 수 있다.
그리고, 선박내부 카메라는 자율운항선박(100) 내부 전체의 영상을 획득한다. 예를 들어, 선박내부 카메라는 자율운항선박(100)의 선교, 기관실 등을 촬영하도록 복수의 카메라로 구성될 수 있다.
또한, 센서 장치(110)는 자율운항선박(100)의 각종 설비에 설치되어 각종 설비의 상태를 측정하는 각종 센서를 더 포함할 수 있다.
예를 들어, 자율운항선박(100)의 설비는 선박의 추진계통의 장치들로서, 디젤엔진, 가스터빈, 감속기, 발전기, 추진기 등을 포함할 수 있다. 그리고, 각 장치에는, 온도, 압력, 전류, 전압, 분당 회전수(rpm) 등을 측정하는 센서가 장착될 수 있다. 또한, 자율운항선박(100)의 설비는 자율운항선박(100)의 방향을 조종하기 위한 조타기(Steering Gear), 선교항해기기 등과 같은 항해장비를 포함할 수 있다. 그리고, 선박기관의 감시제어시스템(AMS: Alarm Monitoring and Control System), 경사계, 화재감지 센서(연기감지 센서, 열감지 센서, 가스감지 센서 등), 방화문 및 수밀문의 개폐감지 센서, 연료유 유출감지 센서, 탱크 수위감지 센서 등과 같은 센서가 항해장비에 설치될 수 있다.
이와 같은 각종 센서들이 측정한 센싱 정보는 모니터링 장치(120)로 전송될 수 있다.
모니터링 장치(120)는 센서 장치(110)로부터 센서 데이터를 수신하여 자율운항선박(100)의 항해 및 설비의 상태에 대하여 모니터링하고, 자율운항선박(100)의 항해 또는 설비에 대한 이상상황 발생 여부를 판단한다.
우선, 모니터링 장치(120)는 자동선박식별장치, 레이더, 파고 센서, 바람 센서, 위치 센서 및 어라운드뷰 카메라를 이용하여 획득되는 정보를 이용하여, 충돌 가능한 장애물 존재 여부 및 자율운항선박(100)의 항해 불안정 여부를 산출하여 자율운항선박(100)의 항해에 대한 이상상황 발생 여부를 판단할 수 있다.
즉, 자동선박식별장치 및 레이더는 자율운항선박(100)의 항해 중에 자율운항선박(100) 주변의 해상에서 물체를 탐지하고, 탐지된 물체의 위치 정보, 이동 속도, 이동 방향 및 형태 정보를 획득할 수 있다. 그리고, 모니터링 장치(120)는 획득된 위치 정보, 이동속도, 이동방향 및 형태 정보를 이용하여, 탐지된 물체가 자율운항선박(100)의 항해경로 상에 위치하는지 여부를 판단하고, 탐지된 물체의 크기를 예측하여 탐지된 물체가 충돌 가능한 장애물인지 여부를 판별할 수 있다.
예를 들어, 모니터링 장치(120)는 탐지된 물체의 위치 정보, 이동속도 및 이동방향으로부터 물체의 예상 항해경로를 산출하고, 물체의 예상 항해경로와 자율운항선박의 항해경로를 시간에 따라 비교하여 충돌 가능 여부를 판단할 수 있다. 또한, 모니터링 장치(120)는 탐지된 물체의 형태 정보를 이용하여 물체의 예상 크기를 산출하고, 산출된 예상 크기가 임계치 이상인 경우, 탐지된 물체를 충돌 가능한 장애물로 판별할 수 있다.
한편, 모니터링 장치(120)는 어라운드뷰 카메라에 의하여 획득된 영상을 분석하여, 자율운항선박(100)으로부터 비교적 근거리에 위치하는 물체를 탐지하고, 탐지된 물체가 충돌 가능한 장애물인지 여부를 판별할 수 있다.
예를 들어, 모니터링 장치(120)는 어라운드 뷰 영상에서 임의의 물체가 미리 설정된 장애물 감지 영역에 나타나는 경우, 장애물이 존재하는 것으로 판단할 수 있다. 그리고, 모니터링 장치(120)는 어라운드뷰 영상으로부터 현재 위치에서 장애물까지의 거리를 추정하고, 추정된 거리, 자율운항선박(100)의 현재 이동속도 및 이동방향으로부터 현재 위치에서 장애물에 충돌하기까지 걸리는 시간을 추정할 수도 있다.
한편, 모니터링 장치(120)는 파고 센서, 바람 센서 및 위치 센서를 통해 획득되는 자율운항선박(100) 주변의 파고 및 풍속과 자율운항선박(100)의 위치 정보를 이용하여 자율운항선박(100)의 자율운항선박(100)의 항해가 불안정한지 여부를 판별할 수 있다.
예를 들어, 모니터링 장치(120)는 실시간 수집되는 현재 위치에서의 파고 및 풍속이 미리 설정된 기준치를 초과하는 경우, 자율운항선박(100)이 기상악화에 의한 항해 위험 지역을 항해하고 있어 자율운항선박(100)의 항해가 불안정한 것으로 판별할 수 있다. 또한, 모니터링 장치(120)는 실시간 수집되는 자율운항선박(100)의 위치 정보와 자율운항선박(100)의 기 설정된 항해경로를 비교하고, 비교 결과, 자율운항선박(100)이 미리 설정된 시간 이상 미리 설정된 임계치를 초과하는 거리만큼 기 설정된 항해경로를 벗어나는 경우, 자율운항선박(100)의 항해가 불안정한 것으로 판별할 수 있다.
또한, 모니터링 장치(120)는 수집된 센서 데이터 중 자율운항선박(100) 설비의 정상상태의 센서 데이터를 반복적으로 학습하고, 학습에 기초하여 정상상태의 예측 데이터를 산출하고 저장할 수 있다. 여기서, 모니터링 장치(120)는 센서별로 정의된 센서 데이터의 정상 범위를 이용하여 수집된 센서 데이터 중에서 정상상태의 센서 데이터를 선별할 수 있다.
그리고, 모니터링 장치(120)는 산출된 정상상태의 예측 데이터를 실시간 측정된 센서 데이터와 비교하여 자율운항선박(100)의 설비의 상태를 모니터링하고, 정상상태의 예측 데이터와 실시간 측정된 센서 데이터의 차이의 크기에 따라 이상현상을 감지하여 자율운항선박(100)의 설비에 대한 이상상황 발생 여부를 판단할 수 있다.
예를 들어, 모니터링 장치(120)는 정상상태의 예측 데이터와 실시간 측정된 센서 데이터의 차이가 미리 설정된 허용치를 초과하여 일정시간 지속되는 경우, 이상상황이 발생한 것으로 판단할 수 있다. 여기서, 허용치는 학습 모델을 생성하는 과정에서 정상상태의 센서 데이터를 통계 분석하여 설정될 수 있다.
모니터링 장치(120)는 자율운항선박(100)의 항해 또는 설비에 대한 이상상황 발생 여부를 판단한 결과, 이상상황이 발생한 것으로 판단한 경우, 선박통신장치(130)를 통해 이상상황 정보를 육상관제센터(200)의 육상관제 장치(210)로 전송한다.
여기서, 이상상황 정보는 어라운드뷰 카메라 및 선박내부 카메라를 통해 획득되는 자율운항선박(100)의 주변 영상 및 자율운항선박(100)의 내부 영상, 충돌 가능한 장애물 정보, 항해 불안정 정보 등을 포함할 수 있다.
선박통신장치(130)는 자율운항선박(100) 내에 탑재된 각종 설비들 간에 통신연결이 이루어지도록 선박내부 통신망을 형성하며, 육상관제 장치(210)를 포함하는 육상관제센터(200)와 자율운항선박(100) 간의 통신이 이루어지도록 하는 역할을 수행한다.
예를 들어, 선박통신장치(130)는 선박내부의 유무선 통신망을 형성하기 위한 유무선의 네트워크 장비, 외부와 통신하기 위한 위성통신장비, LTE-Maritime과 같은 해양통신망에 연결하기 위한 통신장비 등을 포함할 수 있다.
자율운항 장치(140)는 목적지 정보를 입력받아 목적지까지의 최적의 항해경로를 생성하고, 생성된 최적의 항해경로에 따라 자율운항선박(100)이 항해하도록 제어한다.
예를 들어, 자율 운항 장치(140)는 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있으며, 전자해도 데이터베이스, 최적의 항해경로를 산출하는 경로 알고리즘 등을 포함할 수 있다.
자율운항 장치(140)는 자율운항선박(100)의 엔진 및 조타기를 조종하여 자율운항선박(100)의 속도 및 방향을 제어할 수 있다. 이때, 자율운항 장치(140)는 자동선박식별장치, 레이더, 어라운드뷰 카메라 등과 같이 자율운항선박(100)의 주변 상황을 감시하는 센서 장치(110)를 이용하여 자율운항선박(100)이 주변의 선박이나 장애물을 회피하도록 자율운항선박(100)의 속도 및 방향을 제어할 수 있다.
수동제어 장치(150)는 육상관제센터(200)의 육상관제 장치(210)로부터 수신되는 수동제어 명령 및 제어 정보에 따라 자율운항 장치(140)를 정지시켜 자율운항선박(100)의 자율항해를 중지시키고, 자율운항선박(100)을 제어한다.
육상관제 장치(210)는 선박통신장치(130)를 통해 자율운항선박(100)에 탑재된 모니터링 장치(120) 및 수동제어 장치(150)와 통신을 수행한다.
즉, 육상관제 장치(210)는 모니터링 장치(120)로부터 수신되는 이상상황 정보를 출력하고, 수동제어 명령 및 제어 정보를 입력받아 수동제어 장치(150)로 전송한다.
이때, 육상관제 장치(210)는 수신된 이상상황 정보를 증강현실(AR: Augmented Reality) 영상으로 출력하여 육상관제센터(200)의 관제사에게 제공할 수 있다.
즉, 도 2를 참조하면, 육상관제 장치(210)는 증강현실 디스플레이(211) 및 선박 조종기(212)를 포함할 수 있다.
증강현실 디스플레이(211)는 자율운항선박(100)의 주변 영상 또는 자율운항선박(100)의 내부 영상에 충돌 가능한 장애물 정보나 항해 불안정 정보 등을 오버랩 시켜 출력할 수 있다.
예를 들어, 증강현실 디스플레이(211)는 머리에 착용하는 안경 형태의 웨어러블 디바이스일 수 있다. 그래서, 육상관제 장치(210)의 이상상황 정보의 수신에 따라 육상관제센터(200)에 자율운항선박(100)에 대한 알람이 발생한 경우, 이를 인지한 육상관제센터(200)의 관제사는 증강현실 디스플레이(211)를 머리에 착용하여 출력되는 자율운항선박(100)의 이상상황 정보를 확인할 수 있다.
선박 조종기(212)는 사용자가 수동으로 자율운항선박(100)을 조종하기 위한 장치로서, 자율운항선박(100)에 대한 수동제어 명령 및 제어 정보를 입력받아 수동제어 장치(150)로 전송한다.
예를 들어, 증강현실 디스플레이(211)를 머리에 착용한 육상관제센터(200)의 관제사가 출력되는 자율운항선박(100)의 이상상황 정보를 확인하면서 선박 조종기(212)를 조작하여 자율운항선박(100)을 조종할 수 있다.
도 3은 본 발명의 실시예에 따른 증강현실을 이용한 자율운항선박의 제어 시스템의 동작 방법을 예시하여 나타낸 흐름도이다.
S310 단계에서, 자율운항 장치(140)는 목적지 정보를 입력받아 목적지까지의 최적의 항해경로를 생성하고, 생성된 최적의 항해경로에 따라 자율운항선박(100)이 항해하도록 제어한다.
S320 단계에서, 모니터링 장치(120)는 센서 장치(110)로부터 센서 데이터를 수신하여 자율운항선박(100)의 항해 및 설비의 상태에 대하여 모니터링한다.
S330 단계에서, 모니터링 장치(120)는 자율운항선박(100)의 항해 또는 설비에 대한 이상상황 발생 여부를 판단한다.
우선, 모니터링 장치(120)는 자동선박식별장치, 레이더, 파고 센서, 바람 센서, 위치 센서 및 어라운드뷰 카메라를 이용하여 획득되는 정보를 이용하여, 충돌 가능한 장애물 존재 여부 및 자율운항선박(100)의 항해 불안정 여부를 산출하여 자율운항선박(100)의 항해에 대한 이상상황 발생 여부를 판단할 수 있다.
또한, 모니터링 장치(120)는 수집된 센서 데이터 중 자율운항선박(100) 설비의 정상상태의 센서 데이터를 반복적으로 학습하고, 학습에 기초하여 정상상태의 예측 데이터를 산출하고, 산출된 정상상태의 예측 데이터를 실시간 측정된 센서 데이터와 비교하여 자율운항선박(100)의 설비의 상태를 모니터링하고, 정상상태의 예측 데이터와 실시간 측정된 센서 데이터의 차이의 크기에 따라 이상현상을 감지하여 자율운항선박(100)의 설비에 대한 이상상황 발생 여부를 판단할 수 있다.
S340 단계에서, 모니터링 장치(120)는 판단 결과, 이상상황이 발생한 것으로 판단한 경우, 선박통신장치(130)를 통해 이상상황 정보를 육상관제센터(200)의 육상관제 장치(210)로 전송한다.
여기서, 이상상황 정보는 어라운드뷰 카메라 및 선박내부 카메라를 통해 획득되는 자율운항선박(100)의 주변 영상 및 자율운항선박(100)의 내부 영상, 충돌 가능한 장애물 정보, 항해 불안정 정보 등을 포함할 수 있다.
S350 단계에서, 육상관제 장치(210)로 이상상황 정보가 수신됨에 따라 자율운항선박(100)에 대한 수동제어가 수행된다.
즉, 육상관제 장치(210)는 모니터링 장치(120)로부터 수신되는 이상상황 정보를 출력하고, 수동제어 명령 및 제어 정보를 입력받아 수동제어 장치(150)로 전송한다.
여기서, 수동제어 장치(150)는 육상관제센터(200)의 육상관제 장치(210)로부터 수신되는 수동제어 명령 및 제어 정보에 따라 자율운항 장치(140)를 정지시켜 자율운항선박(100)의 자율항해를 중지시키고, 자율운항선박(100)을 제어한다.
예를 들어, 육상관제센터(200)의 관제사는 증강현실 디스플레이(211)를 머리에 착용하여 증강현실로 출력되는 자율운항선박(100)의 이상상황 정보를 확인하면서, 선박 조종기(212)를 조작하여 자율운항선박(100)을 조종할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 자율운항선박
110: 센서 장치
120: 모니터링 장치
130: 선박통신장치
140: 자율운항 장치
150: 수동제어 장치
200: 육상관제센터
210: 육상관제 장치

Claims (4)

  1. 증강현실(AR: Augmented Reality)을 이용한 자율운항선박의 제어 시스템에 있어서,
    상기 자율운항선박의 항해에 따른 주변환경의 상태를 측정하고, 상기 자율운항선박의 설비에 설치되어 설비의 상태를 측정하는 센서 장치;
    상기 센서 장치로부터 센서 데이터를 수신하여 상기 자율운항선박의 항해 및 설비의 상태에 대하여 모니터링하고, 상기 항해 또는 상기 설비에 대한 이상상황 발생 여부를 판단하는 모니터링 장치;
    상기 자율운항선박이 미리 설정된 항해경로에 따라 항해하도록 제어하는 자율운항 장치;
    수동제어 명령 및 제어 정보가 수신되면, 상기 수동제어 명령에 따라 상기 자율운항 장치를 정지시켜 상기 자율운항선박의 자율항해를 중지시키고, 상기 제어 정보에 따라 상기 자율운항선박을 제어하는 수동제어 장치; 및
    상기 자율운항선박을 관제하는 육상관제센터에 설치되며, 상기 항해 또는 상기 설비에 대한 이상상황이 발생한 경우, 상기 모니터링 장치로부터 이상상황 정보를 수신하여 증강현실 영상으로 출력하고, 상기 수동제어 명령 및 상기 제어 정보를 입력받아 상기 수동제어 장치로 전송하는 육상관제 장치를 포함하되,
    상기 모니터링 장치는,
    충돌 가능한 장애물 존재 여부 및 항해 불안정 여부를 산출하여 상기 자율운항선박의 항해에 대한 이상상황 발생 여부를 판단하거나, 상기 수신되는 센서 데이터 중 상기 설비의 정상상태의 센서 데이터를 반복적으로 학습하고, 상기 학습에 기초하여 상기 정상상태의 예측 데이터를 산출하고, 상기 산출된 정상상태의 예측 데이터를 실시간 측정된 센서 데이터와 비교하여 상기 설비의 상태를 모니터링하고, 상기 정상상태의 예측 데이터와 상기 측정된 센서 데이터의 차이의 크기에 따라 이상현상을 감지하여 상기 설비에 대한 이상상황 발생 여부를 판단하고,
    자동선박식별장치 및 레이더를 이용하여 항해 중인 상기 자율운항선박 주변의 해상에서 물체를 탐지하고, 상기 탐지된 물체의 위치 정보, 이동 속도, 이동 방향 및 형태 정보를 획득하고, 상기 획득된 위치 정보, 이동속도, 이동방향 및 형태 정보를 이용하여, 상기 탐지된 물체가 상기 자율운항선박의 항해경로 상에 위치하는지 여부를 판단하고, 상기 탐지된 물체의 크기를 예측하여 상기 탐지된 물체가 충돌 가능한 장애물인지 여부를 판별하고,
    어라운드 뷰 카메라에 의하여 획득된 영상에서 임의의 물체가 미리 설정된 장애물 감지 영역에 나타나는 경우, 장애물이 존재하는 것으로 판단하고, 현재 위치에서 장애물까지의 거리를 추정하고, 상기 추정된 거리, 상기 자율운항선박의 현재 이동속도 및 이동방향으로부터 현재 위치에서 장애물에 충돌하기까지 걸리는 시간을 추정하고,
    파고 센서, 바람 센서 및 위치 센서를 통해 실시간 수집되는 현재 위치에서의 파고 및 풍속이 미리 설정된 기준치를 초과하는 경우, 상기 자율운항선박이 기상악화에 의한 항해 위험 지역을 항해하고 있어 상기 자율운항선박의 항해가 불안정한 것으로 판별하고, 실시간 수집되는 상기 자율운항선박의 위치 정보와 기 설정된 항해경로를 비교하고, 비교 결과, 상기 자율운항선박이 미리 설정된 시간 이상 미리 설정된 임계치를 초과하는 거리만큼 기 설정된 항해경로를 벗어나는 경우, 항해가 불안정한 것으로 판별하고,
    상기 이상상황 정보는 어라운드뷰 카메라 및 선박내부 카메라를 통해 획득되는 상기 자율운항선박의 주변 영상 및 내부 영상, 충돌 가능한 장애물 정보 및 항해 불안정 정보를 포함하고,
    상기 육상관제 장치는,
    상기 주변 영상 또는 상기 내부 영상에 상기 충돌 가능한 장애물 정보 또는 상기 항해 불안정 정보를 오버랩시켜 출력하며, 머리에 착용하는 안경 형태를 가지는 증강현실 디스플레이; 및
    상기 증강현실 디스플레이를 머리에 착용하여 출력되는 정보를 확인하는 상기 육상관제센터의 관제사로부터 상기 수동제어 명령 및 상기 제어 정보를 입력받아 상기 수동제어 장치로 전송하는 선박 조종기를 포함하는 것을 특징으로 하는 증강현실을 이용한 자율운항선박의 제어 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
KR1020210038081A 2021-03-24 2021-03-24 증강현실을 이용한 자율운항선박의 제어 시스템 KR102617983B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210038081A KR102617983B1 (ko) 2021-03-24 2021-03-24 증강현실을 이용한 자율운항선박의 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210038081A KR102617983B1 (ko) 2021-03-24 2021-03-24 증강현실을 이용한 자율운항선박의 제어 시스템

Publications (2)

Publication Number Publication Date
KR20220132912A KR20220132912A (ko) 2022-10-04
KR102617983B1 true KR102617983B1 (ko) 2023-12-29

Family

ID=83600366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210038081A KR102617983B1 (ko) 2021-03-24 2021-03-24 증강현실을 이용한 자율운항선박의 제어 시스템

Country Status (1)

Country Link
KR (1) KR102617983B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102498442B1 (ko) * 2022-10-20 2023-02-10 조미규 리얼타임 기반의 선박 유지관리 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108975B1 (ko) * 2019-10-21 2020-05-13 (주) 리얼웹 함정설비의 상태기반 정비 지원 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734814B1 (ko) 2006-08-03 2007-07-03 디에스엠이 유텍 주식회사 자율운항무인선박
KR20170088124A (ko) * 2016-01-22 2017-08-01 대우조선해양 주식회사 무인 선박의 통신 시스템 및 이를 이용한 통신 방법
KR102004455B1 (ko) * 2017-04-25 2019-07-26 동의대학교 산학협력단 증강현실을 이용한 항로표지 관제 시스템 및 방법
KR20200134677A (ko) * 2019-05-23 2020-12-02 주식회사 에코마린 실시간 선박 영상 모니터링을 이용한 선박 원격관제시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108975B1 (ko) * 2019-10-21 2020-05-13 (주) 리얼웹 함정설비의 상태기반 정비 지원 장치 및 방법

Also Published As

Publication number Publication date
KR20220132912A (ko) 2022-10-04

Similar Documents

Publication Publication Date Title
Thieme et al. Assessing ship risk model applicability to Marine Autonomous Surface Ships
EP3729407B1 (en) A collision avoidance method and system for marine vessels
KR20170088123A (ko) 무인 선박의 항해 시스템 및 이를 이용한 항해 제어 방법
KR101693981B1 (ko) 선박의 충돌 회피 방법 및 장치
KR102145385B1 (ko) 선박 모니터링 시스템 및 방법
KR101918980B1 (ko) 실시간 복원성 지수를 이용한 대피 레벨 결정 기반 선박 사고시 안전한 대피를 지원하기 위한 선박 항로 및 선박 조종 지원 시스템 및 그 방법
US20160252907A1 (en) Apparatus and method
KR101155603B1 (ko) 선박용 자동조타 항해 시뮬레이터
KR101549513B1 (ko) 증강현실을 이용한 선박 충돌 방지 겸용 선박 사고 기록 시스템 및 방법
KR101693982B1 (ko) 선박의 충돌 회피 방법 및 장치
KR20170058719A (ko) 무인 선박의 경로 추종 및 장애물과의 충돌 회피 제어방법
KR102524953B1 (ko) 선내시스템 원격모니터링 서비스 장치 및 방법
KR102617983B1 (ko) 증강현실을 이용한 자율운항선박의 제어 시스템
Hegde et al. Development of collision risk indicators for autonomous subsea inspection maintenance and repair
CN117232520A (zh) 一种适用于海上航行的船舶智能导航系统及导航方法
CN114562999A (zh) 一种船舶的航行路线规划与定位系统
KR102617986B1 (ko) 수리 매뉴얼 제공을 통한 선박 유지관리 시스템
Smirnov et al. Navigation support for an autonomous ferry using deep reinforcement learning in simulated maritime environments
KR102617985B1 (ko) 카메라 영상을 활용한 선박 유지관리 시스템
KR20220132909A (ko) 기상상황이 반영된 자율운항선박의 접이안 시스템
KR102617982B1 (ko) 기상 및 연료를 고려한 실시간 항로 변경 시스템
KR102523955B1 (ko) 자율운항선박의 자동사고대응 시스템
KR20210123131A (ko) 선박의 충돌 회피방법
CN111976920A (zh) 一种人员搜救方法、搜救船艇和人员搜救系统
KR102617989B1 (ko) 자율운항선박의 밸러스트 탱크 수 자동 제어 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right