KR20220145741A - 혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법 - Google Patents

혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법 Download PDF

Info

Publication number
KR20220145741A
KR20220145741A KR1020210141244A KR20210141244A KR20220145741A KR 20220145741 A KR20220145741 A KR 20220145741A KR 1020210141244 A KR1020210141244 A KR 1020210141244A KR 20210141244 A KR20210141244 A KR 20210141244A KR 20220145741 A KR20220145741 A KR 20220145741A
Authority
KR
South Korea
Prior art keywords
information
ship
virtual object
mixed reality
autonomous
Prior art date
Application number
KR1020210141244A
Other languages
English (en)
Inventor
정치윤
김무섭
문경덕
박윤경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN202111410213.8A priority Critical patent/CN115237730A/zh
Publication of KR20220145741A publication Critical patent/KR20220145741A/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0206Control of position or course in two dimensions specially adapted to water vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

혼합현실 기반의 자율운항선박 성능 검증 시스템이 제공된다. 상기 시스템은 자율운항선박의 성능 검증을 위한 혼합현실 기반의 테스트 시나리오를 생성하는 테스트 시나리오 생성부, 상기 테스트 시나리오에 상응하는 가상 객체 정보와 실제 객체 정보를 반영하여 혼합현실 데이터를 생성하는 혼합현실 데이터 생성부, 상기 가상 객체 정보에 상응하도록 생성된 센서 정보를 포함하는 가상 객체 정보를 전달하는 센서 정보 전달부, 상기 가상 객체 정보에 상응하여 결정된 상기 자율운항선박의 상황인지 정보, 운항경로 정보 및 선박제어 정보와, 상기 실제 객체 정보 및 증강된 가상 객체 정보를 수집하는 판단 정보 수집부 및 상기 판단 정보 수집부에 의해 수집된 각 정보를 기반으로 자율운항선박의 성능 정보를 분석하는 자율운항선박 운항 성능 분석부를 포함한다.

Description

혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법{SYSTEM AND METHOD FOR EVALUATING THE PERFORMANCE OF AUTONOMOUS SHIPS USING MIXED REALITY}
본 발명은 혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법에 관한 것이다.
선박의 성능을 검증하는 방법은 실제 선체에 대응하도록 제작된 모형 선체를 사용하는 방법들이 주로 사용되고 있다. 일 예로, 기존 발명(공개특허공보 제10-2020-0072052호)에서는 모형선을 사용하여 실제 선체의 로딩조건을 시험할 수 있는 방법을 제안하였다. 또한, 쇄빙모형선이 빙하수조 내에서 이동하는 정보를 분석하여 쇄빙 모형선의 움직임과 빙하중과의 연관관계를 산출하기 위한 방법도 제안되었다(공개특허공보 제10-2015-0134648호). 또한, 모형선을 사용하는 방법 외에도 실제 해역에서 운항루트를 선정하고 해당 루트를 운항하면서 발생하는 정보를 체계적으로 분석하는 방법도 제안되었다(공개특허공보 제10-2020-0063524호).
현재 제안되고 있는 선박의 성능을 테스트하는 방법은 선체 자체의 성능이나 운항 성능을 평가하는데 초점을 맞추고 있다. 하지만, 자율운항선박의 경우에는 선박 자체의 성능이나 운항 성능 외에도 자율운항기능에 대한 성능 테스트가 필요하다.
일반적으로, 선박의 경우 속도가 느리기 때문에 자율운항선박의 기능을 테스트하기 위해서는 보다 많은 시간이 필요하다. 또한, 자율운항을 위한 상황인지, 경로계획, 충돌회피 등 필수적인 기능을 테스트하기 위해서는 타선과 조우하는 다양한 상황을 발생시켜야 하며, 이를 위해서는 많은 시간 및 비용이 필요하다. 만약, 자율운항선박의 자율운항기능을 테스트함에 있어서 특정 기능이 제대로 동작하지 않는 경우 타선과의 충돌이 발생할 수 있으며, 이는 환경 오염으로 이어질 수 있다. 따라서, 자율운항선박의 자율운항기능 테스트를 위한 보다 안전하고 경제적인 방법의 개발이 필요하다.
본 발명이 해결하고자 하는 과제는 자율운항선박이 스스로 결정하여 운항하는데 필요한 상황인지, 경로계획, 충돌회피 등의 필수적인 기능을 혼합현실을 활용하여 검증할 수 있는, 혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 통신모듈, 메모리 및 프로세서를 구비하되, 상기 프로세서에 의해 수행되는 혼합현실 기반의 자율운항선박 성능 검증 시스템은 자율운항선박의 성능 검증을 위한 혼합현실 기반의 테스트 시나리오를 생성하는 테스트 시나리오 생성부, 상기 테스트 시나리오에 상응하는 가상 객체 정보와 실제 객체 정보를 반영하여 혼합현실 데이터를 생성하는 혼합현실 데이터 생성부, 상기 가상 객체 정보에 상응하도록 생성된 센서 정보를 포함하는 가상 객체 정보를 전달하는 센서 정보 전달부, 상기 가상 객체 정보에 상응하여 결정된 상기 자율운항선박의 상황인지 정보, 운항경로 정보 및 선박제어 정보와, 상기 실제 객체 정보 및 증강된 가상 객체 정보를 수집하는 판단 정보 수집부 및 상기 판단 정보 수집부에 의해 수집된 각 정보를 기반으로 자율운항선박의 성능 정보를 분석하는 자율운항선박 운항 성능 분석부를 포함한다.
또한, 본 발명의 제2 측면에 따른 혼합현실 기반의 자율운항선박 성능 검증 방법은 자율운항선박의 성능 검증을 위한 혼합현실 기반의 테스트 시나리오를 생성하는 단계; 상기 테스트 시나리오에 상응하는 가상의 객체 정보와 실제 객체 정보를 반영하여 혼합 현실 데이터를 생성하는 단계; 상기 가상 객체 정보에 상응하도록 생성된 센서 정보를 포함하는 가상 객체 정보를 자율운항선박으로 전달하는 단계; 상기 가상 객체 정보에 상응하여 결정된 상기 자율운항선박의 상황인지 정보, 운항경로 정보 및 선박제어 정보와, 타선 운항 정보 및 증강된 가상의 객체 정보를 수집하는 단계; 및 상기 수집된 각 정보에 기초하여 자율운항선박의 성능 정보를 분석하는 단계를 포함한다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 혼합현실 기반의 자율운항선박 성능 검증 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
자율운항선박의 경우 운항사가 존재하지 않기 때문에 선박의 제어 기능 이외에 주변의 상황을 인지하는 상황인지시스템, 경로를 결정하는 자동운항시스템에 대한 기능 검증이 필요하며, 이를 위해서는 다양한 환경에서 타 선박이나 장애물 등이 다양한 경로로 이동하는 시나리오에 대한 검증이 필요하다. 하지만, 실제 다수 선박을 운항하여 성능을 검증하기 위해서는 많은 시간과 비용이 필요하며, 자동운항시스템의 오류로 인하여 타 선박과의 충돌 발생 위험이 있다.
이러한 문제를 해소하기 위한 전술한 본 발명의 일 실시예에 의하면, 자율운항선박이 스스로 항로를 결정하여 운항하는데 필요한 상황인지, 경로계획, 충돌회피 등의 필수적인 기능을 혼합현실을 통하여 가상의 타 선박과 실제 선박들이 존재하는 상황에서 검증함으로써, 보다 안정하고 경제적인 성능 검증이 가능하다는 장점이 있다.
또한, 본 발명의 일 실시예는 기존 선박 운항 정보를 선박의 특성을 기반으로 하여 유사한 운항 정보를 검색하고, 운항 경로의 특성(선박밀집도, 운항특성, 환경 정보, 국제해상충돌예방규칙 등)을 반영하여 자동으로 자율운항선박의 기능을 시험할 대표 시나리오를 자동 생성 가능하다는 장점이 있다.
이와 더불어, 본 발명의 일 실시예는 자율운항선박이 활용 가능한 다양한 센서들에 대해서 가상의 객체 정보를 추가하여 제공함으로써, 실제 운항하는 자율운항선박에서 상황인지시스템의 정확도를 분석할 수 있는 장점이 있다.
또한, 본 발명의 일 실시예는 자율운항선박과 실제 선박의 운항경로를 비교 분석하여 도출된 국제해상충돌예방규칙 준수 여부, 충돌위험성 평가지표, 선박조종도 평가지표, 운항항로 지표, 상황인지시스템의 정확도 등에 대한 분석 지표를 기반으로 심층신경망을 통하여 분석함으로써, 자율운항 알고리즘의 성능을 소정의 등급 또는 점수로 제공할 수 있는 장점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에서의 혼합현실을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 시스템을 개략적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 시스템을 설명하기 위한 블록도이다.
도 4는은 본 발명의 일 실시예서의 테스트 시나리오 생성부를 설명하기 위한 도면이다.
도 5는 도 3에 도시된 혼합현실 기반 자율운항선박 성능 검증 시스템을 보다 구체적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예서의 혼합현실 데이터 생성부를 설명하기 위한 도면이다.
도 7a 및 도 7b는 혼합현실 기반 자율운항선박 성능 검증 시스템의 구현예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 발명은 혼합현실 기반의 자율운항선박 성능 검증 시스템(100) 및 방법에 관한 것이다.
자율운항선박은 사람의 개입없이 스스로 경로를 결정하고 운항할 수 있는 선박을 의미한다. 자율운항선박은 다양한 센서를 사용하여 주변의 상황을 인지하는 상황인지시스템(10, Situation awareness system), 주변 상황 정보 및 해양 상황 등을 고려하여 경로를 결정하는 자동운항시스템(20, Autonomous navigation system), 결정된 경로대로 운항하도록 자율운항선박의 위치를 제어하는 동적위치유지시스템(30, Dynamic positioning system), 자율운항선박의 추진 동력을 제어하는 추진제어시스템(40, propulsion control system) 등으로 구성된다. 한편, 본 발명의 설명에서는 특별한 사정이 없는 한 자율운항선박을 지칭하는 경우 상황인지시스템(10), 자동운항시스템(20), 동적위치유지시스템(30) 및 추진제어시스템(40)을 포괄하는 개념인 것으로 설명하도록 한다.
기존의 선박 테스트는 운항사가 주변 상황을 인지하고 경로를 결정하기 때문에 동적위치유지시스템(30), 추진제어시스템(40) 등의 선박의 제어 기능을 자선을 운항하면서 시험하는 형태로 이루어졌다. 이와 같은 제어 기능의 테스트는 다수의 타선, 또는 다양한 형태의 운항 경로가 필요하지 않으며, 선박 테스트시 타선과의 충돌 위험도 존재하지 않는다.
하지만, 자율운항선박의 경우에는, 운항사가 존재하지 않기 때문에 선박의 제어 기능 외에도 상황인지시스템과 자동운항시스템(20)에 대한 기능 테스트가 필요하다. 상황인지시스템과 자동운항시스템(20)에 대한 테스트를 위해서는 다양한 환경에서 타 선박이나 장애물 등이 다양한 경로로 이동하는 시나리오가 필요하다. 하지만, 자율운항선박의 테스트를 위해 다수의 타 선박을 운항하기에는 시간과 비용이 많이 소요되며, 자동운항시스템(20)의 오류로 인하여 타 선박과의 충돌이 발생할 수 있는 위험이 있다.
최근 증강현실(AR, Augmented Reality)과 가상현실(VR, Virtual Reality)을 통합하여 사용자와의 인터랙션 기능을 더욱 강화한 혼합현실(MR, Mixed Reality)에 대한 관심이 증가하고 있다. 혼합현실은 사용자에게 현실의 상황을 그대로 느끼도록 하면서 동시에 현실에 없는 내용을 보고 듣는 것을 가능하게 한다.
본 발명의 일 실시예는 자율운항선박이 스스로 항로를 결정하여 운항하는데 필요한 상황인지, 경로계획 및 충돌회피 등의 필수적인 기능을 시험할 테스트 시나리오를 자동으로 생성하고, 혼합현실을 기반으로 가상의 타 선박과 실제 타 선박들이 존재하는 상황을 통해 자율운항선박의 성능 정보를 검증할 수 있다. 이를 통해, 본 발명의 일 실시예는 자율운항 기능을 보다 편리하게 테스트할 수 있다는 장점이 있다.
이하에서는 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 시스템(100)에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에서의 혼합현실을 개략적으로 설명하기 위한 도면이다.
자율운항선박(A)이 특정 시나리오에 따라서 실제 해역을 운항하여 자율운항선박(A)의 성능을 검증할 때, 운항 해역에는 실제 타 선박(C)이 존재할 수 있다.
이러한 실제 타 선박(C) 외에도 본 발명의 일 실시예는 테스트 시나리오를 자동으로 생성하고, 생성된 테스트 시나리오에 상응하는 다수의 가상 선박(B1, B2, B3)을 생성하고, 생성된 가상 선박(B1, B2, B3)을 자율운항선박(A)의 상황인지시스템(10)으로 전달하여, 자율운항선박(A)이 실제 공간 상에 가상 선박(B1, B2, B3)이 존재하는 것처럼 판단하도록 한다.
이때, 본 발명의 일 실시예는 테스트 시나리오에 따라 다수의 가상 객체 정보를 생성할 수 있으며, 이때 가상 객체 정보에는 가상 선박뿐만 아니라 다양한 장애물 정보를 포함할 수 있다. 즉, 가상 객체는 가상 선박 및 가상 장애물 등 가상으로 생성된 모든 객체를 포괄하는 개념이다.
이러한 혼합현실을 이용하는 본 발명의 일 실시예는 다양한 테스트 시나리오에서 타 선박과의 충돌위험없이 자율운항선박의 기능을 테스트할 수 있다는 장점이 있다.
도 2는 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 시스템(100)을 개략적으로 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 시스템(100)은 자율운항선박의 성능 검증을 위한 테스트 시나리오를 자동으로 생성한다. 그리고 생성된 테스트 시나리오에 대응하는 가상 객체 정보와 환경정보를 자율운항선박으로 제공한다.
이후, 혼합현실 기반의 자율운항선박 성능 검증 시스템(100)은 자율운항선박의 운항 정보를 수집하여, 운항 정보를 토대로 자율운항선박의 성능 정보를 분석한다. 이때, 자율운항선박의 성능 정보는 다수의 테스트 시나리오에 대한 전문가들의 운항 경로와 자율운항선박에 의해 결정된 운항 경로를 인공지능 알고리즘의 학습 데이터 및 검증 데이터로 사용하여 자율운항선박의 성능을 도출할 수 있다.
한편, 자율운항선박의 성능은 국제해상충돌예방규칙(COLREG, the International Regulations for Preventing Collisions at Sea) 준수 여부, 충돌위험성 평가지표, 선박조종도 평가지표, 운항경로 지표, 상황인지시스템의 객체인식 정확도 등의 기준으로 평가될 수 있다. 이러한, 자율운항선박의 성능은 소정의 점수(예를 들어 0점~100점) 또는 복수의 등급(초급/중급/고급)으로 분류되어 제공될 수 있다.
도 3은 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 시스템(100)을 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 시스템(100)은 테스트 시나리오 생성부(110), 혼합현실 데이터 생성부(120), 센서 정보 전달부(130), 판단 정보 수집부(140) 및 운항 성능 분석부(150)를 포함한다.
테스트 시나리오 생성부(110)는 자율운항선박의 성능 검증을 위한 혼합현실 기반의 테스트 시나리오를 자동으로 생성한다. 이때, 테스트 시나리오는 실제 공간 정보와 가상의 공간 정보를 통합한 혼합현실 기반으로 제공되는 것을 특징으로 한다. 테스트 시나리오 생성부(110)에 의해 생성된 테스트 시나리오는 혼합현실 데이터 생성부(120)로 전달된다.
혼합현실 데이터 생성부(120)는 테스트 시나리오에 상응하는 가상 객체 정보와 실제 객체 정보를 반영하여 혼합현실 데이터를 생성한다. 이때, 가상 객체 정보는 선박, 부표, 장애물 등을 포함한다. 또한, 혼합현실 데이터 생성부(120)는 후술하는 환경정보(가상의 기상 상황 등)를 생성할 수 있다.
일반적으로 자율운항선박의 상황인지시스템(10)에는 AIS(Automatic Identification System), 레이더, 마이크, 카메라(컬러 영상, 거리 영상, 적외선 영상 등) 등과 같은 다양한 센서들을 사용하기 때문에, 혼합현실 데이터 생성부(120)에서는 테스트 시나리오에 대응하는 가상 객체를 3차원 공간 상에 렌더링한 후, 각 상황인지시스템(10)에서 사용하는 센서의 위치 정보를 활용하여 해당 센서에 맞는 가상 객체 정보를 생성하게 된다.
상황인지시스템(10)의 카메라, 레이더 등과 같이 실제 물리적 공간에 존재하는 정보들을 수집하는 센서들의 경우, 가상 객체가 실제 물리적 공간에 존재하는 것과 동일한 효과를 주기 위하여, 3차원 공간 정보를 정확하게 계산하여 가상 객체를 생성하고, 생성된 가상 객체를 실제와 동일하게 모델링하는 것이 필요하다.
이때, 가상 객체 정보에 상응하도록 생성된 AIS 정보나 음향 이벤트를 위한 소리 정보의 경우에는 자율운항선박의 센서로 직접 전달하지 않고, AIS 전송기나 스피커 등 실제 기기를 통하여 상황인지시스템(10)에 전달할 수 있다.
센서 정보 전달부(130)는 가상 객체 정보에 상응하도록 생성된 센서 정보를 포함하는 가상 객체 정보를 상황인지시스템(10)으로 전달한다.
판단 정보 수집부(140)는 가상 객체 정보에 상응하여 결정된, 자율운항선박의 상황인지시스템(10)의 상황인지 정보, 자동운항시스템(20)에서 결정된 운항경로 정보 및 동적위치유지시스템(30) 및 추진제어시스템(40)에서의 선박제어 정보를 포함하는 자율운항선박의 각 결과 정보를 수집하고, 실제 객체 정보 및 증강된 가상 객체 정보를 수집하여 자율운항선박 운항 성능 분석부(150)로 전달한다.
이러한 센서 정보 전달부(130) 및 판단 정보 수집부(140)는 자율운항선박의 물리적인 시스템(상황인지시스템(10), 자동운항시스템(20), 동적위치유지시스템(30), 추진제어시스템(40) 등)들과 연동하여, 자율운항선박이 필요로 하는 센서 데이터를 전달하거나, 자율운항선박의 각 시스템의 결과값을 수집하는 기능을 수행한다.
자율운항선박의 상황인지시스템(10)은 센서 정보를 포함하는 가상 객체 정보를 분석하고, 인식된 상황정보를 사용하여 자율운항선박의 운항경로를 설정 및 항해함으로써 자율운항선박의 테스트 시나리오에 따른 성능을 평가할 수 있도록 한다.
자율운항선박 운항 성능 분석부(150)는 판단 정보 수집부(140)에 의해 수집된 각 정보를 기반으로 자율운항선박의 성능 정보를 분석한다. 즉, 자율운항선박 운항 성능 분석부(150)는 자율운항선박이 혼합현실 데이터를 사용하여 분석 및 운항하면서 발생하는 상황인지 정보, 운항경로 정보 및 선박제어 정보를 전달받고, 실제 객체 정보와 증강된 가상 객체 정보를 전달받아, 운항 정보를 생성하고, 테스트 시나리오와 실제 운항 정보를 분석하여 자율운항선박의 성능을 테스트한다.
전술한 바와 같이, 자율운항선박 운항 성능 분석부(150)는 상황인지시스템(10)의 객체인식 정확도, 운항 경로의 경제성 및 위험성, 운항 경로의 국제해상충돌예방규칙 준수 여부 등 세부적인 지표로 표현되는 성능 분석 결과를 생성하고, 이를 통합하여 소정의 점수 또는 자율운항 등급으로 제공할 수 있다.
도 4는은 본 발명의 일 실시예서의 테스트 시나리오 생성부(110)를 설명하기 위한 도면이다.
본 발명의 일 실시예에서의 테스트 시나리오 생성부(110)는 테스트 시나리오 자동 생성부(111)와 테스트 시나리오 관리부(112)를 포함할 수 있다.
테스트 시나리오 자동 생성부(111)는 자율운항선박의 성능을 검증할 테스트 시나리오를 자동으로 생성한다.
자율운항선박의 여러가지 상황에서의 성능을 검증하기 위해서는 다양한 테스트 시나리오가 필요하지만, 사람이 수동으로 테스트 시나리오를 생성하는 데는 한계가 있다.
이를 위해, 테스트 시나리오 자동 생성부(111)는 기존의 해상교통관제(VTS, Vessel Traffic Service)에서 수집된 다양한 선박들의 운항 정보 및 선박 운항 정보가 기록된 기존의 다양한 데이터베이스를 기반으로 타 선박 운항 정보를 수집한다.
그 다음, 테스트 시나리오 자동 생성부(111)는 수집된 운항 정보 중 자 선박의 특성 정보와 매칭되는 운항 정보를 검색한다. 이때, 선박의 운항 특성은 선박의 크기와 종류에 밀접한 영향을 받기 때문에, 테스트 시나리오 자동 생성부(111)는 자율운항선박의 특성 정보(선종, 크기, 제원 등)를 갖는 운항 정보를 검색한다.
검색된 운항 정보는 다양한 시나리오를 포함하고 있기 때문에, 대표적인 성능 검증을 위한 테스트 시나리오 도출이 필요하다.
따라서, 테스트 시나리오 자동 생성부(111)는 검색된 운항 정보를 소정의 운항 특성에 따라 클러스터링하고, 다수의 그룹별 운항 정보로 분할 생성하고, 그룹별 운항 정보를 기반으로 하는 다양한 경우를 고려할 수 있는 이질적인 테스트 시나리오를 자동으로 생성한다.
여기에서 소정의 운항 특성은 일 예로, 경로 주변에 존재하는 선박의 밀집도, 운항 정보에서의 국제해상충돌예방규칙 준수 여부, 항행구역의 종류, 환경정보(바람, 조류, 시계 등), 운항 정보 특성(운항 거리 및 평균 속력 등)을 포함하며, 테스트 시나리오 자동 생성부(111)는 소정의 운항 특성을 정의하여 클러스터링을 수행한다.
이때, 클러스터링 방법으로는 k-means clustering, spectral clustering 등 패턴인식 분야에서 사용하는 다양한 방법들이 적용될 수 있다. 클러스터링 알고리즘을 사용하면 자동으로 k개의 대표적인 테스트 시나리오가 생성된다.
이와 같이, 성능 검증을 위한 자율운항선박의 특성을 반영한 테스트 시나리오가 자동으로 생성되면, 테스트 시나리오 관리부(112)는 생성된 복수의 테스트 시나리오를 소정의 알고리즘 또는 관리자를 통해 검증하고, 검증된 테스트 시나리오를 저장한다. 검증시 필요에 따라 테스트 시나리오의 일부 수정 등이 가능함은 물론이다.
도 5는 도 3에 도시된 혼합현실 기반 자율운항선박 성능 검증 시스템(100)을 보다 구체적으로 도시한 도면이다.
테스트 시나리오 생성부(110)에서 성능 검증 대상인 자율운항선박의 특성이 반영된 테스트 시나리오가 생성되면, 테스트 시나리오는 혼합현실 데이터 생성부(120)로 제공된다.
혼합현실 데이터 생성부(120)는 테스트 시나리오를 전달받아 테스트 시나리오에 맞게 가상 객체 정보를 생성하고, 현실 공간에 가상 객체 정보를 추가한 센서 정보를 생성하여 센서 정보 전달부(130)로 전달한다.
도 6은 본 발명의 일 실시예서의 혼합현실 데이터 생성부(120)를 설명하기 위한 도면이다.
혼합현실 데이터 생성부(120)는 실제 객체 정보 관리부(121), 가상 객체 정보 관리부(122) 및 센서 정보 생성부(123)를 포함한다.
실제 객체 정보 관리부(121)는 자율운항선박의 현재 운항 해역 영역(현실 공간)에 존재하는 실제 객체 정보(장애물, 타 선박 등)를 수집한다.
실제 객체 정보 관리부(121)는 주변 상황정보 수집부(121a) 및 선박 운항경로 예측부(121b)를 포함한다.
주변 상황정보 수집부(121a)는 자율운항선박의 센서(AIS, 레이더, CCTV 등)로부터 주변 상황정보를 수집하고 관리한다. 주변 상황정보 수집부(121a)는 다양한 센서들을 통하여 자율운항선박 주변의 실제 공간 정보들을 수집하는 동시에, 다양한 센서 정보 생성부(123)에서 생성한 센서 정보를 수신하여 실제 공간 정보와 주변 상황정보를 매핑하여 관리하는 기능을 수행한다. 이처럼 실제 공간 정보와 매핑된 가상 객체 정보들은 자율운항선박 운항 성능 분석부(150)와 선박 운항경로 예측부(121b)로 전달된다.
선박 운항경로 예측부(121b)는 주변 상황정보 수집부(121a)에 의해 수집 및 매핑된 주변 상황정보를 기반으로 자율운항선박의 운항 경로를 예측한다. 예측된 운항 경로는 가상 객체 정보 관리부(122)로 전달되어 국제해상충돌예방규칙 검증부(122b)에서 국제해상충돌예방규칙의 준수 여부를 검증하게 된다.
가상 객체 정보 관리부(122)는 실제 객체 정보(주변 상황 정보)와 테스트 시나리오에 정의된 가상 객체를 비교하여 가상 객체 정보를 생성 및 관리한다.
가상 객체 정보 관리부(122)는 먼저 테스트 시나리오와 실제 객체 정보를 비교하여 테스트 시나리오에 필요하지만 현실 공간에 존재하지 않아 생성이 필요한 가상 객체(선박, 부유물, 지형 등)를 선택하는 역할을 수행한다. 이때, 생성된 가상 객체는 실제 시나리오와 매핑되어 관리된다. 여기에서 실제 시나리오는 이전 수행된 테스트 시나리오 등 실제 수행된 시나리오를 의미한다.
가상 객체 정보 관리부(122)는 가상 객체 경로 생성부(122a)와 국제해상충돌예방규칙 검증부(122b)를 포함할 수 있다.
가상 객체 경로 생성부(122a)는 이전 시간에 적용된 테스트 시나리오(실제 시나리오)에서의 실제 객체 정보와, 가상 객체 정보 및 자율운항선박의 현재 위치 정보를 고려하여 가상 객체의 현재 위치 및 이동 경로를 결정하는 기능을 수행한다.
가상 객체의 이동 경로가 결정되면, 국제해상충돌예방규칙 검증부(122b)는 생성된 이동 경로에 대한 국제해상충돌예방규칙의 준수 여부를 판단하며, 만약 국제해상충돌예방규칙을 준수하지 않는 것으로 판단시, 가상 객체 경로 생성부(122a)를 통해 이동 경로를 다시 생성한다.
센서 정보 생성부(123)는 자율운항선박에 적용된 센서 정보에 상응하도록 가상 객체 정보에 대한 센서 정보(설치 위치, 센서 특성 등)를 생성한다. 즉, 센서 정보 생성부(123)는 가상 객체 정보 및 자율운항선박의 센서 정보를 사용하여 검증 대상 자율운항선박에 장착된 센서에 부합하도록 가상 객체 정보를 변환한다.
일 예로, 센서 정보 생성부(123)는 가상 객체 정보를 실제 공간에 매핑한 후, 가상 객체 정보가 센서를 통해 수집되는 형태로 가상 객체 정보를 생성하며, 이와 같이 생성된 가상 객체 정보를 센서 정보 전달부(130)로 전달한다.
이때, 생성된 가상 객체 정보들은 실제 공간을 통해 전송할 수도 있으며 일 예로 네트워크 통신을 통해 전송할 수 있다. 또 다른 예로, 가상의 타 선박에 대한 AIS 정보는 AIS 정보는 AIS 전송기를 통해 실제 공간에서 전송하면 자율운항선박의 상황인지시스템(10)이 이를 인지할 수 있다. 하지만, 영상 정보의 경우 실제 공간을 통해 전달할 수 없기 때문에, 가상 객체 정보를 실제 영상에 증강시킨 후, 실제 영상으로 변환하여 센서 정보 전달부(130)를 통해 상황인지시스템(10)으로 전달한다.
본 발명의 일 실시예에서, 센서 정보 생성부(123)는 영상 정보 생성부(123a), AIS 정보 변환부(123b), 레이더 정보 생성부(123c), 음향 신호 생성부(123d) 및 환경정보 생성부(1233)를 포함할 수 있다.
일 실시예로, 영상 정보 생성부(123a)는 선박 위치 비교부(1231a), 영상 모델링부(1232a) 및 영상 생성부(1233a)를 포함한다.
선박 위치 변환부(1231a)는 가상 객체의 경로 정보를 사용하여, 현재 시점에서의 가상 객체 정보와 자율운항선박의 위치를 분석한다.
영상 모델링부(1232a)는 센서 설치 정보 및 센서 특성 정보를 기반으로 가상 객체 정보가 반영된 영상을 생성한다. 즉, 영상 모델링부(1232a)는 예를 들어 카메라의 특성(해상도, 시야각, 렌즈 초점거리 등) 정보와 가상 객체의 위치 및 방향 정보를 이용하여, 실제 카메라의 시점에서 보여주는 3차원 가상 객체의 모양을 2차원 영상으로 렌더링하는 기능을 수행한다.
영상 생성부(1233a)는 영상 모델링부(1232a)에 의해 생성된 영상을 실사 영상으로 변환한다. 즉, 위 생성된 영상은 실제 영상과 컴퓨터 그래픽 영상이 혼재되어 있기 때문에 실제 카메라의 입력으로 사용하기 위하여 실사 영상으로 변환하는 과정을 수행한다. 이때, 실사 영상으로의 변환은 GAN(Generative Adversarial Network)을 기반으로 하는 image-to-image translation 방법 등을 사용할 수 있다.
일 실시예로, AIS 정보 생성부(123b)는 선박 정보 분석부(1231b), AIS 정보 생성부(1232b) 및 AIS 정보 전송부(1233b)를 포함한다.
선박 정보 분석부(1231b)는 가상 객체로 생성된 타 선박의 정보를 분석한다. 즉, 선박 정보 분석부(1231b)는 가상 객체인 타 선박의 현재 위치 및 이전 운항 정보를 분석하여 현재 선박의 위도, 경도, ROT, SOG(Speed Over Ground), 진방위 정보(True heading)을 계산하여 AIS 정보 생성부(1232b)로 전달한다.
AIS 정보 생성부(1232b)는 선박 정보 분석부(1231b)를 통해 분석된 정보를 바탕으로 AIS 정보를 생성한다. AIS 정보 생성부(1232b)는 선박 정보 분석부(1231b)를 통해 분석된 정보를 AIS 메시지 포맷 형태의 데이터로 생성한다. 또한, AIS 정보 생성부(1232b)는 현재 선박의 상태를 분석하여 AIS 메시지 전송 주기를 결정하는 기능을 수행한다.
AIS 정보 전송부(1233b)는 AIS 정보 생성부(1232b)에 의해 결정된 전송 주기에 맞게 물리적인 AIS 전송기를 사용하여 메시지를 전달한다.
한편, AIS 정보의 경우 다른 센서 정보와 마찬가지로 네트워크 통신을 통하여 자율운항선박으로 전달할 수 있음은 물론이다.
일 실시예로, 레이더 정보 생성부(123c)는 가상 객체 정보 분석부(1231c), 레이더 객체 영상 합성부(1232c) 및 레이더 정보 분석부(1233c)를 포함한다.
가상 객체 정보 분석부(1231c)는 자율운항선박이 운항하는 주변의 가상 객체 정보를 분석한다. 레이더의 경우 다수의 객체가 존재하더라도 동일 방향에 있는 경우 근접한 객체의 정보만 생성된다. 따라서, 가상 객체 정보 분석부(1231c)에서는 자율운항선박 주변의 가상 객체 정보(위치, 크기, 모양 등)를 분석하여 자율운항선박의 시점에서 겹쳐지는 객체의 존재 여부를 분석하고, 레이더 객체 영상 합성부(1232c)에서 생성할 객체를 결정하는 기능을 수행한다.
레이더 객체 영상 합성부(1232c)는 분석된 가상 객체 정보를 레이더 영상에 합성한다. 레이더 객체 영상 합성부(1232c)는 가상 객체 정보(위치, 크기, 모양 등)와 자율운항선박의 레이더 정보를 사용하여 해당 레이더 영상과 동일한 형태의 영상 정보를 생성하는 기능을 수행한다.
레이더 정보 분석부(1233c)는 합성된 레이더 영상으로부터 객체 정보를 추출한다.
일 실시예로, 음향 신호 생성부(123d)는 선박 항적 분석부(1231d), 음향 신호 생성부(1232d) 및 음향 신호 전달부(1233d)를 포함한다.
선박 항적 분석부(1231d)는 가상 객체로 생성된 타 선박의 운항 경로를 분석한다. 국제해상충돌예방규칙에서는 선박에 설치된 기적의 단음, 장음의 조합을 통하여 의사표시를 하도록 규정하고 있다. 예를 들어, 타선을 추월하고자 하는 선박이 장음 2발, 단음 1발을 발생시키면, '본선은 귀선의 우현 측으로 추월하고자 함'을 의미한다.
따라서, 선박 항적 분석부(1231d)에서는 생성된 가상 선박의 운항 경로를 분석하여 국제해상충돌예방규칙에 정의된 규칙에 해당되는지 여부를 판단하고, 국제해상충돌예방규칙에 정의된 규칙에 따라 기적 소리의 생성이 필요한지 여부를 결정한다.
만약, 기적 소리의 생성이 필요하다고 판단한 경우, 음향신호 생성부(1232d)는 기 수집된 선박의 기적 음향 신호를 기반으로 단성, 단음, 장음 등으로 조합된 국제해상충돌예방규칙에 부합하는 기적 소리를 생성한다.
이후, 음향 신호 전달부(1233d)는 생성된 기적 소리(음향 신호)를 스피커를 통해 자율운항선박으로 전달한다.
한편, 음향 신호의 경우 다른 센서 정보와 마찬가지로 네트워크 통신을 통하여 자율운항선박으로 전달할 수 있음은 물론이다.
일 실시예로, 환경정보 생성부(123e)는 환경정보 분석부(1231e)와 환경정보 전송부(1232e)를 포함한다.
환경정보 분석부(1231e)는 테스트 시나리오에 정의된 환경정보를 기반으로 가상의 환경정보를 생성하며, 환경정보 전송부(1232e)는 생성된 환경정보를 전송한다.
자율운항선박이 항로를 결정할 때 환경정보를 고려하는 경우, 실제 선박에 장착된 센서를 통하여 환경정보를 직접 생성하거나, 미국해양기상청(NOAA, National Oceanic and Atmospheric Administration) 또는 기상청 등 인터넷을 통하여 현재 기상정보 및 기상예보 정보를 수집하여 활용한다.
따라서, 환경정보 분석부(1231e)는 테스트 시나리오에 정의된 환경정보를 분석하여, 현재 자율운항선박에 장착된 환경 센서들의 정보, 현재 기상 정보 및 예보 정보를 가상으로 생성하는 기능을 수행한다. 이렇게 생성된 환경정보는 환경정보 전송부(1232e)를 통해 다른 센서 정보와 같이 네트워크 통신선을 통해 자율운항선박으로 제공된다.
다시 도 5를 참조하면, 센서 정보 전달부(130)는 혼합현실 데이터 생성부(120)로부터 네트워크 통신 등을 통해 전달되는 가상 객체 정보를 수신하여, 가상 객체 정보에 포함된 센서 정보는 자율운항선박의 각 센서로 전달하고, 가상 객체 정보를 상황인지시스템(10)으로 전달한다.
센서 정보 전달부(130)를 통해 가상 객체 정보가 혼재된 센서 정보들을 상황인지시스템(10)은, 수신한 센서 정보가 반영된 가상 객체 정보를 반영하여 자동운항시스템(20)으로 전달하고, 자동운항시스템(20)은 센서 정보를 통해 운항 경로를 결정하고 엔진 제어 및 선박의 자율적 운항을 제어한다.
이때, 결정되는 운항경로 정보 및 선박제어 정보들은 판단 정보 수집부(140)에서 수신하여 자율운항선박 운항 성능 분석부(150)로 전달한다.
자율운항선박 운항 성능 분석부(150)는 운항 정보 수집부(151), 운항 정보 분석부(151) 및 운항 성능 분석부(153)를 포함한다.
운항 정보 수집부(151)는 판단 정보 수집부(140)를 통해 전달되는 상황인지 정보, 운항경로 정보 및 선박제어 정보를 수신한다. 그리고 혼합현실 데이터 생성부(120)를 통해 전달되는 실제 객체 정보(장애물, 타 선박 운항 정보 등) 및 증강된 가상 객체 정보를 수신한다.
운항 정보 분석부(152)는 운항 정보 수집부에 의해 수집된 각 정보들을 시간으로 동기화하고 동기화된 각 정보들을 그룹핑한다. 운항 정보 분석부(152)는 특정 시간에서 자율운항선박이 획득한 타 선박의 정보, 증강된 객체 정보 및 상황인지시스템(10)에서 인지한 상황인지 정보를 센서 종류에 따라 구분하여 상황인지시스템(10)의 센서별 정확도 및 전체 정확도를 분석할 수 있다. 또한, 운항 정보 분석부(152)는 자율운항선박의 위치 정보 및 제어 정보를 결합하여 운항 정보를 생성할 수도 있다.
운항 성능 분석부(153)는 자율운항선박의 실제 운항정보와 테스트 시나리오에 따라 결정된 운항 경로 정보를 여러가지 다양한 요인들을 사용하여 비교 분석하여 자율운항선박의 성능 정보를 평가한다.
운항 성능 분석부(153)는 자율운항선박과 실제 선박의 운항 경로를 비교하여, 국제해상충돌예방규칙 준수 여부, 충돌위험성 평가지표, 선박조종도 평가지표, 운항경로 지표, 상황인지시스템(10)의 객체인식 정확도를 포함하는 분석 지표를 도출한다. 그리고 도출된 분석 지표를 소정의 미리 학습된 인공지능 알고리즘에 입력하고, 입력에 상응하여 소정의 점수 또는 복수의 등급별로 구분된 성능 정보를 분석 결과를 획득한다.
이때, 국제해상충돌예방규칙 준수 여부는 피항시점과 회피동작이 주된 평가항목이다. 피항시점은 회피 동작 시작 지점에서의 두 선박 간의 여유 거리 및 시간을 의미하고, 회피동작은 항법에 적합한 회피 방향 및 타 선박이 인지할 수 있는 충분한 피항각 및 속력 감소 여부를 의미한다.
충돌위험성 평가지표는 IALA(International Association of Marine Aids to Navigation and Lighthouse Authorities, 국제항로표지협회)에서 권고하고 있는 해상교통안전평가의 정량적 평가 모듈을 사용하여 선박의 근접도 및 충돌확률을 사용한다.
이때, 충돌위험성 평가지표에서의 선박의 근접도는 두 선박 사이의 최근접 거리의 안정성을 나타내고, 충돌확률은 두 선박 간의 충돌확률이 10-4 이상으로 충돌 위험이 존재하는지 여부를 나타낸다.
다음으로, 선박조종도 평가지표는 타, 기관, 여유 제어력에 대해서 평가하며, 이때 타는 회피동작동안 평균 타 사용량 및 평균 ROT(Rate of turn, 분산 선회율)을 나타내고, 기관은 회피동작 동안 평균 선속(kts) 및 분당 선속속량을 나타내며, 여유 제어력은 회피동작 동안 타와 기관의 여유 제어력을 의미한다.
다음으로, 운항경로 지표는 항로의 차이 및 경제성을 분석하며, 항로 차이는 시나리오에서 정의된 경로와 실제 운항 경로의 차이, 경제성은 운항 시간과 연료소모, 이동거리 등을 반영한다.
다음으로, 상황인지시스템(10)의 정확도는 자율운항선박이 운항하면서 탐지한 주변 상황정보(실제 객체 정보 및 가상 객체 정보)와 혼합현실 데이터 생성부(120)에서 수집한 타선의 운항 정보 및 테스트 시나리오에 따라서 생성한 가상 객체 정보의 차이를 의미한다.
한편, 자율운항선박의 성능을 분석하기 위한 인공지능 알고리즘의 일 예로는 심층신경망을 이용할 수 있다. 심층신경망은 다양한 경험을 가지는 다수의 조선사가 생성된 운항 기록 및 시뮬레이션을 통하여 생성된 Ground truth 값을 학습 데이터로 사용하여 성능을 평가하는 네트워크를 학습한다. 이때, 학습 데이터의 양이 제한되기 때문에 다양한 데이터 증강 기법(신호 변환, GAN 기반 신호 생성 등)이 적용될 수 있다.
도 7a 및 도 7b는 혼합현실 기반 자율운항선박 성능 검증 시스템(100)의 구현예를 설명하기 위한 도면이다.
도 7a는 혼합현실 기반 자율운항선박 성능 검증 시스템(100) 중 센서 정보 전달부(130)와 판단 정보 수집부(140)가 자율운항선박 에이전트로 분리되어 구현되는 예를 도시한 것이다. 도 7a의 실시예는 성능 시험 대상이 되는 자율운항선박에는 자율운항선박 에이전트만 구비되는 형태로 구현되고, 자율운항선박 성능 검증 시스템(100)의 테스트 시나리오 생성부(110), 혼합현실 데이터 생성부(120) 및 자율운항선박 운항 성능 분석부(150)는 자율운항선박과 별도의 위치에 구성되는 시스템 형태로 실시될 수 있다.
도 7b는 자율운항선박 에이전트가 자율운항선박 성능 검증 시스템(100)과 통합되어 실시되는 형태로서, 자율운항선박 성능 검증 시스템(100) 전체는 성능 시험 대상이 되는 자율운항선박에 구비되는 형태로 구현될 수 있다.
이하에서는 도 8을 참조하여 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 방법에 대해 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 방법의 순서도이다.
한편, 도 8에 도시된 각 단계들은 전술한 혼합현실 기반의 자율운항선박 성능 검증 시스템(100)에 의해 수행되는 것으로 이해될 수 있으나 반드시 이에 한정되는 것은 아니다.
먼저, 자율운항선박의 성능 검증을 위한 혼합현실 기반의 테스트 시나리오를 생성한다(S110). S110 단계에서는 성능 검증 대상이 되는 자율운항선박의 특징과 기존 데이터베이스에 저장된 타 선박들의 운항 로그를 분석하여, 경로 주변에 존재하는 선박밀집도, 운항 로그에서 발생한 해상충돌예방규칙, 항행구역의 종류 및 환경정보, 운항정보 특성을 반영한 K개의 대표적인 테스트 시나리오를 생성한다.
다음으로, 현재 시간(T)에서 자율운항선박의 운항 상태 및 주변 상황을 분석하여, 테스트 시나리오에 상응하는 가상 객체 정보와 실제 객체 정보를 반영한 혼합 현실 데이터를 생성한다(S120).
다음으로, 가상 객체 정보에 상응하도록 생성된 센서 정보를 포함하는 가상 객체 정보를 자율운항선박으로 전달하고(S130), 가상 객체 정보에 상응하여 결정된 자율운항선박의 상황인지 정보, 운항경로 정보 및 선박제어 정보와, 타선 운항 정보 및 증강된 가상 객체 정보를 수집한다(S140). 이때, S120 단계 내지 S140 단계는 운항이 종료될 때까지 반복된다(S150).
이후, 운항이 종료됨에 따라, 수집된 각 정보에 기초하여 자율운항선박의 성능 정보를 분석한다(S160). S160 단계에서는 국제해상충돌예방규칙(COLREG) 준수 여부, 충돌위험성 평가지표, 선박조종도 평가지표, 운항경로 지표, 상황인지시스템(10)의 객체인식 정확도를 포함하는 분석 지표를 기반으로 자율운항선박과 테스트 시나리오의 운항 경로를 비교 분석하여 성능을 평가하게 된다.
한편, 상술한 설명에서, 단계 S110 내지 S160은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 한편, 도 1 내지 도 7b의 혼합현실 기반 자율운항선박 성능 검증 시스템(100)의 내용은 도 8의 혼합현실 기반의 자율운항선박 성능 검증 방법에도 적용될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 혼합현실 기반의 자율운항선박 성능 검증 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 상황인지시스템
100: 자율운항선박 성능 검증 시스템
110: 테스트 시나리오 생성부
120: 혼합현실 데이터 생성부
130: 센서 정보 전달부
140: 판단 정보 수집부
150: 자율운항선박 운항 성능 분석부

Claims (14)

  1. 통신모듈, 메모리 및 프로세서를 구비하되, 상기 프로세서에 의해 수행되는 혼합현실 기반의 자율운항선박 성능 검증 시스템에 있어서,
    자율운항선박의 성능 검증을 위한 혼합현실 기반의 테스트 시나리오를 생성하는 테스트 시나리오 생성부,
    상기 테스트 시나리오에 상응하는 가상 객체 정보와 실제 객체 정보를 반영하여 혼합현실 데이터를 생성하는 혼합현실 데이터 생성부,
    상기 가상 객체 정보에 상응하도록 생성된 센서 정보를 포함하는 가상 객체 정보를 전달하는 센서 정보 전달부,
    상기 가상 객체 정보에 상응하여 결정된 상기 자율운항선박의 상황인지 정보, 운항경로 정보 및 선박제어 정보와, 상기 실제 객체 정보 및 증강된 가상 객체 정보를 수집하는 판단 정보 수집부 및
    상기 판단 정보 수집부에 의해 수집된 각 정보를 기반으로 자율운항선박의 성능 정보를 분석하는 자율운항선박 운항 성능 분석부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  2. 제1항에 있어서,
    상기 테스트 시나리오 생성부는,
    해상교통관제(VTS, Vessel Traffic Service)에서 수집된 선박 운항 정보 및 기 수집되어 저장된 타 선박 운항 정보를 수집하고, 수집된 운항 정보 중 자 선박의 특성 정보와 매칭되는 운항 정보를 검색하고, 검색된 운항 정보를 소정의 운항 특성에 따라 클러스터링하여 다수의 그룹별 운항 정보를 생성하고, 생성된 그룹별 운항 정보를 기반으로 상응하는 복수의 테스트 시나리오를 생성하는 테스트 시나리오 자동 생성부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  3. 제2항에 있어서,
    상기 테스트 시나리오 생성부는,
    상기 생성된 복수의 테스트 시나리오를 소정의 알고리즘 또는 관리자를 통해 검증하고, 검증된 테스트 시나리오를 저장하는 테스트 시나리오 관리부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  4. 제1항에 있어서,
    상기 혼합현실 데이터 생성부는,
    상기 자율운항선박의 현재 운항 해역 영역에 존재하는 실제 객체 정보를 수집하는 실제 객체 정보 관리부,
    상기 실제 객체 정보와 상기 테스트 시나리오를 비교하여 가상 객체 정보를 생성하는 가상 객체 정보 관리부 및
    상기 자율운항선박에 적용된 센서 정보에 상응하도록 상기 가상 객체 정보에 대한 센서 정보를 생성하는 센서 정보 생성부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  5. 제4항에 있어서,
    상기 가상 객체 정보 관리부는,
    이전 시간에서의 적용된 테스트 시나리오에서의 상기 실제 객체 정보와 가상 객체 정보 및 자율운항선박의 현재 위치 정보를 고려하여 이동 경로를 생성하는 가상 객체 경로 생성부 및
    상기 생성된 이동 경로에 대한 국제해상충돌예방규칙의 준수 여부를 검증하는 국제해상충돌예방규칙 검증부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  6. 제4항에 있어서,
    실제 객체 정보 관리부는,
    상기 자율운항선박의 센서로부터 주변 상황정보를 수집하고, 상기 센서 정보 생성부의 센서 정보를 주변 상황정보와 매핑하여 관리하는 주변 상황정보 수집부 및
    상기 매핑된 주변 상황정보를 기반으로 상기 자율운항선박의 운항 경로를 예측하는 선박 운항경로 예측부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  7. 제4항에 있어서,
    상기 센서 정보 생성부는 상기 가상 객체 정보를 실제 공간인 현재 운항 해역 영역에 매핑하여, 상기 각 센서로부터 취득되는 형태의 가상 객체 정보가 혼합된 센서 정보를 생성하는 것인,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  8. 제4항에 있어서,
    상기 센서 정보 생성부는 영상 정보 생성부를 포함하고,
    상기 영상 정보 생성부는, 현재 시점에서의 상기 가상 객체 정보와 상기 자율운항선박의 위치를 분석하는 선박 위치 비교부와, 센서 설치 정보 및 센서 특성 정보를 기반으로 상기 가상 객체 정보가 반영된 영상을 생성하는 영상 모델링부와, 상기 생성된 영상을 실사 영상으로 변환하는 영상 생성부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  9. 제4항에 있어서,
    상기 센서 정보 생성부는 AIS 정보 생성부를 포함하고,
    상기 AIS 정보 생성부는, 상기 가상 객체로 생성된 타 선박의 현재 위치 및 이전 운항 정보를 분석하여 현재 선박의 위도, 경도, ROT(Rate of turn), SOG(Speed over ground), 진방위 정보를 산출하는 선박 정보 분석부와, 상기 선박 정보 분석부를 통해 전달받은 각 정보를 AIS 메시지 포맷 형태의 데이터로 생성하는 AIS 정보 생성부와, 상기 AIS 정보 생성부에 의해 결정된 전송 주기에 따라 상기 AIS 메시지를 물리적인 AIS 전송기를 사용하여 전송하는 AIS 정보 전송부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  10. 제4항에 있어서,
    상기 센서 정보 생성부는 레이더 정보 생성부를 포함하고,
    상기 레이더 정보 생성부는, 상기 가상 객체 정보를 분석하는 가상 객체 정보 분석부와, 상기 분석된 가상 객체 정보를 레이더 영상에 합성하는 레이더 객체 영상 합성부와, 상기 합성된 레이더 영상으로부터 객체 정보를 추출하는 레이더 정보 분석부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  11. 제4항에 있어서,
    상기 센서 정보 생성부는 음향 신호 생성부를 포함하고,
    상기 음향 신호 생성부는, 상기 가상 객체로 생성된 타 선박의 운항 경로를 분석하고, 국제해상충돌예방규칙과 비교하여 상응하는 기적 음향 신호의 생성 여부를 결정하는 선박 항적 분석부와, 상기 비교 결과 기적 음향 신호 생성이 필요한 경우, 기 수집된 선박의 기적 음향 신호를 기반으로 국제해상충돌예방규칙에 부합하는 기적 소리를 생성하는 음향 신호 생성부와, 상기 생성된 음향 신호를 전달하는 음향 신호 전달부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  12. 제4항에 있어서,
    상기 센서 정보 생성부는 환경정보 생성부를 포함하고,
    상기 환경정보 생성부는,
    상기 테스트 시나리오에 정의된 환경 정보를 기반으로 가상의 환경 정보를 생성하는 환경정보 분석부와,
    상기 생성된 환경 정보를 전송하는 환경정보 전송부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  13. 제1항에 있어서,
    상기 자율운항선박 운항 성능 분석부는,
    상기 수집된 각 정보에 기초하여 상기 자율운항선박과 실제 선박의 운항 경로를 비교하여, 국제해상충돌예방규칙(COLREG, the International Regulations for Preventing Collisions at Sea) 준수 여부, 충돌위험성 평가지표, 선박조종도 평가지표, 운항경로 지표, 상황인지시스템의 객체인식 정확도를 포함하는 분석 지표를 도출하고, 상기 도출된 분석 지표를 소정의 미리 학습된 인공지능 알고리즘에 입력하고, 상기 입력에 상응하여 소정의 점수 또는 복수의 등급별로 구분된 성능 정보를 분석 결과를 획득하는 운항 성능 분석부를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 시스템.
  14. 혼합현실 기반의 자율운항선박 성능 검증 방법에 있어서,
    자율운항선박의 성능 검증을 위한 혼합현실 기반의 테스트 시나리오를 생성하는 단계;
    상기 테스트 시나리오에 상응하는 가상의 객체 정보와 실제 객체 정보를 반영하여 혼합 현실 데이터를 생성하는 단계;
    상기 가상 객체 정보에 상응하도록 생성된 센서 정보를 포함하는 가상 객체 정보를 자율운항선박으로 전달하는 단계;
    상기 가상 객체 정보에 상응하여 결정된 상기 자율운항선박의 상황인지 정보, 운항경로 정보 및 선박제어 정보와, 타선 운항 정보 및 증강된 가상의 객체 정보를 수집하는 단계; 및
    상기 수집된 각 정보에 기초하여 자율운항선박의 성능 정보를 분석하는 단계를 포함하는,
    혼합현실 기반의 자율운항선박 성능 검증 방법.
KR1020210141244A 2021-04-22 2021-10-21 혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법 KR20220145741A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111410213.8A CN115237730A (zh) 2021-04-22 2021-11-23 基于混合现实的自主航行船舶性能验证系统及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210052576 2021-04-22
KR1020210052576 2021-04-22

Publications (1)

Publication Number Publication Date
KR20220145741A true KR20220145741A (ko) 2022-10-31

Family

ID=83802888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210141244A KR20220145741A (ko) 2021-04-22 2021-10-21 혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20220145741A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116911077A (zh) * 2023-09-13 2023-10-20 中国船级社 一种船舶智能航行场景的处理方法、系统及装置
KR102602842B1 (ko) * 2023-06-20 2023-11-17 한국건설기술연구원 Its 장비 성능검증 시스템 및 이를 이용한 성능검증 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602842B1 (ko) * 2023-06-20 2023-11-17 한국건설기술연구원 Its 장비 성능검증 시스템 및 이를 이용한 성능검증 방법
CN116911077A (zh) * 2023-09-13 2023-10-20 中国船级社 一种船舶智能航行场景的处理方法、系统及装置
CN116911077B (zh) * 2023-09-13 2024-02-20 中国船级社 一种船舶智能航行场景的处理方法、系统及装置

Similar Documents

Publication Publication Date Title
Thombre et al. Sensors and AI techniques for situational awareness in autonomous ships: A review
US10976410B1 (en) Generating data using radar observation model based on machine learning
CN111830990B (zh) 一种大型无人艇自主航行控制管理系统
Tu et al. Exploiting AIS data for intelligent maritime navigation: A comprehensive survey from data to methodology
KR20220145741A (ko) 혼합현실 기반 자율운항선박 성능 검증 시스템 및 방법
US20210166474A1 (en) Simulation Architecture for On-Vehicle Testing and Validation
CN109460218B (zh) 一种船端综合航行系统架构
JP2022513866A (ja) 領域外コンテキストを用いたオブジェクト分類
KR101982582B1 (ko) Ais데이터 및 해양환경데이터 연계형 빅데이터 기반의 선박 운항 평가 시스템
US20220198096A1 (en) Generating Accurate and Diverse Simulations for Evaluation of Autonomous-Driving Systems
KR102110939B1 (ko) 가상 선박 교통 재현 장치 및 방법
Vagale et al. Evaluation of path planning algorithms of autonomous surface vehicles based on safety and collision risk assessment
Ngo et al. Deep evaluation metric: Learning to evaluate simulated radar point clouds for virtual testing of autonomous driving
Yoo et al. Statistical trajectory-distance metric for nautical route clustering analysis using cross-track distance
CN113470435B (zh) 生成自然对抗海洋环境的智能船舶测试场景的方法及终端
CN115237730A (zh) 基于混合现实的自主航行船舶性能验证系统及方法
Ngo A methodology for validation of a radar simulation for virtual testing of autonomous driving
Akkermann et al. Scenario-based V&V in a maritime co-simulation framework
Zhang Big Data Analytics Methods for Collision and Grounding Risk Analysis in Real Conditions: Framework, Evaluation, and Applications
Last Analysis of automatic identification system data for maritime safety
CN116594018B (zh) 一种直升机飞行障碍物报警系统及方法
CN116911077B (zh) 一种船舶智能航行场景的处理方法、系统及装置
CN117591847B (zh) 基于车况数据的模型指向评测方法和装置
Jessen et al. Object Detector Simulation for Certification of Autonomous Surface Vessels
Lee et al. Study on the development of a ship-handling simulation system based on actual maritime traffic conditions

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right