KR101845796B1 - 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법 - Google Patents

드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법 Download PDF

Info

Publication number
KR101845796B1
KR101845796B1 KR1020170152917A KR20170152917A KR101845796B1 KR 101845796 B1 KR101845796 B1 KR 101845796B1 KR 1020170152917 A KR1020170152917 A KR 1020170152917A KR 20170152917 A KR20170152917 A KR 20170152917A KR 101845796 B1 KR101845796 B1 KR 101845796B1
Authority
KR
South Korea
Prior art keywords
inspection
virtual reality
ship
drone
image
Prior art date
Application number
KR1020170152917A
Other languages
English (en)
Inventor
이정렬
길우성
손명조
Original Assignee
사단법인 한국선급
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사단법인 한국선급 filed Critical 사단법인 한국선급
Priority to KR1020170152917A priority Critical patent/KR101845796B1/ko
Application granted granted Critical
Publication of KR101845796B1 publication Critical patent/KR101845796B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • B63B9/00—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • B64C2201/12—
    • B64C2201/141—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

본 발명은 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 관한 것으로, 보다 상세하게는 드론을 통해 확보한 영상을 통한 육안 검사를 뛰어넘어 부가적인 선박 관리 데이터를 제공하고, 선박 형상의 외관 변화는 물론, 내부 단층 자료 등을 추출하여 보다 내실 있고 효율적인 선박 검사가 이루어지도록 할 수 있으며, 사용자에게 3D 입체형상과, 평면영상과, 사용자의 신체의 움직임 및 위치를 오버랩(overlap)시킨 영상 등을 복합적으로 제공할 수 있는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 관한 것이다.

Description

드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법{A virtual reality-based management method combining drone inspection information}
본 발명은 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 관한 것으로, 보다 상세하게는 드론을 통해 확보한 영상을 통한 육안 검사를 뛰어넘어 부가적인 선박 관리 데이터를 제공하고, 선박 형상의 외관 변화는 물론, 내부 단층 자료 등을 추출하여 보다 내실 있고 효율적인 선박 검사가 이루어지도록 할 수 있으며, 사용자에게 3D 입체형상과, 평면영상과, 사용자의 신체의 움직임 및 위치를 오버랩(overlap)시킨 영상 등을 복합적으로 제공할 수 있는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 관한 것이다.
최근에 드론을 활용한 선박 검사 방법 및 가이드라인이 각 선급을 중심으로 활발하게 개발되고 있으며, 그 적용 분야를 확대하고 있는 실정이다.
그 이유는 드론 검사가 검사 대상으로의 접근이 용이하고, 촬영 결과물을 다양하게 활용할 수 있으며, 현장에서 검사원이 직접 검사하는 방식에 비해 안전을 확보할 수 있기 때문이다.
선박 관리 시스템의 경우 그 특수성으로 인해 사고/고장 예방, 중복/누락 업무 방지, 적기의 선박관리를 통한 선박관리비용 절감과, 복잡한 선박관리 업무의 이력관리, 실적조회, 통계/분석을 쉽고 정확하고 처리하는 프로그래밍이 개발되고 있다.
그리고 선박 관리 시스템은 복잡하게 연관된 업무(정비, 자재, 보급, 검사, 수리 등) 상황을 쉽고 명확하게 파악할 수 있도록 해주며, 특히 이력조회, 실적조회, 통계조회, Data 분석도 쉽을 간편하게 할 수 있고, 선박관리 업무상황의 Real-time 모니터링이 가능한 방향으로 개발되고 있는 실정이다.
최근에는 선박의 운항, 자재정비, 메일, 인사회계, 도면관리, 안전관리 등을 포함하는 선박관리프로그램으로서, 선박예방정비(Planned Maintenance System, PMS)이 선박 관리의 효율성을 높이기 위해 많은 선사들이 도입을 하고 있습니다.
상기 PMS는 선박 기기의 정비항목별 정비지침, 정비주기, 정비담당 등을 표준화 하고 정비지침에 따른 정비시점 예측, 정비계획 수립, 정비결과 관리, 정비이력 조회, 정비실적 분석 등을 관리하는 시스템이라고 할 수 있다.
이러한 선박 관리 시스템과, 3D기술을 접목하여 보다 효율적인 선박 관리 시스템의 개발이 필요한 실정이다.
1. 대한민국 등록특허 제10-1754599호 2. 대한민국 공개특허 제10-2015-0046697호 3. 대한민국 공개특허 제10-2012-0047672호 4. 대한민국 공개특허 제10-2017-0029128호 5. 대한민국 등록특허 제10-1237244호
이에 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 드론을 통해 확보한 영상을 통한 육안 검사를 뛰어넘어 부가적인 선박 관리 데이터를 제공하고, 선박 형상의 외관 변화는 물론, 내부 단층 자료 등을 추출하여 보다 내실 있고 효율적인 선박 검사가 이루어지도록 할 수 있다. 그리고 사용자에게 3D 입체형상과, 평면영상과, 사용자의 신체의 움직임 및 위치를 오버랩(overlap)시킨 영상 등을 복합적으로 제공할 수 있는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법을 제공하는 것이다.
본 발명의 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
상기한 목적을 달성하기 위하여 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법은 드론에 설치된 카메라장치를 통해 선박의 검사 대상물을 촬영하고 촬영 결과물을 획득하는 단계와; 상기 촬영 결과물을 3D 모델링 복원 모듈을 이용하여 3D 모델로 변환 내지 복원하는 단계와; 상기 드론을 통해 획득한 촬영 결과물에 대한 검사데이터를 저장 모듈에 저장하는 단계와; 상기 3D 모델링 복원 모듈을 통해 복원된 3D 모델과, 상기 저장 모듈에서 저장한 검사데이터를 검사 관리 제어 모듈에서 수신하여 검사 관리 데이터를 생성하고, 생성된 검사 관리 데이터를 내장된 3D CAD 모델 뷰어를 통해 송출하는 단계와; 상기 검사 관리 제어 모듈에서 송출한 검사 관리 데이터를 가상현실 표시 모듈을 통해 3D 입체영상으로 출력하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 있어서, 가상현실 표시 모듈은 HMD(Head Mounted Display)와, VR(Virtual Reality) Controller를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 있어서, 가상현실 표시 모듈에서 사용자에게 출력되는 영상은 선박의 검사 대상물에 대한 3D 입체영상과, 3D 입체영상에 대한 일시, 장소, 검사 분석 결과를 포함하는 검사 관리 데이터에 대한 평면영상과, 사용자의 신체의 움직임 및 위치를 상기 3D 입체영상에 오버랩(overlap)시킨 오버랩 영상을 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 있어서, 가상현실 표시 모듈에는 사용자가 상기 3D 입체영상과 검사 관리 데이터에 오버랩되어 디스플레이되는 사용자의 신체를 통해 검사 대상물 및 검사데이터를 가상현실 상에서 터치하여 활성화시키는 가상현실 활성화 모듈이 탑재되는 것을 특징으로 한다.
또한, 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 있어서, 가상현실 활성화 모듈은 상기 다수의 검사 대상물의 3D 입체영상 중 하나를 터치하여 해당 검사 대상물이 활성화되고, 상기 평면영상에서 활성화된 검사 대상물에 대한 검사일시, 장소, 검사 분석 결과 및 검사/관리 이력만 선택적으로 디스플레이되도록 활성화시키는 것을 특징으로 한다.
또한, 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 있어서, 드론에는 비파괴 검사 수단이 더 설치되고, 상기 촬영 결과물에는 비파괴 검사 결과를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 있어서, 비파괴 검사 수단은 선박의 내부결함을 검사하는 초음파 검사 장치 또는 단층촬영장치인 것을 특징으로 한다.
또한, 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법에 있어서, 선박에는 다수의 센서가 설치되고, 상기 드론에는 상기 센서와의 위치, 거리를 확인할 수 있는 위치추적장치가 설치되고, 상기 검사 관리 제어 모듈에는 상기 드론의 운행 경로 및 감시 위치에 대한 좌표를 미리 설정한 다음, 상기 드론의 위치추적장치로부터 수신한 각 센서 정보를 기반으로 드론이 자동으로 비행하도록 제어하는 드론 제어 모듈을 더 포함하는 것을 특징으로 한다.
이상과 같은 구성의 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법은 드론을 통해 확보한 영상을 통한 육안 검사를 뛰어넘어 부가적인 선박 관리 데이터를 제공하고, 선박 형상의 외관 변화는 물론, 내부 단층 자료 등을 추출하여 보다 내실 있고 효율적인 선박 검사가 이루어지도록 할 수 있으며, 사용자에게 3D 입체형상과, 평면영상과, 사용자의 신체의 움직임 및 위치를 오버랩(overlap)시킨 영상 등을 복합적으로 제공할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법의 일실시예를 도시하는 공정도이다.
도 2는 본 발명의 검사 관리 시스템의 구성요소를 도시하는 블럭도이다.
도 3a는 본 발명의 드론에서 영상을 촬영하는 모습을 도식화한 것이고, 도 3b는 도 3a에서 촬영한 연속 영상들 모습이며, 도 3c는 연속 영상으로부터 3D 모델을 복원한 모습이고, 도 3d는 가상현실 기반의 선박 관리 매체에 3D 모델을 매칭한 모습을 도시한 것이다.
도 4a 내지 도 4c는 연속 영상에서 3D 모델을 획득하는 과정을 순차적으로 나타내는 도면들이다.
이하, 첨부된 도면들 및 후술 되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 기술적 사상이 충분히 전달될 수 있도록 하기 위해 제공되어 지는 것이다.
그리고 본 발명의 설명에서 동일 또는 유사한 구성요소는 동일 또는 유사한 도면번호를 부여하고, 그 자세한 설명은 생략하기로 한다.
도 1은 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법의 일실시예를 도시하는 공정도이고, 도 2는 본 발명의 검사 관리 시스템의 구성요소를 도시하는 블럭도이다. 그리고 도 3a는 본 발명의 드론에서 영상을 촬영하는 모습을 도식화한 것이고, 도 3b는 도 3a에서 촬영한 연속 영상들 모습이며, 도 3c는 연속 영상으로부터 3D 모델을 복원한 모습이고, 도 3d는 가상현실 기반의 선박 관리 매체에 3D 모델을 매칭한 모습을 도시한 것이다. 그리고 도 4a 내지 도 4c는 연속 영상에서 3D 모델을 획득하는 과정을 순차적으로 나타내는 도면들이다.
본 발명에 따른 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법은 드론을 활용하여 선박 및 선박에 설치된 각종 기기를 검사하기 때문에 검사 대상물로의 접근이 자유롭고, 드론을 통해 촬영한 촬영 결과물을 다양하게 활용 가능하며, 검사원의 안전을 향상시킬 수 있는 것으로서, 드론에 부착된 카메라로부터 사진, 영상 뿐만 아니라 수치 계산을 통하여 해당 위치의 3D 모델을 얻을 수 있다. 그리고 드론의 촬영 결과물을 활용하여 획득된 3D 모델을 가상현실 기반의 선박 관리 시스템과 연동함으로써 선체 및 기기의 최신 상태를 간편하게 3D로 볼 수 있는 특징이 있다.
보다 구체적으로, 본 발명에 따른 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법은 도 1 및 도 2에 도시된 바와 같이, 드론에 설치된 카메라장치를 통해 선박의 검사 대상물을 촬영하고 촬영 결과물을 획득하는 S1단계와, 상기 촬영 결과물을 3D 모델링 복원 모듈을 이용하여 3D 모델로 변환 내지 복원하는 S2단계와, 상기 드론을 통해 획득한 촬영 결과물에 대한 검사데이터를 저장 모듈에 저장하는 S3단계와, 상기 3D 모델링 복원 모듈을 통해 복원된 3D 모델과, 상기 저장 모듈에서 저장한 검사데이터를 검사 관리 제어 모듈에서 수신하여 검사 관리 데이터를 생성하고, 생성된 검사 관리 데이터를 내장된 3D CAD 모델 뷰어를 통해 송출하는 S4단계와, 상기 검사 관리 제어 모듈에서 송출한 검사 관리 데이터를 가상현실 표시 모듈을 통해 3D 입체영상으로 출력하는 S5단계를 포함하는 것을 특징으로 한다.
본 발명의 S1단계에서는 도 3a, 도 3b 및 도 4a에 도시된 바와 같이 드론을 비행시켜 촬영 결과물을 획득하는 단계로서, 여기서 드론은 사용자가 직접 조정기를 이용하여 수동으로 조정할 수도 있고, 자동으로 미리 설정된 경로로 이동하도록 자동으로 조정할 수도 있다.
수동 조정의 경우, 사용자의 드론 조정 숙련도에 크게 의존하고, 드론이 사용자의 시야를 벗어나는 경우에는 실질적으로 드론 조정이 어려워지기 때문에 활용 범위가 제한적인 문제가 있다. 특히 드론 조정이 잘못되는 경우 드론은 물론, 선박에 탑재된 각종 기기, 장치에 손상을 줄 수 있기 때문에 각별한 주의가 필요하다.
그에 반해 자동 조정의 경우, 드론이 미리 설정된 경로를 따라 비행하며 촬영 및 검사가 이루어지기 때문에 안전하고, 선박의 검사 대상물의 위치에 신속하고 정확하게 비행할 수 있으며, 사용자의 시야에 관계없이 비행이 가능하기 때문에 장소의 영향을 덜 받는 장점이 있다.
이러한 드론의 자동 조정을 위해, 상기 선박에는 다수의 센서가 설치되고, 상기 드론에는 상기 센서와의 위치, 거리를 확인할 수 있는 위치추적장치가 설치된다.
그리고 상기 검사 관리 제어 모듈에는 상기 드론의 운행 경로 및 감시 위치에 대한 좌표를 미리 설정한 다음, 상기 드론의 위치추적장치로부터 수신한 각 센서 정보를 기반으로 드론이 자동으로 비행하도록 제어하는 드론 제어 모듈을 더 포함하는 것이 바람직하다.
상기 센서와 위치추적장치는 레이저, 적외선 등은 물론, 전파를 활용한 근거리 무선 통신을 통해 상호 위치 관계, 거리 등의 정보를 송수신하는 것을 예시할 수 있다.
예를 들어 드론의 위치추적장치에서 3개의 센서의 신호를 수신하는 경우, 3개의 센서에는 각각 개별적인 식별정보를 가지고 있으며, 식별정보에는 고유식별번호와, 설치된 위치정보를 포함하기 때문에 3개의 센서로부터 수신하는 거리 및 식별정보를 종합 분석하면 드론의 현재 비행 위치와, 예상되는 이동 경로 등을 3차원적으로 파악할 수 있기 때문에 선박과의 충돌 사고를 방지하면서 미리 설정한 위치로 정확하게 이동하여 검사를 수행할 수 있다.
보다 구체적으로 다수의 검사 대상물, 예를 들어 1, 2, 3, 4, 5번의 검사 대상물이 있는 경우, 각 검사 대상물에 센서를 설치하되 드론이 1, 2, 3, 4, 5번의 검사 대상물을 순차적으로 거치도록 제어하거나, 1, 3, 5번만 순차적으로 검사하도록 제어할 수 있다. 예를 들어 3번 검사 대상물로 이동하는 경우에도 상술한 바와 같이 주변의 1, 2, 4, 5번의 검사 대상물에 설치된 센서의 위치 정보 및 식별번호를 종합하게 된다.
한편, 드론에서는 상술한 바와 같이 카메라장치를 이용하여 영상 및 사진 자료를 획득하여 획득한 영상 등으로 3D 모델을 복원하도록 하는 것을 일차적인 목적으로 한다. 다만, 영상 및 사진 자료 만으로는 선박의 표면이나 외관에 대한 기본 정보만을 얻을 수 있기 때문에 선박이나 선박에 탑재된 기기의 내부 정보를 수집할 수 없어 수리나 정비에 필요한 충분한 정보를 확보할 수 없는 한계가 있다.
이에 본 발명에서는 드론에 비파괴 검사 수단을 더 설치하여 선박 결함에 대한 보다 정확한 정보를 얻을 수 있도록 하였다.
상기 비파괴 검사 수단은 선박의 내부결함을 검사하는 초음파 검사 장치 또는 단층촬영장치인 것을 예시할 수 있으나, 이에 한정되는 것은 아니다.
따라서 상기 촬영 결과물에는 초음파 촬영 영상 또는 단층촬영 영상 등을 더 포함하게 된다.
이러한 초음파 촬영 영상 또는 단층촬영 영상도 가상현실 표시 모듈을 통해 3D 입체영상과 함께 디스플레이할 수 있기 때문에 복잡한 선박관리 상황을 한눈에 모니터링할 수 있게 된다. 또한 선박 및 기기의 수리 및 정비에 소요되는 예상 기간, 조치 내역 및 소요 비용 등도 정확하게 판단할 수 있다.
본 발명의 S2단계는 촬영 결과물을 3D 모델링 복원 모듈을 이용하여 3D 모델로 변환 내지 복원하는 것으로서, 3D 모델링 복원 모듈은 대한민국 등록특허 제10-1754599호에 개시된 바와 같이 카메라장치로부터 EXIF(Exchangeable Image File Format) 정보를 포함한 2차원 이미지를 입력받아 3차원 좌표를 계산하기 위한 복수개의 특징점들을 추출하고, 상기 추출된 특징점들에서 포인트 클라우드 데이터를 획득하여 텍스쳐 평면을 정의하는 버텍스(Vertex) 데이터를 옵티마이즈(Optimize)하여 메쉬 형태의 면 데이터인 복수개의 메쉬 데이터를 생성하며, 상기 생성한 메쉬 데이터를 정리해서 오클루젼(Occlusion) 데이터를 생성한 후, 상기 메쉬 데이터의 표면에 오클루젼 데이터를 이용하여 쉐도우 맵 데이터를 생성하는 3D 모델링 변환장치인 것을 예시할 수 있으므로 그 자세한 설명은 생략한다. 그리고 3D 모델링 복원 모듈은 위 내용에 한정되는 것은 아니기 때문에 3D 변환이 가능한 것이라면 다른 공지의 3D 모델링 프로그램을 이용할 수도 있다.
본 발명의 S3단계는 도 1에 도시된 바와 같이 상기 드론을 통해 획득한 촬영 결과물에 대한 검사데이터를 저장 모듈에 저장하는 단계로서, 저장된 검사데이터에는 검사 일시, 장소, 각종 검사 분석 결과 등을 포함할 수 있으며, 상기 검사 관리 제어 모듈에서는 검사데이터에 해당되는 선박의 검사 대상물의 3D 모델에 자동으로 태그(tag)되도록 제어한다.
본 발명의 S4단계는 도 2에 도시된 바와 같이, 상기 3D 모델링 복원 모듈을 통해 복원된 3D 모델과, 상기 저장 모듈에서 저장한 검사데이터를 검사 관리 제어 모듈에서 수신하여 검사 관리 데이터를 생성하고, 생성된 검사 관리 데이터를 내장된 3D CAD 모델 뷰어를 통해 송출하는 단계로서, 송출되는 검사 관리 데이터에는 선박의 검사 대상물에 대한 3D 입체영상과, 3D 입체영상에 대한 일시, 장소, 검사 분석 결과를 포함하는 검사 관리 데이터에 대한 평면영상과, 사용자의 신체의 움직임 및 위치를 상기 3D 입체영상에 오버랩(overlap)시킨 오버랩 영상을 포함할 수 있다.
본 발명의 S5단계는 도 1, 도 2, 도 3d, 도 4b 및 도 4c에 도시된 바와 같이 상기 검사 관리 제어 모듈에서 송출한 검사 관리 데이터를 가상현실 표시 모듈을 통해 3D 입체영상으로 출력하는 단계로서, 여기서 가상현실 표시 모듈은 HMD(Head Mounted Display)와, VR(Virtual Reality) Controller를 포함하는 것을 예시할 수 있으나, 이에 한정되는 것은 아니다.
한편, 검사 관리 제어 모듈 또는 가상현실 표시 모듈에는 사용자가 상기 3D 입체영상과 검사 관리 데이터에 오버랩되어 디스플레이되는 사용자의 신체를 통해 검사 대상물 및 검사데이터를 가상현실 상에서 터치하여 활성화시키는 가상현실 활성화 모듈이 탑재되는 것이 바람직하다.
상기 가상현실 활성화 모듈은 상기 다수의 검사 대상물의 3D 입체영상 중 하나를 터치하여 해당 검사 대상물이 활성화되고, 상기 평면영상에서 활성화된 검사 대상물에 대한 검사일시, 장소, 검사 분석 결과 및 검사/관리 이력 중 적어도 어느 하나만 선택적으로 디스플레이되도록 활성화시키는 것을 예시할 수 있다.
상기 신체는 사용자의 손, 발, 머리 등을 예시할 수 있는데, 예를 들어 사용자의 손에 위치 센서를 설치한 다음, 그 움직임을 사용자가 착용한 HMD(Head Mounted Display) 상에서 디스플레이하고, 위치 센서를 통해 평면영상 쪽으로 이동하면 스마트폰 등의 터치패널과 같이 활성화가 이루어지면서 터치가 된다. 그리고 이러한 터치 행위는 다수의 검사 대상물에 대한 입체영상 중 어느 하나의 검사 대상물을 선택하거나, 또는 평면영상에 여러 항목이 표시된 경우에는 어느 하나를 선택하도록 하는 기능을 하는데, 이는 마우스 커서(Mouse Cursor)와 같은 기능이라고 할 수 있다. 즉, HMD(Head Mounted Display) 상에서 디스플레이되는 가상현실의 영상 속에서 위치 센서를 이용하여 사용자가 원하는 항목을 직접 선택함으로써 신속하게 원하는 정보를 획득할 수 있다.
여기서, 검사/관리 이력은 검사 당시의 3D 입체영상과, 검사 후 수리 및 정비가 완료된 3D 입체영상을 포함하는 것으로서, 수리 및 정비 전후의 3D 입체영상을 손쉽게 대비함으로써 선박 관리 효율을 높일 수 있다.
이상에서 설명된 본 발명은 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

Claims (8)

  1. 드론에 설치된 카메라장치를 통해 선박의 검사 대상물을 촬영하고 촬영 결과물을 획득하는 단계와;
    상기 촬영 결과물을 3D 모델링 복원 모듈을 이용하여 3D 모델로 변환 내지 복원하는 단계와;
    상기 드론을 통해 획득한 촬영 결과물에 대한 검사데이터를 저장 모듈에 저장하는 단계와;
    상기 3D 모델링 복원 모듈을 통해 복원된 3D 모델과, 상기 저장 모듈에서 저장한 검사데이터를 검사 관리 제어 모듈에서 수신하여 검사 관리 데이터를 생성하고, 생성된 검사 관리 데이터를 내장된 3D CAD 모델 뷰어를 통해 송출하는 단계와;
    상기 검사 관리 제어 모듈에서 송출한 검사 관리 데이터를 가상현실 표시 모듈을 통해 3D 입체영상으로 출력하는 단계;를 포함하되,
    상기 선박에는 다수의 센서가 설치되고, 상기 드론에는 상기 센서와의 위치, 거리를 확인할 수 있는 위치추적장치가 설치되며,
    상기 검사 관리 제어 모듈에는 상기 드론의 운행 경로 및 감시 위치에 대한 좌표를 미리 설정한 다음, 상기 드론의 위치추적장치로부터 수신한 각 센서 정보를 기반으로 드론이 자동으로 비행하도록 제어하는 드론 제어 모듈을 더 포함하는 것을 특징으로 하는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법.
  2. 제1항에 있어서,
    상기 가상현실 표시 모듈은 HMD(Head Mounted Display)와, VR(Virtual Reality) Controller를 포함하는 것을 특징으로 하는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법.
  3. 제1항에 있어서,
    상기 가상현실 표시 모듈에서 사용자에게 출력되는 영상은 선박의 검사 대상물에 대한 3D 입체영상과, 3D 입체영상에 대한 일시, 장소, 검사 분석 결과를 포함하는 검사 관리 데이터에 대한 평면영상과, 사용자의 신체의 움직임 및 위치를 상기 3D 입체영상에 오버랩(overlap)시킨 오버랩 영상을 포함하는 것을 특징으로 하는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법.
  4. 제3항에 있어서,
    상기 가상현실 표시 모듈에는 사용자가 상기 3D 입체영상과 검사 관리 데이터에 오버랩되어 디스플레이되는 사용자의 신체를 통해 검사 대상물 및 검사데이터를 가상현실 상에서 터치하여 활성화시키는 가상현실 활성화 모듈이 탑재되는 것을 특징으로 하는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법.
  5. 제4항에 있어서,
    상기 가상현실 활성화 모듈은 상기 다수의 검사 대상물의 3D 입체영상 중 하나를 터치하여 해당 검사 대상물이 활성화되고, 상기 평면영상에서 활성화된 검사 대상물에 대한 검사일시, 장소, 검사 분석 결과 및 검사/관리 이력만 선택적으로 디스플레이되도록 활성화시키는 것을 특징으로 하는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법.
  6. 제3항에 있어서,
    상기 드론에는 비파괴 검사 수단이 더 설치되고,
    상기 촬영 결과물에는 비파괴 검사 결과를 더 포함하는 것을 특징으로 하는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법.
  7. 제6항에 있어서,
    상기 비파괴 검사 수단은 선박의 내부결함을 검사하는 초음파 검사 장치 또는 단층촬영장치인 것을 특징으로 하는 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법.
  8. 삭제
KR1020170152917A 2017-11-16 2017-11-16 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법 KR101845796B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170152917A KR101845796B1 (ko) 2017-11-16 2017-11-16 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170152917A KR101845796B1 (ko) 2017-11-16 2017-11-16 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법

Publications (1)

Publication Number Publication Date
KR101845796B1 true KR101845796B1 (ko) 2018-04-05

Family

ID=61977239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170152917A KR101845796B1 (ko) 2017-11-16 2017-11-16 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법

Country Status (1)

Country Link
KR (1) KR101845796B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031320B1 (ko) * 2019-04-26 2019-10-11 한화시스템(주) 드론탐지시스템을 이용한 대상탐지방법
KR102031319B1 (ko) * 2019-04-26 2019-10-11 한화시스템(주) 드론을 이용한 탐지시스템
KR102034387B1 (ko) * 2018-08-10 2019-10-18 중앙대학교 산학협력단 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치
KR20200067275A (ko) * 2018-12-03 2020-06-12 한국가스안전공사 드론과 mr을 이용한 배관 점검 및 보수 시스템
CN112033640A (zh) * 2020-08-24 2020-12-04 智慧航海（青岛）科技有限公司 船舶水动力性能的模拟体验系统
CN112179397A (zh) * 2019-07-01 2021-01-05 内蒙古中煤蒙大新能源化工有限公司 一种化工装置无人巡检方法
CN112668847A (zh) * 2020-12-17 2021-04-16 国网山西省电力公司运城供电公司 配网线路无人机自主巡检综合管理系统
WO2021100686A1 (ja) * 2019-11-22 2021-05-27 三菱パワー株式会社 ボイラ内部検査方法
KR20220075779A (ko) * 2020-11-30 2022-06-08 주식회사 스카이시스 블록 현황 관리 시스템과 그 방법
CN114779679A (zh) * 2022-03-23 2022-07-22 北京英智数联科技有限公司 一种增强现实巡检系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101237244B1 (ko) * 2010-10-12 2013-02-26 정보통신산업진흥원 도장 훈련 시뮬레이터 및 이를 이용한 도장 훈련 서비스 시스템
KR20130102392A (ko) * 2012-03-07 2013-09-17 현대중공업 주식회사 선박 건조 공기 단축방법
KR20150046697A (ko) * 2013-10-22 2015-04-30 대우조선해양 주식회사 증강현실과 가상현실을 이용한 설계 리뷰 시스템 및 방법
KR20170036488A (ko) * 2015-09-24 2017-04-03 한국전력공사 보일러 튜브 진단 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101237244B1 (ko) * 2010-10-12 2013-02-26 정보통신산업진흥원 도장 훈련 시뮬레이터 및 이를 이용한 도장 훈련 서비스 시스템
KR20130102392A (ko) * 2012-03-07 2013-09-17 현대중공업 주식회사 선박 건조 공기 단축방법
KR20150046697A (ko) * 2013-10-22 2015-04-30 대우조선해양 주식회사 증강현실과 가상현실을 이용한 설계 리뷰 시스템 및 방법
KR20170036488A (ko) * 2015-09-24 2017-04-03 한국전력공사 보일러 튜브 진단 장치

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102034387B1 (ko) * 2018-08-10 2019-10-18 중앙대학교 산학협력단 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치
KR20200067275A (ko) * 2018-12-03 2020-06-12 한국가스안전공사 드론과 mr을 이용한 배관 점검 및 보수 시스템
KR102156115B1 (ko) * 2018-12-03 2020-09-16 한국가스안전공사 드론과 mr을 이용한 배관 점검 및 보수 시스템
KR102031320B1 (ko) * 2019-04-26 2019-10-11 한화시스템(주) 드론탐지시스템을 이용한 대상탐지방법
KR102031319B1 (ko) * 2019-04-26 2019-10-11 한화시스템(주) 드론을 이용한 탐지시스템
CN112179397A (zh) * 2019-07-01 2021-01-05 内蒙古中煤蒙大新能源化工有限公司 一种化工装置无人巡检方法
WO2021100686A1 (ja) * 2019-11-22 2021-05-27 三菱パワー株式会社 ボイラ内部検査方法
JP2021081161A (ja) * 2019-11-22 2021-05-27 三菱パワー株式会社 ボイラ内部検査方法
CN112033640A (zh) * 2020-08-24 2020-12-04 智慧航海（青岛）科技有限公司 船舶水动力性能的模拟体验系统
KR20220075779A (ko) * 2020-11-30 2022-06-08 주식회사 스카이시스 블록 현황 관리 시스템과 그 방법
KR102542869B1 (ko) 2020-11-30 2023-06-15 주식회사 스카이시스 블록 현황 관리 시스템과 그 방법
CN112668847A (zh) * 2020-12-17 2021-04-16 国网山西省电力公司运城供电公司 配网线路无人机自主巡检综合管理系统
CN112668847B (zh) * 2020-12-17 2023-11-24 国网山西省电力公司运城供电公司 配网线路无人机自主巡检综合管理系统
CN114779679A (zh) * 2022-03-23 2022-07-22 北京英智数联科技有限公司 一种增强现实巡检系统及方法

Similar Documents

Publication Publication Date Title
KR101845796B1 (ko) 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법
US11328483B2 (en) System and method for structure inspection
US20200151450A1 (en) Maintenance work support system and maintenance work support method
RU2643619C2 (ru) Способы и системы для контроля заготовки
US20150062123A1 (en) Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
JP6192938B2 (ja) 三次元合成処理システムおよび三次元合成処理方法
US9001121B2 (en) Method and apparatus for generating data for three-dimensional models from x-rays
CN107402000A (zh) 用于相对于测量仪器参照显示装置的系统和方法
JP7337654B2 (ja) 保全活動サポートシステムおよび保全活動サポート方法
US10521962B1 (en) Method and system for visualizing overlays in virtual environments
US9299150B2 (en) Recording the location of a point of interest on an object
JP2018106262A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
US20180204387A1 (en) Image generation device, image generation system, and image generation method
US11668577B1 (en) Methods and systems for response vehicle deployment
CN109923488A (zh) 使用可移动物体生成实时地图的系统和方法
IE86364B1 (en) Closed loop 3D video scanner for generation of textured 3D point cloud
US11682168B1 (en) Method and system for virtual area visualization
CN109029389A (zh) 用于显示测量间隙的装置、系统和方法
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
US8467992B1 (en) Vision based location and measurement device and methods
KR20200067286A (ko) 드론을 이용한 노출배관의 3d 스캔 및 vr 점검 시스템
JP6295296B2 (ja) 複合システム及びターゲットマーカ
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
KR102649171B1 (ko) 물체에 대한 결함 데이터를 시각화하기 위한 증강 현실 시스템
Green et al. Mining robotics sensors

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant