KR20180119238A - 증강현실을 이용한 항로표지 관제 시스템 및 방법 - Google Patents
증강현실을 이용한 항로표지 관제 시스템 및 방법 Download PDFInfo
- Publication number
- KR20180119238A KR20180119238A KR1020170052699A KR20170052699A KR20180119238A KR 20180119238 A KR20180119238 A KR 20180119238A KR 1020170052699 A KR1020170052699 A KR 1020170052699A KR 20170052699 A KR20170052699 A KR 20170052699A KR 20180119238 A KR20180119238 A KR 20180119238A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- augmented reality
- unit
- information
- sensor
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000004891 communication Methods 0.000 claims abstract description 19
- 238000010295 mobile communication Methods 0.000 claims abstract description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims 1
- 230000001939 inductive effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 241000195493 Cryptophyta Species 0.000 description 1
- 239000003653 coastal water Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B22/00—Buoys
- B63B22/16—Buoys specially adapted for marking a navigational route
- B63B22/166—Buoys specially adapted for marking a navigational route comprising a light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Tourism & Hospitality (AREA)
- Ocean & Marine Engineering (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Combustion & Propulsion (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Mechanical Engineering (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 선박 항해 시 경제적이고 안전항로를 선택할 수 있도록 유도하는 근해 항로표지 시설에 증강현실(Augmented Reality)과 이동통신망(Mobile radio communication network)을 접목시킨 증강현실을 이용한 항로표지 관제 시스템 및 방법을 제공하기 위한 것으로서, 센서부를 통해 감지되는 센서 데이터 및 촬영 카메라를 통해 촬영된 영상을 이동통신망을 통해 실시간 스트리밍으로 전송하는 항로표지로부터 전달되는 촬영 영상과 센서 데이터 결과 값을 하나의 화면으로 통합하여 증강현실 영상을 생성하는 증강현실 서버와, 상기 증강현실 서버에서 생성된 증강현실 영상을 입력으로 모니터에 송출하여 표시하는 관제시스템을 포함하여 구성되는데 있다.
Description
본 발명은 해양 항로표지 관제 시스템에 관한 것으로, 특히 선박 항해 시 경제적이고 안전항로를 선택할 수 있도록 유도하는 근해 항로표지 시설에 증강현실(Augmented Reality)과 이동통신망(Mobile radio communication network)을 접목시킨 증강현실을 이용한 항로표지 관제 시스템 및 방법에 관한 것이다.
최근 해상사고예방에 대한 관심이 커지는 추세로 선박 운행에 대한 교통의 안전과 효율성을 확보하기 위한 해상교통관제에서 가장 핵심이 되는 것은 선박의 안전항로를 유도하는 항로표지 시설이다.
항로표지 시설은 연근해에서 항해하는 선박들을 유도하는 본연의 기능만을 가지고 있었지만 최근 센서와 통신망의 발달로 단순한 항로표지 시설을 넘어서 통신망을 이용해 항로표지 시설이 설치된 주변 해상의 환경 데이터를 관제 시스템으로 전송하여 해상정보로서 활용하고 있다.
기본적으로 항로표지 시설에 장착되어 관제 시스템으로 전송하는 센서 데이터는 실제 항로표지 시설이 설치된 위치정보, 날씨 정보(풍향, 풍속, 기온, 습도, 기압, 강수량)와 수온, 조류의 방향 및 세기 등이 있으며, 항로표지에서 수집된 데이터를 바탕으로 항로표지 관리 시스템은 항로표지가 설치된 주변 해상 상황을 판단 및 관제에 활용하고 있다.
그러나 센서 데이터 기반으로 해상 상황을 판단 및 관제하는 현 시스템의 특성상 관제사로서는 직관적이지 못하고 데이터 기반 추리에 가까운 판단이 될 여지가 많다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 선박 항해 시 경제적이고 안전항로를 선택할 수 있도록 유도하는 근해 항로표지 시설에 증강현실(Augmented Reality)과 이동통신망(Mobile radio communication network)을 접목시킨 증강현실을 이용한 항로표지 관제 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 증강현실을 이용한 항로표지 관제 시스템의 특징은 센서부를 통해 감지되는 센서 데이터 및 촬영 카메라를 통해 촬영된 영상을 이동통신망을 통해 실시간 스트리밍으로 전송하는 항로표지로부터 전달되는 촬영 영상과 센서 데이터 결과 값을 하나의 화면으로 통합하여 증강현실 영상을 생성하는 증강현실 서버와, 상기 증강현실 서버에서 생성된 증강현실 영상을 입력으로 모니터에 송출하여 표시하는 관제시스템을 포함하여 구성되는데 있다.
바람직하게 상기 항로표지는 해양에 부유하고 상부로 일정 길이로 연장되어 설치되는 몸체와, 몸체 주변의 전방 및 후방의 모든 시야각을 포함하는 360도의 화각을 가지고 주변 영상을 촬영하는 촬영 카메라와, 상기 몸체에 부착되어 몸체부가 설치된 위치정보, 날씨 정보, 수온, 조류의 방향 및 세기를 포함하는 센서 정보를 검출하는 센서부와, 상기 몸체에 부착되어 빛을 발광하여 야간 등에 안전항로를 유도하는 등명기 광원부와, 상기 촬영 카메라에서 촬영된 영상 및 센서부에서 검출된 센서 정보를 LTE 이동통신망을 통해 실시간 스트리밍으로 증강현실 서버로 전송하는 제 1 통신부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 항로표지는 촬영 카메라에서 촬영되는 주변 영상의 촬영 범위를 제어하거나 또는 제 1 통신부를 통해 전송되는 촬영 영상의 일부 영상을 삭제하는 촬영 영상 제어부를 더 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 증강현실 서버는 항로표지로부터 전달되는 센서 데이터와 영상 데이터를 획득하는 입력정보 획득부와, 상기 입력정보 획득부로부터 획득된 센서 데이터 및 영상 데이터를 기반으로 가상 콘텐츠를 결정하는 가상 컨텐츠 결정부와, 상기 가상 콘텐츠 결정부에서 결정된 가상 콘텐츠를 기반으로 상기 입력정보 획득부로부터 획득된 영상 데이터의 특징점을 획득하는 특징점 생성부와, 상기 특징점 생성부에서 획득된 특징점에 기반하여 상기 가상 콘텐츠 결정부에서 결정된 가상 콘텐츠의 증강 위치를 계산하는 위치 계산부와, 상기 위치 계산부에서 계산된 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 동기화시켜 센서 데이터 및 영상 데이터의 특징점을 포함하는 증강현실 영상을 생성하는 증강현실 생성부와, 상기 증강현실 생성부에서 생성된 증강현실 영상을 항로표지 관제시스템으로 전송하는 제 2 통신부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 증강현실 생성부는 현실 환경에 대한 복원 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제 1 특징점 매칭부와, 상기 획득된 영상의 이전 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제 2 특징점 매칭부와, 상기 제 1 특징점 매칭부 및 상기 제 2 특징점 매칭부를 동시에 구동시켜 동기화시키는 동기화부와, 상기 동기화된 영상 정보를 이용하여 상기 특징점을 추출하거나, 균등한 공간상에서 관측 확률에 근거하여 상기 특징점을 선별 추출하는 특징점 추출부와, 상기 특징점 추출부에서 추출된 특징점 외에 객체의 에지 정보 또는 객체의 2차원 정보를 더욱 이용하여 증강현실 영상을 생성하는 증강현실 영상 처리부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 관제시스템은 HMD(Head Mount Display) 영상 출력기기를 이용하여 모니터에 표시되는 증강현실 영상을 관제하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 증강현실을 이용한 항로표지 관제 방법의 특징은 (A) 항로표지에 위치하는 센서부 및 촬영 카메라에서 센서 정보 및 영상 정보를 획득하는 단계와, (B) 촬영 영상 제어부를 통해 이벤트가 발생하면, 촬영 카메라에서 촬영되는 주변 영상의 촬영 범위를 줄이거나 또는 전송되는 촬영 영상의 일부 영상을 삭제하는 단계와, (C) 획득된 센서 정보 및 영상 정보를 이동통신망을 통해 실시간 스트리밍으로 증강현실 서버로 전송하는 단계와, (D) 증강현실 서버를 이용하여 항로표지로부터 전달되는 촬영 영상과 센서 데이터 결과 값을 하나의 화면으로 통합하여 증강현실 영상을 생성하여 관제시스템으로 전송하는 단계와, (E) 관제시스템을 이용하여 상기 증강현실 영상을 입력으로 모니터에 송출하여 표시하는 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 (A) 단계에서 센서 정보는 항로표지의 위치정보, 날씨 정보, 수온, 조류의 방향 및 세기를 포함하고, 영상 정보는 항로표지 주변의 전방 및 후방의 모든 시야각을 포함하는 360도의 화각을 가지는 주변 영상을 포함하는 것을 특징으로 한다.
바람직하게 상기 (B) 단계에서 이벤트는 미리 설정된 시간, 항로표지 주변으로 선박이 접근, 항로표지 주변으로 접근된 선박이 비 항로로 항해 중 적어도 하나인 것을 특징으로 한다.
바람직하게 상기 (D) 단계는 입력정보 획득부를 이용하여 전달되는 센서 데이터와 영상 데이터가 획득되는 단계와, 가상 컨텐츠 결정부를 이용하여 획득된 센서 데이터 및 영상 데이터를 기반으로 가상 콘텐츠를 결정하는 단계와, 특징점 생성부를 이용하여 결정된 가상 콘텐츠를 기반으로 상기 획득된 영상 데이터의 특징점을 획득하는 단계와, 위치 계산부를 이용하여 상기 획득된 특징점에 기반하여 상기 결정된 가상 콘텐츠의 증강 위치를 계산하는 단계와, 증강현실 생성부를 이용하여 상기 계산된 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 동기화시켜 센서 데이터 및 영상 데이터의 특징점을 포함하는 증강현실 영상을 생성하는 단계와, 제 2 통신부를 이용하여 상기 생성된 증강현실 영상을 항로표지 관제시스템으로 전송하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
바람직하게 상기 (E) 단계는 HMD(Head Mount Display) 영상 출력기기를 이용하여 모니터에 표시되는 증강현실 영상을 관제하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 증강현실을 이용한 항로표지 관제 시스템 및 방법은 다음과 같은 효과가 있다.
첫째, 증강현실 영상이 실시간으로 서버에 전송 및 관제 프로그램에 전달되어 관제사 및 시스템 이용자가 실제 항로표지 시설 주변의 실제 환경을 증강현실 영상으로 볼 수 있게 하여 과거 2차원적 센서 데이터 기반 관제 시스템과 달리 직관적이고 확실한 직관적인 관제 환경을 제공한다.
둘째, 증강현실 영상이 실시간으로 서버에 전송 및 데이터베이스에 저장되어 과거의 영상 정보를 기반으로 과거 항로표지 주변 해상 상황을 감시할 수 있는 블랙박스 기능을 제공하여 해상사고에 대한 원인 규명 정보를 알 수 있는 블랙박스 효과를 얻을 수 있다.
셋째, 기존 항로표지 시설에 LTE 4세대 통신망을 지원하는 무선 라우터를 이용해 데이터를 전송하기 때문에 별다른 통신설비 설치가 요구되지 않아 시스템 구축이 용이하다.
넷째, 증강현실 영상 기반의 관제 시스템으로서 영상은 물론 HUD(Head Up Display)을 통해 항로표지 센서 데이터를 동시에 관측이 가능한 여건이 마련된다.
다섯째, 증강현실 영상 기반의 관제 시스템으로서 모니터를 통한 관제는 물론 HMD(Head Mount Display) 영상 출력기기를 이용하여 더욱더 현실감 넘치는 현장 화면을 관제 할 수 있다.
여섯째, 증강현실 영상 기반의 관제 시스템으로 360도의 화각을 보이는 영상을 절반으로 나누어 항로와 비 항로의 영상으로 구분하여 비 항로 영상에서의 선박 항해를 감지하여 위험 알림을 받아 사고 예방을 할 수 있다.
도 1 은 본 발명의 실시예에 따른 증강현실을 이용한 항로표지 관제 시스템의 구성을 나타낸 구성도
도 2 는 도 1에서 항로표지의 구성을 상세히 나타낸 블록도
도 3 은 도 1에서 증강현실 서버의 구성을 상세히 나타낸 블록도
도 4 는 도 3에서 증강현실 생성부의 구성을 상세히 나타낸 블록도
도 5 는 본 발명의 실시예에 따른 증강현실을 이용한 항로표지 관제 방법을 설명하기 위한 흐름도
그러면, 상기 관제시스템(300)은 상기 증강현실 서버(200)에서 생성된 증강현실 영상을 입력으로 모니터에 송출하여 표시한다(S60). 이때, 상기 관제시스템(300)은 도 6에서 도시하고 있는 것과 같이, 관제 관리자는 HMD(Head Mount Display) 영상 출력기기를 이용하여 모니터에 표시되는 증강현실 영상을 더욱더 현실감 넘치는 현장 화면을 관제하게 된다.
도 2 는 도 1에서 항로표지의 구성을 상세히 나타낸 블록도
도 3 은 도 1에서 증강현실 서버의 구성을 상세히 나타낸 블록도
도 4 는 도 3에서 증강현실 생성부의 구성을 상세히 나타낸 블록도
도 5 는 본 발명의 실시예에 따른 증강현실을 이용한 항로표지 관제 방법을 설명하기 위한 흐름도
그러면, 상기 관제시스템(300)은 상기 증강현실 서버(200)에서 생성된 증강현실 영상을 입력으로 모니터에 송출하여 표시한다(S60). 이때, 상기 관제시스템(300)은 도 6에서 도시하고 있는 것과 같이, 관제 관리자는 HMD(Head Mount Display) 영상 출력기기를 이용하여 모니터에 표시되는 증강현실 영상을 더욱더 현실감 넘치는 현장 화면을 관제하게 된다.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 증강현실을 이용한 항로표지 관제 시스템 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 증강현실을 이용한 항로표지 관제 시스템의 구성을 나타낸 구성도이다.
도 1에서 도시하고 있는 것과 같이, 연안(沿岸)을 항행하는 배의 지표가 되는 시설로 센서부를 통해 감지되는 센서 데이터 및 촬영 카메라를 통해 촬영된 영상을 LTE 이동통신망을 통해 실시간 스트리밍으로 전송하는 항로표지(100)와, 상기 항로표지(100)로부터 전달되는 촬영 영상과 센서 데이터 결과 값을 하나의 화면으로 통합하여 증강현실 영상을 생성하는 증강현실 서버(200)와, 상기 증강현실 서버(200)에서 생성된 증강현실 영상을 입력으로 모니터에 송출하여 표시하는 관제시스템(300)으로 구성된다.
상기 항로표지(100)는 도 2에서 도시하고 있는 것과 같이, 해양에 부유하고 상부로 일정 길이로 연장되어 설치되는 몸체(110)와, 몸체(110) 주변의 전방 및 후방의 모든 시야각을 포함하는 360도의 화각을 가지고 주변 영상을 촬영하는 촬영 카메라(120)와, 상기 몸체(110)에 부착되어 몸체부가 설치된 위치정보, 날씨 정보(풍향, 풍속, 기온, 습도, 기압, 강수량 등), 수온, 조류의 방향 및 세기 등을 포함하는 센서 정보를 검출하는 센서부(130)와, 상기 몸체(110)에 부착되어 빛을 발광하여 야간 등에 안전항로를 유도하는 등명기 광원부(140)와, 상기 촬영 카메라(120)에서 촬영된 영상 및 센서부에서 검출된 센서 정보를 LTE 이동통신망을 통해 실시간 스트리밍으로 증강현실 서버(200)로 전송하는 제 1 통신부(150)로 구성된다.
이때, 상기 항로표지(100)는 촬영 카메라(120)에서 촬영되는 주변 영상의 촬영 범위를 제어하거나 또는 제 1 통신부(150)를 통해 전송되는 촬영 영상의 일부 영상을 삭제하는 촬영 영상 제어부(160)를 더 포함하여 구성된다.
즉, LTE 이동통신망을 통해 실시간 스트리밍으로 영상 데이터를 전송할 때, 증강현실 영상처리를 위해 촬영된 영상 데이터가 커지게 된다. 이에 따라, 촬영 카메라(120)는 360도의 화각을 모두 촬영하여 증강현실 서버(200)로 전송하게 되는 경우 그 영상 데이터의 크기가 매우 커지는 문제점이 있다.
이에 따라, 본 발명은 전송되는 영상 데이터의 양을 줄이기 위해 촬영 영상 제어부(160)에서는 다음 2가지 방법을 사용한다.
첫째로 촬영 카메라(120)에서 360도로 주변 영상을 촬영할 때, 안전 항로를 촬영하는 비중을 비 항로를 촬영하는 비중보다 높게 설정한다. 즉, 실시예로서 안전 항로를 2~3회 촬영할 때 비 항로는 1번만 촬영하도록 하거나, 평상시에는 안전 항로를 촬영하다가 이벤트가 발생되는 경우에만 비 항로를 함께 촬영하도록 함으로써, 촬영되는 영상 데이터의 크기를 줄인다.
이는 대부분 항로표지(100) 주변을 항해하는 선박은 안전 항로로 이동하게 되고, 일부만이 비 항로로 항해함에 따라, 언제나 360도로 주변 영상을 촬영하여 전송할 필요가 없기 때문이다. 한편, 상기 이벤트는 미리 설정된 시간이거나, 항로표지(100) 주변으로 선박이 접근하는 경우, 또는 항로표지(100) 주변으로 접근된 선박이 비 항로로 항해하는 경우를 나타낸다. 그리고 상기 항로표지(100) 주변으로 접근하는 선박을 감지하는 구성으로는 항로표지(100) 선박에 별도로 적외선 센서, 초음파 센서 등의 감지센서를 구비함으로써 손쉽게 구현할 수 있다.
둘째로, 촬영 카메라(120)에서 360도로 주변 영상을 촬영한 영상 데이터 중 별도의 이벤트가 없는 경우에 안전 항로를 촬영한 영상만을 분리하여 증강현실 서버(200)로 전송하도록 하여, 전송되는 영상 데이터의 크기를 줄인다. 이때, 상기 이벤트는 미리 설정된 시간이거나, 또는 항로표지(100) 주변으로 선박이 접근하는 경우, 또는 항로표지(100) 주변으로 접근된 선박이 비 항로로 항해하는 경우를 나타낸다.
상기 증강현실 서버(200)는 도 3에서 도시하고 있는 것과 같이, 항로표지(100)로부터 전달되는 센서 데이터와 영상 데이터를 획득하는 입력정보 획득부(210)와, 상기 입력정보 획득부(210)로부터 획득된 센서 데이터 및 영상 데이터를 기반으로 가상 콘텐츠를 결정하는 가상 컨텐츠 결정부(220)와, 상기 가상 콘텐츠 결정부(220)에서 결정된 가상 콘텐츠를 기반으로 상기 입력정보 획득부(210)로부터 획득된 영상 데이터의 특징점을 획득하는 특징점 생성부(230)와, 상기 특징점 생성부(230)에서 획득된 특징점에 기반하여 상기 가상 콘텐츠 결정부(220)에서 결정된 가상 콘텐츠의 증강 위치를 계산하는 위치 계산부(240)와, 상기 위치 계산부(240)에서 계산된 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 동기화시켜 센서 데이터 및 영상 데이터의 특징점을 포함하는 증강현실 영상을 생성하는 증강현실 생성부(250)와, 상기 증강현실 생성부(250)에서 생성된 증강현실 영상을 항로표지 관제시스템(300)으로 전송하는 제 2 통신부(260)로 구성된다.
이때, 상기 증강현실 생성부(250)는 도 4에서 도시하고 있는 것과 같이, 상기 현실 환경에 대한 복원 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제 1 특징점 매칭부(251)와, 상기 획득된 영상의 이전 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제 2 특징점 매칭부(252)와, 상기 제1 특징점 매칭부(251) 및 상기 제2 특징점 매칭부(252)를 동시에 구동시켜 동기화시키는 동기화부(253)와, 상기 동기화된 영상 정보를 이용하여 상기 특징점을 추출하거나, 균등한 공간상에서 관측 확률에 근거하여 상기 특징점을 선별 추출하는 특징점 추출부(254)와, 상기 특징점 추출부(254)에서 추출된 특징점 외에 객체의 에지 정보 또는 객체의 2차원 정보를 더욱 이용하여 증강현실 영상을 생성하는 증강현실 영상 처리부(255)로 구성된다.
상기 관제시스템(300)은 상기 증강현실 서버(200)에서 생성된 증강현실 영상을 입력으로 모니터에 송출하여 표시하며, 이때, 관제 관리자는 HMD(Head Mount Display) 영상 출력기기를 이용하여 모니터에 표시되는 증강현실 영상을 더욱더 현실감 넘치는 현장 화면으로 관제하게 된다.
이와 같이 구성된 본 발명에 따른 증강현실을 이용한 항로표지 관제 시스템의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 또는 도 2와 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 5 는 본 발명의 실시예에 따른 증강현실을 이용한 항로표지 관제 방법을 설명하기 위한 흐름도이다.
도 5를 참조하여 설명하면, 먼저 항로표지(100)에 위치하는 센서부(130) 및 촬영 카메라(120)를 이용하여 센서 정보 및 영상 정보를 획득한다(S10). 이때, 상기 센서 정보는 항로표지(100)의 위치정보, 날씨 정보(풍향, 풍속, 기온, 습도, 기압, 강수량 등), 수온, 조류의 방향 및 세기 등을 포함한다. 그리고 상기 영상 정보는 항로표지(100) 주변의 전방 및 후방의 모든 시야각을 포함하는 360도의 화각을 가지는 주변 영상을 포함한다.
이어 촬영 영상 제어부(160)는 이벤트가 발생하지 않는 경우(S20), 촬영 카메라(120)에서 촬영되는 주변 영상의 촬영 범위를 제어하거나 또는 제 1 통신부(150)를 통해 전송되는 촬영 영상의 일부 영상을 삭제한다(S30). 이때, 상기 이벤트는 미리 설정된 시간이거나, 또는 항로표지(100) 주변으로 선박이 접근하는 경우, 또는 항로표지(100) 주변으로 접근된 선박이 비 항로로 항해하는 경우를 나타낸다.
즉, 상기 S30의 과정은 다음 2가지 방법을 사용한다.
첫째로 촬영 카메라(120)에서 360도로 주변 영상을 촬영할 때, 안전 항로를 촬영하는 비중을 비 항로를 촬영하는 비중보다 높게 설정한다. 즉, 실시예로서 안전 항로를 2~3회 촬영할 때 비 항로는 1번만 촬영하도록 하거나, 평상시에는 안전 항로를 촬영하다가 이벤트가 발생되는 경우에만 비 항로를 함께 촬영하도록 함으로써, 촬영되는 영상 데이터의 크기를 줄인다. 이는 대부분 항로표지(100) 주변을 항해하는 선박은 안전 항로로 이동하게 되고, 일부만이 비 항로로 항해함에 따라, 언제나 360도로 주변 영상을 촬영하여 전송할 필요가 없기 때문이다.
둘째로, 촬영 카메라(120)에서 360도로 주변 영상을 촬영한 영상 데이터 중 별도의 이벤트가 없는 경우에 안전 항로를 촬영한 영상만을 분리하여 증강현실 서버(200)로 전송하도록 하여, 전송되는 영상 데이터의 크기를 줄인다.
한편, 촬영 영상 제어부(160)는 이벤트가 발생하는 경우(S20), 촬영 카메라(120)에서 항로표지(100) 주변의 전방 및 후방의 모든 시야각을 포함하는 360도의 화각을 가지는 주변 영상을 모두 LTE 이동통신망을 통해 실시간 스트리밍으로 증강현실 서버(200)로 전송한다(S40).
이에, 증강현실 서버(200)는 항로표지(100)로부터 전달되는 촬영 영상과 센서 데이터 결과 값을 하나의 화면으로 통합하여 증강현실 영상을 생성하여 관제시스템(300)으로 전송한다(S50).
이때, 상기 증간현실 서버(200)는 항로표지(100)로부터 전달되는 센서 데이터와 영상 데이터가 획득되면, 가상 컨텐츠 결정부(220)를 통해 획득된 센서 데이터 및 영상 데이터를 기반으로 가상 콘텐츠를 결정하고, 특징점 생성부(230)를 통해 결정된 가상 콘텐츠를 기반으로 상기 입력정보 획득부(210)로부터 획득된 영상 데이터의 특징점을 획득한다. 이어 위치 계산부(240)를 통해 획득된 특징점에 기반하여 상기 가상 콘텐츠 결정부(220)에서 결정된 가상 콘텐츠의 증강 위치를 계산한 후, 증강현실 생성부(250)를 통해 계산된 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 동기화시켜 센서 데이터 및 영상 데이터의 특징점을 포함하는 증강현실 영상을 생성한다. 그리고 제 2 통신부(260)를 통해 생성된 증강현실 영상을 항로표지 관제시스템(300)으로 전송한다.
그러면, 상기 관제시스템(300)은 상기 증강현실 서버(200)에서 생성된 증강현실 영상을 입력으로 모니터에 송출하여 표시한다(S60). 이때, 상기 관제시스템(300)은 도 6에서 도시하고 있는 것과 같이, 관제 관리자는 HMD(Head Mount Display) 영상 출력기기를 이용하여 모니터에 표시되는 증강현실 영상을 더욱더 현실감 넘치는 현장 화면을 관제하게 된다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (11)
- 센서부를 통해 감지되는 센서 데이터 및 촬영 카메라를 통해 촬영된 영상을 이동통신망을 통해 실시간 스트리밍으로 전송하는 항로표지로부터 전달되는 촬영 영상과 센서 데이터 결과 값을 하나의 화면으로 통합하여 증강현실 영상을 생성하는 증강현실 서버와,
상기 증강현실 서버에서 생성된 증강현실 영상을 입력으로 모니터에 송출하여 표시하는 관제시스템을 포함하여 구성되는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 시스템. - 제 1 항에 있어서, 상기 항로표지는
해양에 부유하고 상부로 일정 길이로 연장되어 설치되는 몸체와,
몸체 주변의 전방 및 후방의 모든 시야각을 포함하는 360도의 화각을 가지고 주변 영상을 촬영하는 촬영 카메라와,
상기 몸체에 부착되어 몸체부가 설치된 위치정보, 날씨 정보, 수온, 조류의 방향 및 세기를 포함하는 센서 정보를 검출하는 센서부와,
상기 몸체에 부착되어 빛을 발광하여 야간 등에 안전항로를 유도하는 등명기 광원부와,
상기 촬영 카메라에서 촬영된 영상 및 센서부에서 검출된 센서 정보를 LTE 이동통신망을 통해 실시간 스트리밍으로 증강현실 서버로 전송하는 제 1 통신부를 포함하여 구성되는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 시스템. - 제 2 항에 있어서,
상기 항로표지는 촬영 카메라에서 촬영되는 주변 영상의 촬영 범위를 제어하거나 또는 제 1 통신부를 통해 전송되는 촬영 영상의 일부 영상을 삭제하는 촬영 영상 제어부를 더 포함하여 구성되는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 시스템. - 제 1 항에 있어서, 상기 증강현실 서버는
항로표지로부터 전달되는 센서 데이터와 영상 데이터를 획득하는 입력정보 획득부와,
상기 입력정보 획득부로부터 획득된 센서 데이터 및 영상 데이터를 기반으로 가상 콘텐츠를 결정하는 가상 컨텐츠 결정부와,
상기 가상 콘텐츠 결정부에서 결정된 가상 콘텐츠를 기반으로 상기 입력정보 획득부로부터 획득된 영상 데이터의 특징점을 획득하는 특징점 생성부와,
상기 특징점 생성부에서 획득된 특징점에 기반하여 상기 가상 콘텐츠 결정부에서 결정된 가상 콘텐츠의 증강 위치를 계산하는 위치 계산부와,
상기 위치 계산부에서 계산된 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 동기화시켜 센서 데이터 및 영상 데이터의 특징점을 포함하는 증강현실 영상을 생성하는 증강현실 생성부와,
상기 증강현실 생성부에서 생성된 증강현실 영상을 항로표지 관제시스템으로 전송하는 제 2 통신부를 포함하여 구성되는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 시스템. - 제 4 항에 있어서, 상기 증강현실 생성부는
현실 환경에 대한 복원 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제 1 특징점 매칭부와,
상기 획득된 영상의 이전 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제 2 특징점 매칭부와,
상기 제 1 특징점 매칭부 및 상기 제 2 특징점 매칭부를 동시에 구동시켜 동기화시키는 동기화부와,
상기 동기화된 영상 정보를 이용하여 상기 특징점을 추출하거나, 균등한 공간상에서 관측 확률에 근거하여 상기 특징점을 선별 추출하는 특징점 추출부와,
상기 특징점 추출부에서 추출된 특징점 외에 객체의 에지 정보 또는 객체의 2차원 정보를 더욱 이용하여 증강현실 영상을 생성하는 증강현실 영상 처리부를 포함하여 구성되는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 시스템. - 제 1 항에 있어서,
상기 관제시스템은 HMD(Head Mount Display) 영상 출력기기를 이용하여 모니터에 표시되는 증강현실 영상을 관제하는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 시스템. - (A) 항로표지에 위치하는 센서부 및 촬영 카메라에서 센서 정보 및 영상 정보를 획득하는 단계와,
(B) 촬영 영상 제어부를 통해 이벤트가 발생하면, 촬영 카메라에서 촬영되는 주변 영상의 촬영 범위를 줄이거나 또는 전송되는 촬영 영상의 일부 영상을 삭제하는 단계와,
(C) 획득된 센서 정보 및 영상 정보를 이동통신망을 통해 실시간 스트리밍으로 증강현실 서버로 전송하는 단계와,
(D) 증강현실 서버를 이용하여 항로표지로부터 전달되는 촬영 영상과 센서 데이터 결과 값을 하나의 화면으로 통합하여 증강현실 영상을 생성하여 관제시스템으로 전송하는 단계와,
(E) 관제시스템을 이용하여 상기 증강현실 영상을 입력으로 모니터에 송출하여 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 방법. - 제 7 항에 있어서,
상기 (A) 단계에서 센서 정보는 항로표지의 위치정보, 날씨 정보, 수온, 조류의 방향 및 세기를 포함하고, 영상 정보는 항로표지 주변의 전방 및 후방의 모든 시야각을 포함하는 360도의 화각을 가지는 주변 영상을 포함하는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 방법. - 제 7 항에 있어서,
상기 (B) 단계에서 이벤트는 미리 설정된 시간, 항로표지 주변으로 선박이 접근, 항로표지 주변으로 접근된 선박이 비 항로로 항해 중 적어도 하나인 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 방법. - 제 7 항에 있어서, 상기 (D) 단계는
입력정보 획득부를 이용하여 전달되는 센서 데이터와 영상 데이터가 획득되는 단계와,
가상 컨텐츠 결정부를 이용하여 획득된 센서 데이터 및 영상 데이터를 기반으로 가상 콘텐츠를 결정하는 단계와,
특징점 생성부를 이용하여 결정된 가상 콘텐츠를 기반으로 상기 획득된 영상 데이터의 특징점을 획득하는 단계와,
위치 계산부를 이용하여 상기 획득된 특징점에 기반하여 상기 결정된 가상 콘텐츠의 증강 위치를 계산하는 단계와,
증강현실 생성부를 이용하여 상기 계산된 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 동기화시켜 센서 데이터 및 영상 데이터의 특징점을 포함하는 증강현실 영상을 생성하는 단계와,
제 2 통신부를 이용하여 상기 생성된 증강현실 영상을 항로표지 관제시스템으로 전송하는 단계를 포함하여 이루어지는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 방법. - 제 7 항에 있어서,
상기 (E) 단계는 HMD(Head Mount Display) 영상 출력기기를 이용하여 모니터에 표시되는 증강현실 영상을 관제하는 것을 특징으로 하는 증강현실을 이용한 항로표지 관제 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170052699A KR102004455B1 (ko) | 2017-04-25 | 2017-04-25 | 증강현실을 이용한 항로표지 관제 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170052699A KR102004455B1 (ko) | 2017-04-25 | 2017-04-25 | 증강현실을 이용한 항로표지 관제 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180119238A true KR20180119238A (ko) | 2018-11-02 |
| KR102004455B1 KR102004455B1 (ko) | 2019-07-26 |
Family
ID=64328848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170052699A KR102004455B1 (ko) | 2017-04-25 | 2017-04-25 | 증강현실을 이용한 항로표지 관제 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102004455B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570537A (zh) * | 2019-08-27 | 2019-12-13 | 厦门蓝海天信息技术有限公司 | 基于视频识别的航标监测方法及船载航标智能巡检设备 |
| KR102354132B1 (ko) * | 2020-10-14 | 2022-01-24 | 한국전자기술연구원 | 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법 |
| WO2022139022A1 (ko) * | 2020-12-22 | 2022-06-30 | 케이제이엔지니어링 주식회사 | 전방위 카메라를 이용한 증강현실기반의 선박 안전운항관리 시스템 |
| KR20220132912A (ko) * | 2021-03-24 | 2022-10-04 | 김대인 | 증강현실을 이용한 자율운항선박의 제어 시스템 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060107475A (ko) * | 2006-09-21 | 2006-10-13 | 동영정보통신 주식회사 | 항로표지 관리 시스템 |
| KR20110099998A (ko) * | 2010-03-03 | 2011-09-09 | 광주과학기술원 | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
| KR101231911B1 (ko) | 2011-06-29 | 2013-02-08 | 주식회사 엠에스엘테크놀로지 | 예비기능을 갖춘 항로표시 엘이디 등명기 및 작동방법 |
| KR101496725B1 (ko) | 2013-05-09 | 2015-03-02 | 전남대학교산학협력단 | 예비기능을 갖춘 항로표시 엘이디(led) 등명기의 제어모듈과, 이의 작동방법. |
| KR20150075532A (ko) * | 2013-12-26 | 2015-07-06 | 한국전자통신연구원 | 증강 현실 제공 장치 및 방법 |
| KR20160116715A (ko) * | 2015-03-31 | 2016-10-10 | 국민대학교산학협력단 | 증강현실 기반의 해양 모니터링 시스템, 서버 및 그 방법 |
-
2017
- 2017-04-25 KR KR1020170052699A patent/KR102004455B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060107475A (ko) * | 2006-09-21 | 2006-10-13 | 동영정보통신 주식회사 | 항로표지 관리 시스템 |
| KR20110099998A (ko) * | 2010-03-03 | 2011-09-09 | 광주과학기술원 | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
| KR101231911B1 (ko) | 2011-06-29 | 2013-02-08 | 주식회사 엠에스엘테크놀로지 | 예비기능을 갖춘 항로표시 엘이디 등명기 및 작동방법 |
| KR101496725B1 (ko) | 2013-05-09 | 2015-03-02 | 전남대학교산학협력단 | 예비기능을 갖춘 항로표시 엘이디(led) 등명기의 제어모듈과, 이의 작동방법. |
| KR20150075532A (ko) * | 2013-12-26 | 2015-07-06 | 한국전자통신연구원 | 증강 현실 제공 장치 및 방법 |
| KR20160116715A (ko) * | 2015-03-31 | 2016-10-10 | 국민대학교산학협력단 | 증강현실 기반의 해양 모니터링 시스템, 서버 및 그 방법 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570537A (zh) * | 2019-08-27 | 2019-12-13 | 厦门蓝海天信息技术有限公司 | 基于视频识别的航标监测方法及船载航标智能巡检设备 |
| CN110570537B (zh) * | 2019-08-27 | 2021-06-22 | 厦门蓝海天信息技术有限公司 | 基于视频识别的航标监测方法及船载航标智能巡检设备 |
| KR102354132B1 (ko) * | 2020-10-14 | 2022-01-24 | 한국전자기술연구원 | 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법 |
| WO2022080560A1 (ko) * | 2020-10-14 | 2022-04-21 | 한국전자기술연구원 | 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법 |
| WO2022139022A1 (ko) * | 2020-12-22 | 2022-06-30 | 케이제이엔지니어링 주식회사 | 전방위 카메라를 이용한 증강현실기반의 선박 안전운항관리 시스템 |
| KR20220132912A (ko) * | 2021-03-24 | 2022-10-04 | 김대인 | 증강현실을 이용한 자율운항선박의 제어 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102004455B1 (ko) | 2019-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102004455B1 (ko) | 증강현실을 이용한 항로표지 관제 시스템 및 방법 | |
| JP6932487B2 (ja) | 移動体監視装置 | |
| CA2756912C (en) | Methods and systems for augmented navigation | |
| KR101880437B1 (ko) | 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템 | |
| KR101072397B1 (ko) | 모니터를 이용한 선박용 증강 현실 시스템 및 그 구현 방법 | |
| KR101666466B1 (ko) | 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법 | |
| CN103398710B (zh) | 一种夜雾天况下的舰船进出港导航系统及其构建方法 | |
| KR100990764B1 (ko) | 항만 영상관제 시스템 및 방법 | |
| KR101575954B1 (ko) | 3차원 정합을 이용한 증강현실 장치 및 그 방법 | |
| CN111625159B (zh) | 用于远程驾驶的人机交互操作界面显示方法、装置和终端 | |
| JP5152913B2 (ja) | 洋上監視システムおよび方法 | |
| KR101920707B1 (ko) | 영상정보 기반의 스마트 항적 정보 생성 장치 및 그 생성방법 | |
| JP6482855B2 (ja) | 監視システム | |
| EP4047312A1 (en) | Augmented reality based tidal current display device | |
| KR101675673B1 (ko) | 돌고래 탐지 시스템장치 및 그 방법 | |
| KR20140137233A (ko) | 3차원 공간계를 이용한 선박 견시 시스템 및 방법 | |
| US11808579B2 (en) | Augmented reality based tidal current display apparatus and method | |
| KR102464212B1 (ko) | 전방위 카메라를 이용한 증강현실기반의 선박 안전운항관리 시스템 | |
| KR102156338B1 (ko) | 선박의 통합 모니터링 방법 및 그 장치 | |
| CN113341947A (zh) | 一种基于船舶信息化平台的水上立体搜救系统 | |
| CN113450598A (zh) | 基于红外视频的船舶辅助航行方法及系统 | |
| JPWO2020075430A1 (ja) | 映像生成装置及び映像生成方法 | |
| KR102620098B1 (ko) | Ar 기반의 해상 객체 전시 시스템 및 방법 | |
| JP7492059B2 (ja) | 周辺監視装置及び周辺監視方法 | |
| US20240104746A1 (en) | Vessel tracking and monitoring system and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |