KR102162065B1 - 수상 레저 안전성 예측 방법 및 이를 실행하는 프로그램이 기록된 기록매체 - Google Patents
수상 레저 안전성 예측 방법 및 이를 실행하는 프로그램이 기록된 기록매체 Download PDFInfo
- Publication number
- KR102162065B1 KR102162065B1 KR1020170166735A KR20170166735A KR102162065B1 KR 102162065 B1 KR102162065 B1 KR 102162065B1 KR 1020170166735 A KR1020170166735 A KR 1020170166735A KR 20170166735 A KR20170166735 A KR 20170166735A KR 102162065 B1 KR102162065 B1 KR 102162065B1
- Authority
- KR
- South Korea
- Prior art keywords
- drone
- risk
- image
- weather condition
- water leisure
- Prior art date
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 178
- 230000008859 change Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 239000002775 capsule Substances 0.000 description 12
- 238000001514 detection method Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 11
- 238000013480 data collection Methods 0.000 description 8
- 229910002092 carbon dioxide Inorganic materials 0.000 description 7
- 239000001569 carbon dioxide Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000001556 precipitation Methods 0.000 description 6
- 238000012502 risk assessment Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 239000003643 water by type Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001544487 Macromiidae Species 0.000 description 1
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명의 일 측면(aspect)에 따른 수상 레저 안전성 예측 방법은 제1 기상 조건이 유지되는 동안 촬영된 수상 레저 활동과 관련된 관심 영역에 대한 영상을 수신하는 단계, 상기 영상에 포함된 수상 레저 활동과 관련된 이벤트를 분석하여, 상기 영상에 대한 위험도를 평가하는 단계, 상기 영상에 대한 위험도를 상기 제1 기상 조건에 매칭하는 단계, 상기 제1 기상 조건의 이후 시점에 대한 제2 기상 조건을 수신하는 단계, 및 상기 제1 기상 조건에 매칭된 위험도를 기초로, 상기 제2 기상 조건에 수상 레저 활동을 수행할 경우 발생할 수 있는 상황에 대한 위험도를 예측하는 단계를 포함한다.
Description
본 발명은 수상 레저 활동의 안전에 관한 것이다. 보다 상세하게는, 수상 레저 안전성 예측 방법 및 이를 실행하는 프로그램이 기록된 기록매체에 관한 것이다.
산업화가 고도화됨에 따라 노동 시간이 감소되고, 그에 따른 반대 급부로 여가 활동 시간이 늘어나게 되었다. 수상 레저 활동은 해수욕장, 계곡, 강 또는 호수 등의 내수면에서 수상 레저 기구 등을 이용하여 이루어지는 모든 여가 활동을 지칭한다. 그러나, 물 속에서 사람이 살 수 없으므로, 수상 레저 활동에 대한 안전성은 필수적으로 확보되어야 한다.
수상 레저 활동의 안전성을 확보하기 위하여, 해양 구조대 등은 해수욕장, 계곡, 강 또는 호수 등을 실시간으로 감시하고 안전 사고 발생시 즉각적인 구조 활동을 전개한다. 또한, 해양 구조대 및 기타 해양 관련 기관 등은 수상 레저 활동 지역에 CCTV(Closed Circuit TeleVision)를 설치하고, 이를 이용하여 치안 감시 등을 수행하기도 한다. 그러나, 사람의 시각 또는 청각에 의존한 감시 활동은 한계가 있다. 구체적으로, 수상 레저 활동 지역에 활동 중인 구조 요원은 육안으로 넓은 지역을 꼼꼼히 살펴보기 곤란하며, 사고 발생 여부를 조속하게 식별하기 어렵다. 또한, 물에 빠진 사람이 육성으로 구조를 요청하더라도, 해안가와 같은 개활지는 음성이 멀리 도달하지 못하며 파도 소리 등에 음성이 묻혀 구조 요원에게 전달되기 어렵다. 설령, 구조 요원이 물에 빠진 사람을 발견하더라도, 구조 요원과 물에 빠진 사람 사이의 거리가 먼 경우, 인명을 구조할 수 있는 골든 타임(golden time)은 극히 짧은 시간이 될 수 밖에 없다.
이와 같이, 구조 요원 등의 시각, 청각에 의존한 기존의 인명 구조 활동은 수상 레저 활동과 관련된 안전 사고를 원천적으로 예방할 수 없다. 따라서, 수상 레저 활동 등과 관련하여 발생되는 안전 사고를 사전적으로 예방하고, 조속한 인명 구조를 수행할 수 있는 솔루션이 요구되는 실정이다.
본 명세서의 일 개시는 수상 레저 안전성을 예측하는 방법을 제공하는 것을 목적으로 한다.
본 명세서의 다른 개시는 수상 레저 안전성을 예측하는 방법을 실행하는 프로그램이 기록된 기록매체를 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한, 본 발명의 일 측면(aspect)에 따른 수상 레저 안전성 예측 방법은 제1 기상 조건이 유지되는 동안 촬영된 수상 레저 활동과 관련된 관심 영역에 대한 영상을 수신하는 단계, 상기 영상에 포함된 수상 레저 활동과 관련된 이벤트를 분석하여, 상기 영상에 대한 위험도를 평가하는 단계, 상기 영상에 대한 위험도를 상기 제1 기상 조건에 매칭하는 단계, 상기 제1 기상 조건의 이후 시점에 대한 제2 기상 조건을 수신하는 단계, 및 상기 제1 기상 조건에 매칭된 위험도를 기초로, 상기 제2 기상 조건에 수상 레저 활동을 수행할 경우 발생할 수 있는 상황에 대한 위험도를 예측하는 단계를 포함한다.
상기 위험도를 평가하는 단계는 상기 영상을 복수 개의 영역으로 그리드 분할하는 단계, 상기 분할된 복수 개의 영역 중 상기 수상 레저 활동과 관련된 이벤트가 발생된 영역을 검출하는 단계, 및 상기 수상 레저 활동과 관련된 이벤트의 속성에 따라, 상기 검출된 영역에 대한 위험도를 부여하는 단계를 포함할 수 있다.
상기 위험도를 평가하는 단계는 상기 영상에 포함된 부표(buoy)를 검출하는 단계, 상기 검출된 부표의 위치 변화량을 기초로, 상기 영상에 포함된 내해(inland sea)의 파고(wave height)를 측정하는 단계, 상기 측정된 파고에 대하여 상기 제1 기상 조건보다 상대적으로 높은 가중치를 부여하는 단계, 및 상기 가중치가 부여된 상기 파고를 기초로, 상기 위험도를 평가하는 단계를 포함할 수 있다.
상기 위험도를 예측하는 단계는 상기 제2 기상 조건에 대응하여 예측된 위험도를 수치로 산출하는 단계, 및 상기 산출된 수치에 따른 색상을 상기 영상에 오버레이하여 위험도 맵(map)을 생성하는 단계를 포함할 수 있다.
상기 위험도를 예측하는 단계는 상기 제2 기상 조건에 대응하여 예측된 위험도를 기초로, 기 설정된 임계 값 이상의 사고 발생률을 가지는 수상 레저 활동의 종류를 산출하는 단계, 상기 임계 값 이상의 사고 발생률을 가지는 수상 레저 활동의 활동 영역을 산출하는 단계, 및 상기 산출된 수상 레저 활동의 종류 및 활동 영역에 관한 정보를 전송하는 단계를 포함할 수 있다.
상기 제1 기상 조건은 상기 영상에 포함된 수상 레저 활동 지역에 설치된 센서에 의해 측정된 풍속, 풍향 및 온도를 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따르면, 컴퓨팅 장치와 결합되어, 제1 기상 조건이 유지되는 동안 촬영된 수상 레저 활동과 관련된 관심 영역에 대한 영상을 수신하는 단계, 상기 영상에 포함된 수상 레저 활동과 관련된 이벤트를 분석하여, 상기 영상에 대한 위험도를 평가하는 단계, 상기 영상에 대한 위험도를 상기 제1 기상 조건에 매칭하는 단계, 상기 제1 기상 조건의 이후 시점에 대한 제2 기상 조건을 수신하는 단계, 및 상기 제1 기상 조건에 매칭된 위험도를 기초로, 상기 제2 기상 조건에 수상 레저 활동을 수행할 경우 발생할 수 있는 상황에 대한 위험도를 예측하는 단계를 실행시키기 위하여, 기록 매체에 기록된 컴퓨터 프로그램이 제공될 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시 예들에 따르면, 수상 레저 활동과 관련된 사고의 발생 가능성을 미리 예측하여 제공함으로써, 수상 레저 활동과 관련된 사고를 사전에 예방할 수 있다.
특히, 본 발명의 실시예들에 따르면, 사고 발생 가능성이 높은 수상 레저 활동의 종류 및 사고 발생 가능성이 높은 위치를 미리 예측하여 제공함으로써, 해양 구조대로 하여금 특정 위치의 특정 수상 레저 활동만을 집중 감시하게 할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과로 제한되지 아니하며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 본 발명이 속한 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 본 발명의 몇몇 실시예에 따른 수상 레저 활동의 안전성 지원 시스템에 관한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 수상 레저 활동의 안전성 지원 시스템의 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 안전성 지원 서버의 논리적 구성도이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 안전성 예측 과정을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 드론의 루틴 패트롤(routine patrol)을 설명하기 위한 예시도이다.
도 10 및 도 11은 본 발명의 몇몇 실시예에 따른 구조용 튜브의 구조를 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시예에 따른 드론을 이용한 인명 구조 활동을 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시예에 따른 안전성 지원 서버의 데이터베이스 구축 방법을 설명하기 위한 순서도이다.
도 14는 본 발명의 일 실시예에 따른 안전성 지원 서버의 안전성 예측 방법을 설명하기 위한 순서도이다.
도 15는 본 발명의 일 실시예에 따른 드론을 이용한 인명 구조 자동화 방법을 설명하기 위한 순서도이다.
도 16은 본 발명의 실시예에 따른 안전성 지원 서버의 물리적 구성도이다.
도 3은 본 발명의 일 실시예에 따른 수상 레저 활동의 안전성 지원 시스템의 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 안전성 지원 서버의 논리적 구성도이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 안전성 예측 과정을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 드론의 루틴 패트롤(routine patrol)을 설명하기 위한 예시도이다.
도 10 및 도 11은 본 발명의 몇몇 실시예에 따른 구조용 튜브의 구조를 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시예에 따른 드론을 이용한 인명 구조 활동을 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시예에 따른 안전성 지원 서버의 데이터베이스 구축 방법을 설명하기 위한 순서도이다.
도 14는 본 발명의 일 실시예에 따른 안전성 지원 서버의 안전성 예측 방법을 설명하기 위한 순서도이다.
도 15는 본 발명의 일 실시예에 따른 드론을 이용한 인명 구조 자동화 방법을 설명하기 위한 순서도이다.
도 16은 본 발명의 실시예에 따른 안전성 지원 서버의 물리적 구성도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.
본 발명에 대한 설명에 앞서, 본 명세서에서 공통적으로 사용되는 용어에 대해 설명한다.
수상 레저 활동은 해수욕장, 계곡, 강 또는 호수 등의 내수면에서 이루어지는 모든 여가 활동을 의미한다. 수상 레저 활동은 별도의 수상 레저 기구를 이용하는 활동일 수 있으나, 반드시 수상 레저 기구를 이용한 활동에 한정되지 않는다. 수상 레저 활동에는 스노클링, 스킨 스쿠버, 오리 보트, 수상 자전거, 페달 보트, 플라이 보드, 제토베이터, 패러세일링, 플라이 피쉬, 수상 스키, 웨이트 보드, 래프팅, 리버버깅, 카누, 카약, 바나나 보트, 크루저 요트, 블롭 점프 및 서핑 보트 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.
이하, 도면을 참조하여, 본 발명의 개념 및 이에 따른 실시 예들에 대해 상세히 설명하기로 한다.
도 1 및 도 2는 본 발명의 몇몇
실시예에
따른 수상 레저 활동의 안전성 지원 시스템에 관한
개념도이다
.
도 1을 참조하면, 수상 레저 활동의 안전성 지원 시스템(10)은 수상 레저 활동 지역에 설치되어 있는 카메라(200)들에 의해 촬영된 수상 레저 활동 지역에 대한 영상 및 기상 센서(300)에 의해 수집된 기상 정보를 기초로 데이터베이스를 구축하고, 구축된 데이터베이스 및 기상 예보를 기초로 수상 레저 활동의 안전성을 예측할 수 있는 시스템이다.
또한, 도 2를 참조하면, 수상 레저 활동의 안전성 지원 시스템(10)은 수상 레저 활동 지역에 설치되어 있는 카메라(200)들을 이용하여 자동으로 안전 사고 발생 여부를 판단하고, 안전 사고가 발생된 것으로 판단되면 드론(Drone, 600)을 이용하여 자동으로 피구조자(20d)를 구조할 수 있다.
보다 구체적으로, 수상 레저 활동의 안전성 지원 시스템(10)은 카메라(200)에 의해 촬영된 관심 영역 영상 중 수상 레저 활동을 실행하는 사람(20a, 20b, 20c 및 20d)과 관련된 이벤트를 분석한다. 수상 레저 활동의 안전성 지원 시스템(10)은 분석된 이벤트를 기상 센서(300)에 의해 수집된 기상 정보에 매칭 저장하여, 안전성 예측의 기반이 되는 데이터베이스를 구축한다. 수상 레저 활동의 안전성 지원 시스템(10)은 기상 예보가 수신되면, 구축된 데이터베이스에 기상 예보를 매칭하여 수상 레저 활동의 안전성을 예측할 수 있다. 그리고, 수상 레저 활동의 안전성 지원 시스템(10)은 예측된 수상 레저 활동의 안전성을 해양 구조대 등에게 제공할 수 있다.
즉, 본 발명의 일 실시 예에 따른 수상 레저 활동의 안전성 지원시스템(10)은 수상 레저 활동과 관련된 안전 사고의 발생 가능성을 미리 예측하여 해양 구조대 등에 제공할 수 있다. 특히, 본 발명의 다른 실시 예에 따른 수상 레저 안전성 예측 시스템(10)은 사고 발생 가능성이 높은 수상 레저 활동의 종류 및 사고 발생 가능성이 높은 위치를 미리 예측하여 해양 구조대 등에 제공할 수도 있다.
또한, 수상 레저 활동의 안전성 지원 시스템(10)은 카메라(200)에 의해 촬영된 관심 영역 영상을 기초로, 수상 레저 활동과 관련된 안전 사고가 발생되었는지 여부를 판단한다. 수상 레저 활동의 안전성 지원 시스템(10)은 수상 레저 활동과 관련된 안전 사고가 발생된 것으로 판단된 경우, 드론(600)을 이용하여 인명 구조 활동을 수행할 수 있다.
이하 설명의 편의를 위하여, 수상 레저 활동 지역에 대한 영상을 ′관심 영역 영상(image for Point of Interest)′이라 기재한다.
본 발명의 일 실시예에 따른 관심 영역 영상이 해안가에 설치되어 있는 카메라에 의해 촬영된 영상일 경우, 관심 영역 영상에는 바다(또는 해수욕장), 육지, 파도(40) 자연물이 포함될 수 있다. 관심 영역 영상에서는 수상 레저 활동을 실행하는 사람(20a, 20b, 20c 및 20d) 및 수상 레저 이외의 활동을 실행하는 사람이 포함될 수 있다. 또한, 관심 영역 영상에는 부표(buoy, 30), 수상 레저 기구, 등대 등과 같은 인조물이 포함될 수도 있다.
도 3은 본 발명의 일
실시예에
따른 수상 레저 활동의 안전성 지원 시스템의 구성도이다.
도 3에 도시된 수상 레저 활동의 안전성 지원 시스템(10)은 안전성 지원 서버(100), 하나 이상의 카메라(200), 하나 이상의 기상 센서(300), 기상 예보 서버(400), 구조대 서버(500) 및 드론(600)을 포함하여 구성될 수 있다. 이와 같은, 수상 레저 활동의 안전성 지원 시스템(10)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수 있다.
도 3에 도시된 각 구성 요소에 대하여 구체적으로 설명하면, 수상 레저 활동의 안전성 지원 서버(100)는 카메라(200)에 의해 촬영된 관심 영역 영상 및 기상 센서(300)에 의해 수집된 기상 정보를 기초로 데이터베이스를 구축하고, 기상 예보 서버(400)로부터 기상 예보가 수신되면 구축된 데이터베이스에 매칭하여 수상 레저 활동의 안전성을 예측하고, 예측된 수상 레저 안전성을 구조대 서버(500)에 제공할 수 있다. 또한, 안전성 지원 서버(100)는 하나 이상의 카메라(200)에 의해 촬영된 관심 영역 영상을 기초로 안전 사고 발생 여부를 판단하고, 드론(600)에게 자동화된 인명 구조 활동을 명령하는 장치이다.
안전성 지원 서버(100)는 카메라(200), 기상 센서(300), 기상 예보 서버(400), 구조대 서버(500) 및 드론(600)과 통신을 수행하고, 데이터를 처리할 수 있는 장치라면 어떠한 장치도 허용될 수 있다. 바람직하게, 안전성 지원 서버(100)는 데스크탑(desktop), 워크스테이션(workstation) 또는 서버(server) 등과 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있을 것이나, 이에 한정되지 않고, 랩탑(laptop), 스마트폰(smart phone), 패블릿(phablet), 태블릿(tablet), 개인용 휴대 단말기(Personal Digital Assistants, PDA), 전자책 단말기(E-Book reader) 등과 같은 이동식 컴퓨팅 장치 상에서도 구현될 수 있을 것이다.
이와 같은, 안전성 지원 서버(100)의 구성 및 동작에 대한 설명은, 도 4 내지 도 10을 참조하여 후술하기로 한다.
카메라(200)는 수상 레저 활동 지역의 영상을 촬영하여 안전성 지원 서버(100)에 제공할 수 있다. 카메라(200)는 안전성 지원 서버(100)에 전용(dedicated)되는 카메라에 한정되지 아니하며, 해양 치안 감시, 해양 오염 감시 등의 목적을 위해 해양 구조대 또는 기타 해양 관련 기관 등이 기존에 설치한 카메라가 될 수도 있다. 카메라(200)의 개수는 단수에 한정되지 아니하며, 복수 개의 카메라(300)가 이격된 위치에 설치되어 광각으로 수상 레저 활동 지역을 촬영하여 안전성 지원 서버(100)에 제공할 수도 있다. 또한, 카메라(200)는 안전성 지원 서버(100)의 명령에 따라, 좌우 스윙(swing), 상하 틸트(tilt) 등의 방향 전환이 가능하다.
기상 센서(300)는 수상 레저 활동 지역에 설치되어 기상 환경을 측정하고, 측정된 기상 환경에 관한 정보를 안전성 지원 서버(100)에 제공할 수 있다. 기상 센서(300)에는 풍향계, 풍속계, 풍향/풍속계, 온/습도계, 강수감지계, 기압계, 증발량계, 우량계, 일조계, 일사계, UV(ultraviolet ray) 센서 또는 노점계 등과 같은 센서 중 하나 이상이 조합되어 구성될 수 있으나, 이에 한정되는 것은 아니다.
이하 설명의 편의를 위하여, 기상 센서(300)가 안전성 지원 서버(100)에 제공하는 기상 환경에 관한 정보를 제1 기상 조건이라 지칭한다. 제1 기상 조건에는 기상 센서(300)에 의해 측정된, 풍향, 풍속, 온도, 습도, 강수량, 기압, 일조량, 일사량 또는 자외선 지수가 포함될 수 있으나, 이에 한정되는 것은 아니다.
기상 예보 서버(400)는 수상 레저 활동 지역을 포함한 광범위한 지역에 대하여 예측된 기상 예보에 관한 정보를 안전성 지원 서버(100)에 제공할 수 있다. 기상 예보 서버(400)는 기상청에서 산출된 기상 예보를 배포하기 위하여 운용하는 장치들 중 어느 하나가 될 수 있으나, 이에 한정되지 아니하고, 기상 예보와 관련하여 민간 기관이 운용하는 장치가 될 수도 있다.
이하 설명의 편의를 위하여, 기상 예보 서버(400)가 안전성 지원 서버(100)에 제공하는 기상 예보에 관한 정보를 제2 기상 조건이라 지칭한다. 따라서, 제2 기상 조건은 제1 기상 조건의 이후의 시점에 대한 기상 조건이 될 수 있다. 제2 기상 조건에는 날씨, 풍향, 풍속, 습도, 강수 확률, 강수량, 최저 기온, 최고 기온, 신뢰도, 외해(open sea)의 파고(wave height), 외해의 파력(wave force), 강풍 주의보, 강풍 경보, 풍랑 주의보, 풍랑 경보, 호우 주의보, 호우 경보, 태풍 주의보, 태풍 경보, 낙뢰 주의보, 낙뢰 경보, 대설 주의보 또는 대설 특보가 포함될 수 있으나, 이에 한정되는 것은 아니다.
구조대 서버(500)는 예측된 수상 레저 활동의 안전성에 관한 정보를 안전성 지원 서버(100)로부터 수신하여 출력할 수 있다. 구조대 서버(500)는 해양 구조대에서 해양 구조 대원의 작업 할당, 스케줄링, 사고 정보 전파 등의 목적을 위해 운용하는 장치들 중 어느 하나가 될 수 있으나, 이에 한정되지 아니하고, 계곡, 강 또는 호수 등에서 구조 활동을 수행하는 민간 기관이 운용하는 장치가 될 수도 있다. 예를 들어, 구조대 서버(500)에는 119 안전 신고 센터 또는 해양 경찰청에서 운용하는 장치가 될 수 있다.
드론(600)은 안전성 지원 서버(100)로부터 수신된 명령에 따라 이동하는 무인체이다. 드론(600)은 지표면으로부터 수평 방향뿐 아니라, 지표면으로부터 수직 방향으로 이동이 가능하다. 즉, 드론(600)은 3차원적 이동이 가능하다. 드론(600)은 공중으로 비행이 가능한 무인 비행기에 한정되지 아니하며, 육상, 해상 또는 해저 등에서 이동이 가능하며 안전성 지원 서버(100)와 통신을 수행할 수 있는 장치라면 어떠한 장치도 이에 해당될 수 있다.
드론(600)은 위치 추적을 위하여 GPS(Global Positioning System) 회로를 포함하여 구성될 수 있으나, 이에 한정되지 않고, 위치 추적을 위한 제 3의 위치 추적 구성을 포함할 수도 있다. 드론(600)에는 카메라, 마이크 및 스피커가 설치될 수 있다. 또한, 드론(600)에는 구조용 튜브가 적재되어 있을 수도 있다. 드론(600)에 적재된 구조용 튜브는 캡슐 형태로 적재되어, 드론(600)으로부터 분리되는 시점에 액화 이산화탄소가 기화되어 팽창하여 튜브의 형태를 가질 수 있다. 드론(600)에 적재된 튜브의 형태에 대해서는, 추후 도 10 및 도 11을 참조하여 보다 구체적으로 설명하기로 한다.
드론(600)은 안전성 지원 서버(100)의 제어 명령에 따라 인명 구조 활동을 수행할 수 있다. 구체적으로, 드론(600)은 안전성 지원 서버(100)의 명령에 따라, 특정 위치로 비행 이동한 후 적재된 구조용 튜브를 낙하시킬 수 있다. 드론(600)은 안전성 지원 서버(100)의 명령에 따라, 낙하된 구조용 튜브를 회수하고 육지로 복귀할 수 있다. 또한, 드론(600)은 안전성 지원 서버(100)의 명령에 따라, 특정한 경로를 루틴 패트롤(routine patrol)할 수 있다. 그리고, 드론(600)은 루틴 패트롤하며 촬영된 영상을 안전성 지원 서버(100)에 전송할 수 있다.
안전성 지원 서버(100)는 직접 연결된 전용 케이블을 통해 카메라(200) 및 기상 센서(300)와 데이터를 송수신할 수 있다. 이와 다르게, 안전성 지원 서버(100)는 이더넷(ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH) 등과 같은 공용 유선 통신망을 통해 카메라(200) 및 기상 센서(300)와 데이터를 송수신할 수 있으나, 이에 한정되지 아니하고, 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE) 등과 같은 이동 통신망을 통해 데이터를 송수신할 수도 있다. 또한, 안전성 지원 서버(100)는 무선 전파 유도를 통해 드론(600)에게 제어 명령을 전송할 수 있다. 그러나, 이에 한정되지 아니하고, 안전성 지원 서버(100)는 이동 통신망을 통해 드론(600)에게 제어 명령을 전송할 수 있다.
이하, 안전성 지원 서버(100)의 구성 및 동작에 대하여, 보다 구체적으로 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따른 안전성 지원 서버의 논리적 구성도이다.
도 4를 참조하면, 안전성 지원 서버(100)는 통신부(110), 입출력부(120), 안전성 예측부(130) 및 인명 구조 제어부(140)를 포함할 수 있다. 이와 같은, 안전성 지원 서버(100)의 각 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수 있다.
각각의 구성 요소에 대해 구체적으로 설명하면, 통신부(110)는 카메라(200), 기상 센서(300), 기상 예보 서버(400), 구조대 서버(500) 및 드론(600)과 통신을 수행할 수 있다. 구체적으로, 통신부(110)는 하나 이상의 카메라(200)로부터 관심 영역 영상을 수신할 수 있다. 통신부(110)는 기상 센서(300)로부터 제1 기상 조건을 수신할 수 있다. 통신부(110)는 기상 예보 서버(400)로부터 제2 기상 조건을 수신할 수 있다. 통신부(110)는 구조대 서버(500)에 예측된 수상 레저 활동의 안전성에 관한 정보를 송신할 수 있다. 그리고, 통신부(110)는 드론(600)에게 제어 명령을 전송할 수 있다.
이를 위하여, 통신부(110)는 무선 전파 유도 신호를 송신할 수 있다. 또한, 통신부(110)는 코드 분할 다중 접속(CDMA), 와이드 밴드 코드 분할 다중 접속(WCDMA), 고속 패킷 접속(HSPA), 롱텀 에볼루션(LTE) 등과 같은 이동 통신망 또는 이더넷(ethernet), 디지털가입자선(xDSL), 광동축 혼합망(HFC), 광가입자망(FTTH) 등과 같은 유선 통신망을 이용하여 데이터를 송수신할 수 있으나, 이에 한정되는 것은 아니다.
입출력부(120)는 안전성 지원 서버(100)와 사용자 사이의 인터페이스를 위하여 신호를 입출력할 수 있다. 구체적으로, 입출력부(120)는 안전성 지원 서버(100)의 사용자로부터 제어 명령을 입력 받을 수 있다. 입출력부(120)는 예측된 수상 레저 활동의 안전성에 관한 정보를 출력할 수 있다. 또한, 입출력부(120)는 카메라(200), 기상 센서(300) 또는 드론(600)으로부터 수신된 정보를 출력할 수 있다.
입출력부(120)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력장치 및 액정표시장치(Liquid Crystal Display, LCD), 발광 다이오드(Light Emitting Diode, LED), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치, 또는 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치 중 하나 이상을 포함할 수 있으나, 이에 한정되는 것은 아니다.
안전성 예측부(130)는 수상 레저 활동 지역에 대한 안전성을 사전에 예측할 수 있다. 이와 같은, 안전성 예측부(130)는 자료 수집 모듈(132), 위험도 평가 모듈(134), 위험도 예측 모듈(136) 및 위험도 배포 모듈(138)을 포함하여 구성될 수 있다.
구체적으로, 자료 수집 모듈(132)은 수상 레저 활동의 안전성을 예측하기 위한 기초 자료를 수집할 수 있다. 구체적으로, 자료 수집 모듈(132)은 통신부(110)를 제어하여, 카메라(200)로부터 제1 기상 조건이 유지되는 동안 촬영된 관심 영역 영상을 수집할 수 있다. 자료 수집 모듈(132)는 통신부(110)를 제어하여, 기상 센서(300)로부터 제1 기상 조건을 수집할 수 있다. 또한, 자료 수집 모듈(132)은 수집된 해안 영상 및 제1 기상 조건을 입출력부(110)를 통해 출력할 수도 있다.
위험도 평가 모듈(134)은 관심 영역 영상에 포함된 수상 레저 활동과 관련된 이벤트를 분석하여, 수상 레저 활동에 대한 위험도를 평가할 수 있다. 구체적으로, 위험도 평가 모듈(134)은 자료 수집 모듈(132)을 통해 수집된 관심 영역 영상을 복수 개의 영역으로 그리드 분할할 수 있다. 위험도 평가 모듈(134)은 그리드 분할된 복수 개의 영역 중 수상 레저 활동과 관련된 이벤트가 발생된 영역을 검출할 수 있다. 그리고, 위험도 평가 모듈(134)은 수상 레저 활동과 관련된 이벤트의 속성에 따라, 수상 레저 활동과 관련된 이벤트가 검출된 영역에 대한 위험도를 부여할 수 있다.
여기서, 수상 레저 활동과 관련된 이벤트의 속성에는 수상 레저 활동의 종류, 수상 레저 활동의 활동 인원/빈도/밀도, 수상 레저 활동의 활동 영역, 수상 레저 활동에 대하여 사전에 정의된 위험 지수, 수상 레저 활동의 사고 발생 유무, 발생된 사고의 유형 또는 구조대의 도움 필요 여부가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 위험도 평가 모듈(134)이 부여하는 위험도는 최저 값과 최고 값 사이에서 정수로 표현되는 수치가 될 수 있으나, 이에 한정되지 않고, 사전에 정의된 문자가 될 수도 있다. 예를 들어, 위험도 평가 모듈(134)은 최고로 위험하다고 평가되는 수상 레저 활동과 관련된 이벤트가 검출된 영역에 대하여, ‘100‘이라는 수치의 위험도를 부여할 수 있다. 또는, 위험도 평가 모듈(134)은 최고로 위험하다고 평가되는 수상 레저 활동과 관련된 이벤트가 검출된 영역에 대하여, ‘A‘라는 문자의 위험도를 부여할 수도 있다.
특히, 관심 영역 영상이 해안가에 설치된 카메라에 의해 촬영된 영상인 경우, 위험도 평가 모듈(134)은 관심 영역 영상을 기초로 내해(inland sea)의 파고, 파력 및 해류의 방향을 측정할 수 있다. 구체적으로 위험도 평가 모듈(134)은 해안 영상으로부터 부표(30)가 검출된 경우, 검출된 부표(30)의 위치 변화량을 기초로 해안 영상에 포함된 내해의 파고(wave height), 파력(wave force) 및 해류의 방향을 측정할 수 있다.
위험도 평가 모듈(134)은 관심 영역 영상으로부터 부표(30)가 검출되지 않은 경우, 제1 해안 영상에 포함된 파도(40)의 위치 및 위치 변화량, 제2 해안 영상에 포함된 파도(40)의 위치 및 위치 변화량, 제1 해안 영상을 촬영한 제1 카메라와 제2 해안 영상을 촬영한 제2 카메라 사이의 각도 및 제1 카메라와 제2 카메라 사이의 거리를 기초로, 파도(40)의 파고, 파력 및 해류의 방향을 산출할 수도 있다.
또한, 관심 영역 영상이 해안가, 계곡, 강 또는 호수에 설치된 카메라에 의해 촬영된 영상인 경우, 위험도 평가 모듈(134)은 관심 영역 영상을 기초로 수량의 변화, 수심의 변화 및 강수량을 측정할 수도 있다.
위험도 평가 모듈(134)은 측정 또는 산출된 내해의 파고, 파력, 해류의 방향, 수량의 변화, 수심의 변화 및 강수량에 대하여, 제1 기상 조건보다 상대적으로 높은 가중치를 부여하여 위험도를 평가할 수 있다.
일반적으로, 기상 위성, 기상 관측 기구, 기상 레이더 등에 의해 예측되는 기상 정보에는 파고, 파력 또는 해류의 방향이 포함될 수 있다. 그러나, 기상 위성 등에 의해 예측되는 파고, 파력 또는 해류의 방향은 외해의 파고, 파력 또는 해류의 방향에 해당한다. 즉, 기상 예보 서버(400)가 제공하는 파고, 파력 또는 해류의 방향에 관한 정보는 외해의 파고, 파력 또는 해류의 방향에 관한 정보에 해당한다. 그러나, 수상 레저 활동의 사고 발생에는 내해의 파고, 파력 또는 해류의 방향이 외해의 파고, 파력 또는 해류의 방향보다 더 큰 영향을 미친다. 따라서, 위험도 평가 모듈(134)은 내해의 파고, 파력 또는 해류의 방향 등을 자체적으로 측정하여 위험도 평가에 반영한다.
그리고, 위험도 평가 모듈(134)은 제1 기상 조건 및 해안 영상에 대한 위험도에 대한 데이터베이스를 구축한다. 구체적으로, 위험도 평가 모듈(134)은 평가된 위험도와 자료 수집 모듈(132)을 통해 수집된 제1 기상 조건을 서로 매칭하여 저장할 수 있다.
위험도 예측 모듈(136)은 구축된 데이터베이스를 기초로, 기상 예보 시점에 수상 레저 활동을 수행할 경우 발생할 수 있는 상황에 대한 위험도를 예측할 수 있다. 구체적으로, 위험도 예측 모듈(136)은 통신부(110)를 제어하여, 기상 예보 서버(400)로부터 제2 기상 조건을 수신할 수 있다. 그리고, 위험도 예측 모듈(136)은 구축된 데이터베이스에 대하여, 제2 기상 조건에 대응하는 조건을 질의(query)하여 위험도를 예측할 수 있다.
특히, 위험도 예측 모듈(136)은 제2 기상 조건에 대응하여 예측된 위험도를 수치로 산출할 수 있다. 위험도 예측 모듈(136)은 산출된 수치에 따른 색상을 해안 영상에 오버레이하여, 위험도를 시각화한 맵(map)을 생성할 수도 있다.
위험도 예측 모듈(136)은 데이터베이스 및 예측된 위험도를 기초로, 위험 판단 임계 값 이상의 사고 발생률을 가지는 수상 레저 활동의 종류를 산출할 수 있다. 여기서, 위험 판단 임계 값은 입출력부(120)를 통해 안전성 지원 서버(100)의 관리자 또는 사용자로부터 입력 받을 수 있으나, 이에 한정되지 않고 사전에 프리셋(preset)되어 있을 수도 있다. 위험도 예측 모듈(136)은 데이터베이스를 기초로, 위험 판단 임계 값 이상의 사고 발생률을 가지는 수상 레저 활동의 활동 영역을 산출할 수도 있다. 즉, 위험도 예측 모듈(136)은 안전 사고 발생이 예측되는 수상 레저 활동의 종류, 집중적인 활동이 예상되는 영역, 군집도 등에 대한 정보를 예측할 수 있다.
또한, 기상 예보 서버(400)가 제공하는 파고, 파력 및 해류의 방향에 관한 정보는 외해의 파고, 파력 및 해류의 방향에 관한 정보에 해당한다. 따라서, 위험도 예측 모듈(136)은 제2 기상 조건에 외해의 파고, 파력 또는 해류의 방향에 관한 정보가 포함되어 있는 경우, 제2 기상 조건에 포함되어 있는 외해의 파고, 파력 또는 해류의 방향에 관한 정보를 내해의 파고, 파력 또는 해류의 방향으로 환산할 수 있다. 그리고, 위험도 예측 모듈(136)은 환산된 내해의 파고, 파력 또는 해류의 방향을 기초로 위험도를 예측할 수도 있다.
위험도 배포 모듈(138)은 수상 레저 활동의 안전성을 확보하기 위하여 예측된 위험도를 배포할 수 있다. 구체적으로, 위험도 배포 모듈(138)은 통신부(110)를 제어하여, 위험도 예측 모듈(136)를 통해 예측된 위험도를 구조대 서버(500)에 제공할 수 있다. 특히, 위험도 배포 모듈(138)은 안전 사고 발생이 예측되는 수상 레저 활동의 종류, 집중적인 활동이 예상되는 영역, 군집도 등에 관한 정보를 구조대 서버(500)에 전송할 수 있다.
다음으로, 인명 구조 제어부(140)는 수상 레저 활동과 관련된 안전 사고의 발생 여부를 판단하고, 안전 사고가 발생된 것으로 판단되면 드론(600)을 이용하여 인명 구조 활동을 수행할 수 있다. 이와 같은, 인명 구조 제어부(140)는 객체 검출 모듈(142), 안전 사고 판단 모듈(144), 좌표 설명 모듈(146) 및 드론 제어 모듈(148)을 포함하여 구성될 수 있다.
구체적으로, 객체 검출 모듈(142)은 관심 영역 영상으로부터 객체를 검출할 수 있다. 객체 검출 모듈(142)은 검출의 정확도 및 신뢰도를 높이기 위하여, 복수 개의 카메라(200)로부터 획득된 복수 개의 관심 영역 영상을 오버레이(overlay)하여 객체를 검출할 수 있다. 이와 다르게, 객체 검출 모듈(142)은 복수 개의 카메라(200)로부터 획득된 관심 영역 영상을 교차 검증하여 객체를 검출할 수 있다.
예를 들어, 객체 검출 모듈(142)은 제1 카메라로부터 획득된 제1 관심 영역 영상으로부터 제1 객체를 검출한다. 객체 검출 모듈(142)은 제2 카메라로부터 획득된 제2 관심 영역 영상으로부터 제2 객체를 검출한다. 객체 검출 모듈(142)은 제1 객체의 형태 및 위치와 제2 객체의 형태 및 위치를 대비한다. 객체 검출 모듈(142)은 제1 객체의 형태 및 위치와 제2 객체의 형태 및 위치가 서로 대응되는 경우, 검출된 객체의 유효성을 인정한다. 그리고, 객체 검출 모듈(142)은 유효성이 인정된 객체의 형태와 객체 식별 기준을 대비하여, 검출된 객체가 사람에 해당하는지 판단할 수 있다.
또한, 객체 검출 모듈(142)은 좌표 설정 모듈(146)을 통해 관심 영역 영상에 좌표가 설정된 경우, 변화된 복수 개의 좌표 값을 누적하여 검출된 객체의 이동 경로를 추적할 수도 있다.
안전 사고 판단 모듈(144)은 검출된 하나 이상의 객체 및 위험 요소 기준을 기초로, 관심 영역 영상 내에서 안전 사고 상황이 발생하였는지 판단한다. 구체적으로, 안전 사고 판단 모듈(144)은 검출된 객체의 형태 및 위치의 변화량이 위험 요소 기준에 대응되는지 판단하여, 관심 영역 영상 내에서 안전 사고 상황이 발생하였는지 판단할 수 있다.
여기서, 위험 요소 기준에는 수상 레저 활동 지역의 지리적 위치에 따라 사람의 입수가 허용되는 지역에 대한 기준이 포함될 수 있다. 사람의 입수가 허용되는 지역인 경우, 위험 요소 기준에는 육지로부터의 거리가 포함될 수 있다. 또한, 위험 요소 기준에는 물 속에 입수한 사람에게 위험 상황이 발생한 경우 변화되는 객체의 형태 및 변화량에 대한 정보가 포함될 수 있다. 예를 들어, 위험 요소 기준에는 수영 중 쥐가 난 사람의 움직임에 따른 객체의 형태 및 변화량 또는 파도에 휩쓸린 사람의 움직임에 따른 객체의 형태 및 변화량이 포함될 수 있다.
안전 사고 판단 모듈(144)은 검출된 객체가 안전성 예측부(130)에 의해 위험한 것으로 예측된 수상 레저 활동을 수행하는 경우, 검출된 객체의 이동 경로를 추적하여 실제로 안전 사고가 발생되기 이전에 안전 사고가 발생한 것으로 판단할 수도 있다.
또한, 안전 사고 판단 모듈(144)은 관심 영역 영상을 제공한 카메라(200)가 열화상 카메라인 경우, 검출된 객체의 온도가 기 설정된 임계 온도 이하로 내려간 경우, 안전 사고 상황이 발생한 것으로 판단할 수도 있다.
좌표 설정 모듈(146)은 관심 영역 영상에 지리적인 좌표 값을 설정한다. 구체적으로, 좌표 설정 모듈(146)은 GPS(Global Positioning System) 좌표의 해상도를 기준으로, 관심 영역 영상을 복수 개의 영역으로 그리드 분할할 수 있다. 좌표 설명 모듈(146)은 분할된 복수 개의 영역 각각에 대하여 대응되는 GPS 좌표를 맵핑할 수 있다.
또한, 좌표 설정 모듈(146)은 이격된 각도에서 촬영된 둘 이상의 관심 영역 영상을 교차 대비하여, 관심 영역 영상에 GPS 좌표보다 해상도가 높은 미세 좌표를 추가적으로 맵핑할수도 있다.
드론 제어 모듈(148)은 안전 사고 판단 모듈(144)을 통해 안전 사고 상황이 발생된 것으로 판단된 경우, 드론(600)을 제어하여 인명 구조 활동을 수행한다. 구체적으로, 드론 제어 모듈(148)은 안전 사고 상황이 발생된 것으로 판단되면, 검출된 객체의 위치와 가장 인접한 드론(600)을 식별한다. 그리고, 드론 제어 모듈(148)은 식별된 드론(600)에 대하여, 검출된 객체의 위치에 대응하는 좌표를 포함하는 이동 명령을 전송할 수 있다.
드론 제어 모듈(148)은 드론(600)의 위치 정보를 기초로, 드론(600)이 이동 명령에 포함된 좌표 위치(즉, 안전 사고가 발생된 위치)로 이동하였는지 판단한다. 그리고, 드론 제어 모듈(148)은 드론(600)이 좌표 위치로 이동한 경우, 드론(600)에 적재된 구조용 튜브를 낙하하도록 낙하 명령을 전송할 수 있다.
드론 제어 모듈(148)은 드론(600)의 상태 정보를 기초로, 드론(600)에게 부하되는 하중이 변화하였는지 판단한다. 그리고, 드론 제어 모듈(148)은 드론에 부하되는 하중의 변화가 기 설정된 임계 값 이상인 경우, 피구조자가 낙하된 구조용 튜브를 잡은 것으로 판단하고, 드론(600)에게 복귀하도록 복귀 명령을 전송할 수 있다.
특히, 드론 제어 모듈(148)은 드론(600)에 대하여 복수 개의 좌표를 포함하는 루틴 패트롤 명령을 전송할 수 있다. 이 경우, 루틴 패트롤 명령에는 드론(600)이 이동해야 하는 위치를 나타내는 하나 이상의 이동 좌표 및 드론(600)이 영상을 촬영해야 하는 위치를 나타내는 하나 이상의 촬영 좌표가 포함될 수 있다. 그리고, 드론 제어 모듈(148)은 루틴 패트롤을 수행하는 드론(600)으로부터 영상이 수신된 경우, 객체 검출 모듈(142) 또는 안전성 예측부(130)의 자료 수집 모듈(132)에 전달할 수 있다. 즉, 드론(600)에 의해 수신된 영상에 의해 안전성 예측 또는 인명 구조를 위한 정보가 업데이트될 수 있다.
드론 제어 모듈(148)은 제1 드론의 좌표가 통신부(110)를 통해 통신할 수 있는 커버리지를 벗어나는 경우, 제1 드론의 위치와 안전성 지원 서버(100) 사이의 경로(즉, 제1 드론의 이동 경로) 중간 지점에 제2 드론을 이동시키도록, 제2 드론에 이동 명령을 전송할 수 있다. 그리고, 드론 제어 모듈(148)은 제1 드론에게 전송하여야 하는 명령을 제2 드론이 중계하도록, 제2 드론에게 명령할 수 있다. 또한, 드론 제어 모듈(148)은 제1 드론으로부터 수신되어야 하는 데이터를 제2 드론이 중계하도록, 제2 드론에게 명령할 수도 있다.
복수 개의 드론이 협동하여 인명 구조 활동을 수행할 수 있도록, 드론 제어 모듈(148)은 구조용 튜브를 낙하한 제1 드론에 기 설정된 무게 이상의 하중이 부하되는 경우, 제1 드론의 위치와 동일한 위치로 제2 드론이 이동하도록 이동 명령을 전송할 수 있다. 복수 개의 드론이 협동하여 인명 구조 활동을 수행하는 경우, 드론 제어 모듈(148)은 복수 개의 드론이 서로 충돌하지 않도록 비행 경로를 설정할 수 있다.
또한, 드론 제어 모듈(148)은 드론(600)에 설치된 카메라에 의해 촬영된 안전 사고와 관련된 영상을 수신하여, 입출력부(120)를 통해 출력할 수 있다. 드론 제어 모듈(148)은 드론(600)에 설치된 마이크에 의해 녹음된 안전 사고와 관련된 소리를 수신하여, 입출력부(120)를 통해 출력할 수 있다. 드론 제어 모듈(148)은 입출력부(120)를 통해 입력된 안전성 지원 서버(100)의 관리자 또는 사용자의 음성이 드론(600)에 설치된 스피커를 통해 출력되도록 제어할 수 있다. 또한, 드론 제어 모듈(148)은 드론(600)으로부터 수신된 안전 사고와 관련된 영상 또는 소리를 구조대 서버(500)에 전송할 수 있다. 따라서, 안전성 지원 서버(100)의 관리자 또는 사용자는 드론(600)을 수집된 영상 또는 소리 정보를 기초로, 발생된 안전 사고에 적절한 인명 구조 활동이 수행되도록 제어 또는 계획할 수 있다.
이하, 수상 레저 활동과 관련된 안전성을 사전에 예측하는 과정에 대하여, 보다 구체적으로 설명하기로 한다.
도 5
내지 도
8은 본 발명의 일
실시예에
따른 안전성 예측 과정을 설명하기 위한
예시도이다
.
안전성 지원 서버(100)는 카메라(200)로부터 제1 기상 조건이 유지되는 동안 촬영된 관심 영역 영상(50)을 수신하고, 수신된 관심 영역 영상을 복수 개의 그리드 영역(51)으로 분할할 수 있다.
도 5에 도시된 일 예와 같이, 안전성 지원 서버(100)는 해안선의 수평 방향으로 5개의 영역(A, B, C, D 및 E), 해안성과 수직 방향으로 5개의 영역(1, 2, 3, 4 및 5)으로 그리드 분할하여, 관심 영역 영상(50)을 총 25개의 그리드 영역(51)으로 분할할 수 있다. 그러나, 이에 한정되지 아니하고, 안전성 지원 서버(100)는 안전성 예측 확률을 높이기 위하여, 하드웨어가 지원하는 성능 범위 내에서 관심 영역 영상(50)을 그리드 분할하기 위한 해상도(resolution)를 높일 수 있다.
안전성 지원 서버(100)는 그리드 분할된 복수 개의 영역 중 수상 레저 활동(53)과 관련된 이벤트가 발생된 영역(52)을 검출할 수 있다.
도 6에 도시된 일 예와 같이, 안전성 지원 서버(100)는 그리드 분할된 복수 개의 영역 각각에 대하여 수상 레저 활동(53)에 관한 행위가 포함되어 있는지 검색하여, 총 5개의 수상레저 활동(53)을 검출할 수 있다. 그리고, 안전성 지원 서버(100)는 검출된 수상 레저 활동(53)이 포함된 A4, B4, C3, D3 및 E2 영역(52)을 검출할 수 있다. 한편, 하나의 영역(52)에 복수 개의 수상 레저 활동(53)이 포함된 경우, 안전성 지원 서버(100)가 검출하는 수상 레저 활동(53)의 수와 영역(52)의 수는 서로 일치하지 않을 수 있다.
안전성 지원 서버(100)는 검출된 수상 레저 활동(53)과 관련된 이벤트의 속성에 따라, 검출된 영역(52)에 대한 위험도를 부여할 수 있다.
도 7에 도시된 일 예와 같이, 안전성 지원 서버(100)는 E2 영역(52)에 포함된 수상 레저 활동(53)의 이벤트 속성으로서, ‘스노클링‘ 및 ‘안전 범위 이탈‘을 식별하고, 이를 기초로 E2 영역(52)에 대하여 90%의 위험도를 부여할 수 있다. 이와 유사한 과정을 반복 수행하여, 안전성 지원 서버(100)는 A4 영역에 15%, B4 영역에 20%, C3 영역에 30%, D3 영역에 40%의 위험도를 부여할 수 있다.
안전성 지원 서버(100)는 데이터베이스에 대하여 제2 기상 조건에 대응하는 조건을 질의하여 위험도를 예측할 수 있다. 그리고, 안전성 지원 서버(100)는 예측된 위험도를 수치로 산출하고, 산출된 수치에 따른 색상을 해안 영상에 오버레이하여, 위험도를 시각화한 맵을 생성할 수 있다. 또한, 안전성 지원 서버(100)는 위험 판단 임계 값 이상의 사고 발생률을 가지는 수상 레저 활동의 종류 및 활동 영역을 산출할 수도 있다.
도 8에 도시된 일 예와 같이, 안전성 지원 서버(100)는 예측된 위험도에 따라 색상을 달리하는 레이어가 오버레이된 해안 영상을 제공할 수 있다. 또한, 안전성 지원 서버(100)는 위험 판단 임계 값 이상의 사고 발생률을 가지는 수상 레저 활동의 종류 및 활동 영역을 제공할 수 있다.
이하, 드론을 이용한 인명 구조 활동의 수행 과정에 대하여, 보다 구체적으로 설명하기로 한다.
도 9는 본 발명의 일
실시예에
따른
드론의
루틴
패트롤(routine patrol)을
설명하기 위한
예시도이다
.
안전성 지원 서버(100)는 드론(600)에 대하여, 복수 개의 좌표를 포함하는 루틴 패트롤을 명령할 수 있다.
루틴 패트롤 명령에 포함된 복수 개의 좌표는 하나 이상의 이동 좌표(60)와 하나 이상의 촬영 좌표(70)로 구분될 수 있다. 루틴 패트롤 명령에 포함된 이동 좌표(60)는 드론(600)이 이동 해야 하는 위치를 나타내는 좌표이다. 그리고, 루틴 패트롤 명령에 포함된 촬영 좌표(70)는 드론(600)이 영상을 촬영해야 하는 위치를 나타내는 좌표이다.
도 9에 도시된 일 예와 같이, 루틴 패트롤을 수행하는 드론(600)은 복수 개의 이동 좌표(60)에 따라 순차적으로 이동하며, 촬영 좌표(70)에 대응되는 위치를 통과하는 순간에 영상을 촬영하여 안전성 지원 서버(100)에 전송할 수 있다.
도 10 및 도 11은 본 발명의 몇몇
실시예에
따른 구조용 튜브의 구조를 설명하기 위한
예시도이다
.
구조용 튜브(700)는 구조용 튜브(700)는 캡슐(710) 형태로 드론(600)에 적재될 수 있다. 이 경우, 캡슐(710)에는 액화된 이산화탄소 및 튜브 몸체(720)가 내장될 수 있다. 캡슐(710)에 내장된 액화 이산화탄소는 드론(600) 등의 지시에 의해 기화될 수 있다. 기화된 이산화탄소는 캡슐(710)에 내장된 튜브 몸체(720)에 주입될 수 있다. 그리고, 기화된 이산화탄소가 주입된 튜브 몸체(720)는 캡슐(710)로부터 이탈하며 팽창할 수 있다. 따라서, 캡슐(710) 형태의 구조용 튜브(700)는 그 부피가 작아 드론(700)에 용이하게 적재될 수 있다.
특히, 본 발명의 몇몇 실시예에 따른 구조용 튜브(700)는 복수 개의 캡슐(710)을 포함하여 구성될 수 있다.
도 10 및 도 11에 도시된 바와 같이, 구조용 튜브(700)는 둘 이상의 캡슐(710)을 포함하여 구성될 수 있다. 둘 이상의 캡슐(710)은 드론(600)으로부터 분리되는 시점에 액화 이산화탄소가 기화되어, 각각 튜브 몸체(720)를 팽창시킬 수 있다. 그리고, 둘 이상의 튜브 몸체(720)는 그물 망(730)에 의해 서로 연결되어 있을 수 있다.
복수 개의 캡슐(710)로 구성된 구조용 튜브(700)는 실시 예에 따라, 복수 개의 튜브 몸체(720)가 다양한 형태로 배치될 수 있다. 그리고, 다양한 형태로 배치된 복수 개의 튜브 몸체(720)는 그물 망(730)에 의해 서로 연결될 수 있다. 도 10 및 도 11에는 세 개의 캡슐(710)로 구성된 구조용 튜브(700)의 배치를 도시하고 있으나, 구조용 튜브(700)가 그와 다른 형태로 배치될 수 있음은 자명할 것이다.
이와 같이, 구조용 튜브(700)는 복수 개의 튜브 몸체(720)와 넓게 펼쳐진 그물 망(730)의 형태를 가질 수 있다. 따라서, 바다로 추락한 피구조자는 드론(600)으로부터 분리 낙하된 구조용 튜브(700)를 용이하게 잡을 수 있다.
도 12는 본 발명의 일
실시예에
따른
드론을
이용한 인명 구조 활동을 설명하기 위한
예시도이다
.
도 12를 참조하면, 안전성 지원 서버(100)는 카메라(200)를 통해 획득된 관심 영역 영상을 기초로, 수상 레저 활동과 관련된 안전 사고가 발생하였는지 판단할 수 있다.
수상 레저 활동과 관련된 안전 사고가 발생된 경우, 드론(600)은 안전성 지원 서버(100)의 명령에 따라 요구조자(80)의 위치로 비행 이동한다.. 드론(600)은 안전성 지원 서버(100)의 명령에 따라 구조용 튜브(700)를 낙하시킨다. 드론(600)에 적재된 구조용 튜브(700)는 드론(600)으로부터 분리 낙하됨 동시에 액화된 이산화탄소가 기화되어 팽창할 수 있다.
드론(600)은 하중이 변화하면, 요구조자(80)가 구조용 튜브(700)를 잡은 것으로 판단하고, 안전성 지원 서버(100)의 명령에 따라 육지로 복귀한다. 또한, 드론(600)은 기 설정된 시간 동안 하중의 변화가 없는 경우, 요구조자(80)가 구조용 튜브(700)를 잡지 못한 것으로 판단하고, 구조용 튜브(700)와 연결된 선을 이용하여 구조용 튜브(700)를 회수하고, 새로운 지점에 구조용 튜브(700)를 낙하시킬 수 있다.
상술한 바와 같이, 안전성 지원 서버(100)는 수상 레저 활동과 관련된 안전성을 사전에 예측하는 과정 및 드론(600)을 이용한 인명 구조 활동을 수행할 수 있다. 그리고, 수상 레저 활동과 관련된 안전성을 사전에 예측하는 과정은 안전성 예측을 위한 데이터베이스를 구축하는 과정 및 구축된 데이터베이스를 기초로 안전성을 예측하는 과정으로 구분될 수 있다.
이와 같은, 안전성 지원 서버(100)의 데이터베이스를 구축하는 과정, 안전성을 예측하는 과정 및 드론(600)을 이용한 인명 구조 활동은 연속적으로 수행될 수도 있으나, 시간적 간격을 두고 불연속적으로 수행될 수도 있다. 이하, 각각의 과정에 대하여 보다 구체적으로 설명하기로 한다.
도 13은 본 발명의 일
실시예에
따른 안전성 지원 서버의 데이터베이스 구축 방법을 설명하기 위한
순서도이다
.
도 13을 참조하면, 안전성 지원 서버(100)는 기상 센서(300)로부터 제1 기상 조건을 수신할 수 있다(S110). 그리고, 안전성 지원 서버(100)는 제1 기상 조건이 유지되는 동안 촬영된 관심 영역 영상을 카메라(200)로부터 수신할 수 있다(S120).
안전성 지원 서버(100)는 카메라(200)로부터 수신된 관심 영역 영상에 포함된 수상 레저 활동과 관련된 이벤트를 분석하여, 수상 레저 활동에 대한 위험도를 평가할 수 있다(S130). 구체적으로, 안전성 지원 서버(100)는 카메라(200)로부터 수신된 관심 영역 영상을 복수 개의 영역으로 그리드 분할할 수 있다. 안전성 지원 서버(100)는 그리드 분할된 복수 개의 영역 중 수상 레저 활동과 관련된 이벤트가 발생된 영역을 검출할 수 있다. 그리고, 안전성 지원 서버(100)는 검출된 수상 레저 활동과 관련된 이벤트의 속성에 따라, 수상 레저 활동과 관련된 이벤트가 검출된 영역에 대한 위험도를 부여할 수 있다.
그리고, 안전성 지원 서버(100)는 기상 센서(300)로부터 수신된 제1 기상 조건과 평가된 위험도를 서로 매칭하여 저장함으로써, 데이터베이스를 구축할 수 있다(S140).
도 14는 본 발명의 일
실시예에
따른 안전성 지원 서버의 안전성 예측 방법을 설명하기 위한
순서도이다
.
도 14를 참조하면, 안전성 지원 서버(100)는 기상 예보 서버(400)로부터 제2 기상 조건(즉, 기상 예보)를 수신할 수 있다(S210).
안전성 지원 서버(100)는 데이터베이스를 기초로, 제2 기상 조건에 수상 레저 활동을 수행할 경우 발생할 수 있는 상황에 대한 위험도를 예측할 수 있다(S220). 구체적으로, 안전성 지원 서버(100)는 기상 예보 서버(400)로부터 수신된 제2 기상 조건에 대응하는 조건을 데이터베이스에 질의하여 위험도를 예측할 수 있다.
그리고, 안전성 지원 서버(100)는 구조대 서버(500) 등에 대하여, 예측된 위험도를 배포할 수 있다(S230).
도 15는 본 발명의 일
실시예에
따른
드론을
이용한 인명 구조 자동화 방법을 설명하기 위한
순서도이다
.
도 15를 참조하면, 안전성 지원 서버(100)는 관심 영역 영상을 카메라(200)로부터 수신한다(S310).
안전성 지원 서버(100)는 관심 영역 영상으로부터 객체를 검출한다(S320). 구체적으로, 안전성 지원 서버(100)는 복수 개의 카메라(200)로부터 획득된 복수 개의 관심 영역 영상을 오버레이(overlay)하여 객체를 검출할 수 있다. 이와 다르게, 안전성 지원 서버(100)는 복수 개의 카메라(200)로부터 획득된 관심 영역 영상을 교차 검증하여 객체를 검출할 수 있다.
안전성 지원 서버(100)는 검출된 하나 이상의 객체 및 위험 요소 기준을 기초로, 관심 영역 영상 내에서 안전 사고 상황이 발생하였는지 여부를 판단한다(S330). 구체적으로, 안전성 지원 서버(100)는 검출된 객체의 형태 및 위치의 변화량이 위험 요소 기준에 해당되는지 판단하여, 해안 영상 내 사고 상황이 발생하였는지 판단할 수 있다.
안전성 지원 서버(100)는 수신된 관심 영역 영상에 지리적인 좌표 값을 설정한다(S340). 안전성 지원 서버(100)는 검출된 객체의 위치로 드론(600)이 이동하도록 이동 명령을 전송한다(S350). 그리고, 드론(600)이 이동 명령에 포함된 좌표 위치(즉, 안전 사고가 발생된 위치)로 이동하면, 안전성 지원 서버(100)는 드론(600)이 인명 구조 활동을 수행할 수 있도록 제어한다(S360).
도 16은 본 발명의
실시예에
따른 안전성 지원 서버의 물리적 구성도이다.
도 16을 참조하면, 안전성 지원 서버(100)는 프로세서(Processor, 150), 메모리(Memory, 155), 송수신기(Transceiver, 160), 입출력장치(Input/output device, 165) 및 데이터 버스(Bus, 170) 및 스토리지(Storage, 175)를 포함할 수 있다.
프로세서(150)는 메모리(155)에 상주된 수상 레저 활동과 관련된 안전성 지원 소프트웨어(180a)에 따른 명령어를 기초로, 수상 레저 활동과 관련된 안전성 예측 및 드론(500)을 이용한 인명 구조 활동과 관련된 동작 및 기능을 구현할 수 있다. 메모리(1550)에는 수상 레저 활동과 관련된 안전성 지원 소프트웨어(180a)가 상주(loading)될 수 있다. 송수신기(160)는 카메라(200), 기상 센서(300), 기상 예보 서버(400), 구조대 서버(500) 및 드론(600)과 데이터를 송수신할 수 있다. 입출력장치(165)는 안전성 예측 및 드론 제어에 필요한 데이터를 입력 받고, 예측된 위험도에 관한 정보를 출력할 수 있다. 데이터 버스(170)는 프로세서(150), 메모리(155), 송수신기(160), 입출력장치(165) 및 스토리지(175)와 연결되어, 각 구성 요소 사이의 데이터를 전달하는 이동 통로이다.
스토리지(175)는 수상 레저 활동과 관련된 안전성 지원 소프트웨어(180a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 또한, 스토리지(175)는 수상 레저 활동과 관련된 안전성 지원 소프트웨어(180b) 및 안전성 예측의 기초가 되는 데이터베이스(185)를 저장할 수 있다.
메모리(155)에 상주되거나 또는 스토리지(175)에 저장된 수상 레저 활동과 관련된 안전성 지원 소프트웨어(180a, 180b)는 제1 기상 조건이 유지되는 동안 촬영된 수상 레저 활동과 관련된 관심 영역에 대한 영상을 수신하는 단계, 영상에 포함된 수상 레저 활동과 관련된 이벤트를 분석하여, 영상에 대한 위험도를 평가하는 단계, 영상에 대한 위험도를 제1 기상 조건에 매칭하는 단계, 제1 기상 조건의 이후 시점에 대한 제2 기상 조건을 수신하는 단계, 및 제1 기상 조건에 매칭된 위험도를 기초로, 제2 기상 조건에 수상 레저 활동을 수행할 경우 발생할 수 있는 상황에 대한 위험도를 예측하는 단계를 실행시키기 위하여, 기록 매체에 기록된 컴퓨터 프로그램이 될 수 있다. 또한, 수상 레저 활동과 관련된 안전성 지원 소프트웨어(180a, 180b)는 하나 이상의 카메라로부터 수상 레저 활동과 관련된 관심 영역에 대한 영상을 수신하는 단계, 수신된 영상으로부터 하나 이상의 객체를 검출하는 단계, 검출된 하나 이상의 객체의 형태 및 위치의 변화량과 기 설정된 위험 요소 기준을 대비하여, 영상 내에서 수상 레저 활동과 관련된 안전 사고 상황이 발생하였는지 판단하는 단계, 안전 사고 상황이 발생된 것으로 판단되면, 검출된 객체의 위치에 대응하는 좌표를 포함하는 이동 명령을 드론(Drone)에게 전송하는 단계, 및 드론이 좌표에 대응되는 위치로 이동하면, 드론이 하나 이상의 객체에 대한 구조 활동을 수행하도록 제어하는 단계를 실행시키기 위하여, 기록 매체에 기록된 컴퓨터 프로그램이 될 수도 있다.
보다 구체적으로, 프로세서(150)는 ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(155)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신기(160)는 유무선 신호를 처리하기 위한 베이스밴드 회로를 포함할 수 있다. 입출력장치(165)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력장치 및 액정표시장치(Liquid Crystal Display, LCD), 발광 다이오드(Light Emitting Diode, LED), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치를 포함할 수 있다. 본 명세서에 포함된 실시 예가 소프트웨어로 구현될 경우, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(155)에 상주되고, 프로세서(150)에 의해 실행될 수 있다. 메모리(155)는 프로세서(150)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(150)와 연결될 수 있다.
도 16에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 선정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
아울러, 본 발명에 따른 실시예를 설명하는데 있어서, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
안전성 지원 시스템: 10 안전성 지원 서버: 100
카메라: 200 기상 센서: 300
기상 예보 서버: 300 구조대 서버: 500
드론: 600 구조용 튜브: 700
통신부: 110 입출력부: 120
안전성 예측부: 130 인명 구조 제어부: 140
카메라: 200 기상 센서: 300
기상 예보 서버: 300 구조대 서버: 500
드론: 600 구조용 튜브: 700
통신부: 110 입출력부: 120
안전성 예측부: 130 인명 구조 제어부: 140
Claims (7)
- 안전성 지원 서버가, 제1 기상 조건이 유지되는 동안 촬영된 수상 레저 활동과 관련된 관심 영역에 대한 영상을 수신하는 단계;
상기 안전성 지원 서버가, 상기 영상으로부터 검출된 객체의 형태 및 위치의 변화량과 기 설정된 위험 요소 기준을 대비하여, 상기 영상 내에서 수상 레저 활동과 관련된 안전 사고 상황이 발생한 것으로 판단된 경우, 상기 검출된 객체의 위치에 대응하는 좌표를 포함하는 이동 명령을 드론(drone)에게 전송하는 단계;
상기 안전성 지원 서버가, 상기 영상에 포함된 수상 레저 활동과 관련된 이벤트를 분석하여, 상기 영상에 대한 위험도를 평가하는 단계;
상기 안전성 지원 서버가, 상기 영상에 대한 위험도를 상기 제1 기상 조건에 매칭하는 단계;
상기 안전성 지원 서버가, 제2 기상 조건을 기상 예보 서버로부터 수신하는 단계; 및
상기 안전성 지원 서버가, 상기 제1 기상 조건에 매칭된 위험도를 기초로, 상기 제2 기상 조건에 수상 레저 활동을 수행할 경우 발생할 수 있는 상황에 대한 위험도를 예측하는 단계를 포함하되,
상기 이동 명령을 드론에게 전송하는 단계는
상기 드론이 상기 좌표의 위치로 이동한 경우 상기 드론에 적재된 구조용 튜브를 낙하하도록 명령을 전송하고,
상기 드론의 상태 정보를 기초로 상기 드론에게 부하되는 하중의 변화가 기 설정된 제1 값 이상인 경우 상기 드론에게 복귀 명령을 전송하되,
상기 드론에게 부하되는 하중이 기 설정된 제2 값 이상인 경우 다른 드론에게 상기 드론의 위치와 동일한 위치로 이동하도록 명령을 전송하며, 상기 복수 개의 드론이 서로 충돌하지 않도록 비행 경로를 설정하고,
상기 드론은 기 설정된 시간동안 하중의 변화가 없는 경우 상기 구조용 튜브와 연결된 선을 이용하여 상기 구조용 튜브를 회수하고 새로운 지점에 상기 구조용 튜브를 낙하하며,
상기 제1 기상 조건은 상기 영상에 포함된 수상 레저 활동 지역에 설치된 기상 센서에 의해 수집된 기상 환경에 관한 정보이고,
상기 제2 기상 조건은 상기 제1 기상 조건의 이후의 시점에 대한 기상 예보에 관한 정보로, 내해(inland sea)의 파고를 포함하지 않고 오직 외해(open sea)의 파고(wave height)만을 포함하며,
상기 위험도를 평가하는 단계는
상기 영상에 포함된 부표(buoy)를 검출하는 단계;
상기 검출된 부표의 위치 변화량을 기초로, 상기 영상에 포함된 내해의 파고를 측정하는 단계;
상기 측정된 내해의 파고에 대하여 상기 제1 기상 조건보다 상대적으로 높은 가중치를 부여하는 단계; 및
상기 가중치가 부여된 상기 내해의 파고를 기초로, 상기 위험도를 평가하는 단계를 포함하고,
상기 위험도를 예측하는 단계는
상기 제2 기상 조건에 포함되어 있는 외해의 파고를 내해의 파고로 환산하고, 환산된 내해의 파고를 기초로 상기 위험도를 예측하는 것을 특징으로 하는, 수상 레저 안전성 예측 방법. - 제1 항에 있어서, 상기 위험도를 평가하는 단계는
상기 영상을 복수 개의 영역으로 그리드 분할하는 단계;
상기 분할된 복수 개의 영역 중 상기 수상 레저 활동과 관련된 이벤트가 발생된 영역을 검출하는 단계; 및
상기 수상 레저 활동과 관련된 이벤트의 속성에 따라, 상기 검출된 영역에 대한 위험도를 부여하는 단계를 포함하는 것을 특징으로 하는, 수상 레저 안전성 예측 방법. - 삭제
- 제1 항에 있어서, 상기 위험도를 예측하는 단계는
상기 제2 기상 조건에 대응하여 예측된 위험도를 수치로 산출하는 단계; 및
상기 산출된 수치에 따른 색상을 상기 영상에 오버레이하여 위험도 맵(map)을 생성하는 단계를 포함하는 것을 특징으로 하는, 수상 레저 안전성 예측 방법. - 제1 항에 있어서, 상기 위험도를 예측하는 단계는
상기 제2 기상 조건에 대응하여 예측된 위험도를 기초로, 기 설정된 임계 값 이상의 사고 발생률을 가지는 수상 레저 활동의 종류를 산출하는 단계;
상기 임계 값 이상의 사고 발생률을 가지는 수상 레저 활동의 활동 영역을 산출하는 단계; 및
상기 산출된 수상 레저 활동의 종류 및 활동 영역에 관한 정보를 전송하는 단계를 포함하는 것을 특징으로 하는, 수상 레저 안전성 예측 방법. - 삭제
- 컴퓨팅 장치와 결합되어,
제1 기상 조건이 유지되는 동안 촬영된 수상 레저 활동과 관련된 관심 영역에 대한 영상을 수신하는 단계;
안전성 지원 서버가, 상기 영상으로부터 검출된 객체의 형태 및 위치의 변화량과 기 설정된 위험 요소 기준을 대비하여, 상기 영상 내에서 수상 레저 활동과 관련된 안전 사고 상황이 발생한 것으로 판단된 경우, 상기 검출된 객체의 위치에 대응하는 좌표를 포함하는 이동 명령을 드론(drone)에게 전송하는 단계;
상기 영상에 포함된 수상 레저 활동과 관련된 이벤트를 분석하여, 상기 영상에 대한 위험도를 평가하는 단계;
상기 영상에 대한 위험도를 상기 제1 기상 조건에 매칭하는 단계;
제2 기상 조건을 기상 예보 서버로부터 수신하는 단계; 및
상기 제1 기상 조건에 매칭된 위험도를 기초로, 상기 제2 기상 조건에 수상 레저 활동을 수행할 경우 발생할 수 있는 상황에 대한 위험도를 예측하는 단계를 실행시키되,
상기 이동 명령을 드론에게 전송하는 단계는
상기 드론이 상기 좌표의 위치로 이동한 경우 상기 드론에 적재된 구조용 튜브를 낙하하도록 명령을 전송하고,
상기 드론의 상태 정보를 기초로 상기 드론에게 부하되는 하중의 변화가 기 설정된 제1 값 이상인 경우 상기 드론에게 복귀 명령을 전송하되,
상기 드론에게 부하되는 하중이 기 설정된 제2 값 이상인 경우 다른 드론에게 상기 드론의 위치와 동일한 위치로 이동하도록 명령을 전송하며, 상기 복수 개의 드론이 서로 충돌하지 않도록 비행 경로를 설정하고,
상기 드론은 기 설정된 시간동안 하중의 변화가 없는 경우 상기 구조용 튜브와 연결된 선을 이용하여 상기 구조용 튜브를 회수하고 새로운 지점에 상기 구조용 튜브를 낙하하며,
상기 제1 기상 조건은 상기 영상에 포함된 수상 레저 활동 지역에 설치된 기상 센서에 의해 수집된 기상 환경에 관한 정보이고,
상기 제2 기상 조건은 상기 제1 기상 조건의 이후의 시점에 대한 기상 예보에 관한 정보로, 내해(inland sea)의 파고를 포함하지 않고 오직 외해(open sea)의 파고(wave height)만을 포함하며,
상기 위험도를 평가하는 단계는
상기 영상에 포함된 부표(buoy)를 검출하는 단계;
상기 검출된 부표의 위치 변화량을 기초로, 상기 영상에 포함된 내해의 파고를 측정하는 단계;
상기 측정된 내해의 파고에 대하여 상기 제1 기상 조건보다 상대적으로 높은 가중치를 부여하는 단계; 및
상기 가중치가 부여된 상기 내해의 파고를 기초로, 상기 위험도를 평가하는 단계를 포함하고,
상기 위험도를 예측하는 단계는
상기 제2 기상 조건에 포함되어 있는 외해의 파고를 내해의 파고로 환산하고, 환산된 내해의 파고를 기초로 상기 위험도를 예측하는 것을 특징으로 하는, 기록 매체에 기록된 컴퓨터 프로그램.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170166735A KR102162065B1 (ko) | 2017-12-06 | 2017-12-06 | 수상 레저 안전성 예측 방법 및 이를 실행하는 프로그램이 기록된 기록매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170166735A KR102162065B1 (ko) | 2017-12-06 | 2017-12-06 | 수상 레저 안전성 예측 방법 및 이를 실행하는 프로그램이 기록된 기록매체 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190069649A KR20190069649A (ko) | 2019-06-20 |
KR102162065B1 true KR102162065B1 (ko) | 2020-10-14 |
Family
ID=67103553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170166735A KR102162065B1 (ko) | 2017-12-06 | 2017-12-06 | 수상 레저 안전성 예측 방법 및 이를 실행하는 프로그램이 기록된 기록매체 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102162065B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102527923B1 (ko) | 2022-10-24 | 2023-05-02 | 옥해안 | 해수욕장 위험성 평가방법 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102367290B1 (ko) * | 2019-12-11 | 2022-02-25 | 주식회사 더블유에스비팜 | 서핑 환경 안내 방법, 장치 및 시스템 |
KR102247188B1 (ko) * | 2019-12-30 | 2021-05-04 | 가천대학교 산학협력단 | 상황인식 및 퍼지이론 기반의 해수욕장 위험도 평가 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 |
KR102347330B1 (ko) | 2020-10-05 | 2022-01-07 | 윤원섭 | 열화상 카메라를 이용한 안전관리 모니터링 시스템 |
CN118279773B (zh) * | 2024-06-04 | 2024-09-27 | 中国水产科学研究院南海水产研究所 | 一种基于无人机的违禁渔具监测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101653754B1 (ko) * | 2015-12-08 | 2016-09-02 | (주)한국해양기상기술 | 위험 지역에 대한 정보를 이용하여 해양 안전 서비스를 제공하는 방법, 서버 및 컴퓨터 판독 가능한 기록 매체 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100579424B1 (ko) * | 2004-04-09 | 2006-06-01 | 군산대학교산학협력단 | 영상 관측을 통한 파고 측정 시스템 및 방법, 그리고 그에사용되는 부표 |
KR20100138184A (ko) * | 2009-06-24 | 2010-12-31 | 주식회사 케이티 | 레저지수 제공 시스템 및 그 방법 |
KR101616070B1 (ko) * | 2014-06-02 | 2016-04-27 | 국방과학연구소 | 주야간 해양 안전관리 방법 |
KR101668073B1 (ko) * | 2014-12-17 | 2016-10-24 | 한국해양과학기술원 | 연안국지 파랑 정보 분석 방법 및 시스템 |
KR101687477B1 (ko) * | 2015-02-27 | 2016-12-16 | 광운대학교 산학협력단 | 빅데이터를 이용한 이벤트 발생 정보 제공 방법 및 이벤트 발생 정보 제공 시스템 |
KR20170000637A (ko) | 2015-06-24 | 2017-01-03 | 주식회사 대룡 | 단거리 무선통신을 이용한 재난상황 관제시스템 |
KR101804184B1 (ko) | 2015-10-20 | 2017-12-05 | 한국해양과학기술원 | 드론을 이용한 연안지형 조사장치 |
-
2017
- 2017-12-06 KR KR1020170166735A patent/KR102162065B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101653754B1 (ko) * | 2015-12-08 | 2016-09-02 | (주)한국해양기상기술 | 위험 지역에 대한 정보를 이용하여 해양 안전 서비스를 제공하는 방법, 서버 및 컴퓨터 판독 가능한 기록 매체 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102527923B1 (ko) | 2022-10-24 | 2023-05-02 | 옥해안 | 해수욕장 위험성 평가방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20190069649A (ko) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102067875B1 (ko) | 드론을 이용한 인명 구조 자동화 방법 및 이를 실행하는 프로그램이 기록된 기록매체 | |
KR102162065B1 (ko) | 수상 레저 안전성 예측 방법 및 이를 실행하는 프로그램이 기록된 기록매체 | |
Colefax et al. | Reliability of marine faunal detections in drone-based monitoring | |
US11105662B2 (en) | Continuous unmanned airborne and underwater monitoring platform | |
KR102095555B1 (ko) | 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법 | |
US9443207B2 (en) | Water area management system | |
Solberg et al. | Automatic detection of oil spills in Envisat, Radarsat and ERS SAR images | |
Robbins et al. | Experimental evaluation of shark detection rates by aerial observers | |
KR20200116560A (ko) | 무인 비행체를 이용한 산악지역의 재난 대응 시스템 및 방법 | |
KR102161917B1 (ko) | 무인 비행체를 이용한 산악 지역의 구조를 위한 정보 처리 시스템 및 그 방법 | |
KR102170597B1 (ko) | 해안 해수면 관측 시스템 | |
US10895802B1 (en) | Deep learning and intelligent sensing systems for port operations | |
Bloisi et al. | Camera based target recognition for maritime awareness | |
KR102469002B1 (ko) | 해양오염정보 자동생성 및 표출시스템 및 그 방법 | |
Hodgson | Dugong behaviour and responses to human influences | |
Chopde et al. | Forest Fire Detection and Prediction from image processing using RCNN | |
Sharma et al. | SharkSpotter: Shark detection with drones for human safety and environmental protection | |
CN118397794A (zh) | 人员落水智能感知与预警方法及系统 | |
CN115171336A (zh) | 一种海滩监控溺水防护系统 | |
KR20240021672A (ko) | 우선순위에 따라 미확인 객체를 감시하는 객체 모니터링 장치 | |
CN118124757A (zh) | 一种ai无人机防溺水监测和救援方法 | |
KR102602439B1 (ko) | 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치 | |
CN116704688A (zh) | 海洋浮标被动防御方法及系统 | |
Madurapperuma et al. | Mapping shoreline vulnerabilities using kite aerial photographs at Oluvil Harbour in Ampara | |
Eaton et al. | Maritime border security using sensors, processing, and platforms to detect dark vessels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
E801 | Decision on dismissal of amendment | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |