KR102590238B1 - 머신러닝 기반 선박높이 예측을 위한 영상처리 장치 - Google Patents
머신러닝 기반 선박높이 예측을 위한 영상처리 장치 Download PDFInfo
- Publication number
- KR102590238B1 KR102590238B1 KR1020220138588A KR20220138588A KR102590238B1 KR 102590238 B1 KR102590238 B1 KR 102590238B1 KR 1020220138588 A KR1020220138588 A KR 1020220138588A KR 20220138588 A KR20220138588 A KR 20220138588A KR 102590238 B1 KR102590238 B1 KR 102590238B1
- Authority
- KR
- South Korea
- Prior art keywords
- module
- ship
- height
- unit
- bridge
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 7
- 238000010801 machine learning Methods 0.000 title abstract description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 28
- 238000010191 image analysis Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000026058 directional locomotion Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 1
- 241001513371 Knautia arvensis Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- WWVKQTNONPWVEL-UHFFFAOYSA-N caffeic acid phenethyl ester Natural products C1=C(O)C(O)=CC=C1C=CC(=O)OCC1=CC=CC=C1 WWVKQTNONPWVEL-UHFFFAOYSA-N 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- SWUARLUWKZWEBQ-UHFFFAOYSA-N phenylethyl ester of caffeic acid Natural products C1=C(O)C(O)=CC=C1C=CC(=O)OCCC1=CC=CC=C1 SWUARLUWKZWEBQ-UHFFFAOYSA-N 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/42—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters with arrangement for propelling the support stands on wheels
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Ocean & Marine Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 교량시설물 인근 해상을 촬영한 영상을 분석하여 항행중인 선박을 식별하고 실시간 위치 이동상황 및 선박의 높이를 산출하되, 교량시설물과의 충돌 가능성을 예측함으로 선박과 교량시설물의 충돌사고를 예방할 수 있는 머신러닝 기반 선박높이 예측을 위한 영상처리 장치에 관한 것이다.
Description
본 발명은 영상처리 기반 선박높이 예측 알고리즘에 관한 것으로, 자세하게는 교량시설물 인근 해상을 촬영한 영상을 분석하여 항행중인 선박을 식별하고 실시간 위치 이동상황 및 선박의 높이를 산출하되, 교량시설물과의 충돌 가능성을 예측함으로 선박과 교량시설물의 충돌사고를 예방할 수 있는 머신러닝 기반 선박높이 예측을 위한 영상처리 장치에 관한 것이다.
최근 바다에서 발생한 사고 중 선박 또는 구조물 등과 충돌하여 발생한 인명피해가 전체 사고의 약 25%를 차지하는 것으로 조사되고 있으며, 바다낚시 이용객의 증가로 낚시어선의 통항량도 크게 늘며 이러한 피해가 증가하고 있다. 이에 항행중인 선박의 안전수칙 준수강화 조치와 함께 사고방지를 위한 안전 인프라를 구축하여 사고를 적극적으로 예방할 필요성이 제기되고 있다.
이에 해양수산부는 해상교량 관리주체의 판단에 따라 해상교량 기둥에 등화를 설치하도록 권고하여 일부 교량에 적용되고 있으며, 신설되는 해상교량의 경우 교량을 받치는 기둥 아래쪽에 있는 충돌방지 구조물에도 해상용 등화를 의무적으로 설치하도록 「항로표지의 기능 및 규격에 관한 기준」을 개정하기도 하였다.
하지만, 이러한 안전 인프라를 통해 교량의 주·야간 교량식별력을 높일 수 있으나, 통항중인 선박의 높이에 대응하여 교량과의 충돌을 예측하고 대응하는 부분은 아직 해결되지 못한 상황이다.
특히 높이가 높은 대형선박의 교량시설물의 충돌은 천문학적 손실을 발생시킬 수 밖에 없으며 일례로 2019년 2월 28일 러시아 국적 화물선 '씨그랜드호'가 부산광역시에 위치한 광안대교에 추돌하여 교량파손과 교통마비를 유발하였으며, 부산시가 광안대교 수리비로 2달치 통행료 손실분 6억 원이 포함된 28억 4000만 원을 책정하며 큰 이슈가 되기도 하였다.
또한, 종래에는 일반적으로 자체 레이더 또는 선박자동식별시스템(AIS;Automatic Identification System)에만 의존하여 주변의 물체를 탐지하고 그 충돌 위험도를 선원이 주관적으로 판단하였으나 레이더 또는 선박자동식별시스템은 주변의 소형선박 또는 200m 이내의 물체의 종류와 이미지를 정확히 식별하기는 불가능하고, 특히 레이더에 감지된 물체는 한 점으로 표시될 뿐 감지된 물체의 종류와 크기를 정확히 식별할 수 없는 한계가 있다.
더군다나 이러한 방식은 선박을 중심이 되는 것으로 주변의 물체가 선박으로 접근하면 알람을 제공하는 것으로, 해상교량 또는 해안시설물로 접근하는 선박과의 충돌가능성을 신속하게 인지하도록 경보를 제공해주지 못하고 있었다.
본 발명은 상기와 같은 문제를 해결하기 위하여 창출된 것으로, 본 발명의 목적은 교량시설물 인근 해상을 촬영한 영상을 분석하여 항행중인 선박의 실시간 위치 이동상황 및 선박의 높이 산출에 따른 교량시설물과의 충돌 가능성 판단과 경고신호를 송출하여 선박과 교량시설물의 충돌사고를 예방할 수 있으며, 태풍이나 강풍발생 상황에서도 안정적으로 운용할 수 있는 머신러닝 기반 선박높이 예측을 위한 영상처리 장치을 제공하는 것이다.
상기와 같은 목적을 위해 본 발명은 교량시설물 안전 감시 장치에 있어서, 감시 대상 교량의 형태 및 규격을 포함하는 시설물정보와, 감시 구역의 기상정보 및 해상정보를 수집 및 저장하는 정보관리모듈; 해상의 지정된 구역을 촬영하는 촬영모듈; 촬영된 영상을 분석하여 선박을 식별하고 실시간으로 위치 및 이동경로를 추적하는 영상분석모듈; 식별된 선박의 높이를 산출하고 상기 시설물정보 및 추적되는 이동경로를 통해 충돌예측정보를 생성하는 판단모듈; 상기 판단모듈의 판단결과를 반영하여 위험신호를 출력하는 경보모듈; 로 이루어지는 것을 특징으로 한다.
이때 상기 촬영모듈은, 영상을 촬영하는 메인카메라와, 상기 메인카메라의 촬영방향을 상하좌우로 제어하는 방향조절부와, 상기 메인카메라의 높이를 제어하는 높이조절부와, 식별된 물체를 줌 기능을 통해 FOV 영역을 결정하는 포커싱부를 구비하며, 구동수단 및 조향수단과 연계된 이동바퀴를 구비하여 상기 촬영모듈의 위치를 이동시키는 이동모듈; 을 더 포함할 수 있다.
또한, 상기 이동모듈은, 상기 이동바퀴의 구동을 방지하는 브레이크와, 교량시설물에 구비된 고정부에 결합되어 위치를 고정시키는 고정수단을 더 포함할 수 있다.
또한, 교량시설물에 설치되되 상기 이동모듈을 수용하며 상기 고정수단이 체결되는 고정부가 형성된 수용부와, 상기 메인카메라측으로 맺히는 물방울을 제거하는 블로워와, 상기 수용부에 수용된 이동체에 구비되며 충방전 가능한 전원부로 충전전원을 공급하는 전원공급부를 구비한 베이스구조체; 를 더 포함할 수 있다.
또한, 상기 촬영모듈은, 야간시간대 및 해무 발생 상황에 대응하여 감시구역에 대한 적외선 열화상을 획득할 수 있는 보조카메라를 더 포함할 수 있다.
본 발명을 통해 교량시설물 인근 해상을 항행중인 선박을 효과적으로 식별하여 교량시설물과의 충돌을 예방할 수 있으며, 특히 해상 사고 위험성이 높아지는 태풍이나 강풍 발생상황에서도 감시수단의 견고한 위치유지를 통한 안정적인 운용으로 사고를 예방할 수 있다.
도 1은 본 발명의 개념도,
도 2는 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도,
도 3은 본 발명의 실시예에 따른 몸체의 외형도,
도 4는 본 발명의 실시예에 따른 몸체의 고정구조를 나타낸 모식도,
도 5는 본 발명의 다른 실시예에 따른 몸체의 베이스 고정구조를 나타낸 모식도이다.
도 2는 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도,
도 3은 본 발명의 실시예에 따른 몸체의 외형도,
도 4는 본 발명의 실시예에 따른 몸체의 고정구조를 나타낸 모식도,
도 5는 본 발명의 다른 실시예에 따른 몸체의 베이스 고정구조를 나타낸 모식도이다.
이하 첨부된 도면을 참조하여 본 발명 머신러닝 기반 선박높이 예측을 위한 영상처리 장치의 구성을 구체적으로 설명한다.
도 1은 본 발명의 개념도, 도 2는 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도로서, 본 발명은 보호대상인 교량시설물의 인근 해상을 항행하는 선박을 영상을 통해 식별하고 위치추적과 높이 산출을 통해 교량시설물과의 충돌 가능성을 판단하여 경보할 수 있도록 구성되며 이를 위한 주요구성으로 정보관리모듈(110)과, 촬영모듈(120)과, 영상분석모듈(130)과, 판단모듈(140) 및 경보모듈(150)을 구비한다.
상기 정보관리모듈(110)은 감시 대상 교량의 형태 및 규격을 포함하는 시설물정보를 비롯하여, 항행중인 선박의 교량 충돌 가능성과 연관되는 정보로서 감시 구역의 기상정보 및 해상정보를 수집 및 저장하는 구성이다.
상기 시설물정보는 감시 대상 교량의 형태 및 규격으로 전체 길이 즉 교장을 비롯하여 교량을 지지하는 하부구조체(교각)의 개수 및 위치와 이들의 간격 즉 경간과 교량 통행을 위한 상부구조체와 해수면까지의 거리인 형하고 등의 설계치가 될 수 있으며, 이러한 시설물정보를 통해 교각 사이로 통행 가능한 선박의 규격이나 통행 선박의 충돌 가능성을 구체적으로 판단할 수 있다.
상기 기상정보는 기본적으로 항행중인 선박의 운행과 해상상태에 영향을 미칠 수 있는 풍향 및 풍속정보를 포함하며, 상기 해상정보는 파고를 비롯하여 교량의 상부구조체와 해수면까지의 거리, 즉 수위에 영향을 출수 있는 밀물과 썰물상태를 조석표를 통해 수집할 수 있으며, 시간별 해류를 유속측정장치나 수집된 데이터 테이블을 통해 수집할 수 있다.
상기 촬영모듈(120)은 해상의 지정된 구역을 촬영하는 구성으로, 메인카메라(121)와, 방향조절부(122)와, 높이조절부(123)와 포커싱부(124)의 세부구성을 구비한다.
상기 메인카메라(121)는 지정된 구역을 촬영하는 통상의 RGB 카메라가 될 수 있으며 감시구역의 특징에 따라 광각 카메라가 적용될 수도 있다. 또한, 고정된 구도에서 촬영이 이루어질 수도 있으나 감시구역의 면적이나 특성에 따라 또한 감시대상 선박의 식별 및 추적의 정확성과 효율성을 위해 촬영방향의 이동과 줌 기능이 구비될 수도 있다.
즉 팬-틸트를 위한 구성으로 상기 방향조절부(122)는 상기 메인카메라(121)의 촬영방향을 상하좌우로 제어할 수 있도록 구성되며, 상기 높이조절부(123)를 통해 상기 메인카메라(121)의 높낮이를 제어하고, 상기 포커싱부(124)는 줌 기능을 통해 식별된 물체, 즉 선박영상의 확대를 비롯하여 FOV(Filed of view)영역의 결정을 통해 선명한 영상을 획득할 수 있도록 구성된다.
이때 일반 카메라의 경우 야간시간대나 해무 발생 상황에서 원활한 영상획득이 어려울 수 있으므로, 상기 촬영모듈(120)은 감시구역에 대한 적외선 열화상을 획득할 수 있는 보조카메라(125)를 더 포함할 수 있다. 이때 상기 보조카메라(125)는 상기 메인카메라(121)의 측면 위치하여 동일한 구역을 촬영할 수 있도록 하면서 상기 방향조절부(122) 및 높이조절부(123)를 통해 방향 및 높이의 제어가 함께 이루어지도록 구성될 수 있다.
또한, 상기 보조카메라(125)의 운용은 전력소모와 가동 열 발생으로 이어지므로 시정이 양호한 상황에서 불필요한 운용이 이루어지지 않도록 하며, 후술되는 영상분석모듈(130)을 통한 분석이 용이치 않은 야간이나 해무 발생 상황에서 운용이 이루어지도록 하는 것이 바람직하다.
이러한 촬영모듈(120)은 감시대상인 교량 인근을 항행 중인 선박을 촬영하여 접근을 쉽게 인지할 수 있도록 하는 교량에 설치될 수도 있으며, 교량 이외 감시대상 해상을 효과적으로 촬영할 수 있는 다양한 위치에 설치될 수 있다. 또한, 고정된 위치에서 해상을 촬영할 수도 있으나, 그 위치를 이동하며 효과적인 감시가 이루어지도록 구성될 수도 있다.
상기 영상분석모듈(130)은 촬영된 영상을 분석하여 선박을 식별하고 실시간으로 위치 및 이동경로를 추적하는 구성으로, 필터링부(131)와, 식별부(132)와, 추적부(133)의 세부구성을 구비한다.
상기 필터링부(131)는 촬영된 영상의 전처리를 통해 선박 식별을 저해하는 요소를 제거하는 구성으로, 이러한 요소는 기본적으로 눈, 비와 같은 기상상태를 비롯하여 태양광의 해수면 반사로 인한 반사광, 해상상태에 따라 발생하는 잔물결 등이 될 수 있다.
이러한 반사광의 경우 태양 및 촬영모듈의 위치와 시간대에 따라 패턴이 있으며 이에 대응하는 HSV 채널조정을 비롯하여 광필터 적용을 통해 해결할 수 있다. 또한, 영상 내 촬영된 눈 비로 인한 영향 및 잔물결의 영향에 따른 필터링도 공지의 영상 전처리 알고리즘을 통해 해결할 수 있다.
또한, 촬영모듈(120)의 설치위치에 따라서는 해상 객체의 존재 여부를 검출을 위한 전처리 알고리즘에서는 먼저 수평선을 기준으로 하늘과 바다 영역을 나눠 객체를 검출할 필요도 있으며, 캐니 에지 검출(canny edge detector)을 이용한 윤곽선 검출이수평선의 윤곽을 검출하는 것에 이용될 수 있다.
이후 파도, 햇빛 등의 잡음 요소로 인해 하늘과 바다의 윤곽선이 아닌 잡음이 검출될 수 있으며 이러한 잡음은 필터를 통해 완화할 수 있다. 즉, 필터된 입력 이미지는 잡음의 영향을 덜 받게 되고 수평선을 비롯하여 객체(선박)의 윤곽을 검출한다. 필터는 이미지의 윤곽선을 흐리게 만들어주며, 평균값(Mean), 가우시안(Gaussian), 미디언(Median) 등의 블러링 필터가 사용될 수 있으며, 각 필터는 2차원 행렬의 필터 커널을 생성하고, 적용할 이미지에 컨볼루션(Convolution) 연산 수행을 통해 잡음을 제거할 수 있다. 필터 커널의 크기가 클수록 필터의 강도는 높아지나 연산량이 더 많아져 환경상황에 맞게 사용한다.
상기 식별부(132)는 상기 필터링부(131)를 통해 전처리된 영상으로부터 선박을 식별하는 구성이다. 기본적으로 해상에 떠 있는 선박의 기본적인 형태 및 색상을 통해 선박을 식별할 수 있다. 즉 상선, 어선, 함정 등 관공선, 레저용 선박, 바지선 및 기타 공사용 특수 선박의 경우 기본적인 형태 및 색상이 있으므로 이를 통해 선박여부를 확인할 수 있으며, 위치를 유지한 상태인지 이동중인지 여부를 확인하여 부표 등과 구분하여 선박여부를 판별할 수 있다. 물론 선박의 경우에도 동력수단의 구동 없이 이동을 하지 않을 수 있으나, 앵커링과 같은 묘박 없이는 해류 및 바람의 영향으로 이동이 이루어질 뿐 아니라 묘박 상태에서도 회전으로 인한 헤딩 변화가 수반될 수밖에 없어 선박 식별이 어렵지 않게 이루어질 수 있다. 또한, 야간의 경우 상기 보조카메라(125)를 통한 영상판독을 비롯하여 선박 및 방향식별을 위해 구비되는 등화를 통한 선박식별이 이루어질 수도 있다.
이를 위한 식별부(132)는 입력 이미지의 색상 변화량을 분석하는 전처리 알고리즘으로 이루어질 수 있으며, 입력 이미지의 영역을 분할하여, 영역의 평균 픽셀을 계산한다. 평균 픽셀의 색상 변화량 차이를 비교하여, 바다 영역을 검출하고 바다 영역에 존재하는 객체 영역을 탐지하는 방식을 사용할 수 있다.
상기 추적부(133)는 상기 식별부(132)를 통해 식별된 선박을 추적하여 실시간으로 이동정보를 생성하는 구성이다. 기본적으로 항행중인 선박을 비롯하여 묘박(앵커링) 상황에서도 강풍이나 해류에 의한 선박 밀림 등으로 사고 위험이 발생할 수 있음에 따라 상기 식별부(132)를 통해 식별된 선박은 관리를 위한 코드를 부여 후 시간별 영상 프레임 비교를 통해 위치의 변화를 이동정보로 생성하게 된다.
상기 판단모듈(140)은 상기 영상분석모듈을 통해 식별된 선박의 높이를 산출하고 상기 시설물정보 및 추적되는 이동경로를 통해 충돌예측정보를 생성하는 구성으로, 산출부(141)와 판단부(142)의 세부구성을 구비한다.
상기 산출부(141)는 상기 영상분석모듈(130)을 통해 식별된 선박의 높이를 산출하는 구성으로, 기본적으로 영상분석 및 기하학적 접근을 통해 선박의 높이 산출이 이루어질 수 있다. 즉 선박이 위치한 해수면을 기준으로 상기 촬영모듈(120)의 높이값을 인지한 상태에서 영상내 좌표를 이용하여 촬영모듈의 설치된 원점좌표 및 식별된 선박의 좌표값을 이용한 선박과의 거리와, 상기 촬영모듈(120)의 촬영 각도, 즉 상기 방향이동의 구동값을 이용한 카메라 촬영각도와 해수면이 만나는 해수면의 좌표 및 해수면 거리의 산출이 이루어질 수 있으며 이러한 값들을 통해 선박의 높이 산출이 가능하다.
이와 함께 국제적으로 통용되는 규격의 선박의 경우 예를 들어 상선의 경우 영상의 세부적인 분석을 통해 그 종류를 파악할 수 있으며 이를 통해 개략적인 높이 범위를 알 수 있다. 이를테면 초대형유조선(VLCC)이나 초대형벌크선(VLOC)을 비롯하여 CAPE 사이즈, 파나막스, 핸디막스 등 핸디사이즈 화물선 등의 경우 데크 크레인 및 선박 폭이나 길이 분석, 야간 등화 분석 등을 통해 식별이 가능하며 이미 출시된 선박제원 정보를 통해 수집된 선박의 높이정보를 적용할 수도 있다. 이때, 화물 적재량에 따라 변하는 흘수선이 색상으로 구분되므로 해수면 및 흘수선의 높이 분석을 통해 수중에 잠긴 높이 및 해수면 위로 노출된 높이를 구분하여 산출하는 것도 가능하다.
상기 판단부(142)는 상기 산출부(141)를 통해 산출된 선박의 높이와 상기 정보관리모듈(110)의 시설물정보 및 상기 추적부(133)를 통해 추적되는 선박의 이동경로를 통해 충돌예측정보를 생성하는 구성이다.
선박의 실시간 이동경로의 누적으로 예측된 경로를 산출할 수 있으며, 앞서 산출부(141)를 통해여 산출된 선박의 높이와 시설물정보의 교량 높이를 통해 기본적으로 충돌 가능성을 판단할 수 있다. 또한, 선박의 높이가 교량 상부구조체보다 낮아 통과할 수 있더라도 교각의 위치 및 간격과 세분화된 선박의 예상이동경로를 통해 교각과의 충돌 가능성도 판단할 수 있다.
상기 경보모듈(150)은 상기 판단모듈(140)의 판단결과를 반영하여 위험신호를 출력하는 구성이다. 기본적으로 선박으로 무선통신신호를 송출할 수 있는 신호출력부(151)를 구비하여 충돌 가능성이 작을 경우 주의 환기를 위한 일반신호를 출력하고 충돌 가능성이 클 경우 경보신호를 출력할 수 있으며, 활용할 수 있는 상황에서는 음향이나 발광 등을 통해 해당 선박에 알리거나 선박용 공용 무선통신망을 통해 일반신호 또는 경보신호를 출력할 수도 있다. 또한, 식별용 레이저를 해당 선박의 브릿지 등으로 짧은 주기로 쏘거나 항만 통제시설에 긴급신호의 송출도 병행될 수 있다.
도 3은 본 발명의 실시예에 따른 몸체의 외형도, 도 4는 본 발명의 실시예에 따른 몸체의 고정구조를 나타낸 모식도이다. 앞서 언급한 바와 같이 상기 촬영모듈(120)은 교량을 비롯하여 해상을 촬영하기 용이한 해안 위치에 고정설치될 수도 있으나, 위치이동이 가능하도록 구성하여 각도상 식별이 용이치 않은 상황, 또한 태풍이나 강풍을 수반한 호우 발생시, 대설 상황에서 보다 촬영이 용이한 위치로 이동하여 효율적인 촬영이 진행될 수 있다.
이를 위해 구동수단(161) 및 조향수단(162)과 연계된 이동바퀴(163)를 구비하여 상기 촬영모듈(120)의 위치를 이동시키는 이동모듈(160)이 구비된다. 즉 상측으로는 촬영모듈(120)이 설치되고 하측으로는 구동수단(161) 및 조향수단(162)과 연계된 이동바퀴(163)를 구비한 몸체(100)가 이동하여 촬영위치를 옮길 수 있다.
이때 상기 몸체(100)에는 촬영모듈(120)과 이동모듈(160)뿐 아니라 정보관리모듈(110)과 영상분석모듈(130)과 판단모듈(140)과 경보모듈(150)이 모두 내장되도록 구성할 수도 있으며, 상기 촬영모듈(120)과 이동모듈(160)만 몸체(100)에 구성하고 나머지 구성인 정보관리모듈(110)과 영상분석모듈(130)과 판단모듈(140)과 경보모듈(150)은 몸체와 통신 가능한 인근에 설치하여 상호 연계 운용할 수도 있다. 이를 위해 상기 몸체(100)에는 전원공급을 위한 충전식 배터리인 전원부(101)와 선박 및 관제서버(300)와의 통신을 위한 제1통신부(102)가 구비된다.
이때 해상 충돌 사고 가능성이 커지는 태풍이나 강풍 발생 상황시 상기 몸체를 견고히 고정하여 안정적인 해상감시가 이루어질 수 있도록 상기 이동모듈(160)은, 상기 이동바퀴(163)의 구동을 방지하는 브레이크(164)와, 교량시설물(200)에 구비된 고정부(213)에 결합되어 위치를 고정시키는 고정수단(165)을 더 포함할 수 있다.
원활한 촬영을 위해 촬영모듈(120)의 높이가 어느 정도 확보되어야 할 상황에서 상대적으로 바람이 강하지 않은 경우 브레이크(164)를 통해 몸체(100)가 바람 등에 밀리는 것을 방지할 수 있으나 강풍 상황에서는 별도의 구조물에 몸체(100)를 결박하는 방식으로 고정할 필요가 있다. 이를 위해 교량시설물(200)의 일측, 즉 해상 감시가 용이하면서도 고정부(213)의 견고한 설치가 가능한 위치에 돌출된 막대형태의 고정부(213)를 마련하고, 상기 이동모듈(160)에 고리나 클램프 형태로 상기 고정부(213)에 체결할 수 있는 고정수단(165)을 마련하여 강풍 발생상황에서 자동구동이나 원격제어 방식으로 고정부(213)와 고정수단(165)의 체결이 이루어지도록 구성할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 몸체의 베이스 고정구조를 나타낸 모식도로서, 앞서 언급한 바와 같이 상기 촬영모듈(120)과 이동모듈(160) 외 나머지 구성인 정보관리모듈(110)과 영상분석모듈(130)과 판단모듈(140)과 경보모듈(150)을 선택적으로 몸체(100)와 통신하도록 인근에 설치함에 있어 별도의 베이스구조체(210)를 마련할 수 있다.
상기 베이스구조체(210)는 교량시설물(200)의 한쪽에 설치되며, 상기 몸체(100)와 함께 정보관리모듈(110)과 영상분석모듈(130)과 판단모듈(140)과 경보모듈(150)을 선택적으로 구비하여, 태풍이나 강풍, 호우 발생시 몸체(100)를 수용하여 안정적인 해상 감시가 이루어지도록 돕는다.
이를 위해 상기 베이스구조체(210)에는 상기 이동모듈(160)을 수용하며 상기 고정수단(165)이 체결되는 고정부(213)가 형성된 수용부(211)가 마련되며 지붕역할을 하며 빗방울을 차단하는 차수판(212)이 설치된다. 또한, 강풍을 타고 들어오는 빗물이 상기 메인카메라(121) 측으로 맺히는 것을 바람을 통해 제거하는 블로워(214)와, 상기 수용부(211)에 수용된 이동체(210)에 구비되며 충방전 가능한 전원부(101)로 충전전원을 공급하는 전원공급부(215)가 설치된다.
즉 강풍을 동반한 상황에서 이동모듈(160)은 베이스구조체(210)의 수용부로 이동하여 고정부(213)와 고정수단(165)이 체결된 상태에서 위치 고정되어 안정적인 해상감시가 이루어질 수 있으며, 상기 차수판(212)을 통해 내리는 빗방울이 수용부(211)로 들어오는 것을 최대한 막되 강풍에 의해 날린 빗방울이 렌즈에 맺혀 깨끗한 영상취득을 방지하지 않도록 블로워(214)를 통해 고압의 공기를 메인카메라(121) 측으로 토출하여 물방울을 제거하게 된다. 또한, 이동모듈(160)이 수용부(211)에 위치한 상황에서 다양한 유선 또는 무선방식의 배터리 충방전 기술을 적용하여 전원공급부(215)가 전원부(101)를 충전시켜 이후 베이스구조체(210)를 이탈한 상태에서도 일정시간 원활한 선박감시가 이루어질 수 있도록 한다.
또한, 상기 제1통신부(102)와 통신할 수 있는 제2통신부(216)가 베이스구조체(210)에 마련될 수 있으며 이를 통해 선박 및 관제서버(300)와 통신을 하며 선박으로는 알림신호를 관제서버로는 운용상태 정보 등을 송출하거나, 상기 촬영모듈(120) 및 이동모듈(160)의 원격제어를 지원할 수 있다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
100: 몸체 101: 전원부
102: 제1통신부 110: 정보관리모듈
120: 촬영모듈 121: 메인카메라
122: 방향조절부 123: 높이조절부
124: 포커싱부 125: 보조카메라
130: 영상분석모듈 131: 필터링부
132: 식별부 133: 추적부
140: 판단모듈 141: 산출부
142: 판단부 150: 경보모듈
151: 신호출력부 160: 이동모듈
161: 구동수단 162: 조향수단
163: 이동바퀴 164: 브레이크
165: 고정수단 200: 교량시설물
210: 베이스구조체 211: 수용부
212: 차수판 213: 고정부
214: 블로워 215: 전원공급부
216: 제2통신부 300: 관제서버
102: 제1통신부 110: 정보관리모듈
120: 촬영모듈 121: 메인카메라
122: 방향조절부 123: 높이조절부
124: 포커싱부 125: 보조카메라
130: 영상분석모듈 131: 필터링부
132: 식별부 133: 추적부
140: 판단모듈 141: 산출부
142: 판단부 150: 경보모듈
151: 신호출력부 160: 이동모듈
161: 구동수단 162: 조향수단
163: 이동바퀴 164: 브레이크
165: 고정수단 200: 교량시설물
210: 베이스구조체 211: 수용부
212: 차수판 213: 고정부
214: 블로워 215: 전원공급부
216: 제2통신부 300: 관제서버
Claims (5)
- 교량시설물 안전 감시 장치에 있어서,
감시 대상 교량의 형태 및 규격을 포함하는 시설물정보와, 감시 구역의 풍향 및 풍속정보를 포함하는 기상정보와, 파고와 해류와 교량의 상부구조체와 해수면까지의 거리를 포함하는 해상정보를 수집 및 저장하는 정보관리모듈(110);
해상의 지정된 구역을 촬영하되, 영상을 촬영하는 메인카메라(121)와, 상기 메인카메라(121)의 촬영방향을 상하좌우로 제어하는 방향조절부(122)와, 상기 메인카메라(121)의 높이를 제어하는 높이조절부(123)와, 식별된 물체를 줌 기능을 통해 FOV 영역을 결정하는 포커싱부(124)와, 야간시간대 및 해무 발생 상황에 대응하여 감시구역에 대한 적외선 열화상을 획득할 수 있는 보조카메라(125)를 구비하는 촬영모듈(120);
HSV 채널조정과 광필터 적용으로 촬영된 영상을 전처리하여 선박 식별을 저해하는 요소인 태양광의 해수면 반사로 인한 반사광과 해상상태에 따라 발생하는 잔물결을 제거하는 필터링부(131)와, 상기 필터링부(131)를 통해 전처리된 영상으로부터 선박의 기본적인 형태 및 색상과 야간에 선박 및 방향식별을 위해 구비되는 등화를 통해 선박을 식별하는 식별부(132)와, 상기 식별부(132)를 통해 식별된 선박을 시간별 영상 프레임 비교를 통해 추적하여 실시간으로 이동정보를 생성하는 추적부(133)를 구비하는 영상분석모듈(130);
선박이 위치한 해수면을 기준으로 상기 촬영모듈(120)의 높이값을 인지한 상태에서 영상내 좌표를 이용하여 촬영모듈의 설치된 원점좌표 및 식별된 선박의 좌표값을 이용한 선박과의 거리와 상기 촬영모듈(120)의 방향이동의 구동값을 이용한 카메라 촬영각도와 해수면이 만나는 해수면의 좌표 및 해수면 거리의 산출이 이루어져 상기 영상분석모듈(130)을 통해 식별된 선박의 높이를 산출하는 산출부(141)와, 선박의 실시간 이동경로의 누적으로 예측된 경로를 산출하고 상기 산출부(141)를 통해 산출된 선박의 높이와 상기 정보관리모듈(110)의 시설물정보 및 상기 추적부(133)를 통해 추적되는 선박의 이동경로를 통해 충돌예측정보를 생성하되 선박의 높이가 교량 상부구조체보다 낮아 통과할 수 있더라도 교각의 위치 및 간격과 세분화된 선박의 예상이동경로를 통해 교각과의 충돌 가능성을 판단하는 판단부(142)를 구비하여, 식별된 선박의 높이를 산출하고 상기 시설물정보 및 추적되는 이동경로를 통해 충돌예측정보를 생성하는 판단모듈(140);
상기 판단모듈(140)의 판단결과를 반영하여 위험신호를 출력하되 식별용 레이저를 해당 선박의 브릿지로 쏘는 경보모듈(150);
상기 촬영모듈(120)이 설치되어, 촬영위치를 이동시킬 수 있도록 구성된 구동수단(161) 및 조향수단(162)과 연계된 이동바퀴(163)와, 상기 이동바퀴(163)의 구동을 방지하는 브레이크(164)와, 해상 충돌 사고 가능성이 커지는 상황시 교량시설물(200)에 구비된 돌출된 막대형태의 고정부(213)에 클램프 형태로 결합되어 위치를 고정시켜 해상감시가 이루어질 수 있도록 하는 고정수단(165)를 구비하는 이동모듈(160);
교량시설물(200)에 설치되되 상기 이동모듈(160)을 수용하며 빗방울을 차단하는 차수판(212)과, 상기 고정수단(165)이 체결되는 고정부(213)가 형성된 수용부(211)와, 고압의 공기를 토출하여 상기 메인카메라(121) 측으로 맺히는 물방울을 제거하는 블로워(214)와, 상기 수용부(211)에 수용된 이동체(210)에 구비되며 충방전 가능한 전원부(101)로 충전전원을 공급하는 전원공급부(215)를 구비하며, 상기 정보관리모듈(110)과 영상분석모듈(130)과 판단모듈(140)과 경보모듈(150)이 설치되어 상기 촬영모듈(120)과 이동모듈(160)을 구비한 몸체(100)와 통신하도록 설치되는 베이스구조체(210); 로 이루어지는 것을 특징으로 하는 선박높이 예측을 위한 영상처리 장치. - 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220138588A KR102590238B1 (ko) | 2022-10-25 | 2022-10-25 | 머신러닝 기반 선박높이 예측을 위한 영상처리 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220138588A KR102590238B1 (ko) | 2022-10-25 | 2022-10-25 | 머신러닝 기반 선박높이 예측을 위한 영상처리 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102590238B1 true KR102590238B1 (ko) | 2023-10-17 |
Family
ID=88557524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220138588A KR102590238B1 (ko) | 2022-10-25 | 2022-10-25 | 머신러닝 기반 선박높이 예측을 위한 영상처리 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102590238B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100933982B1 (ko) * | 2008-07-02 | 2009-12-31 | 주식회사 제이투플러스 | 선박 감시 시스템 |
| JP2020201912A (ja) * | 2019-06-13 | 2020-12-17 | アイディア株式会社 | 船舶動静共有航行支援システム |
| KR102199627B1 (ko) * | 2020-05-18 | 2021-01-07 | 호서대학교 산학협력단 | 심층신경망을 기반으로 해상 객체 거리를 고려한 접근 선박을 인식하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
| KR102231343B1 (ko) | 2020-04-24 | 2021-03-24 | (주)아이지오 | 교량 시설물 보호를 위한 해상경보시스템 |
| KR102257006B1 (ko) * | 2020-02-25 | 2021-05-27 | 한국해양대학교 산학협력단 | 딥러닝을 이용한 선박 충돌 방지 자율회피 시스템 |
| KR20210090574A (ko) * | 2020-01-09 | 2021-07-20 | 씨드로닉스(주) | 선박 및 항만 모니터링 장치 및 방법 |
-
2022
- 2022-10-25 KR KR1020220138588A patent/KR102590238B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100933982B1 (ko) * | 2008-07-02 | 2009-12-31 | 주식회사 제이투플러스 | 선박 감시 시스템 |
| JP2020201912A (ja) * | 2019-06-13 | 2020-12-17 | アイディア株式会社 | 船舶動静共有航行支援システム |
| KR20210090574A (ko) * | 2020-01-09 | 2021-07-20 | 씨드로닉스(주) | 선박 및 항만 모니터링 장치 및 방법 |
| KR102257006B1 (ko) * | 2020-02-25 | 2021-05-27 | 한국해양대학교 산학협력단 | 딥러닝을 이용한 선박 충돌 방지 자율회피 시스템 |
| KR102231343B1 (ko) | 2020-04-24 | 2021-03-24 | (주)아이지오 | 교량 시설물 보호를 위한 해상경보시스템 |
| KR102199627B1 (ko) * | 2020-05-18 | 2021-01-07 | 호서대학교 산학협력단 | 심층신경망을 기반으로 해상 객체 거리를 고려한 접근 선박을 인식하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
Non-Patent Citations (1)
| Title |
|---|
| 다중 선박에서 효율적인 충돌 회피를 위한 베이지안 충돌 위험도 추정 알고리즘, 한국통신학회, 2011. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101911756B1 (ko) | 해상 부이의 실시간 원격 모니터링 시스템 | |
| US7889232B2 (en) | Method and system for surveillance of vessels | |
| US20150104064A1 (en) | Method and system for detection of foreign objects in maritime environments | |
| KR102112000B1 (ko) | 레이더 기반 해상교량 및 해안시설물 충돌 경보 시스템 | |
| CN104916166A (zh) | 一种桥梁防撞预警系统及实现方法 | |
| KR102235787B1 (ko) | 접안 모니터링 장치 및 방법 | |
| CN101214851A (zh) | 船舶行驶智能型全天候主动安全预警系统及其预警方法 | |
| Bloisi et al. | Camera based target recognition for maritime awareness | |
| CN109493643B (zh) | 基于激光扫描的桥梁防撞监测装置 | |
| CN110097787A (zh) | 一种基于监控航标灯的船只碰撞预警监测系统及方法 | |
| US20220351523A1 (en) | Method and device for monitoring port and ship in consideration of sea level | |
| CN111163290B (zh) | 一种夜间航行船舶检测并跟踪的方法 | |
| KR102588067B1 (ko) | 머신러닝 기반 선박높이 예측을 위한 영상처리 방법 | |
| WO2020005152A1 (en) | Vessel height detection through video analysis | |
| CN113721262B (zh) | 基于激光雷达检测船舶航向和高度的桥梁防碰撞预警方法 | |
| Robinette et al. | Sensor evaluation for autonomous surface vehicles in inland waterways | |
| CN116453276A (zh) | 一种海上风电电子围栏监控预警方法和系统 | |
| CN209118512U (zh) | 一种桥梁防撞预警装置 | |
| KR102590238B1 (ko) | 머신러닝 기반 선박높이 예측을 위한 영상처리 장치 | |
| CN113256702A (zh) | 基于无人机的船舶净空高度检测方法、系统、设备及介质 | |
| CN113048953A (zh) | 一种水位流速流量监测无人机及方法 | |
| CN102708705A (zh) | 防止物体撞击桥梁的预警系统 | |
| CN117351781A (zh) | 一种跨海桥梁主动防撞预警系统及方法 | |
| Bloisi et al. | Integrated visual information for maritime surveillance | |
| CN117078953A (zh) | 一种基于视觉图像的桥梁防船撞轻量化多级预警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |