KR102533709B1 - A sea fog level estimation system based on digital image for protection of aids to navigation - Google Patents
A sea fog level estimation system based on digital image for protection of aids to navigation Download PDFInfo
- Publication number
- KR102533709B1 KR102533709B1 KR1020210171403A KR20210171403A KR102533709B1 KR 102533709 B1 KR102533709 B1 KR 102533709B1 KR 1020210171403 A KR1020210171403 A KR 1020210171403A KR 20210171403 A KR20210171403 A KR 20210171403A KR 102533709 B1 KR102533709 B1 KR 102533709B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fog
- sea
- sea fog
- intensity
- Prior art date
Links
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 238000010191 image analysis Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000013135 deep learning Methods 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims 1
- 238000000034 method Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B22/00—Buoys
- B63B2022/006—Buoys specially adapted for measuring or watch purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W2201/00—Weather detection, monitoring or forecasting for establishing the amount of global warming
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Atmospheric Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템에 관한 것이다. The present invention relates to a system for measuring sea fog intensity based on image information for meteorological observation of marine navigational aids.
종래 기술(대한민국 특허공보 10-2259981)에 따르면, 적어도 하나 이상의 카메라를 구비하여 영상 분석 기반 가시거리를 측정하고 경보를 제공한다. 종래 기술에 따르면, 고정된 구조물이 반드시 필요하며, 연안이나 항만 부근에서만 사용이 가능하고, 육상의 구조물이 관측되지 않는 먼 해상에서는 적용이 불가능한 문제점이 있다. 항로표지 부표 같은 경우는 먼 해상에 설치되어 있어 고정된 구조물을 관측할 수 없다. According to the prior art (Korean Patent Publication No. 10-2259981), at least one camera is provided to measure the visual distance based on image analysis and provide an alert. According to the prior art, there is a problem in that a fixed structure is absolutely necessary, can be used only near a coast or a port, and cannot be applied in a distant sea where land structures are not observed. In the case of navigational aid buoys, fixed structures cannot be observed because they are installed in the distant sea.
또 다른 종래 기술(대한민국 공개특허 10-2021-0067205)에 따르면, 해안가에 설치된 측정부로부터 제공되는 측정 정보를 이용하여 해무의 발생 예측값과 시정거리를 출력한다. 해당 종래 기술의 경우, 적외선 카메라가 해수면과 육지면 모두를 관찰할 수 있는 위치에 배치되어야 하므로, 연안이나 항만 부근, 얕은 해상에서만 적용 가능한 한계가 있고, 가시광 카메라로 가시거리를 산출하기 위한 표지가 필요하다는 한계가 있다. According to another prior art (Republic of Korea Patent Publication No. 10-2021-0067205), a predicted value of occurrence of sea fog and a visibility distance are output using measurement information provided from a measuring unit installed on a coast. In the case of the prior art, since the infrared camera must be placed at a location where both the sea level and the land surface can be observed, there is a limitation that it can be applied only near the coast or harbor, in shallow waters, and a mark for calculating the visible distance with a visible light camera is required There is a limit to that.
또 다른 종래 기술(대한민국 특허공보 10-1880616)에 따르면, 위성정보를 통해 영상을 입력받고 해무를 예측하여 전체적인 해무의 이동을 예측한다. 해당 종래 기술에 따르면, 위성정보를 이용하여 전체적인 해무의 특성에 대한 파악은 가능하나, 주요 특정 지점에 대한 자세한 상황 파악이 어려운 한계가 있다. According to another prior art (Korean Patent Publication No. 10-1880616), an image is received through satellite information and sea fog is predicted to predict overall sea fog movement. According to the prior art, it is possible to grasp the overall characteristics of sea fog using satellite information, but there is a limitation in that it is difficult to grasp the detailed situation of a specific main point.
종래 기술에 따르면 해무 감지를 위해 기상 라이다나 전방산란 시정계 등 광학 및 온도 센서를 활용하는데, 그 비용이 비싸고 실시간 파악이 어려운 문제점이 있다. 또한 영상정보를 활용하더라도 보통 위성영상을 활용하며, 실제 해상의 안개를 확인하기 위해서는 해안에 설치된 CCTV, 부표에 설치된 카메라를 활용하거나, 또는 직접 관측자가 해상에 나가 눈으로 확인하는 정도에 그친다. According to the prior art, an optical and temperature sensor such as a weather radar or a forward scattering visibility meter is used to detect sea fog, but the cost is expensive and it is difficult to grasp in real time. In addition, even if image information is used, satellite imagery is usually used, and in order to check the actual sea fog, CCTVs installed on the coast or cameras installed on buoys are used, or observers go out to sea and check with their own eyes.
안개는 시간, 공간적으로 매우 다양한 변화를 가지므로 지역 및 시간에 대한 예측이 쉽지 않은 한계가 있다. Fog has very diverse changes in time and space, so there is a limitation that it is not easy to predict the area and time.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 항로표지에 설치된 카메라를 통해 해양 영상정보를 취득하고, 저장된 디지털 영상정보를 활용해 항로표지 주변의 해상 상황을 관측하여 해무의 농도 상태를 파악함으로써, 디지털 영상처리 알고리즘을 통해 영상 내 해무 존재 비율을 산출하고 이를 통해 해무 강도를 측정하여 그 정보를 육상에 송신하여 해상운항 안전사고를 줄이는 것이 가능한 영상정보 기반 해무 강도 측정 시스템을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above-mentioned problems, and acquires marine image information through a camera installed in a navigation aid, and uses the stored digital image information to observe the maritime situation around the navigation aid to determine the concentration of sea fog. The purpose is to provide a sea fog intensity measurement system based on image information that can reduce safety accidents in maritime navigation by calculating the sea fog presence rate in the image through a digital image processing algorithm, measuring the sea fog intensity through this, and transmitting the information to the land. there is
본 발명에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템은 카메라를 이용하여 해양 영상을 촬영하여 해무 영상을 획득하는 촬영부와, 촬영 정보를 저장하고 제어 신호를 전송하는 제어부와, 이미지 프로세싱 및 딥러닝 모듈을 이용하여 해무 강도를 측정하는 영상분석부와, 촬영된 이미지와 측정 해무 강도를 저장하는 저장부 및 저장 데이터를 전송하는 통신부를 포함한다. A sea fog intensity measurement system based on image information for meteorological observation of maritime route signs according to the present invention includes a photographing unit that acquires a sea fog image by photographing a marine image using a camera, and a control unit that stores photographic information and transmits a control signal. , an image analysis unit for measuring sea fog intensity using an image processing and deep learning module, a storage unit for storing captured images and measured sea fog intensity, and a communication unit for transmitting stored data.
상기 촬영부는 해상 부표에 설치된 상기 카메라를 이용하여 촬영된 상기 해무 영상을 획득한다. The photographing unit obtains the sea fog image captured by using the camera installed on the marine buoy.
상기 촬영 정보는 촬영 시간, 관측 간격, 촬영 위치 정보를 포함한다. The photographing information includes photographing time, observation interval, and photographing location information.
상기 영상분석부는 Haze Image Model과 DCP(Dark Channel Prior)를 통해, 특정 인식 대상 없이 영상 내 해무의 유무를 파악하고 해무 존재 비율 측정을 통해 해무 강도를 산출한다. The image analysis unit determines the presence or absence of sea fog in the image without a specific recognition object through the Haze Image Model and DCP (Dark Channel Prior), and calculates the sea fog intensity through the measurement of the sea fog presence ratio.
상기 영상분석부는 R, G, B 채널의 값을 기준으로 DCP 연산을 수행하며, DCP 영상을 생성하여 대기에 산란된 외부 광원의 영향을 계산한다. The image analysis unit performs a DCP operation based on the values of the R, G, and B channels, generates a DCP image, and calculates the influence of external light sources scattered in the atmosphere.
상기 영상분석부는 룩업 테이블을 이용하여 외부 광원을 제외하고 해무를 검출하도록 보정을 수행한다. The image analysis unit performs correction to detect sea fog excluding external light sources using a lookup table.
본 발명에 따르면, 항로표지 실무자가 직접 육안으로 확인하지 않더라도 해무 상태에 대한 자동 확인이 가능하여, 위험상황 발생 시 선박으로 자동으로 신호를 전송하여 해무 관련 사고를 예방하는 것이 가능한 효과가 있다. According to the present invention, it is possible to automatically check the sea fog state even if a navigational aid practitioner does not directly check the sea fog, and when a dangerous situation occurs, it is possible to prevent sea fog related accidents by automatically transmitting a signal to the ship.
본 발명에 따르면, 여러 센서가 아닌 카메라로 촬영된 해상 영상으로 해무 강도를 측정하므로, 비용이 절감되어 항로표지에 적용이 용이한 장점이 있다. According to the present invention, since the intensity of sea fog is measured using a maritime image captured by a camera instead of various sensors, cost is reduced and application to navigational aids is easy.
본 발명에 따르면, 해상 부표에 설치된 카메라를 이용해 해무 강도를 측정하므로, 여러 해역 또는 특정 관심 구역에 대한 해무 강도를 곧바로 측정할 수 있어, 해상 기상 모니터링 및 자율운항선박 운영의 용이성을 높이는 효과가 있다. According to the present invention, since sea fog intensity is measured using a camera installed on a sea buoy, it is possible to directly measure sea fog intensity in various sea areas or specific areas of interest, which has an effect of increasing the ease of maritime weather monitoring and autonomous ship operation. .
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 실시예에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템의 구성을 도시한다.
도 2는 본 발명의 실시예에 따른 영상 내 해무 구별을 위한 Dark Channel Prior를 도시한다.
도 3은 본 발명의 실시예에 따른 해무 강도 측정을 위한 Haze Image Model을 도시한다.
도 4는 본 발명의 실시예에 따른 해무 강도 검출 산출 순서를 도시한다.
도 5는 본 발명의 실시예에 따른 Look-Up Table 기반 해무 검출 보정을 도시한다.
도 6은 본 발명의 실시예에 따른 특정 문턱값(Threshold value) 추정을 위한 해무 영상의 픽셀값 비교 결과를 도시한다. 1 shows the configuration of a sea fog intensity measurement system based on image information for meteorological observation of maritime route signs according to an embodiment of the present invention.
2 shows a dark channel prior for distinguishing sea fog in an image according to an embodiment of the present invention.
3 shows a Haze Image Model for measuring sea fog intensity according to an embodiment of the present invention.
4 shows a sea fog intensity detection calculation sequence according to an embodiment of the present invention.
5 illustrates sea fog detection and correction based on a Look-Up Table according to an embodiment of the present invention.
6 shows pixel value comparison results of sea fog images for estimating a specific threshold value according to an embodiment of the present invention.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The foregoing and other objects, advantages and characteristics of the present invention, and a method of achieving them will become clear with reference to the detailed embodiments described below in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, and only the following embodiments provide the purpose of the invention, As only provided to easily inform the configuration and effect, the scope of the present invention is defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in this specification are for describing the embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, “comprises” and/or “comprising” means the presence of one or more other components, steps, operations, and/or elements in which a stated component, step, operation, and/or element is present. or added.
본 발명의 실시예에 따르면, 카메라로 촬영된 안개 영상에서 DCP(Dark Channel Prior) 영상 픽셀 값의 문턱값을 설정하고, 이를 기준으로 그 이하에 있는 경우의 픽셀 개수 즉, 안개가 없다고 판단되는 픽셀의 개수를 카운팅하여 안개 강도를 측정함으로써, 전술한 종래 기술의 문제점을 해결한다. According to an embodiment of the present invention, a threshold value of a DCP (Dark Channel Prior) image pixel value is set in a fog image captured by a camera, and the number of pixels below the threshold value based on the threshold value, that is, a pixel determined to be free of fog. By counting the number of to measure the fog intensity, the above-described problems of the prior art are solved.
본 발명의 실시예에 따르면, 해상에서 촬영된 영상으로 해무 강도를 측정함으로써, 측정 장비 구비를 위한 비용을 절감하고, 다양한 해역에 설치하는 경우 해역 별 측정이 용이해지는 효과가 있다. According to an embodiment of the present invention, by measuring the intensity of sea fog with images taken at sea, cost for measuring equipment is reduced, and when installed in various sea areas, it is possible to measure the sea fog intensity easily by sea area.
도 1은 본 발명의 실시예에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템의 구성을 도시한다. 1 shows the configuration of a sea fog intensity measurement system based on image information for meteorological observation of maritime route signs according to an embodiment of the present invention.
본 발명의 실시예에 따르면, 항로 표지에 설치된 카메라를 통해 해양 영상정보를 취득하고, 저장된 디지털 영상정보를 이용하여 항로 표지 주변의 해상 상황을 관측하여 해무의 농도 상태를 파악한다. According to an embodiment of the present invention, marine image information is acquired through a camera installed in a navigational aid, and the sea fog concentration state is grasped by observing the maritime conditions around the navigational aid using the stored digital image information.
디지털 영상처리 알고리즘을 이용하여 영상 내 해무 존재 비율을 산출하고, 산출 결과에 따라 해무 강도를 측정하며 이를 육상으로 송신하여 해상 운항 안전사고를 줄이는 해사 안전 시스템에 적용될 수 있다. It can be applied to a maritime safety system that reduces maritime safety accidents by calculating the sea fog presence rate in the image using a digital image processing algorithm, measuring the sea fog intensity according to the calculation result, and transmitting it to the land.
종래 기술 대비, 본 발명의 실시예에 따르면 위성 영상이 아닌 부표에 설치된 해상 영상을 이용해 해무를 측정하고, Haze Image Model과 Dark Channel Prior를 통해 해무를 측정하고, 특정 인식 대상 없이 영상 내 해무의 유무를 파악하고 해무 존재 비율 측정을 통해 해무 강도를 산출함으로써, 해안가에서 멀리 떨어진 해상에도 해무 측정 시스템 적용이 가능하며, 산출된 해무 강도, 해무 영상, 촬영 시간, 위치 등을 육상으로 송신하여 사용자에게 제공 가능한 기술적 특징이 있다. Compared to the prior art, according to the embodiment of the present invention, sea fog is measured using a maritime image installed on a buoy rather than a satellite image, and the sea fog is measured through a haze image model and a dark channel prior, and the presence or absence of sea fog in the image without a specific recognition object. By identifying the sea fog and calculating the sea fog intensity through the measurement of the sea fog presence ratio, the sea fog measurement system can be applied to the sea far from the coast, and the calculated sea fog intensity, sea fog image, shooting time, location, etc. are transmitted to the land and provided to the user. There are possible technical features.
본 발명의 실시예에 따르면, 단일 카메라를 통해 취득한 영상을 분석하여 해무 발생 정도를 측정한다. 카메라를 설치해 해상 영상을 취득하고, 취득된 해상 영상을 분석해 해무 강도 측정하고, 측정한 해무 강도를 육상에 송신하여 해무로 인한 해상 운항 안전사고를 줄이는 것이 가능하다. 정보 송신 시 해무 촬영 영상, 촬영 시간, 촬영 위치 정보를 송신하며, 사용자가 직접 해상 상황을 모니터링할 수 있도록 지원한다. 특별한 인식 대상 없이, 단순히 해상에 해무만 존재하는 상황에서도 해무 강도 측정이 가능하므로, 해안가보다 더 멀리 떨어진 해상 상황에서도 해무 파악이 가능한 효과가 있다. According to an embodiment of the present invention, the degree of sea fog is measured by analyzing an image obtained through a single camera. It is possible to reduce marine navigation safety accidents caused by sea fog by installing a camera to acquire maritime images, analyzing the acquired maritime images to measure sea fog intensity, and transmitting the measured sea fog intensity to land. When transmitting information, it transmits sea fog video, shooting time, and shooting location information, and supports users to directly monitor the sea situation. Since it is possible to measure the intensity of sea fog even in a situation where only sea fog exists in the sea without a special recognition target, there is an effect that sea fog can be identified even in a situation at sea further away from the coast.
본 발명의 실시예에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템은 카메라를 이용하여 해양 영상을 촬영하여 해무 영상을 획득하는 촬영부(110)와, 촬영 시간, 관측 간격, 촬영 위치 정보를 저장하고 제어 신호를 전송하는 제어부(120)와, 이미지 프로세싱 및 딥러닝 모듈을 통해 해무 강도를 측정하는 영상분석부(130)와, 촬영된 이미지와 측정 해무 강도를 저장하는 저장부(140) 및 저장 데이터를 전송하는 통신부(150)를 포함한다. The sea fog intensity measurement system based on image information for meteorological observation of maritime route signs according to an embodiment of the present invention includes a photographing
촬영부(110)는 해상 부표에 설치된 상기 카메라를 이용하여 촬영된 해무 영상을 획득한다. The photographing
촬영 정보는 촬영 시간, 관측 간격, 촬영 위치 정보를 포함한다. The photographing information includes photographing time, observation interval, and photographing location information.
영상분석부(130)는 Haze Image Model과 DCP(Dark Channel Prior)를 통해, 특정 인식 대상 없이 영상 내 해무의 유무를 파악하고 해무 존재 비율 측정을 통해 해무 강도를 산출한다. The
영상분석부(130)는 R, G, B 채널의 값을 기준으로 DCP 연산을 수행하며, DCP 영상을 생성하여 대기에 산란된 외부 광원의 영향을 계산한다. The
영상분석부(130)는 룩업 테이블을 이용하여 외부 광원을 제외하고 해무를 검출하도록 보정을 수행한다. The
도 2는 본 발명의 실시예에 따른 영상 내 해무 구별을 위한 Dark Channel Prior를 도시한다. 2 shows a dark channel prior for distinguishing sea fog in an image according to an embodiment of the present invention.
도 2를 참조하면, 해무가 존재하지 않는 픽셀들은 대부분 R, G, B 세 채널 중에서 적어도 한 채널의 명도 값이 매우 낮은 경향이 있다. Referring to FIG. 2 , pixels in which no sea fog exists tend to have a very low brightness value of at least one channel among three R, G, and B channels.
Dark pixel prior를 통해 각 픽셀 x가 중심인 10x10 지역 블록에서 R, G, B 세 채널 중 가장 낮은 값을 기준으로 정렬하여 해무를 포함할 가능성이 높은 픽셀과 해무를 포함할 가능성이 낮은 픽셀을 구분한다. Through dark pixel prior, in a 10x10 local block centered on each pixel x, the lowest value among the three channels R, G, and B is sorted to distinguish pixels that are likely to contain haze from pixels that are unlikely to contain haze. do.
도 3은 본 발명의 실시예에 따른 해무 강도 측정을 위한 Haze Image Model을 도시한다. 3 shows a Haze Image Model for measuring sea fog intensity according to an embodiment of the present invention.
영상에서 한 픽셀을 x라 했을 때, 획득한 해무 관측 영상을 I(x), 안개가 끼지 않은 깨끗한 영상을 J(x), 공기 중에 산란되어 카메라에 관측되는 외부 빛(해무)을 A, 카메라에 전달되는 정도를 t(x)라고 정의하며, 이를 이용하여 해무 강도를 측정한다. When one pixel in the image is x, the acquired sea fog observation image is I(x), the clear image without fog is J(x), the external light (sea fog) scattered in the air and observed by the camera is A, the camera The degree of transmission to is defined as t(x), and the sea fog intensity is measured using this.
J(x): Haze에 의해 왜곡되기 이전의 이미지. Image before distortion by J(x): Haze.
I(x): 실제 카메라에 찍히는 이미지, 즉 Haze에 왜곡된 이미지. I(x): The image captured by the real camera, i.e. the image distorted by Haze.
t(x): 전달 맵(Transmission map). 대기를 거쳐 최종적으로 관찰자에게 도달하는 빛의 비율. 0과 1 사이의 값을 가짐 t(x): Transmission map. The percentage of light that passes through the atmosphere and finally reaches the observer. has a value between 0 and 1
A: 대기 산란광(Airlight). A: Airlight.
도 3에 도시된 수학식을 해석하면, 대상으로부터 반사된 신호(J(x))는 대기를 통과하면서 일부가 손실되고, J(x)t(x)만큼의 신호만 남게 된다. If the equation shown in FIG. 3 is interpreted, a part of the signal J(x) reflected from the object is lost while passing through the atmosphere, and only a signal of J(x)t(x) remains.
또한 태양을 비롯한 주변 광원에 의해 형성된 Airlight(A)가 이 신호에 일부 섞이게 되면서, 최종적으로 I(x)가 형성되어 관찰자에게 도달하게 된다.In addition, as Airlight (A) formed by ambient light sources including the sun is partially mixed with this signal, I(x) is finally formed and reaches the observer.
도 4는 본 발명의 실시예에 따른 해무 강도 검출 산출 순서를 도시하며, Dark Channel Prior와 Haze model을 통해 해무 강도를 산출하는 강도 검출 알고리즘의 흐름도를 도시한다. 4 shows a sea fog intensity detection calculation procedure according to an embodiment of the present invention, and a flow chart of an intensity detection algorithm that calculates the sea fog intensity through a dark channel prior and a haze model.
일반 카메라로 해무 영상을 촬영하고(S401), 이에 본 발명의 실시예에 따른 기법을 적용하기 위해, 도 2에 도시한 DCP 연산을 수행한다(S402). A sea fog image is photographed with a general camera (S401), and the DCP operation shown in FIG. 2 is performed (S402) to apply the technique according to the embodiment of the present invention.
각각 R, G, B 채널을 따로 나누고, 세 채널에서 가장 작은 값만을 골라 저장하여 DCP 영상을 생성한다. The R, G, and B channels are divided separately, and only the smallest value is selected and stored in the three channels to generate a DCP image.
이 때 작은 픽셀값은 영상의 픽셀 x를 중앙으로 하는 로컬 패치 안에서 가장 작은 값을 택하여 DCP 영상을 생성한다. At this time, a DCP image is created by selecting the smallest pixel value in the local patch with pixel x as the center of the image.
전술한 과정을 통해 계산된 DCP 영상을 통해 대기에 산란된 외부 광원의 영향(Air Light)을 계산한다(S403). The influence of the external light source (Air Light) scattered in the air is calculated through the DCP image calculated through the above-described process (S403).
DCP영상의 픽셀 값 중 가장 높은 상위 0.1% 값의 평균을 대기에 산란된 광원의 빛(Air Light)이라 한다. The average of the highest 0.1% of the pixel values of the DCP image is called the light of the light source scattered in the atmosphere (Air Light).
여기서 상위 0.1%를 광원 빛으로 선정한 이유는 Haze가 존재하지 않는 픽셀들은 대부분 R, G, B 세 채널 중에서 적어도 한 채널의 명도 값이 매우 낮은 경향을 갖는다. The reason why the top 0.1% is selected as the light source here is that most of the pixels without haze tend to have a very low brightness value of at least one channel among the three R, G, and B channels.
DCP 영상에서 pixel value 상위 0.1%값을 가지며 그 픽셀은 결국 haze를 포함하기 때문에 DCP영상 상위 0.1% 픽셀의 위치에 대응하는 안개영상(input image I)의 픽셀값의 평균을 광원으로 계산한다. Since the DCP image has the upper 0.1% pixel value and the pixel eventually contains haze, the average of the pixel values of the fog image (input image I) corresponding to the position of the upper 0.1% pixel in the DCP image is calculated as the light source.
하지만, 외부 광원(해, 강한 조명 등)이 포함되면 안개영상보다 픽셀 값이 255에 가깝기 때문에, 상위 0.1%를 계산하면 오류(안개가 아닌 외부 광원을 안개로 인식)가 발생한다. However, if an external light source (sun, strong light, etc.) is included, the pixel value is closer to 255 than the fog image, so an error (recognizing the external light source as fog instead of fog) occurs when the top 0.1% is calculated.
따라서, 본 발명의 실시예에 따르면 Look-Up Table을 사용하여 외부 광원을 제외하고 해무를 검출하도록 보정한다(도 5는 본 발명의 실시예에 따른 Look-Up Table 기반 해무 검출 보정을 도시한다). Therefore, according to an embodiment of the present invention, correction is made to detect sea fog excluding external light sources using the Look-Up Table (FIG. 5 shows sea fog detection and correction based on the Look-Up Table according to an embodiment of the present invention) .
안개는 texture가 있지만, 광원은 거의 없다는 것에 착안해서 Look-Up Table이 큰 값에서 대기에 산란된 광원의 영향(Air light)을 추출한다. Focusing on the fact that fog has a texture but almost no light source, the look-up table extracts the effect of the light source scattered in the atmosphere (Air light) at a large value.
해상 이미지의 안개 검출 오류율을 줄이기 위한 영역 크기 및 상위 분산값을 설정한다. 입력 영상을 크게 10x10으로 나누고 각 영역의 분산 값을 평균으로 나누어 값을 구한 뒤, 분산이 큰 상위 5개 영역에서 외부 광원의 값을 구한다. Set the area size and upper variance value to reduce the fog detection error rate of marine images. The input image is largely divided into 10x10, and the value is obtained by dividing the variance value of each area by the average, and then the value of the external light source is obtained in the top 5 areas with large variance.
구해진 대기에 산란된 광원의 값과 DCP 영상을 안개 모델에 대입하여 전달 맵(Transmission map)을 구한다(S404). A transmission map is obtained by substituting the calculated values of light sources scattered in the atmosphere and the DCP image into the fog model (S404).
전달맵은 0~1 사이의 값으로 대기를 거쳐 카메라에 도달하는 정도를 뜻하며, 전달맵은 [수학식 1]을 이용하여 구한다. The transfer map is a value between 0 and 1, and means the degree of reaching the camera through the atmosphere, and the transfer map is obtained using [Equation 1].
[수학식 1][Equation 1]
이때, Dark Channel Priority에 따르면,At this time, according to Dark Channel Priority,
[수학식 2][Equation 2]
이고, 상위 0.1%값 평균 = A(Air light) 이므로, and the average of the top 0.1% values = A (Air light)
[수학식 3][Equation 3]
으로 계산이 가능하다. can be calculated with
안개 모델과 DCP 연산이 끝나면, 이 때 구한 영상을 특정 문턱 값(Threshold value)을 기준으로 나누어(S405) 전체 영상 대비 해무 영향이 없는 영역을 검출하여 해무 강도를 추정한다(문턱 값의 기준 설정은 이하 도 6을 참조하여 설명한다) (S406, S407, S408). After the fog model and DCP operation are completed, the image obtained at this time is divided based on a specific threshold value (S405) to estimate the intensity of sea fog by detecting an area that is not affected by sea fog compared to the entire image (the standard setting of the threshold value is It will be described below with reference to FIG. 6) (S406, S407, S408).
산출된 해무 강도 및 촬영 영상, 시간, 위치, 간격 등을 육상으로 전송함으로써 해사 안전 시스템을 강화한다. It strengthens the maritime safety system by transmitting the calculated sea fog intensity, captured images, time, location, interval, etc. to land.
도 6은 본 발명의 실시예에 따른 특정 문턱값(Threshold value) 추정을 위한 해무 영상의 픽셀값 비교 결과를 도시한다. 6 shows pixel value comparison results of sea fog images for estimating a specific threshold value according to an embodiment of the present invention.
도 6을 참고하여, 안개 영상과 안개가 없는 영상의 픽셀값을 비교해보면, 안개 영상은 픽셀값이 100 이하인 픽셀은 거의 존재하지 않는 것을 확인할 수 있다. Referring to FIG. 6 , comparing pixel values of a fog image and an image without fog, it can be seen that there are almost no pixels with a pixel value of 100 or less in the fog image.
또한 안개가 없는 영상에서도 픽셀값의 분포가 100에서 가파르게 변화하는 것을 확인할 수 있었다. In addition, it was confirmed that the distribution of pixel values changes steeply at 100 even in an image without fog.
이를 통해 본 발명의 실시예에 따르면, 확인 결과에 따라 특정 문턱값을 0~255 사이의 값에서 100으로 설정하며, 이 문턱값을 기준으로 그보다 작은 픽셀값을 갖는 모든 픽셀의 개수를 카운팅하여 해무 강도를 추정한다. Through this, according to an embodiment of the present invention, a specific threshold value is set to 100 from a value between 0 and 255 according to the confirmation result, and the number of all pixels having a smaller pixel value is counted based on this threshold value, estimate the intensity.
한편, 본 발명의 실시예에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, a method for measuring sea fog intensity based on image information for weather observation of marine navigational aids according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. A computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and a storage. Each of the aforementioned components communicates data through a data communication bus.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in memory and/or storage.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.
따라서, 본 발명의 실시예에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 방법을 수행할 수 있다.Therefore, the method for measuring sea fog intensity based on image information for meteorological observation of marine navigational aids according to an embodiment of the present invention can be implemented as a computer-executable method. When the method for measuring sea fog intensity based on image information for meteorological observation of maritime route signs according to an embodiment of the present invention is performed in a computer device, computer-readable instructions are provided as image information for meteorological observation of maritime route signs according to the present invention. based sea fog intensity measurement method can be performed.
한편, 상술한 본 발명에 따른 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the above-described method for measuring sea fog intensity based on image information for weather observation of marine navigational aids according to the present invention can be implemented as computer readable codes on a computer readable recording medium. Computer-readable recording media includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.
Claims (6)
촬영 정보를 저장하고 제어 신호를 전송하는 제어부;
이미지 프로세싱 및 딥러닝 모듈을 이용하여 해무 강도를 측정하는 영상분석부;
촬영된 이미지와 측정 해무 강도를 저장하는 저장부; 및
저장 데이터를 전송하는 통신부를 포함하고,
상기 영상분석부는 Haze Image Model과 DCP(Dark Channel Prior)를 통해, 특정 인식 대상 없이 영상 내 해무의 유무를 파악하고 해무 존재 비율 측정을 통해 해무 강도를 산출하고, R, G, B 채널의 값을 기준으로 DCP 연산을 수행하며, DCP 영상을 생성하여 대기에 산란된 외부 광원의 영향을 계산하고, DCP 영상 상위 0.1%의 픽셀 값의 픽셀 위치에 대응하는 안개영상의 픽셀값의 평균을 광원으로 계산하고,
상기 영상분석부는 룩업 테이블을 이용하여 외부 광원을 제외하고 해무를 검출하도록 보정을 수행하되, 입력 영상의 각 영역의 분산 값을 이용하여 외부 광원의 값을 구하고, 대기에 산란된 상기 외부 광원의 값과 상기 DCP 영상을 안개 모델에 대입하여 전달 맵을 구하고, 안개 영상과 안개가 없는 영상의 픽셀값을 비교한 확인 결과에 따라 설정된 문턱값보다 작은 픽셀값을 가지는 모든 픽셀의 개수를 카운팅하여 해무 강도를 추정하는 것
인 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템.
a photographing unit that acquires a sea fog image by photographing a marine image using a camera;
a controller for storing photographing information and transmitting a control signal;
An image analysis unit that measures sea fog intensity using an image processing and deep learning module;
a storage unit for storing the photographed image and the measured sea fog intensity; and
Including a communication unit for transmitting stored data,
The image analysis unit identifies the presence or absence of sea fog in the image without a specific recognition object through the Haze Image Model and DCP (Dark Channel Prior), calculates the sea fog intensity through the measurement of the sea fog presence ratio, and calculates the values of the R, G, and B channels. DCP operation is performed as a standard, DCP image is created to calculate the effect of external light scattered in the atmosphere, and the average of the pixel values of the fog image corresponding to the pixel positions of the pixel values of the top 0.1% of the DCP image is calculated as the light source. do,
The image analysis unit performs correction to detect sea fog excluding external light sources using a look-up table, and obtains values of external light sources using dispersion values of each region of the input image, and values of the external light sources scattered in the atmosphere And the DCP image is substituted into the fog model to obtain a transfer map, and according to the result of comparing the pixel values of the fog image and the non-fog image, the number of all pixels having a pixel value smaller than the set threshold is counted to determine the intensity of the fog to estimate
A sea fog strength measurement system based on image information for meteorological observation of inland sea route markers.
상기 촬영부는 해상 부표에 설치된 상기 카메라를 이용하여 촬영된 상기 해무 영상을 획득하는 것
인 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템.
According to claim 1,
Acquiring the sea fog image captured using the camera installed on the sea buoy by the photographing unit
A sea fog strength measurement system based on image information for meteorological observation of inland sea route markers.
상기 촬영 정보는 촬영 시간, 관측 간격, 촬영 위치 정보를 포함하는 것
인 해상 항로 표지의 기상 관측을 위한 영상정보 기반 해무 강도 측정 시스템.
According to claim 1,
The photographing information includes photographing time, observation interval, and photographing location information.
A sea fog strength measurement system based on image information for meteorological observation of inland sea route markers.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210171403A KR102533709B1 (en) | 2021-12-03 | 2021-12-03 | A sea fog level estimation system based on digital image for protection of aids to navigation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210171403A KR102533709B1 (en) | 2021-12-03 | 2021-12-03 | A sea fog level estimation system based on digital image for protection of aids to navigation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102533709B1 true KR102533709B1 (en) | 2023-05-18 |
Family
ID=86545227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210171403A KR102533709B1 (en) | 2021-12-03 | 2021-12-03 | A sea fog level estimation system based on digital image for protection of aids to navigation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102533709B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102151750B1 (en) * | 2019-08-08 | 2020-09-03 | 동아대학교 산학협력단 | Apparatus for Removing Fog and Improving Visibility in Unit Frame Image and Driving Method Thereof |
| KR102315080B1 (en) * | 2021-06-09 | 2021-10-19 | 호서대학교 산학협력단 | Apparatus and method for monitoring the ocean using smart marine buoys |
| KR20210143031A (en) * | 2020-05-19 | 2021-11-26 | 한국도로공사 | Method and system for removing haze in image using polarization image |
-
2021
- 2021-12-03 KR KR1020210171403A patent/KR102533709B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102151750B1 (en) * | 2019-08-08 | 2020-09-03 | 동아대학교 산학협력단 | Apparatus for Removing Fog and Improving Visibility in Unit Frame Image and Driving Method Thereof |
| KR20210143031A (en) * | 2020-05-19 | 2021-11-26 | 한국도로공사 | Method and system for removing haze in image using polarization image |
| KR102315080B1 (en) * | 2021-06-09 | 2021-10-19 | 호서대학교 산학협력단 | Apparatus and method for monitoring the ocean using smart marine buoys |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7016045B2 (en) | Video camera-based visibility measurement system | |
| KR102661171B1 (en) | System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information | |
| WO2016112714A1 (en) | Assistant docking method and system for vessel | |
| KR101666466B1 (en) | Marine risk management system and marine risk management method using marine object distance measuring system with monocular camera | |
| CN110718095A (en) | AIS monitoring system and monitoring method for inland waterway ship | |
| KR102530847B1 (en) | Method and device for monitoring harbor and ship | |
| KR102479959B1 (en) | Artificial intelligence based integrated alert method and object monitoring device | |
| CN113112540A (en) | Method for positioning ship image target by using AIS (automatic identification system) calibration CCTV (continuous transmission television) camera in VTS (vessel traffic service) system | |
| CN112580600A (en) | Dust concentration detection method and device, computer equipment and storage medium | |
| CN112927233A (en) | Marine laser radar and video combined target capturing method | |
| CN111784759A (en) | Ship height calculation method, system and storage medium based on computer vision | |
| Krinitskiy et al. | Adaptive algorithm for cloud cover estimation from all-sky images over the sea | |
| EP3665512B1 (en) | Real-time computation of an atmospheric precipitation rate from a digital image of an environment where an atmospheric precipitation is taking place | |
| KR101600820B1 (en) | Method for measuring distance of maritime objects using vertical angle of view per pixel of a camera and system for measuring distance of maritime objects using the same | |
| KR102533709B1 (en) | A sea fog level estimation system based on digital image for protection of aids to navigation | |
| CN105021573A (en) | Method and device for tracking-based visibility range estimation | |
| CN113689493A (en) | Lens attachment detection method, lens attachment detection device, electronic equipment and storage medium | |
| KR20210044127A (en) | Visual range measurement and alarm system based on video analysis and method thereof | |
| US20220103762A1 (en) | Imaging apparatus, imaging system, and imaging method | |
| JP7171825B2 (en) | Auxiliary correction system for ships and its operation method | |
| KR102156338B1 (en) | Method for monitoring ships and apparatus therefor | |
| US20230368357A1 (en) | Visibility measurement device | |
| KR20210067205A (en) | Apparatus and method for monitoring marine meteeological environment | |
| CN113253619A (en) | Ship data information processing method and device | |
| Bayot et al. | Urban visibility measurements during tropical weather events using image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |