KR102785021B1 - 선박 및 항만 실시간 모니터링 장치 및 방법 - Google Patents

선박 및 항만 실시간 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102785021B1
KR102785021B1 KR1020190122816A KR20190122816A KR102785021B1 KR 102785021 B1 KR102785021 B1 KR 102785021B1 KR 1020190122816 A KR1020190122816 A KR 1020190122816A KR 20190122816 A KR20190122816 A KR 20190122816A KR 102785021 B1 KR102785021 B1 KR 102785021B1
Authority
KR
South Korea
Prior art keywords
image
camera
top view
information
vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190122816A
Other languages
English (en)
Other versions
KR20200039588A (ko
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Publication of KR20200039588A publication Critical patent/KR20200039588A/ko
Application granted granted Critical
Publication of KR102785021B1 publication Critical patent/KR102785021B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Ocean & Marine Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 이용한 실시간 모니터링 방법에 관한 것으로, 본 발명의 일 양상에 따른 실시간 모니터링 방법은, 상기 복수의 이미지 생성 모듈 각각에 포함된 제1 카메라 및 제2 카메라로부터 선박 주변을 촬상한 이미지를 획득하는 단계 ― 상기 제1 카메라 및 상기 제2 카메라는 일 방향을 향하도록 배치되며 각각 제1 이미지 및 제2 이미지를 생성하고 상기 제1 카메라의 시야각(field of view)은 상기 제2 카메라의 시야각보다 크되 상기 제1 카메라의 피사계 심도(depth of field)는 상기 제2 카메라의 피사계 심도보다 얕음 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 단계; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지로부터 시점이 변경된 제1 탑 뷰 이미지를 생성하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제2 이미지로부터 시점이 변경된 제2 탑 뷰 이미지를 생성하는 단계; 및 동일한 이미지 생성 모듈로부터 생성된 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 단계;를 포함한다.

Description

선박 및 항만 실시간 모니터링 장치 및 방법{DEVICE AND METHOD FOR REAL-TIME MONITORING OF SHIP AND PORT}
본 발명은 선박 및 항만 실시간 모니터링 장치 및 방법에 관한 것으로, 구체적으로 이미지 정합 기술을 이용한 실시간 모니터링 장치 및 방법에 관한 것이다.
선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있으며, 그 사고의 주요 원인은 사람의 운항 부주의로 알려져 있다. 여기서, 운항 부주의는 주로 선박 주변이나 항만 내의 상황을 육안을 통해서 정확하게 모니터링하지 못한다는 점에 의해 발생한다. 현재 다양한 종류의 장애물 센서 등을 이용해 이를 보완하고 있으나 아직까지는 한계점이 존재하는 상황이다. 예를 들어, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. 그 결과 장애물의 정확한 감지를 위하여는 여전히 육안으로 확인하는 과정이 필요하다.
본 발명의 일 과제는, 선박 주변 및 항만을 모니터링하기 위한 실시간 모니터링 장치 및 방법을 제공하는 것에 있다.
본 발명의 다른 일 과제는, 선박의 접안 또는 이안 시 선박 주변 및 항만을 모니터링하기 위한 실시간 모니터링 장치 및 방법을 제공하는 것에 있다.
본 발명의 또 다른 일 과제는, 선박 주변 및 항만을 모니터링하기 위해 이미지 정합을 수행하는 장치 및 방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따르면 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 이용한 실시간 모니터링 방법에 있어서, 상기 복수의 이미지 생성 모듈 각각에 포함된 제1 카메라 및 제2 카메라로부터 선박 주변을 촬상한 이미지를 획득하는 단계 ― 상기 제1 카메라 및 상기 제2 카메라는 일 방향을 향하도록 배치되며 각각 제1 이미지 및 제2 이미지를 생성하고 상기 제1 카메라의 시야각(field of view)은 상기 제2 카메라의 시야각보다 크되 상기 제1 카메라의 피사계 심도(depth of field)는 상기 제2 카메라의 피사계 심도보다 얕음 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 단계; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지로부터 시점이 변경된 제1 탑 뷰 이미지를 생성하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제2 이미지로부터 시점이 변경된 제2 탑 뷰 이미지를 생성하는 단계; 및 동일한 이미지 생성 모듈로부터 생성된 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 단계;를 포함하는 실시간 모니터링 방법이 제공될 수 있다.
본 발명의 다른 양상에 따르면 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 이용한 실시간 모니터링 방법에 있어서, 상기 복수의 이미지 생성 모듈 각각에 포함된 제1 카메라 및 제2 카메라로부터 선박 주변을 촬상한 이미지를 획득하는 단계 ― 상기 제1 카메라 및 상기 제2 카메라는 서로 다른 방향을 향하도록 배치되며 각각 제1 이미지 및 제2 이미지를 생성함 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 단계; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지로부터 시점이 변경된 제1 탑 뷰 이미지를 생성하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제2 이미지로부터 시점이 변경된 제2 탑 뷰 이미지를 생성하는 단계; 동일한 이미지 생성 모듈로부터 생성된 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 단계; 및 서로 다른 이미지 생성 모듈이 생성한 복수의 상기 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하는 단계 ― 상기 복수의 탑 뷰 정합 이미지 중 일부는 서로 겹치는 영역이 존재하고 상기 복수의 탑 뷰 정합 이미지의 정합은 상기 위치 정보 및 상기 자세 정보에 기초하여 수행됨 ― ;를 포함하는 실시간 모니터링 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 포함하는 실시간 모니터링 장치에 있어서, 상기 이미지 생성 모듈은, 상기 선박 주변을 촬상하기 위하여 일 방향을 향하도록 배치되는 제1 카메라 및 제2 카메라 ― 상기 제1 카메라 및 상기 제2 카메라는 각각 제1 이미지 및 제2 이미지를 생성하고 상기 제1 카메라의 시야각(field of view)은 상기 제2 카메라의 시야각보다 크되 상기 제1 카메라의 피사계 심도(depth of field)는 상기 제2 카메라의 피사계 심도보다 얕음 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 위치 측정 유닛; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 자세 측정 유닛; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각으로부터 시점이 변경된 제1 탑 뷰 이미지 및 제2 탑 뷰 이미지를 생성하고 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 연산 유닛; 및 상기 탑 뷰 정합 이미지를 상기 이미지 생성 모듈의 외부로 전송하는 통신 유닛;을 포함하는 실시간 모니터링 장치가 제공될 수 있다.
본 발명의 다시 또 다른 양상에 따르면 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 포함하는 실시간 모니터링 장치에 있어서, 상기 이미지 생성 모듈은, 상기 선박 주변을 촬상하기 위하여 서로 다른 방향을 향하도록 배치되는 제1 카메라 및 제2 카메라 ― 상기 제1 카메라 및 상기 제2 카메라는 각각 제1 이미지 및 제2 이미지를 생성함 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 위치 측정 유닛; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 자세 측정 유닛; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각으로부터 시점이 변경된 제1 탑 뷰 이미지 및 제2 탑 뷰 이미지를 생성하고 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 연산 유닛; 상기 탑 뷰 정합 이미지를 상기 이미지 생성 모듈의 외부로 전송하는 통신 유닛; 및 상기 통신 유닛으로부터 획득한 상기 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하는 제어 모듈;을 포함하고, 상기 제어 모듈은, 서로 다른 이미지 생성 모듈이 생성한 복수의 상기 탑 뷰 정합 이미지를 정합하여 상기 파노라마 이미지를 생성하고 상기 복수의 탑 뷰 정합 이미지 중 일부는 서로 겹치는 영역이 존재하고 상기 복수의 탑 뷰 정합 이미지의 정합은 상기 위치 정보 및 상기 자세 정보에 기초하여 수행되는 실시간 모니터링 장치가 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 실시간 모니터링 장치 및 방법을 이용하여 선박 주변 및 항만을 모니터링할 수 있다.
또 본 발명에 의하면, 실시간 모니터링 장치 및 방법을 이용하여 선박의 접안 또는 이안 시 선박 주변 및 항만을 모니터링할 수 있다.
또 본 발명에 의하면, 이미지 정합을 수행하는 실시간 모니터링 장치 및 방법을 이용하여 선박 주변 및 항만을 모니터링할 수 있다.
본 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 실시간 모니터링에 관한 블록도이다.
도 2는 일 실시예에 따른 실시간 모니터링 장치의 구성에 관한 도면이다.
도 3 내지 도 4는 일 실시예에 따른 이미지 생성 모듈의 설치 위치에 관한 도면이다.
도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다.
도 6은 일 실시예에 따른 모니터링 영역에 관한 도면이다.
도 7은 일 실시예에 따른 이미지 변환에 관한 도면이다.
도 8은 일 실시예에 따른 타겟 고정체를 이용한 위치 정보 및/또는 자세 정보 획득에 관한 도면이다.
도 9 내지 도 10은 일 실시예에 따른 이미지 생성 모듈의 수행 단계에 관한 블록도이다.
도 11은 일 실시예에 따른 제어 모듈의 수행 단계에 관한 블록도이다.
도 12는 일 실시예에 따른 이미지 정합에 관한 도면이다.
도 13 내지 도 14는 일 실시예에 따른 출력 모듈에 관한 도면이다.
도 15는 일 실시예에 따른 복수의 카메라를 포함하는 이미지 생성 모듈을 이용한 실시간 모니터링에 관한 블록도이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 발명의 일 양상에 따르면 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 이용한 실시간 모니터링 방법에 있어서, 상기 복수의 이미지 생성 모듈 각각에 포함된 제1 카메라 및 제2 카메라로부터 선박 주변을 촬상한 이미지를 획득하는 단계 ― 상기 제1 카메라 및 상기 제2 카메라는 일 방향을 향하도록 배치되며 각각 제1 이미지 및 제2 이미지를 생성하고 상기 제1 카메라의 시야각(field of view)은 상기 제2 카메라의 시야각보다 크되 상기 제1 카메라의 피사계 심도(depth of field)는 상기 제2 카메라의 피사계 심도보다 얕음 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 단계; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지로부터 시점이 변경된 제1 탑 뷰 이미지를 생성하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제2 이미지로부터 시점이 변경된 제2 탑 뷰 이미지를 생성하는 단계; 및 동일한 이미지 생성 모듈로부터 생성된 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 단계;를 포함하는 실시간 모니터링 방법이 제공될 수 있다.
여기서, 상기 탑 뷰 정합 이미지를 생성하는 단계는, 상기 탑 뷰 정합 이미지에 포함되는 상기 제1 탑 뷰 이미지의 영역 중 상기 제2 탑 뷰 이미지와 겹치는 영역은 상기 제2 탑 뷰 이미지를 이용하여 상기 탑 뷰 정합 이미지를 생성하고, 상기 탑 뷰 정합 이미지에 포함되는 상기 제1 탑 뷰 이미지의 영역 중 상기 제2 탑 뷰 이미지와 겹치지 않는 영역은 상기 제1 탑 뷰 이미지를 이용하여 상기 탑 뷰 정합 이미지를 생성하는 단계;를 포함할 수 있다.
여기서, 상기 실시간 모니터링 방법은, 서로 다른 이미지 생성 모듈이 생성한 복수의 상기 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하는 단계 ― 상기 복수의 탑 뷰 정합 이미지 중 일부는 서로 겹치는 영역이 존재하고 상기 복수의 탑 뷰 정합 이미지의 정합은 상기 위치 정보 및 상기 자세 정보에 기초하여 수행됨 ― ;를 더 포함할 수 있다.
여기서, 상기 실시간 모니터링 방법은, 상기 파노라마 이미지에 기초하여 상기 선박의 모니터링 정보를 산출하는 단계 ― 상기 모니터링 정보는 상기 선박의 항만과의 거리에 대한 정보, 상기 선박의 항만과의 각도에 대한 정보, 상기 선박의 항만으로부터의 이동 속도에 대한 정보 및 상기 파노라마 이미지에 포함된 장애물에 대한 정보 중 적어도 하나를 포함함 ― ; 및 상기 모니터링 정보를 출력하는 단계;를 더 포함할 수 있다.
여기서, 상기 선박의 항만과의 거리에 대한 정보는, 상기 선박의 선수와 항만 사이의 거리 및 상기 선박의 선미와 항만 사이의 거리 중 적어도 하나를 고려하여 산출될 수 있다.
여기서, 상기 선박의 항만과의 각도에 대한 정보는, 상기 선박의 선수와 선미를 연결하는 제1 가상선 및 상기 항만과 수면이 접하는 제2 가상선 사이의 각도, 및 상기 제1 가상선 및 상기 항만의 일 지점과 상기 선박의 일 지점을 연결하는 제3 가상선 사이의 각도 중 적어도 하나를 고려하여 산출될 수 있다.
여기서, 상기 선박의 항만으로부터의 이동 속도에 대한 정보는, 상기 선박의 선수의 항만으로부터의 이동 속도 및 상기 선박의 선미의 항만으로부터의 이동 속도 중 적어도 하나를 고려하여 산출될 수 있다.
여기서, 상기 실시간 모니터링 방법은, 상기 제1 이미지에 포함된 노이즈를 제거하기 위하여 상기 제1 이미지를 전처리하는 단계; 및 상기 제2 이미지에 포함된 노이즈를 제거하기 위하여 상기 제2 이미지를 전처리하는 단계; 중 적어도 하나의 단계를 더 포함할 수 있다.
여기서, 상기 노이즈는 안개, 비, 물방울, 해무, 미세먼지, 직사광선, 염분 중 적어도 하나를 포함할 수 있다.
여기서, 상기 실시간 모니터링 방법은, 상기 제1 카메라로부터 제1 타겟 고정체를 포함하는 제1 비교 대상 이미지를 획득하는 단계; 및 상기 제2 카메라로부터 제2 타겟 고정체를 포함하는 제2 비교 대상 이미지를 획득하는 단계; 중 적어도 하나의 단계를 더 포함하고, 상기 자세 정보를 획득하는 단계는, 상기 제1 타겟 고정체의 상기 제1 비교 대상 이미지 상에서의 위치와 상기 제1 타겟 고정체의 상기 제1 이미지 상에서의 위치를 비교하는 단계, 및 상기 제2 타겟 고정체의 상기 제2 비교 대상 이미지 상에서의 위치와 상기 제2 타겟 고정체의 상기 제2 이미지 상에서의 위치를 비교하는 단계 중 적어도 하나의 단계를 포함할 수 있다.
여기서, 상기 실시간 모니터링 방법은, 상기 제1 이미지가 상기 제1 타겟 고정체를 포함하지 않는 경우 또는 상기 제2 이미지가 상기 제2 타겟 고정체를 포함하지 않는 경우 사용자에게 알림을 주는 단계;를 더 포함할 수 있다.
본 발명의 다른 양상에 따르면 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 이용한 실시간 모니터링 방법에 있어서, 상기 복수의 이미지 생성 모듈 각각에 포함된 제1 카메라 및 제2 카메라로부터 선박 주변을 촬상한 이미지를 획득하는 단계 ― 상기 제1 카메라 및 상기 제2 카메라는 서로 다른 방향을 향하도록 배치되며 각각 제1 이미지 및 제2 이미지를 생성함 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 단계; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지로부터 시점이 변경된 제1 탑 뷰 이미지를 생성하는 단계; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제2 이미지로부터 시점이 변경된 제2 탑 뷰 이미지를 생성하는 단계; 동일한 이미지 생성 모듈로부터 생성된 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 단계; 및 서로 다른 이미지 생성 모듈이 생성한 복수의 상기 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하는 단계 ― 상기 복수의 탑 뷰 정합 이미지 중 일부는 서로 겹치는 영역이 존재하고 상기 복수의 탑 뷰 정합 이미지의 정합은 상기 위치 정보 및 상기 자세 정보에 기초하여 수행됨 ― ;를 포함하는 실시간 모니터링 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 포함하는 실시간 모니터링 장치에 있어서, 상기 이미지 생성 모듈은, 상기 선박 주변을 촬상하기 위하여 일 방향을 향하도록 배치되는 제1 카메라 및 제2 카메라 ― 상기 제1 카메라 및 상기 제2 카메라는 각각 제1 이미지 및 제2 이미지를 생성하고 상기 제1 카메라의 시야각(field of view)은 상기 제2 카메라의 시야각보다 크되 상기 제1 카메라의 피사계 심도(depth of field)는 상기 제2 카메라의 피사계 심도보다 얕음 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 위치 측정 유닛; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 자세 측정 유닛; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각으로부터 시점이 변경된 제1 탑 뷰 이미지 및 제2 탑 뷰 이미지를 생성하고 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 연산 유닛; 및 상기 탑 뷰 정합 이미지를 상기 이미지 생성 모듈의 외부로 전송하는 통신 유닛;을 포함하는 실시간 모니터링 장치가 제공될 수 있다.
여기서, 상기 연산 유닛은, 상기 탑 뷰 정합 이미지에 포함되는 상기 제1 탑 뷰 이미지의 영역 중 상기 제2 탑 뷰 이미지와 겹치는 영역은 상기 제2 탑 뷰 이미지를 이용하여 상기 탑 뷰 정합 이미지를 생성하고, 상기 탑 뷰 정합 이미지에 포함되는 상기 제1 탑 뷰 이미지의 영역 중 상기 제2 탑 뷰 이미지와 겹치지 않는 영역은 상기 제1 탑 뷰 이미지를 이용하여 상기 탑 뷰 정합 이미지를 생성할 수 있다.
여기서, 상기 이미지 생성 모듈은, 상기 이미지 생성 모듈을 염분으로부터 보호하기 위하여 상기 제1 카메라, 상기 제2 카메라, 상기 위치 측정 유닛, 상기 자세 측정 유닛, 상기 연산 유닛 및 상기 통신 유닛 중 적어도 하나를 내부에 포함하도록 내부에 공동이 형성된 케이싱;을 더 포함할 수 있다.
여기서, 상기 케이싱은, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나의 전방에 설치되어 이물질을 물리적으로 제거하는 와이퍼를 포함하는 케이싱;을 더 포함할 수 있다.
여기서, 상기 실시간 모니터링 장치는, 상기 통신 유닛으로부터 획득한 상기 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하는 제어 모듈;을 더 포함하고, 상기 제어 모듈은, 서로 다른 이미지 생성 모듈이 생성한 복수의 상기 탑 뷰 정합 이미지를 정합하여 상기 파노라마 이미지를 생성하고 상기 복수의 탑 뷰 정합 이미지 중 일부는 서로 겹치는 영역이 존재하고 상기 복수의 탑 뷰 정합 이미지의 정합은 상기 위치 정보 및 상기 자세 정보에 기초하여 수행될 수 있다.
여기서, 상기 실시간 모니터링 장치는, 상기 파노라마 이미지에 기초하여 상기 선박의 모니터링 정보를 산출하는 출력 모듈 ― 상기 출력 모듈은 산출된 모니터링 정보를 출력하는 디스플레이를 포함함 ― ;을 더 포함하고, 상기 모니터링 정보는 상기 선박의 항만과의 거리에 대한 정보, 상기 선박의 항만과의 각도에 대한 정보, 상기 선박의 항만으로부터의 이동 속도에 대한 정보 및 상기 파노라마 이미지에 포함된 장애물에 대한 정보 중 적어도 하나를 포함할 수 있다.
여기서, 상기 이미지 생성 모듈의 설치 위치는 상기 선박, 상기 선박이 접안 또는 이안하려는 항만 및 상기 선박의 접안 또는 이안을 보조하는 예인선 중 하나인 것을 특징으로 할 수 있다.
본 발명의 다시 또 다른 양상에 따르면 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 포함하는 실시간 모니터링 장치에 있어서, 상기 이미지 생성 모듈은, 상기 선박 주변을 촬상하기 위하여 서로 다른 방향을 향하도록 배치되는 제1 카메라 및 제2 카메라 ― 상기 제1 카메라 및 상기 제2 카메라는 각각 제1 이미지 및 제2 이미지를 생성함 ― ; 상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 위치 측정 유닛; 상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 자세 측정 유닛; 상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각으로부터 시점이 변경된 제1 탑 뷰 이미지 및 제2 탑 뷰 이미지를 생성하고 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 연산 유닛; 상기 탑 뷰 정합 이미지를 상기 이미지 생성 모듈의 외부로 전송하는 통신 유닛; 및 상기 통신 유닛으로부터 획득한 상기 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하는 제어 모듈;을 포함하고, 상기 제어 모듈은, 서로 다른 이미지 생성 모듈이 생성한 복수의 상기 탑 뷰 정합 이미지를 정합하여 상기 파노라마 이미지를 생성하고 상기 복수의 탑 뷰 정합 이미지 중 일부는 서로 겹치는 영역이 존재하고 상기 복수의 탑 뷰 정합 이미지의 정합은 상기 위치 정보 및 상기 자세 정보에 기초하여 수행되는 실시간 모니터링 장치가 제공될 수 있다.
선박 및 항만 실시간 모니터링을 통해 선박 주변 상황을 확인하거나 선박이 항만에 접안 또는 이안하는 상황을 확인할 수 있다. 예를 들어, 실시간 모니터링을 통해 선박이나 항만 근처의 장애물을 감지할 수 있다. 또는, 실시간 모니터링을 통해 선박의 항만과의 거리에 대한 정보, 각도에 대한 정보 및 항만으로부터의 이동 속도에 대한 정보 등을 획득할 수 있다. 여기서, 선박 및 항만을 모니터링한다는 의미는 선박 및 항만을 감시, 관찰한다는 뜻을 포함하여 넓게 해석되어야 하며 카메라를 이용하는 것에 한정되는 것은 아니고 이로부터 정보를 획득할 수 있는지 여부에 제한되는 것도 아니다.
모니터링 정보는 디스플레이 등을 이용하여 사용자에게 시각적으로 전달될 수 있다. 이 외에도 소리 등 다양한 방식으로 사용자에게 전달될 수 있다. 이를 통해 선박이 장애물과 충돌하거나 항만 또는 항내에 존재하는 구조물 등 다양한 물체와 충돌하는 것을 방지할 수 있다.
또한, 실시간 모니터링은 선교의 한정된 시야를 보조할 수 있다. 예를 들어, 사용자의 시야로 확인할 수 없는 부분을 실시간 모니터링을 통해 확인할 수 있다.
도 1은 일 실시예에 따른 실시간 모니터링에 관한 블록도이다. 도 1을 참고하면, 일 실시예에 따른 실시간 모니터링은 이미지 획득 단계(S100), 위치 정보 및 자세 정보 획득 단계(S300), 이미지 변환 단계(S500), 이미지 정합 단계(S700) 및 이미지 출력 단계(S900)를 포함할 수 있다. 각각에 대한 구체적인 내용은 후술하기로 한다. 또한, 본 출원의 실시예에서 단계 S100 내지 단계 S900은 어느 하나의 단계가 시간적으로 더 먼저 수행될 수도 있지만, 동시에 수행될 수도 있다. 단계 S100 내지 단계 S900은 모두 수행될 수도 있지만, 항상 단계 S100 내지 단계 S900이 모두 수행되어야 하는 것은 아니고, 단계 S100 내지 단계 S900 중 적어도 하나만이 수행될 수도 있다.
선박 및 항만의 실시간 모니터링을 위해 모니터링 장치를 구축할 수 있다. 도 2는 일 실시예에 따른 실시간 모니터링 장치의 구성에 관한 도면이다. 도 2를 참고하면, 일 실시예에 따른 실시간 모니터링 장치(10)는 이미지 생성 모듈(100), 제어 모듈(500) 및 출력 모듈(900)을 포함할 수 있다.
이미지 생성 모듈은 선박 주변이나 항만의 이미지를 생성할 수 있다. 도 2를 참고하면, 일 실시예에 따른 이미지 생성 모듈(100)은 카메라(1000), 위치 측정 유닛(2000), 자세 측정 유닛(3000), 통신 유닛(4000), 케이싱(5000) 및 연산 유닛(6000)을 포함할 수 있다.
이미지 생성 모듈은 항만 내의 조명탑, 크레인, 선박 등 그 위치에 제한이 없이 설치될 수 있고, 그 개수에도 제한이 없다. 다만, 효율적인 모니터링을 위해 이미지 생성 모듈은 수면에서 15m 이상의 고도에 설치되거나, 서로 다른 영역을 모니터링하도록 복수가 설치될 수 있다. 또한, 이미지 생성 모듈의 자세는 설치 시 또는 설치 후에 수동 또는 자동으로 조절할 수 있다.
도 3 내지 도 4는 일 실시예에 따른 이미지 생성 모듈의 설치 위치에 관한 도면이다. 도 3 내지 도 4를 참고하면, 이미지 생성 모듈(100)은 항만 또는 육지와 같이 고정된 위치에 설치되거나, 선박 등과 같이 이동하는 물체에 설치될 수 있다. 여기서, 이미지 생성 모듈(100)이 선박에 설치되는 경우, 도 4와 같이 타겟 선박에 설치될 수 있고, 도 3과 같이 타겟 선박의 접안 또는 이안을 보조하는 예인선 등 제3의 선박에 설치될 수도 있다. 이 외에도, 이미지 생성 모듈은 드론 등에 설치되어 타겟 선박을 모니터링할 수 있다.
이하에서는 이미지 생성 모듈의 각 구성에 대해 구체적으로 살펴본다.
카메라는 이미지를 생성할 수 있다. 이미지 생성 모듈은 카메라를 통해 이미지를 획득할 수 있다. 여기서, 카메라는 가시광선 카메라일 수 있지만, 깊이 카메라, 적외선 카메라 등 다른 종류의 카메라일 수도 있다.
카메라가 생성한 이미지는 모니터링하려는 영역 전부를 포함할 수 있다. 또는, 상기 이미지는 모니터링하려는 영역의 일부만을 포함할 수도 있다. 이 경우, 모니터링 영역을 전부 커버하기 위하여 복수의 이미지 생성 모듈을 서로 다른 위치에 설치하거나, 서로 다른 방향을 향하도록 설치할 수 있다. 각 이미지 생성 모듈에 포함된 카메라를 통해 서로 다른 모니터링 영역을 포함하는 복수의 이미지를 생성할 수 있다.
카메라가 생성하는 이미지는 원근 시점(perspective view)으로 나타날 수 있다. 예를 들어, 상기 이미지는 선박의 상면 및 측면을 포함할 수 있다. 또는, 상기 이미지는 선박의 측면 및 해수면을 포함할 수 있다. 다만, 이에 한정되는 것은 아니고 탑 뷰(top view, 평면 시점), 측면 시점(side view) 등으로 나타나는 이미지를 생성할 수도 있다.
이미지 생성 모듈은 복수의 카메라를 포함할 수 있다. 여기서, 복수의 카메라는 동일한 방향을 향하도록 배치될 수 있다.
복수의 카메라 사이의 상대적인 위치는 고정될 수도 있고, 달라질 수도 있다. 예를 들어, 이미지 생성 모듈의 설치 위치에 따라 복수의 카메라 사이의 상대적인 위치가 달라질 수 있다. 또는, 복수의 카메라 사이의 상대적인 위치는 실시간으로 변경될 수 있다.
복수의 카메라는 서로 다른 모니터링 영역을 가질 수 있다. 예를 들어, 제1 카메라는 이미지 생성 모듈로부터 근거리를 관찰하고, 제2 카메라는 원거리를 관찰할 수 있다.
또는, 제1 카메라의 시야각(field of view)는 제2 카메라의 시야각보다 크거나 작을 수 있다. 여기서, 시야각이 더 크다는 의미는 좌우로 더 큰 폭의 영역을 포함하는 이미지를 생성하거나, 상하로 더 큰 폭의 영역을 포함하는 이미지를 생성하는 것을 의미할 수 있다.
또는, 제1 카메라의 피사계 심도(depth of field)는 제2 카메라의 피사계 심도보다 깊거나 얕을 수 있다. 여기서, 피사계 심도가 깊다는 의미는 이미지의 초점이 맞은 것으로 인식되는 거리 범위가 넓다는 것을 의미할 수 있다.
시야각이 크고 피사계 심도가 얕은 카메라의 예로 광각 카메라가 있다. 또한, 시야각이 작고 피사계 심도가 깊은 카메라의 예로는 고배율 카메라, 줌 카메라가 있다.
복수의 카메라의 모니터링 영역은 카메라가 배치되는 방향에 의해 달라질 수 있다. 예를 들어, 동일한 시야각 및/또는 피사계 심도를 갖는 카메라 두 대를 배치한다고 하더라도 각각 좌측 및 우측을 향하도록 배치하면 각 카메라의 모니터링 영역이 달라질 수 있다. 이를 통해 이미지 생성 모듈의 모니터링 영역이 증가할 수 있다.
도 5는 일 실시예에 따른 시야각 및 피사계 심도가 서로 다른 제1 카메라 및 제2 카메라의 촬상 영역에 관한 도면으로, 제1 카메라 및 제2 카메라가 동일한 위치에 설치되어 동일한 방향을 향하도록 배치되는 경우에 관한 것이다. 구체적으로, 도 5는 카메라의 촬상 영역을 탑 뷰로 표현한 것으로, 하부 중앙에서 상부를 향하도록 카메라가 배치된 것이다. 제1 카메라의 시야각이 제2 카메라의 시야각보다 큰 경우, 도 5를 참고하면, 제1 카메라가 촬영하여 생성한 제1 이미지에 포함된 제1 영역(1100)의 좌우 폭은 제2 카메라가 촬영하여 생성한 제2 이미지에 포함된 제2 영역(1500)의 좌우 폭보다 클 수 있다. 또한, 상기 제1 영역(1100)의 상하 폭은 상기 제2 영역(1500)의 상하 폭보다 클 수 있다.
제1 카메라의 피사계 심도가 제2 카메라의 피사계 심도보다 얕은 경우, 제2 이미지의 초점이 맞은 것으로 인식되는 거리가 제1 이미지의 그것보다 넓을 수 있다. 도 5를 참고하면, 제2 이미지의 초점이 맞은 것으로 인식되는 제2-1 영역(1510)의 거리 범위는 제1 이미지의 초점이 맞은 것으로 인식되는 제1-1 영역(1110)의 거리 범위보다 클 수 있다. 도 5에는 상하 방향으로의 피사계 심도 차이만 도시되었으나, 좌우 방향으로의 피사계 심도 차이 또한 이와 동일할 수 있다. 또한, 도 5에는 초점이 맞은 것으로 인식되는 영역이 카메라에 근접한 영역인 것으로 도시되었으나, 카메라로부터 떨어진 영역 또는 카메라로부터 일정 거리 범위에 해당하는 영역 등이 이에 해당할 수도 있다.
이미지의 초점이 맞은 것으로 인식되는 영역은 모니터링 영역일 수 있다. 예를 들어, 도 5를 참고하면, 제1-1 영역(1110)은 제1 카메라 및 제1 이미지의 모니터링 영역일 수 있고, 제 2-1 영역(1510)은 제2 카메라 및 제2 이미지의 모니터링 영역일 수 있다.
도 6은 일 실시예에 따른 모니터링 영역에 관한 도면이다. 도 6(a)는 시야각 및 피사계 심도가 다른 카메라를 동일한 방향을 향하도록 배치한 것이고 도 6(b)는 시야각 및 피사계 심도가 동일한 카메라를 서로 다른 방향을 향하도록 배치한 것이다. 도 6(a)를 참고하면, 복수의 카메라를 동일한 위치에 동일한 방향을 향하도록 배치하더라도 카메라의 시야각, 피사계 심도 및/또는 기타 스펙이 상이한 경우 각 카메라의 모니터링 영역이 서로 달라질 수 있다. 구체적으로, 각 카메라의 모니터링 영역은 넓은 시야각과 얕은 피사계 심도를 갖는 제1-1 영역(1110) 및 좁은 시야각과 깊은 피사계 심도를 갖는 제2-1 영역(1510)으로, 이미지 생성 모듈의 모니터링 영역은 제1-1 영역(1110) 및 제2-1 영역(1510)을 포함하는 영역일 수 있다. 도 6(b)를 참고하면, 동일한 시야각 및 피사계 심도를 갖는 복수의 카메라를 배치하더라도 서로 다른 방향을 향하도록 배치하는 경우 각 카메라의 모니터링 영역이 서로 달라질 수 있다. 구체적으로, 각 카메라의 모니터링 영역은 좌측 영역(1911) 및 우측 영역(1915)으로, 이미지 생성 모듈의 모니터링 영역은 좌측 영역(1911) 및 우측 영역(1915)을 포함하는 영역일 수 있다. 또한, 도 6(b)를 참고하면, 시야각이 좁고 피사계 심도가 깊은 카메라라고 하더라도 이를 복수 이용하면 넓은 시야각을 모니터링할 수 있다.
카메라의 위치/자세는 자동으로 조정될 수 있다. 예를 들어, 카메라 초기 설치 시의 위치/자세를 저장하여 카메라가 이와 다른 위치/자세인 경우 초기 위치/자세로 자동으로 조정될 수 있다. 여기서, 카메라의 위치/자세는 이를 측정하는 별도의 센서를 통해 측정될 수 있다. 또는, 타겟 고정체의 이미지 상에서의 위치로 자세 정보를 획득하는 방법에 의하여도 측정될 수 있다. 이에 대한 구체적인 내용은 후술하도록 한다.
위치 측정 유닛은 이미지 생성 모듈의 위치를 측정할 수 있다. 또는, 이미지 생성 모듈에 포함된 카메라의 위치를 측정할 수 있다. 일 예로, 위치 측정 유닛은 GPS(Global Positioning System)일 수 있다. 특히, 모니터링 장치의 정확도 향상을 위해 RTK-GPS(Real-Time Kinematic GPS)가 이용될 수 있다.
하나의 이미지 생성 모듈에 하나의 위치 측정 유닛이 포함될 수 있다. 또는, 복수의 위치 측정 유닛이 포함될 수 있다. 복수의 위치 측정 유닛의 일 예로, 이미지 생성 모듈이 복수의 카메라를 포함하는 경우 각 카메라 별 위치 정보 획득을 위해 각 카메라에 대응되는 복수의 위치 측정 유닛이 배치될 수 있다.
위치 측정 유닛은 미리 정해진 시간 간격마다 위치 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 이미지 생성 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 이미지 생성 모듈이 선박 등 이동체에 설치된 경우 위치 측정 유닛은 짧은 시간 간격마다 위치 정보를 획득할 수 있다. 반면, 이미지 생성 모듈이 항만 등 고정체에 설치된 경우 위치 측정 유닛은 긴 시간 간격마다 위치 정보를 획득할 수 있다. 위치 측정 유닛의 위치 정보 획득을 위한 시간 간격은 변경될 수 있다.
자세 측정 유닛은 이미지 생성 모듈의 자세를 측정할 수 있다. 또는, 이미지 생성 모듈에 포함된 카메라의 자세를 측정할 수 있다. 일 예로, 자세 측정 유닛은 관성 측정 장비(Inertial Measurement Unit, IMU)일 수 있다.
하나의 이미지 생성 모듈에 하나의 자세 측정 유닛이 포함될 수 있다. 또는, 복수의 자세 측정 유닛이 포함될 수 있다. 복수의 자세 측정 유닛의 일 예로, 이미지 생성 모듈이 복수의 카메라를 포함하는 경우 각 카메라 별 자세 정보 획득을 위해 각 카메라에 대응되는 복수의 자세 측정 유닛이 배치될 수 있다.
자세 측정 유닛은 미리 정해진 시간 간격마다 자세 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 이미지 생성 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 이미지 생성 모듈이 선박 등 이동체에 설치된 경우 자세 측정 유닛은 짧은 시간 간격마다 자세 정보를 획득할 수 있다. 반면, 이미지 생성 모듈이 항만 등 고정체에 설치된 경우 자세 측정 유닛은 긴 시간 간격마다 자세 정보를 획득할 수 있다. 자세 측정 유닛의 자세 정보 획득을 위한 시간 간격은 변경될 수 있다.
이미지 생성 모듈은 통신 유닛을 통해 외부와 정보를 송수신할 수 있다. 예를 들어, 이미지 생성 모듈이 생성한 이미지를 통신 유닛을 통해 제어 모듈로 송신할 수 있다. 또는, 위치 측정 유닛 및/또는 자세 측정 유닛이 측정한 위치 정보 및/또는 자세 정보를 제어 모듈로 송신할 수 있다.
통신 유닛은 유선으로 외부와 정보를 송수신할 수도 있고, 무선으로 정보를 송수신할 수도 있으며, 유선과 무선을 함께 사용할 수도 있다.
카메라, 위치 측정 유닛, 자세 측정 유닛, 통신 유닛, 연산 유닛 등을 보호하기 위해 이미지 생성 모듈은 케이싱을 포함할 수 있다.
케이싱의 내부에는 카메라, 위치 측정 유닛, 자세 측정 유닛, 통신 유닛, 연산 유닛 중 적어도 하나가 존재할 수 있다. 케이싱은 내부에 존재하는 카메라 등의 장비가 염수에 의해 부식되는 것을 방지할 수 있다. 또는, 케이싱은 내부에 존재하는 장비에 가해지는 충격을 방지하거나 완화시켜 이를 보호할 수 있다.
내부에 카메라 등을 포함하기 위하여 케이싱의 내부에 공동이 형성될 수 있다. 예를 들어, 케이싱은 내부가 비어있는 직육면체 형상일 수 있지만, 이에 한정되는 것은 아니고 내부에 카메라 등이 배치될 수 있는 다양한 형상으로 제공될 수 있다.
케이싱의 내부에 카메라가 배치되는 경우, 카메라의 시야 확보를 위해 케이싱의 일 영역에 개폐구가 형성되거나 케이싱의 일 영역을 투명하게 처리할 수 있다. 카메라는 상기 개폐구 또는 투명한 영역을 통해 선박 주변 및 항만을 촬상할 수 있다.
케이싱은 카메라 등을 외부 충격으로부터 보호하기 위해 강인한 소재로 제공될 수 있다. 또는, 케이싱은 염분으로 인한 부식을 방지하기 위하여 해수용 합금 등의 소재로 제공될 수 있다.
케이싱은 이미지 생성 모듈의 이물질을 제거하기 위한 장비를 포함할 수 있다. 일 예로, 케이싱에 포함된 와이퍼를 통해 이미지 생성 모듈의 표면에 달라붙은 이물질을 물리적으로 제거할 수 있다. 여기서, 상기 와이퍼는 이물질을 제거하려는 표면에 밀착할 수 있도록 상기 표면과 동일하거나 유사한 곡률을 갖는 선형 또는 판형으로 제공될 수 있다. 다른 예로, 케이싱에 포함된 액체 스프레이를 통해 물이나 워셔액을 도포하여 이물질을 제거하거나 도포 후 와이퍼를 이용하여 이물질을 물리적으로 제거할 수 있다.
이물질 제거 장비는 이미지 생성 모듈에 포함된 카메라의 시야 확보를 위해 이용될 수 있다. 예를 들어, 카메라 앞 창의 이물질 제거를 위해 와이퍼나 액체 스프레이 등과 같은 장비가 케이싱에 포함될 수 있다.
이물질 제거 장비는 수동으로 가동될 수 있지만, 자동으로도 가동될 수 있다. 예를 들어, 미리 정해진 시간 간격으로 이물질 제거 장비가 동작할 수 있다. 또는, 이미지 생성 모듈에 이물질이 달라 붙었는지 여부를 감지하는 센서를 이용하여 이물질 제거 장비를 동작시킬 수 있다. 또는, 카메라가 촬상한 이미지를 이용하여, 상기 이미지에 이물질이 촬상되었는지 여부를 판단한 후, 이물질이 존재한다고 판단되는 경우에 이물질 제거 장비를 동작시킬 수 있다. 여기서, 이미지에 이물질이 촬상되었는지 여부는 인공 신경망(artificial neural network)을 통하여 판단될 수 있다.
연산 유닛은 카메라가 촬상한 이미지의 전처리를 수행할 수 있다. 전처리의 예로는 이미지 밝기 평준화(image equalization, histogram equalization), 이미지의 해상도/크기를 변경하는 업스케일링(upscaling) 및 다운스케일링(downscaling), 이미지에 포함된 노이즈 제거 등이 있을 수 있다. 여기서, 노이즈는 안개, 비, 물방울, 해무(sea clutter), 미세먼지, 직사광선, 염분 등일 수 있다.
이미지 전처리는 인공 신경망을 통해 수행될 수 있다. 예를 들어, 안개를 포함하는 이미지를 인공 신경망에 입력하여 안개가 제거된 이미지를 얻을 수 있다.
연산 유닛은 카메라가 촬상한 이미지의 시점을 변경할 수 있다. 예를 들어, 연산 유닛은 원근 시점으로 촬상된 이미지를 탑 뷰로 변경할 수 있다. 이하에서는 원근 시점으로 촬상된 이미지를 원근 시점 이미지, 탑 뷰로 변경된 이미지는 탑 뷰 이미지라 한다.
이미지의 시점을 변경하기 위한 이미지 변환의 일 예로 연산 유닛은 역투영 변환(Inverse Projective Mapping, IPM)을 수행할 수 있다. 2차원 이미지는 3차원 공간 상의 피사체에서 반사된 빛이 카메라의 렌즈를 통해 이미지 센서에 입사되어 생성되고, 2차원과 3차원의 관계는 이미지 센서와 렌즈에 의존하며, 예를 들어 식 1과 같이 표현될 수 있다.
[식 1]
여기서, 좌변의 행렬은 2차원 이미지 좌표, 우변의 첫 번째 행렬은 내부 파라미터(intrinsic parameter), 두 번째 행렬은 외부 파라미터(extrinsic parameter), 세 번째 행렬은 3차원 좌표를 의미한다. 구체적으로, fx 및 fy는 초점 거리(focal length), cx 및 cy는 주점(principal point), r 및 t는 각각 회전 및 평행이동 변환 파라미터를 의미한다.
2차원 이미지를 역투영 변환을 통해 3차원 상의 임의의 평면에 투영시켜 그 시점을 변경시킬 수 있다. 예를 들어, 원근 시점 이미지를 역투영 변환을 통해 탑 뷰 이미지로 변경할 수 있다.
도 7은 일 실시예에 따른 이미지 변환에 관한 도면이다. 도 7을 참고하면, 원근 시점 이미지는 연산 유닛에 의해 탑 뷰 이미지로 변경될 수 있다(S500). 여기서, 원근 시점 이미지가 표현하지 못하는 영역에 대해서는 탑 뷰로 변경하지 못할 수 있다. 예를 들어, 도 7을 참고하면, 원근 시점 이미지는 선박에 의해 가려진 영역을 포함하고(선박의 좌측 영역), 이로 인해 탑 뷰 이미지는 선박의 좌측 영역을 포함하지 않을 수 있다.
이미지 변환을 위해서 내부 파라미터가 필요할 수 있다. 내부 파라미터를 구하는 방법의 일 예로 Zhang 방법을 이용할 수 있다. Zhang 방법은 다항식 모델(polynomial model)의 일종으로 격자의 크기를 알고 있는 격자판을 다양한 각도와 거리에서 촬영하여 내부 파라미터를 획득하는 방법이다.
이미지 변환을 위해서 이미지를 촬상한 카메라의 위치 정보 및/또는 자세 정보가 필요할 수 있다. 연산 유닛은 위치 측정 유닛 및 자세 측정 유닛으로부터 각각 위치 정보 및 자세 정보를 획득할 수 있다. 연산 유닛이 이미지 변환을 위해 위치 정보 및/또는 자세 정보를 미리 정해진 시간 간격으로 획득하거나 확인할 수 있다. 여기서, 상기 시간 간격은 이미지 생성 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 이미지 생성 모듈이 선박 등 이동체에 설치된 경우 연산 유닛은 짧은 시간 간격마다 위치 정보 및/또는 자세 정보를 획득하거나 확인할 수 있다. 반면, 이미지 생성 모듈이 항만 등 고정체에 설치된 경우 연산 유닛은 긴 시간 간격마다 위치 정보 및/또는 자세 정보를 획득하거나 확인할 수 있다. 연산 유닛의 위치 정보 및/또는 자세 정보 획득을 위한 시간 간격은 변경될 수 있다.
또는, 연산 유닛은 이미지에 포함된 타겟 고정체의 위치에 기초하여 위치 정보 및/또는 자세 정보를 획득할 수 있다. 예를 들어, 제1 시점에 카메라는 제1 위치 및/또는 제1 자세로 배치되고, 지형이나 건물 등과 같이 고정된 객체인 타겟 고정체를 포함하는 제1 이미지를 생성할 수 있다. 이 후, 제2 시점에 카메라는 상기 타겟 고정체를 포함하는 제2 이미지를 생성할 수 있다. 제1 이미지 상에서의 타겟 고정체의 위치 및 제2 이미지 상에서의 타겟 고정체의 위치를 비교하여 제2 시점에서의 카메라의 위치 및/또는 자세인 제2 위치 및/또는 제2 자세를 산출할 수 있다.
도 8은 일 실시예에 따른 타겟 고정체를 이용한 위치 정보 및/또는 자세 정보 획득에 관한 도면이다. 도 8(a) 내지 도 8(b)는 상하 각도 만을 조절한 카메라에 관한 도면으로, 도 8(a)는 카메라가 상향 배치된 경우이고, 도 8(b)는 카메라가 하향 배치된 경우이다. 도 8을 참고하면, 타겟 고정체(1105)인 섬의 이미지(1101) 상에서의 위치는 카메라의 각도에 따라 달라질 수 있다. 구체적으로, 섬이 이미지 상의 하부에 위치하는 경우 카메라는 상향 배치되었음을 알 수 있고, 섬이 이미지 상의 상부에 위치하는 경우 카메라는 하향 배치되었음을 알 수 있다. 도 8은 카메라의 상하 각도 만을 고려하여 도시되었으나 카메라의 좌우 각도를 고려하는 경우에도 마찬가지 방법이 적용될 수 있다.
이미지 생성 모듈이 복수의 카메라를 포함하는 경우 연산 유닛은 복수의 카메라 각각이 촬상한 이미지 또는 상기 이미지로부터 시점이 변경된 이미지를 정합할 수 있다. 예를 들어, 연산 유닛은 복수의 카메라 각각이 촬상한 원근 시점 이미지로부터 시점이 변경된 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성할 수 있다. 이하에서는 탑 뷰 이미지를 정합하는 것에 대하여 설명하나 이에 한정되는 것은 아니고 원근 시점, 측면 시점 등으로 촬상된 이미지를 정합할 수도 있다.
전술한 바와 같이, 복수의 카메라로부터 촬상 영역이 다른 복수의 탑 뷰 이미지를 생성할 수 있다. 복수의 탑 뷰 이미지의 촬상 영역이 서로 겹치지 않는 경우 이들을 적절히 더하여 탑 뷰 정합 이미지를 생성할 수 있다.
복수의 탑 뷰 이미지의 촬상 영역이 서로 겹치는 경우 상기 탑 뷰 이미지를 일정 비율로 정합하여 탑 뷰 정합 이미지를 생성할 수 있다. 일정 비율로 정합하는 것의 일 예로, 겹치는 촬상 영역에 대해 특정 탑 뷰 이미지를 다른 탑 뷰 이미지보다 우선하여 탑 뷰 정합 이미지를 생성할 수 있다. 예를 들어, 도 5를 참고하면, 제2 영역(1500)이 제1 영역(1100)에 포함되는 경우, 제1 영역(1100) 및 제2 영역(1500)이 겹치는 영역은 제2 이미지를 이용하고, 나머지 영역은 제1 이미지를 이용하여 탑 뷰 정합 이미지를 생성할 수 있다.
복수의 탑 뷰 이미지의 촬상 영역이 아닌 모니터링 영역만을 정합하여 탑 뷰 정합 이미지를 생성할 수 있다. 예를 들어, 도 5를 참고하면, 제1-1 영역(1110) 및 제 2-1 영역(1510)을 정합하여 탑 뷰 정합 이미지를 생성할 수 있다.
복수의 탑 뷰 이미지의 정합을 위하여 호모그래피 행렬(homography matrix)이 필요할 수 있다. 호모그래피는 동일한 평면 상에서의 임의의 두 이미지 사이의 매칭으로, 호모그래피 행렬은 식 2와 같이 표현될 수 있다.
[식 2]
여기서, 좌변 및 우변의 3x1 행렬은 이미지의 좌표를, 우변의 3x3 행렬은 호모그래피 행렬을 의미한다. 서로 다른 카메라로부터 획득한 복수의 탑 뷰 이미지 사이의 호모그래피 행렬을 계산한 후 이를 이용하여 복수의 탑 뷰 이미지를 정합할 수 있다.
연산 유닛의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.
도 9는 일 실시예에 따른 이미지 생성 모듈의 수행 단계에 관한 블록도이다. 도 9를 참고하면, 이미지 생성 모듈은 카메라를 이용하여 이미지를 획득하고(S100), 연산 유닛을 이용한 이미지 전처리를 통해 노이즈 제거 등을 수행하고(S200), 위치 측정 유닛 및 자세 측정 유닛을 통해 위치 정보 및 자세 정보를 획득하고(S300), 이미지, 내부 파라미터 및 위치 정보/자세 정보를 이용한 역투영 변환을 통해 탑 뷰 이미지를 생성하고(S509), 생성된 탑 뷰 이미지를 통신 유닛을 이용해 제어 모듈로 전송할 수 있다(S650).
도 10은 일 실시예에 따른 복수의 카메라를 포함하는 이미지 생성 모듈의 수행 단계에 관한 블록도이다. 도 10을 참고하면, 이미지 생성 모듈은 카메라를 이용하여 이미지를 획득하고(S100), 연산 유닛을 이용한 이미지 전처리를 통해 노이즈 제거 등을 수행하고(S200), 위치 측정 유닛 및 자세 측정 유닛을 통해 위치 정보 및 자세 정보를 획득하고(S300), 이미지, 내부 파라미터 및 위치 정보/자세 정보를 이용한 역투영 변환을 통해 제1 탑 뷰 이미지를 생성하고(S509), 제1 탑 뷰 이미지 및 이와 동일하거나 유사한 과정을 거치되 다른 카메라로부터 획득한 이미지로부터 생성된 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하고(S600), 생성된 탑 뷰 정합 이미지를 통신 유닛을 이용해 제어 모듈로 전송할 수 있다(S650).
제어 모듈은 이미지 생성 모듈로부터 이미지를 수신하여 출력 모듈로 송신할 수 있다. 제어 모듈은 수신 받은 이미지에 소정의 변형을 준 뒤에 출력 모듈로 전송할 수 있다.
제어 모듈은 복수의 이미지 생성 모듈 각각으로부터 이미지를 수신할 수 있다. 상기 제어 모듈은 복수의 이미지를 하나의 이미지로 정합하여 출력 모듈로 전송할 수 있다.
도 11은 일 실시예에 따른 제어 모듈의 수행 단계에 관한 블록도이다. 도 11을 참고하면, 제어 모듈은 복수의 이미지 생성 모듈 각각으로부터 위치 정보, 자세 정보 및 탑 뷰 이미지/탑 뷰 정합 이미지를 수신할 수 있다. 제어 모듈은 수신한 탑 뷰 이미지/탑 뷰 정합 이미지를 전처리하여 노이즈를 제거하거나 밝기를 조절하는 등 다 채널 이미지 조정을 수행할 수 있다. 여기서, 전처리는 인공 신경망을 이용하여 수행될 수 있다. 예를 들어, 제어 모듈은 생성적 적대 신경망(Generative Adversarial Network, GAN)을 이용하여 탑 뷰 이미지/탑 뷰 정합 이미지의 화질 개선(image enhancement, super resolution, 노이즈 저감 등)을 수행할 수 있다. 제어 모듈은 위치 정보/자세 정보를 이용하여 전처리한 탑 뷰 이미지/탑 뷰 정합 이미지를 정합하여 하나의 파노라마 이미지를 생성하고(S700), 생성된 파노라마 이미지를 출력 모듈로 전송할 수 있다(S800).
도 11에서는 제어 모듈이 이미지 생성 모듈로부터 탑 뷰 이미지/탑 뷰 정합 이미지를 수신하였으나, 탑 뷰 이미지/탑 뷰 정합 이미지가 아닌 원근 시점 이미지를 수신할 수도 있다. 예를 들어, 원근 시점 이미지를 탑 뷰 이미지로 변환하는 단계는 연산 유닛에서 수행되지 않고 제어 모듈에서 수행될 수도 있다. 이 외에도, 연산 유닛에서 수행되는 모든 단계는 연산 유닛이 아닌 제어 모듈에서 수행될 수도 있다. 예를 들어, 도 9을 참고하면, 이미지 생성 모듈은 카메라를 통해 이미지를 촬상하여 위치 정보 및 자세 정보와 함께 이를 제어 모듈로 송신하고, 제어 모듈에서 전처리(S200), 역투영 변환(S509)을 수행할 수도 있다. 또는, 도 10를 참고하면, 이미지 생성 모듈은 카메라를 통해 이미지를 촬상하여 위치 정보 및 자세 정보와 함께 이를 제어 모듈로 송신하고, 제어 모듈에서 전처리(S200), 역투영 변환(S509) 및 이미지 정합(S600)을 수행할 수도 있다.
도 12는 일 실시예에 따른 이미지 정합에 관한 도면이다. 도 12를 참고하면, 제어 모듈은 복수의 탑 뷰 이미지의 회전 및 이동을 통해 이미지 정합을 수행하여 탑 뷰 정합 이미지를 생성할 수 있다. 추가적으로, 제어 모듈은 이미지 크롭(crop)을 통해 미리 정해진 사이즈의 탑 뷰 정합 이미지를 생성할 수 있다.
출력 모듈은 실시간 모니터링 결과를 출력할 수 있다. 예를 들어, 출력 모듈은 이에 포함된 디스플레이를 통해 실시간 모니터링 결과를 시각적으로 출력할 수 있다.
출력 모듈은 이미지 생성 모듈 및/또는 제어 모듈로부터 이미지를 수신하여 이를 출력할 수 있다. 여기서, 이미지는 탑 뷰 이미지, 탑 뷰 정합 이미지 및/또는 파노라마 이미지일 수 있다.
도 13 내지 도 14는 일 실시예에 따른 출력 모듈이 디스플레이를 통해 출력하는 모니터링 정보에 관한 도면이다. 이하에서는 도 13 내지 도 14를 참고하여 출력 모듈에 대하여 설명한다.
출력 모듈이 출력하는 모니터링 정보는 임의의 객체 사이의 거리에 대한 정보를 포함할 수 있다. 예를 들어, 상기 모니터링 정보는 타겟 선박의 항만과의 거리에 대한 정보를 포함할 수 있다. 도 13의 출력 모듈은 타겟 선박과 항만 사이의 거리가 23m라고 출력한다. 이 외에도, 상기 항만과의 거리는 타겟 선박의 선수 및/또는 선미와 항만과의 최단 거리 등 타겟 선박의 일 지점으로부터 항만의 일 지점까지의 거리일 수 있다.
상기 모니터링 정보가 포함하는 거리에 대한 정보는 미리 정해진 지점 사이의 거리에 대한 정보이거나, 사용자가 입력한 지점 사이의 거리에 대한 정보 또는 사용자가 입력한 지점과 미리 정해진 지점 사이의 거리에 대한 정보일 수 있다.
출력 모듈이 출력하는 모니터링 정보는 임의의 객체 사이의 각도에 대한 정보를 포함할 수 있다. 예를 들어, 상기 모니터링 정보는 타겟 선박의 항만과의 각도에 대한 정보를 포함할 수 있다. 여기서, 상기 항만과의 각도는 타겟 선박의 선수와 선미를 연결하는 가상선 및 상기 항만과 수면이 접하는 가상선 사이의 각도일 수 있다. 또는, 상기 항만과의 각도는 타겟 선박의 선수와 선미를 연결하는 가상선 및 상기 항만의 일 지점과 상기 선박의 일 지점을 연결하는 가상선 사이의 각도일 수 있다. 도 13의 출력 모듈은 항만의 일 지점 a와 타겟 선박의 일 지점 b를 연결하는 가상선 A 및 타겟 선박의 선수와 선미를 연결하는 가상선 B 사이의 각도가 15°라고 출력한다.
상기 모니터링 정보가 포함하는 각도에 대한 정보는 미리 정해진 가상선 사이의 각도에 대한 정보이거나, 사용자가 입력한 가상선 사이의 각도에 대한 정보 또는 사용자가 입력한 가상선과 미리 정해진 가상선 사이의 각도에 대한 정보일 수 있다.
출력 모듈이 출력하는 모니터링 정보는 객체의 이동 속도에 대한 정보를 포함할 수 있다. 예를 들어, 상기 모니터링 정보는 타겟 선박의 항만으로부터의 이동 속도에 대한 정보를 포함할 수 있다. 도 14의 출력 모듈은 타겟 선박이 항만을 향하여 0.5m/s로 이동한다고 출력한다. 여기서, 타겟 선박의 속력은 수치로 표현하고, 방향은 화살표로 표현할 수 있다. 이 외에도, 상기 이동 속도는 타겟 선박의 선수 및/또는 선미의 항만으로부터의 이동 속도일 수 있다. 또는, 상기 이동 속도는 타겟 선박 상 일 지점의 항만 상 일 지점으로부터의 이동 속도일 수 있다. 또는, 상기 이동 속도는 임의의 가상선 사이의 이동 속도일 수 있다.
상기 모니터링 정보가 포함하는 이동 속도에 대한 정보는 미리 정해진 객체의 이동 속도에 대한 정보이거나, 사용자가 입력한 객체 사이의 이동 속도에 대한 정보 또는 사용자가 입력한 객체와 미리 정해진 객체 사이의 이동 속도에 대한 정보일 수 있다.
출력 모듈이 출력하는 모니터링 정보는 장애물에 대한 정보를 포함할 수 있다. 예를 들어, 상기 모니터링 정보는 파노라마 이미지에 포함된 장애물에 대한 정보를 포함할 수 있다. 여기서, 상기 장애물에 대한 정보는 장애물의 종류, 위치, 속도, 위험도 등에 대한 정보일 수 있다.
상기 모니터링 정보가 포함하는 장애물에 대한 정보는 미리 정해진 장애물에 대한 정보이거나, 사용자가 입력한 특정 장애물에 대한 정보일 수 있다.
출력 모듈은 외부로부터 수신한 모니터링 정보를 단순히 출력하는 것뿐만 아니라 외부로부터 수신한 정보로부터 모니터링 정보를 직접 산출하여 이를 출력할 수 있다. 일 예로, 출력 모듈은 제어 모듈로부터 수신한 파노라마 이미지로부터 타겟 선박의 항만과의 거리, 각도, 항만으로부터의 이동 속도 및/또는 파노라마 이미지에 포함된 장애물에 대한 정보를 산출하고 이를 출력할 수 있다. 다른 예로, 출력 모듈은 항만의 연석을 찾거나, 선박을 찾거나, 선박의 선수/선미를 찾거나, 미리 설정된 지점 또는 객체를 찾을 수 있다.
출력 모듈이 모니터링 정보를 산출하기 위하여 단일 프레임의 이미지뿐만 아니라 복수 프레임의 이미지를 이용할 수도 있다. 예를 들어, 서로 다른 프레임의 파노라마 이미지에서의 타겟 선박의 위치를 바탕으로 타겟 선박의 이동 속도를 산출할 수 있다.
출력 모듈이 모니터링 정보를 산출하기 위하여 인공 신경망을 이용할 수 있다. 예를 들어, 파노라마 이미지를 인공 신경망에 입력하여 상기 파노라마 이미지에 포함된 장애물의 종류, 위치, 속도, 위험도 등 장애물에 대한 정보를 획득할 수 있다. 여기서, 상기 인공 신경망은 이미지 세그멘테이션(image segmentation)을 수행하는 인공 신경망일 수 있다.
출력 모듈은 모니터링 정보를 바탕으로 사용자에게 알림을 주거나 경보를 줄 수 있다. 여기서, 상기 알림 및/또는 상기 경보는 사용자에게 시각적으로 전달될 수도 있고, 이 외에 소리 등 청각적으로도 전달될 수 있는 등 표현 방법에 제한이 있는 것은 아니다. 예를 들어, 타겟 선박의 항만과의 거리에 따라 다른 색상으로 알림을 줄 수도 있고, 거리가 가까워지면 특정 소리로 알림을 줄 수도 있다.
도 15는 일 실시예에 따른 복수의 카메라를 포함하는 이미지 생성 모듈을 이용한 실시간 모니터링에 관한 블록도이다. 도 15는 하나의 이미지 생성 모듈이 2대의 카메라를 포함하는 경우로 각 카메라로부터 제1 이미지 및 제2 이미지를 획득하고(S101, S105), 위치 측정 유닛 및 자세 측정 유닛으로부터 위치 정보 및 자세 정보를 획득하고(S300), 위치 정보 및 자세 정보를 이용한 제1 이미지 및 제2 이미지 변환을 통해 제1 탑 뷰 이미지 및 제2 탑 뷰 이미지를 생성하고(S501, S505), 위치 정보 및 자세 정보를 이용한 제1 탑 뷰 이미지 및 제2 탑 뷰 이미지의 정합을 통해 제1 탑 뷰 정합 이미지를 생성하고(S600), 제1 탑 뷰 정합 이미지 및 이와 동일하거나 유사한 과정을 거치되 다른 이미지 생성 모듈로부터 생성된 제2 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하고(S700), 생성된 파노라마 이미지를 출력 모듈을 통해 출력할 수 있다(S900).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
10: 실시간 모니터링 장치 100: 이미지 생성 모듈
500: 제어 모듈 900: 출력 모듈
1000: 카메라 1101: 이미지
1105: 타겟 고정체 2000: 위치 측정 유닛
3000: 자세 측정 유닛 4000: 통신 유닛
5000: 케이싱 6000: 연산 유닛

Claims (21)

  1. 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 이용한 실시간 모니터링 방법에 있어서,
    상기 복수의 이미지 생성 모듈 각각에 포함된 제1 카메라 및 제2 카메라로부터 선박 주변을 촬상한 이미지를 획득하는 단계 ― 상기 제1 카메라 및 상기 제2 카메라는 일 방향을 향하도록 배치되며 각각 제1 이미지 및 제2 이미지를 생성하고 상기 제1 카메라의 시야각(field of view)은 상기 제2 카메라의 시야각보다 크되 상기 제1 카메라의 피사계 심도(depth of field)는 상기 제2 카메라의 피사계 심도보다 얕고, 상기 제2 카메라의 시야각은 상기 제1 카메라의 시야각보다 작되 상기 제2 카메라의 피사계 심도는 상기 제1 카메라의 피사계 심도보다 깊음 ― ;
    상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 단계;
    상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 단계;
    상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지로부터 시점이 변경된 제1 탑 뷰 이미지를 생성하는 단계;
    상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제2 이미지로부터 시점이 변경된 제2 탑 뷰 이미지를 생성하는 단계; 및
    동일한 이미지 생성 모듈로부터 생성된 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 단계;를 포함하는
    실시간 모니터링 방법.
  2. 제1 항에 있어서,
    상기 탑 뷰 정합 이미지를 생성하는 단계는, 상기 탑 뷰 정합 이미지에 포함되는 상기 제1 탑 뷰 이미지의 영역 중 상기 제2 탑 뷰 이미지와 겹치는 영역은 상기 제2 탑 뷰 이미지를 이용하여 상기 탑 뷰 정합 이미지를 생성하고, 상기 탑 뷰 정합 이미지에 포함되는 상기 제1 탑 뷰 이미지의 영역 중 상기 제2 탑 뷰 이미지와 겹치지 않는 영역은 상기 제1 탑 뷰 이미지를 이용하여 상기 탑 뷰 정합 이미지를 생성하는 단계;를 포함하는
    실시간 모니터링 방법.
  3. 제1 항에 있어서,
    서로 다른 이미지 생성 모듈이 생성한 복수의 상기 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하는 단계 ― 상기 복수의 탑 뷰 정합 이미지 중 일부는 서로 겹치는 영역이 존재하고 상기 복수의 탑 뷰 정합 이미지의 정합은 상기 위치 정보 및 상기 자세 정보에 기초하여 수행됨 ― ;를 더 포함하는
    실시간 모니터링 방법.
  4. 제3 항에 있어서,
    상기 파노라마 이미지에 기초하여 상기 선박의 모니터링 정보를 산출하는 단계 ― 상기 모니터링 정보는 상기 선박의 항만과의 거리에 대한 정보, 상기 선박의 항만과의 각도에 대한 정보, 상기 선박의 항만으로부터의 이동 속도에 대한 정보 및 상기 파노라마 이미지에 포함된 장애물에 대한 정보 중 적어도 하나를 포함함 ― ; 및
    상기 모니터링 정보를 출력하는 단계;를 더 포함하는
    실시간 모니터링 방법.
  5. 제4 항에 있어서,
    상기 선박의 항만과의 거리에 대한 정보는, 상기 선박의 선수와 항만 사이의 거리 및 상기 선박의 선미와 항만 사이의 거리 중 적어도 하나를 고려하여 산출되는
    실시간 모니터링 방법.
  6. 제4 항에 있어서,
    상기 선박의 항만과의 각도에 대한 정보는, 상기 선박의 선수와 선미를 연결하는 제1 가상선 및 상기 항만과 수면이 접하는 제2 가상선 사이의 각도, 및 상기 제1 가상선 및 상기 항만의 일 지점과 상기 선박의 일 지점을 연결하는 제3 가상선 사이의 각도 중 적어도 하나를 고려하여 산출되는
    실시간 모니터링 방법.
  7. 제4 항에 있어서,
    상기 선박의 항만으로부터의 이동 속도에 대한 정보는, 상기 선박의 선수의 항만으로부터의 이동 속도 및 상기 선박의 선미의 항만으로부터의 이동 속도 중 적어도 하나를 고려하여 산출되는
    실시간 모니터링 방법.
  8. 제1 항에 있어서,
    상기 제1 이미지에 포함된 노이즈를 제거하기 위하여 상기 제1 이미지를 전처리하는 단계; 및 상기 제2 이미지에 포함된 노이즈를 제거하기 위하여 상기 제2 이미지를 전처리하는 단계; 중 적어도 하나의 단계를 더 포함하는
    실시간 모니터링 방법.
  9. 제8 항에 있어서,
    상기 노이즈는 안개, 비, 물방울, 해무, 미세먼지, 직사광선, 염분 중 적어도 하나를 포함하는
    실시간 모니터링 방법.
  10. 제1 항에 있어서,
    상기 실시간 모니터링 방법은,
    상기 제1 카메라로부터 제1 타겟 고정체를 포함하는 제1 비교 대상 이미지를 획득하는 단계; 및 상기 제2 카메라로부터 제2 타겟 고정체를 포함하는 제2 비교 대상 이미지를 획득하는 단계; 중 적어도 하나의 단계를 더 포함하고,
    상기 자세 정보를 획득하는 단계는, 상기 제1 타겟 고정체의 상기 제1 비교 대상 이미지 상에서의 위치와 상기 제1 타겟 고정체의 상기 제1 이미지 상에서의 위치를 비교하는 단계, 및 상기 제2 타겟 고정체의 상기 제2 비교 대상 이미지 상에서의 위치와 상기 제2 타겟 고정체의 상기 제2 이미지 상에서의 위치를 비교하는 단계 중 적어도 하나의 단계를 포함하는
    실시간 모니터링 방법.
  11. 제10 항에 있어서,
    상기 제1 이미지가 상기 제1 타겟 고정체를 포함하지 않는 경우 또는 상기 제2 이미지가 상기 제2 타겟 고정체를 포함하지 않는 경우 사용자에게 알림을 주는 단계;를 더 포함하는
    실시간 모니터링 방법.
  12. 삭제
  13. 제1 항 내지 제11 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램이 기록된 기록매체.
  14. 선박의 접안 또는 이안 시 상기 선박 주변을 모니터링하기 위하여 서로 다른 위치에 설치된 복수의 이미지 생성 모듈을 포함하는 실시간 모니터링 장치에 있어서,
    상기 이미지 생성 모듈은,
    상기 선박 주변을 촬상하기 위하여 일 방향을 향하도록 배치되는 제1 카메라 및 제2 카메라 ― 상기 제1 카메라 및 상기 제2 카메라는 각각 제1 이미지 및 제2 이미지를 생성하고 상기 제1 카메라의 시야각(field of view)은 상기 제2 카메라의 시야각보다 크되 상기 제1 카메라의 피사계 심도(depth of field)는 상기 제2 카메라의 피사계 심도보다 얕고, 상기 제2 카메라의 시야각은 상기 제1 카메라의 시야각보다 작되 상기 제2 카메라의 피사계 심도는 상기 제1 카메라의 피사계 심도보다 깊음 ― ;
    상기 이미지 생성 모듈과 관련된 위치 정보를 획득하는 위치 측정 유닛;
    상기 이미지 생성 모듈과 관련된 자세 정보를 획득하는 자세 측정 유닛;
    상기 위치 정보 및 상기 자세 정보를 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각으로부터 시점이 변경된 제1 탑 뷰 이미지 및 제2 탑 뷰 이미지를 생성하고 상기 제1 탑 뷰 이미지 및 상기 제2 탑 뷰 이미지를 정합하여 탑 뷰 정합 이미지를 생성하는 연산 유닛; 및
    상기 탑 뷰 정합 이미지를 상기 이미지 생성 모듈의 외부로 전송하는 통신 유닛;을 포함하는
    실시간 모니터링 장치.
  15. 제14 항에 있어서,
    상기 연산 유닛은, 상기 탑 뷰 정합 이미지에 포함되는 상기 제1 탑 뷰 이미지의 영역 중 상기 제2 탑 뷰 이미지와 겹치는 영역은 상기 제2 탑 뷰 이미지를 이용하여 상기 탑 뷰 정합 이미지를 생성하고, 상기 탑 뷰 정합 이미지에 포함되는 상기 제1 탑 뷰 이미지의 영역 중 상기 제2 탑 뷰 이미지와 겹치지 않는 영역은 상기 제1 탑 뷰 이미지를 이용하여 상기 탑 뷰 정합 이미지를 생성하는
    실시간 모니터링 장치.
  16. 제14 항에 있어서,
    상기 이미지 생성 모듈은, 상기 이미지 생성 모듈을 염분으로부터 보호하기 위하여 상기 제1 카메라, 상기 제2 카메라, 상기 위치 측정 유닛, 상기 자세 측정 유닛, 상기 연산 유닛 및 상기 통신 유닛 중 적어도 하나를 내부에 포함하도록 내부에 공동이 형성된 케이싱;을 더 포함하는
    실시간 모니터링 장치.
  17. 제16 항에 있어서,
    상기 케이싱은, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나의 전방에 설치되어 이물질을 물리적으로 제거하는 와이퍼를 포함하는 케이싱;을 더 포함하는
    실시간 모니터링 장치.
  18. 제14 항에 있어서,
    상기 실시간 모니터링 장치는, 상기 통신 유닛으로부터 획득한 상기 탑 뷰 정합 이미지를 정합하여 파노라마 이미지를 생성하는 제어 모듈;을 더 포함하고,
    상기 제어 모듈은, 서로 다른 이미지 생성 모듈이 생성한 복수의 상기 탑 뷰 정합 이미지를 정합하여 상기 파노라마 이미지를 생성하고 상기 복수의 탑 뷰 정합 이미지 중 일부는 서로 겹치는 영역이 존재하고 상기 복수의 탑 뷰 정합 이미지의 정합은 상기 위치 정보 및 상기 자세 정보에 기초하여 수행되는
    실시간 모니터링 장치.
  19. 제18 항에 있어서,
    상기 실시간 모니터링 장치는, 상기 파노라마 이미지에 기초하여 상기 선박의 모니터링 정보를 산출하는 출력 모듈 ― 상기 출력 모듈은 산출된 모니터링 정보를 출력하는 디스플레이를 포함함 ― ;을 더 포함하고,
    상기 모니터링 정보는 상기 선박의 항만과의 거리에 대한 정보, 상기 선박의 항만과의 각도에 대한 정보, 상기 선박의 항만으로부터의 이동 속도에 대한 정보 및 상기 파노라마 이미지에 포함된 장애물에 대한 정보 중 적어도 하나를 포함하는
    실시간 모니터링 장치.
  20. 제14 항에 있어서,
    상기 이미지 생성 모듈의 설치 위치는 상기 선박, 상기 선박이 접안 또는 이안하려는 항만 및 상기 선박의 접안 또는 이안을 보조하는 예인선 중 하나인 것을 특징으로 하는
    실시간 모니터링 장치.
  21. 삭제
KR1020190122816A 2018-10-04 2019-10-04 선박 및 항만 실시간 모니터링 장치 및 방법 Active KR102785021B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862741394P 2018-10-04 2018-10-04
US62/741,394 2018-10-04
KR1020180165856 2018-12-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165856 Division 2018-10-04 2018-12-20

Publications (2)

Publication Number Publication Date
KR20200039588A KR20200039588A (ko) 2020-04-16
KR102785021B1 true KR102785021B1 (ko) 2025-03-27

Family

ID=70055291

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020190122817A Active KR102113955B1 (ko) 2018-10-04 2019-10-04 선박 및 항만 모니터링 장치 및 방법
KR1020190122816A Active KR102785021B1 (ko) 2018-10-04 2019-10-04 선박 및 항만 실시간 모니터링 장치 및 방법
KR1020200058550A Active KR102231286B1 (ko) 2018-10-04 2020-05-15 선박 주변 모니터링 장치 및 선박 주변 모니터링 방법
KR1020210034934A Active KR102566724B1 (ko) 2018-10-04 2021-03-17 항만 모니터링 장치 및 항만 모니터링 방법
KR1020230103932A Active KR102658233B1 (ko) 2018-10-04 2023-08-09 항만 모니터링 장치 및 항만 모니터링 방법
KR1020240049109A Active KR102688958B1 (ko) 2018-10-04 2024-04-12 항만 모니터링 장치 및 항만 모니터링 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190122817A Active KR102113955B1 (ko) 2018-10-04 2019-10-04 선박 및 항만 모니터링 장치 및 방법

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020200058550A Active KR102231286B1 (ko) 2018-10-04 2020-05-15 선박 주변 모니터링 장치 및 선박 주변 모니터링 방법
KR1020210034934A Active KR102566724B1 (ko) 2018-10-04 2021-03-17 항만 모니터링 장치 및 항만 모니터링 방법
KR1020230103932A Active KR102658233B1 (ko) 2018-10-04 2023-08-09 항만 모니터링 장치 및 항만 모니터링 방법
KR1020240049109A Active KR102688958B1 (ko) 2018-10-04 2024-04-12 항만 모니터링 장치 및 항만 모니터링 방법

Country Status (4)

Country Link
US (2) US12057018B2 (ko)
EP (1) EP3862997A4 (ko)
KR (6) KR102113955B1 (ko)
WO (1) WO2020071839A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654233A1 (en) * 2018-11-15 2020-05-20 BSB Artificial Intelligence GmbH System and method for identifying an object in water
US20210183088A1 (en) * 2019-12-13 2021-06-17 Nvidia Corporation Depth estimation using a neural network
KR102530847B1 (ko) * 2020-10-26 2023-05-11 씨드로닉스(주) 항만 및 선박 모니터링 방법 및 장치
WO2021141339A1 (ko) 2020-01-09 2021-07-15 씨드로닉스 주식회사 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
KR102535115B1 (ko) * 2020-10-26 2023-05-23 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법
US11636602B1 (en) * 2020-02-12 2023-04-25 Scale AI, Inc. Prelabeling for semantic segmentation tasks
KR102223363B1 (ko) * 2020-06-16 2021-03-05 이상창 선박 자동정박 시스템
JP6935545B1 (ja) * 2020-06-18 2021-09-15 三菱電機ビルテクノサービス株式会社 人物追跡支援装置および人物追跡支援システム
CN111898699B (zh) * 2020-08-11 2024-05-10 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
US11783510B2 (en) * 2020-08-25 2023-10-10 Nvidia Corporation View generation using one or more neural networks
KR20220045762A (ko) 2020-10-06 2022-04-13 주식회사 스카이시스 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
KR102240127B1 (ko) * 2020-10-13 2021-04-14 한국해양과학기술원 딥러닝 기반 저시정 상황 극복 기술을 적용한 주변 상황 모니터링 장치
KR102238629B1 (ko) * 2020-10-13 2021-04-09 한국해양과학기술원 딥러닝 기반 저시정 상황 극복 시스템 및 방법
DE102021127118A1 (de) * 2020-10-21 2022-04-21 Motional Ad Llc Identifizieren von Objekten mit LiDAR
TWI792108B (zh) * 2020-12-02 2023-02-11 財團法人船舶暨海洋產業研發中心 船舶內河航運光達辨識系統及其運作方法
KR102353336B1 (ko) * 2021-05-06 2022-01-20 (주)공간인소프트 인공 지능 모델을 이용하여 항만 구조물을 인식할 수 있는 전자 장치 및 전자 장치의 제어 방법
KR102558165B1 (ko) * 2021-05-26 2023-07-21 주식회사 이에스피 안벽 호선 환경 변화에 따른 공정 스케줄 최적화 시스템
KR102451797B1 (ko) * 2021-06-01 2022-10-12 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
KR20230048650A (ko) 2021-10-05 2023-04-12 삼성중공업 주식회사 해양구조물의 안벽 계류 리소스 제약 기반 최적 계류 위치 결정 방법 및 시스템
KR102391811B1 (ko) 2021-12-14 2022-04-28 한국해양과학기술원 카메라 정보를 활용한 라이다 기반 연안해역 상황인식 장치 및 방법
IL291595A (en) * 2022-03-22 2023-10-01 Orca Ai Ltd Estimation of distance to a marine object by a neural network using a camera
KR20240026702A (ko) 2022-08-22 2024-02-29 한화오션 주식회사 선박의 소리기반 운항안전 보조시스템
CN115188221B (zh) * 2022-09-09 2022-11-25 苏州智能交通信息科技股份有限公司 河道航运监测管理方法、装置、终端及存储介质
TWI837969B (zh) * 2022-11-26 2024-04-01 財團法人船舶暨海洋產業研發中心 港區海際多船監控系統及其運作方法
EP4383215A1 (en) * 2022-12-09 2024-06-12 Abb Schweiz Ag Method and system for determining a region of water clearance of a water surface
GB2627437A (en) * 2023-02-17 2024-08-28 Wartsila Guidance Marine Ltd Vessel situational awareness
CN116242334A (zh) * 2023-03-02 2023-06-09 上海友道智途科技有限公司 一种面向港口锁站的车辆定位方法及系统
CN116482677B (zh) * 2023-06-25 2023-08-29 成都远望科技有限责任公司 一种基于海雾观测的多雷达协同控制扫描调度方法
KR102677983B1 (ko) * 2023-09-05 2024-06-25 (주)오토노머스에이투지 자율주행차량에 설치된 프로젝터의 고장을 판단하는 방법 및 이를 이용한 프로젝터 고장 진단 장치
KR102676639B1 (ko) * 2023-10-26 2024-06-19 주식회사 더블오 수면 부유 객체 데이터 수집 장치
KR20250081490A (ko) 2023-11-29 2025-06-05 국립창원대학교 산학협력단 선박용 하역기 자동 제어 시스템 및 방법
CN119205528B (zh) * 2024-11-21 2025-03-21 海卫通网络科技有限公司 一种船舶靠泊用全景摄像图像融合方法及系统
KR102790206B1 (ko) * 2024-12-20 2025-04-02 재단법인 포항산업과학연구원 하역기의 충돌 분석 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130169844A1 (en) 2012-01-04 2013-07-04 Lloyd Watts Image Enhancement Based on Combining Images from Multiple Cameras
KR101379636B1 (ko) * 2012-12-20 2014-04-02 한국해양과학기술원 단안카메라 영상을 이용한 선박 자동 인식 시스템 및 방법

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
JP4214219B2 (ja) * 2002-11-26 2009-01-28 独立行政法人海上技術安全研究所 離接岸用操船支援装置
JP2004178258A (ja) 2002-11-27 2004-06-24 Mitsubishi Heavy Ind Ltd 港湾セキュリティシステム
DE102006035878A1 (de) 2006-08-01 2008-02-14 Atlas Elektronik Gmbh Verfahren zur Bestimmung eines Fahrwegs für ein Unterwasserfahrzeug
GB2441802A (en) 2006-09-13 2008-03-19 Marine & Remote Sensing Soluti Safety system for a vehicle
JP5090869B2 (ja) 2007-11-19 2012-12-05 日本無線株式会社 レーダシステム
CN101214851B (zh) * 2008-01-10 2010-12-01 黄席樾 船舶行驶智能型全天候主动安全预警系统及其预警方法
JP2010041530A (ja) * 2008-08-07 2010-02-18 Sanyo Electric Co Ltd 操縦支援装置
IL196276A (en) 2008-12-30 2013-04-30 Elbit Systems Ltd Independent navigation system and method for maneuverable platform
US8396870B2 (en) 2009-06-25 2013-03-12 University Of Tennessee Research Foundation Method and apparatus for predicting object properties and events using similarity-based information retrieval and modeling
KR101096157B1 (ko) * 2009-10-22 2011-12-19 (주)태종씨앤아이 듀얼 카메라를 이용한 실시간 감시장치
KR20110059206A (ko) 2009-11-27 2011-06-02 김영복 터그보트를 이용한 접안선박 유도시스템
WO2011159832A2 (en) 2010-06-15 2011-12-22 California Institute Of Technology Systems and methods for sea state prediction and automated vessel navigation
KR101283759B1 (ko) 2012-04-30 2013-07-08 인하대학교 산학협력단 스마트 ｔｖ 환경의 개인화된 대화형 비디오에서 움직이는 이동 객체의 의미적 어노테이션의 표현 및 그 증강 방법
KR20140096595A (ko) 2013-01-28 2014-08-06 경북대학교 산학협력단 이미지 분류 방법
KR20140126998A (ko) 2013-04-24 2014-11-03 주식회사 씨큐로 갑문 충돌방지 시스템
KR101452994B1 (ko) 2013-05-06 2014-10-22 한국생산기술연구원 선박의 안전접안 시스템
KR101480220B1 (ko) 2013-05-10 2015-01-08 인하대학교 산학협력단 객체 인식 장치 및 그 방법
KR101589814B1 (ko) 2014-04-30 2016-01-29 인하대학교 산학협력단 연안에서의 객체 인식 장치 및 그 방법
KR101607904B1 (ko) 2014-06-27 2016-03-31 (주)안세기술 3차원 레이저 스캐너를 이용한 선박 접안 시스템
KR101683274B1 (ko) 2014-11-24 2016-12-06 (주)세이프텍리서치 무인항공기를 이용한 선박 접안 지원 시스템 및 그 방법
CN104539934A (zh) * 2015-01-05 2015-04-22 京东方科技集团股份有限公司 图像采集装置和图像处理方法、系统
KR101693981B1 (ko) 2015-04-29 2017-01-10 현대중공업 주식회사 선박의 충돌 회피 방법 및 장치
KR101541808B1 (ko) 2015-04-30 2015-08-04 한국해양과학기술원 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법
KR20170031829A (ko) 2015-09-11 2017-03-22 금호마린테크 (주) 선박 레이더를 이용한 물표의 획득 방법 및 이를 이용한 물표의 획득 시스템
EP3347789B1 (en) 2015-09-11 2021-08-04 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
KR101772178B1 (ko) 2015-12-04 2017-08-25 엘지전자 주식회사 차량용 랜드마크 검출 장치 및 방법
US10372976B2 (en) 2016-05-05 2019-08-06 Brunswick Corporation Person detection in a marine environment
KR101812994B1 (ko) * 2016-05-25 2017-12-28 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
KR101900851B1 (ko) 2016-07-22 2018-11-08 목포해양대학교 산학협력단 선박 항해 감시장치 및 방법
KR101941521B1 (ko) * 2016-12-07 2019-01-23 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법
KR101772916B1 (ko) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
KR20180081979A (ko) 2017-01-09 2018-07-18 재단법인한국조선해양기자재연구원 자율 운항선 충돌방지 시스템
KR101771146B1 (ko) 2017-03-22 2017-08-24 광운대학교 산학협력단 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치
KR101805564B1 (ko) 2017-06-12 2018-01-18 (주)지인테크 선박 충돌 방지용 경보 시스템 및 방법
KR101894674B1 (ko) 2017-10-11 2018-10-24 (주)코마린 해양 내비게이션 장치 및 항로 제공 방법
US11100350B2 (en) 2018-02-19 2021-08-24 Avigilon Corporation Method and system for object classification using visible and invisible light images
US10936907B2 (en) 2018-08-10 2021-03-02 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
WO2020050498A1 (ko) 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
KR102240839B1 (ko) 2018-09-04 2021-04-16 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130169844A1 (en) 2012-01-04 2013-07-04 Lloyd Watts Image Enhancement Based on Combining Images from Multiple Cameras
KR101379636B1 (ko) * 2012-12-20 2014-04-02 한국해양과학기술원 단안카메라 영상을 이용한 선박 자동 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20200060697A (ko) 2020-06-01
KR102231286B1 (ko) 2021-03-24
KR20200039589A (ko) 2020-04-16
KR20240057388A (ko) 2024-05-02
KR102113955B1 (ko) 2020-05-22
KR20200039588A (ko) 2020-04-16
EP3862997A4 (en) 2022-08-10
EP3862997A1 (en) 2021-08-11
KR102566724B1 (ko) 2023-08-16
US20240339037A1 (en) 2024-10-10
KR20210036886A (ko) 2021-04-05
KR20230121978A (ko) 2023-08-22
KR102658233B1 (ko) 2024-04-19
US12057018B2 (en) 2024-08-06
WO2020071839A1 (ko) 2020-04-09
KR102688958B1 (ko) 2024-07-29
US20210357655A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
KR102785021B1 (ko) 선박 및 항만 실시간 모니터링 장치 및 방법
KR102530691B1 (ko) 접안 모니터링 장치 및 방법
EP4089660A1 (en) Method and device for monitoring port and ship in consideration of sea level
KR102645492B1 (ko) 선박 및 항만 모니터링 장치 및 방법
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
KR102265980B1 (ko) 선박 및 항만 모니터링 장치 및 방법
Kim et al. Artificial intelligence vision-based monitoring system for ship berthing
KR102520844B1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
CN115131720A (zh) 一种基于人工智能的船舶靠泊辅助方法
EP4213110A1 (en) System for detecting objects on a water surface and marine vessel with a system for detecting objects on a water surface
JP7328378B2 (ja) 水域物体検出システム、船舶および周辺物体検出システム
JP2023059077A (ja) 情報処理装置、対象物検知装置、情報処理方法およびプログラム
ITGO20130005A1 (it) Apparato per il supporto, il miglioramento, la sicurezza e la semplificazione delle operazioni di manovra a bassa velocità di una imbarcazione

Legal Events

Date Code Title Description
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20191004

Patent event code: PA01071R01D

Filing date: 20181220

Application number text: 1020180165856

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211220

Comment text: Request for Examination of Application

Patent event code: PA02011R04I

Patent event date: 20191004

Comment text: Divisional Application of Patent

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240513

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250113

PG1601 Publication of registration