KR102171122B1 - 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템 - Google Patents

장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템 Download PDF

Info

Publication number
KR102171122B1
KR102171122B1 KR1020207000721A KR20207000721A KR102171122B1 KR 102171122 B1 KR102171122 B1 KR 102171122B1 KR 1020207000721 A KR1020207000721 A KR 1020207000721A KR 20207000721 A KR20207000721 A KR 20207000721A KR 102171122 B1 KR102171122 B1 KR 102171122B1
Authority
KR
South Korea
Prior art keywords
ship
image
area
module
obtaining
Prior art date
Application number
KR1020207000721A
Other languages
English (en)
Other versions
KR20200007084A (ko
Inventor
리엔빙 덩
Original Assignee
주하이 다 헝친 테크놀러지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주하이 다 헝친 테크놀러지 디벨롭먼트 컴퍼니 리미티드 filed Critical 주하이 다 헝친 테크놀러지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20200007084A publication Critical patent/KR20200007084A/ko
Application granted granted Critical
Publication of KR102171122B1 publication Critical patent/KR102171122B1/ko

Links

Images

Classifications

    • G06K9/4604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6223—
    • G06K9/6256—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템을 제공하는 바, 선박 이미지 샘플 라이브러리를 구축하고, 이미지 중의 모든 에지를 획득하여 이미지의 제4차원으로 하는 단계; 해안선을 얻으며, 해수면 영역을 선박이 나타나는 범위 영역(Ship area)으로 하는 단계; Faster RCNN와 유사한 합성곱 네트워크를 구축하고, 샘플 데이터를 딥 러닝 네트워크에 입력하는 단계; RPN네트워크를 구축하고, 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 영역 제안 박스를 생성하고, 딥 러닝 네트워크와 결부하고, 선박의 실제 위치에 따라 훈련하여 훈련 모델을 얻는 단계; 및, 검출 이미지에 대해 훈련을 통해 얻은 모델을 기반으로 해안선 사이의 부분에 대해 선박 탐지를 수행하는 단계;를 포함한다. 본 발명은 해안선을 추출하는 것을 통해 토지 주택의 간섭을 피하고 선박 영역에 대해서만 영역 제안을 생성함으로써 영역 제안 박스의 정확도와 속도를 향상시키며, 또한 목표 검출에 에지 특징을 추가하여 이미지의 제4차원으로 함으로써 검출 정확도와 속도를 향상시킨다.

Description

장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
본 발명은 컴퓨터 비전 분야에 관한 것으로, 특히 장면의 다차원 특징을 기반으로 딥 러닝 네트워크 모델을 구축하기 위한 선박 탐지 방법 및 시스템에 관한 것이다.
현재 사회에서 거의 모든 곳에 영상 감시 카메라가 설치되어 있고, 감시 센터의 TV 벽에는 매우 많은 회로의 감시 이미지가 동시에 표시되는데, 만일 사람의 육안에만 의존하면 비상 사건을 놓치기 쉽다. 연구에 따르면, 전문 감시 요원은 단지 두 대의 모니터만 모니터링하는 상황에서도 22 분 후에 95%의 행동을 놓치며, 사전에 효과적으로 범죄를 예방하고 통제할 수 없다. 그러나, 지능형 모니터링 프로브는 실시간 모니터링 시스템의 능동적인 조기 경보 기능을 향상시키고 관련 위험 상황이 감지되면 조기 경보를 발송하여 관련 부서에서 적시에 조치를 취하는데 도움이 된다. 한편, 지능형 모니터링 프로브의 비상 시 조기 경보 저장 기록은 향후 사건 수사 및 사고 원인 분석 등 작업에 중요한 단서를 제공한다.
인구의 신속한 증가와 토지 자원의 부족으로 21 세기에 인류는 바다에로의 진출을 가속화하고 있다. 해양 환경과 자원을 더욱 잘 활용하고 보호하는 방법과 제한된 인력으로 광대한 바다를 감시하는 방법은 현재 중요한 연구 과제로 되었다. 해양 영상 감시 시스템은 24시간 무중단 모니터링, 오가는 선박의 전반적인 감시, 선원 이동 감시 등을 실현할 수 있으며, 이상 행동을 제1시간에 캡처하고 주변 해상 조건을 중단없이 기록함으로써, 해양 감시 작업요원의 작업 상의 어려움을 줄이고, 업무 효율을 개선하고, 감시 비용을 절감하며, 해양 관리 정책의 결정을 위해 과학적 근거를 제공한다.
본 발명은 섬 주변의 감시 영상 시스템에서 선박의 움직임을 신속하고 정확하게 검출하는 방법에 대해 연구하고자 한다. 국내외 물체 검출 알고리즘의 현재 상태를 살펴보면, 프레임 차이법, 광학적 흐름법, 배경 분리법과 같은 전통적인 방법에서 R-CNN, Fast RCNN, Faster RCNN 등의 딥 러닝 기반 검출 방법으로 점차 발전하고 있다.
종래 방법에서, 프레임 차이법은 영상 중의 2 개이상의 인접한 프레임 이미지를 추출하여 차분 계산을 수행하고, 임계값을 통해 이미지의 배경 및 움직이는 물체를 분리하여 픽셀을 얻는 것이다. 이 알고리즘은 렌즈가 고정되어 있을 때 동적 배경에 대해 강력한 적응성과 견고성을 갖지만, 특징의 일부분 관련 픽셀만 추출 가능하고 모든 관련 픽셀을 완전히 추출할 수 없기 때문에, 정확도가 높은 검출 결과를 얻을 수 없다. 물체가 빠르게 움직일 때 더 큰 샘플링 간격을 사용하면 영상의 두 프레임 사이가 커피되지 못하여 잘못 검출되기 쉽다. 또한, 물체가 느린 속도로 움직일 때 더 작은 샘플링 간격을 사용하면 검출 된 이동 목표에 공극이 발생하기 쉬우며 후속의 목표 검출에 불리하다.
딥 러닝 방법에서 RCNN은 CNN 특징 영역을 가진 네트워크이며, 최초에 합성곱 신경망 특징에 의해 분류된다. 먼저 이미지를 하나 입력 후, 선택적 검색(Selective Search, SS)을 통해 2,000 개의 후보 영역을 획득하여 각 특징 영역에 대해 CNN특징을 추출한다. 그 다음에 SVM 분류기를 사용하여 각 영역을 분류하고, 마지막으로 임계값에 따라 최종 분류 결과를 결정한다. 다만, 이 방법은 효율이 높지 못하여 CPU 모드에서 매개 이미지에 약 2 초가 소요되는데, 주된 원인은 특징을 추출하는 과정에 CNN이 각 region proposals에 대해 별도로 특징을 추출하기 때문에 소요되는 시간이 증가된다.
Fast R-CNN네트워크는 하나의 완정한 이미지와 일련의 목표 제안 박스를 입력하고, 그 다음에 이미지에 대해 합성곱 연산 및 최대 풀링을 거쳐 본 발명에 필요한 특징 맵(feature map)을 얻는다. Fast RCNN은 새로운 네트워크층 구조인 ROI 풀링층을 통해 이러한 결과의 크기를 고정 길이의 특징 벡터로 통합한다. 그 다음에 이러한 특징 벡터를 완전연결망(fully connected network, FCN)에 입력하고 다시 multi-task모델에 입력하여 softmax 분류기와 bbox regressor회귀 병합을 통해 구성하며, 또한 미세 조정하여 더욱 우수한 효과를 얻는다. Fast RCNN는 GPU에서 구현될 수 있으며, 다만 효율이 향상되지만 후속의 검색 네트워크를 고려하지 않고 영역 제안 부분에 시간이 너무 많이 소요되는 문제를 제대로 해결하지 못했다.
Faster RCNN은 영역 제안 네트워크(Region Proposal Network RPN) + Faster RCNN을 통해 영역 제안을 생성한다. 여기서, 영역 생성 네트워크는 검출 네트워크와 합성곱 특징을 공유하고, 이들 합성곱층 특징을 사용하여 영역 제안 박스를 예측하므로, 영역 제안 박스를 생성하는 계산 비용이 적게 소요된다. 그 다음에 Fast R-CNN 검출에 이러한 영역을 사용하는데, 이 경우 검출의 정확도는 Fast R-CNN과 유사하지만 속도가 훨씬 빠르다. 그리고, 정확도는 바람직하지 못하다.
종래 기술의 단점을 감안하고 섬 감시 시스템의 데이터 특성을 결부하여, 본 발명은 장면의 다차원 특징을 기반으로 딥 러닝 네트워크 모델을 구축하기 위한 선박 탐지 기술방안을 제공한다.
상술한 목적을 실현하기 위해, 본 발명의 기술방안에 따른 장면의 다차원 특징을 기반으로 딥 러닝 네트워크 모델을 구축하기 위한 선박 탐지 방법은,
선박 이미지 샘플 라이브러리를 구축하는 단계a - 가시광 조건의 연해영역의 감시 영상 데이터를 수집하고 각 프레임의 이미지를 추출하여 선박 위치의 참값 및 길이와 폭을 얻으며, 캐니 에지 검출기를 통해 에지를 검출하여 이미지 중의 모든 에지를 획득하여 이미지의 제4차원으로 하는 과정을 포함함 - ;
선박 영역을 획득하는 단계b - 단계a에서 얻은 에지에 대해 Hough변환을 수행하여 해안선을 얻으며, 해수면 영역을 선박이 나타나는 범위 영역(Ship area)으로 하는 과정을 포함함 - ;
Faster RCNN와 유사한 합성곱 네트워크를 구축하는 단계c - 단계a에서 얻은 처리 된 이미지를 샘플 데이터로서 딥 러닝 네트워크에 입력하여 합성곱 연산을 거친 특징 맵을 얻는 과정을 포함함 - ;
RPN네트워크를 구축하는 단계d - 단계c에서 얻은 합성곱 연산을 거친 특징 맵을 기반으로 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 영역 제안 박스를 생성하여 단계c에서 획득한 딥 러닝 네트워크와 결부하고, 선박의 실제 위치에 따라 훈련하여 훈련 모델을 얻는 과정을 포함함 - ; 및,
단계d에서 훈련을 통해 얻은 모델을 이용하여 테스트 데이터에 대해 검출하는 단계e - 검출 이미지에 대해 에지 검출을 수행하여 이미지 중의 모든 에지를 얻어 이미지의 제4차원으로 하고, Hough변환을 통해 해안선을 얻으며, 단계d에서 훈련을 통해 얻은 모델을 기반으로 해안선 사이의 부분에 대해 선박 탐지를 수행하는 과정을 포함함 - ;를 포함한다.
또한, 단계b에서, 먼저 하나의(
Figure 112020002465519-pct00001
극좌표 파라미터 공간의 2차원 배열을 만들어 누산기로 사용하고 이미지 중의 모든 목표 픽셀을 순차적으로 검색하며 각 목표 픽셀에 대해 파라미터 공간에서 대응되는 위치를 찾아 누산기의 대응되는 위치에 1을 가산하고, 그 다음에 파라미터 공간 누산기 중의 최대값을 구해 그 위치를(
Figure 112020002465519-pct00002
로 설정하며, 마지막으로 파라미터 공간 위치
Figure 112020002465519-pct00003
를 통해 이미지 공간 중의 서로 대응하는 직선 파라미터를 찾고, 그 중의 제일 긴 직선을 해안선으로 결정한다.
또한, 단계d에서, 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 제안 박스를 생성한 후, 단계a에서 얻은 선박의 길이와 폭에 따라 K- 평균 군집화를 통해 선택한 영역 제안 박스의 크기를 얻는다.
본 발명에 따른 장면의 다차원 특징을 기반으로 딥 러닝 네트워크 모델을 구축하기 위한 선박 탐지 시스템은,
선박 이미지 샘플 라이브러리를 구축하기 위한 제1 모듈 - 가시광 조건의 연해영역의 감시 영상 데이터를 수집하고 각 프레임의 이미지를 추출하여 선박 위치의 참값 및 길이와 폭을 얻으며, 캐니 에지 검출기를 통해 에지를 검출하여 이미지 중의 모든 에지를 획득하여 이미지의 제4차원으로 하는 과정을 포함함 - ;
선박 영역을 획득하기 위한 제2 모듈 - 제1 모듈에서 얻은 에지에 대해 Hough변환을 수행하여 해안선을 얻으며, 해수면 영역을 선박이 나타나는 범위 영역(Ship area)으로 하는 과정을 포함함 - ;
Faster RCNN와 유사한 합성곱 네트워크를 구축하기 위한 제3 모듈 - 제1 모듈에서 얻은 처리 된 이미지를 샘플 데이터로서 딥 러닝 네트워크에 입력하여 합성곱 연산을 거친 특징 맵을 얻는 과정을 포함함 - ;
RPN네트워크를 구축하기 위한 제4 모듈 - 제3 모듈에서 얻은 합성곱 연산을 거친 특징 맵을 기반으로 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 영역 제안 박스를 생성하여 제3 모듈에서 획득한 딥 러닝 네트워크와 결부하고, 선박의 실제 위치에 따라 훈련하여 훈련 모델을 얻는 과정을 포함함 - ; 및,
제4 모듈에서 훈련을 통해 얻은 모델을 이용하여 테스트 데이터에 대해 검출하는 제5 모듈 - 검출 이미지에 대해 에지 검출을 수행하여 이미지 중의 모든 에지를 얻어 이미지의 제4차원으로 하고, Hough변환을 통해 해안선을 얻으며, 제4 모듈에서 훈련을 통해 얻은 모델을 기반으로 해안선 사이의 부분에 대해 선박 탐지를 수행하는 과정을 포함함 - ;를 포함한다.
또한, 제2 모듈에서, 먼저 하나의(
Figure 112020002465519-pct00004
극좌표 파라미터 공간의 2차원 배열을 만들어 누산기로 사용하고 이미지 중의 모든 목표 픽셀을 순차적으로 검색하며 각 목표 픽셀에 대해 파라미터 공간에서 대응되는 위치를 찾아 누산기의 대응되는 위치에 1을 가산하고, 그 다음에 파라미터 공간 누산기 중의 최대값을 구해 그 위치를(
Figure 112020002465519-pct00005
로 설정하며, 마지막으로 파라미터 공간 위치
Figure 112020002465519-pct00006
를 통해 이미지 공간 중의 서로 대응하는 직선 파라미터를 찾고, 그 중의 제일 긴 직선을 해안선으로 결정한다.
또한, 제4 모듈에서, 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 제안 박스를 생성한 후, 제1 모듈에서 얻은 선박의 길이와 폭에 따라 K- 평균 군집화를 통해 선택한 영역 제안 박스의 크기를 얻는다.
본 발명의 기술 방안은 다음과 같은 유익한 효과를 가진다.
(1) 실제 데이터에 따르면, 토지 주택은 선박 탐지 오류를 초래하는 주된 원인이다. 본 발명은 해안선을 추출하는 것을 통해 토지 주택의 간섭을 피하고 선박 영역에 대해서만 영역 제안을 생성함으로써 영역 제안 박스의 정확도와 속도를 향상시킨다.
(2) 목표 검출에 에지 특징을 추가하여 이미지의 제4차원으로 함으로써 검출 정확도와 속도를 향상시킨다. 구름, 흐림, 비 오는 날 등 복잡한 상황에 대해서도 우수한 검출 결과를 제공하며, 견고성이 높다. 본 발명은 해양 감시 작업의 업무 효율을 향상시키고 감시 비용을 절감하며, 해양 관리 정책의 결정을 위해 과학적 근거를 제공하고 비교적 중요한 시장 가치를 갖는다.
도 1은 본 발명의 실시예에 따른 흐름도이다.
도 2는 본 발명의 실시예에 따른 슬라이딩 윈도우를 이용하여 영역 제안 박스를 생성하는 구조도이다.
본 발명은 장면의 특징을 결부하고 딥 러닝 네트워크를 기반으로 하는 선박 탐지 방법을 제시한다. 먼저 이미지 샘플 라이브러리를 구축하고 선박의 이미지에 대해 샘플링 표기하여 충분한 샘플을 얻는다. 그 다음에, 에지 검출 및 Hough변환을 통해 해안선을 얻고, 이와 동시에 에지 검출 결과를 이미지의 제4차원으로 사용하며, 딥 러닝 네트워크를 구축하여 이미지에 대해 합성곱 연산을 수행한다. 그 다음에, 섬 이미지에서 선박이 해수면에만 나타나기 때문에, 해안선 사이 영역에서 슬라이딩 윈도우를 사용하여 영역 제안 박스를 생성하며, 다른 딥 러닝 방법의 영역 제안 방법은 모두 전체 이미지에 대해 영역 제안을 생성한다. 그 다음에, 선박 위치의 참값을 사용하여 제안 박스의 손실 함수를 얻고, 전체 네트워크에 대해 훈련하여 훈련 된 모델을 출력한다. 마지막으로, 훈련 된 모델은 사용하여 테스트 데이터에 대해 선박 탐지를 수행한다. 여기서는 주로 샘플 라이브러리 구축, 해안선 추출, 딥 러닝 네트워크 훈련 및 선박 탐지 등 4개 과정이 포함된다.
이하에서는 본 발명의 구체적인 실시방식에 대해 상세히 설명하고자 하며, 도 1를 참조하면, 실시예의 흐름은 다음과 같다.
단계a
선박 이미지 샘플 라이브러리를 구축하고, 캐니 에지 검출기를 통해 에지 검출을 수행하여 얻어진 이미지의 에지 검출 결과를 밴드E로 나타내고 이미지의 제4차원으로 함으로써, 이미지가(R,G,B)표현에서(R,G,B,E)표현으로 변환된다.
먼저, 선박 이미지를 준비하며, 본 발명에서 수집하는 데이터는 주로 가시광 조건의 해안 영역의 감시 영상 데이터이다. 구체적으로 실시할 때에는 사전에 수집 및 구축할 수 있다. 수집 된 영상 데이터에 대해, 디코더 또는 코드를 통해 각 프레임의 이미지를 얻을 수 있고, 복수의 영상에 대해 충분한 다양한 선박 이미지 샘플 라이브러리를 얻는다. 그 다음에, 선박 이미지 샘플 라이브러리의 각 프레임 이미지에서 사전 표기를 통해 선박 위치의 참값과 길이 및 너비를 얻는다.
그 다음에, 캐니 에지 검출기로 검출하여 선박 이미지 샘플 라이브러리 중의 각 프레임의 에지를 얻고, 에지 픽셀의 값은 255(검정), 다른 픽셀의 값은 0(흰색)으로 설정하여 이미지의 제4차원E으로 사용하며, 이미지를(R, G, B) 표현에서(R, G, B, E) 표현으로 변경한다. 다음의 과정을 포함한다. 즉:
(1) 먼저, 가우시안 필터를 사용하여 이미지를 평활화하며, 가우시안 스무딩 함수는 다음과 같다.
Figure 112020002465519-pct00007
여기서, x, y는 이미지 포인트의 좌표이고 이미지 처리에서 정수로 간주될 수 있으며 σ는 표준 편차이다.
(2) 가우시안 스무딩 함수를 통해 3 Х 3 템플릿H를 생성하며, f는 원본 이미지이고 이 템플릿을 사용하여 이미지에 대해 블러(Blur) 처리하여 평활화 된 이미지 G를 얻는다.
Figure 112020002465519-pct00008
(3) 그 다음에, 1차 도함수의 유한차분을 사용하여 그래디언트의 크기와 방향을 계산한다. 1 차 미분 합성곱 템플릿은 다음과 같다.
Figure 112020002465519-pct00009
세로 및 가로 방향으로 값을 각각 계산하며, 그래디언트의 크기는 다음과 같이 계산한다.
Figure 112020002465519-pct00010
그래디언트의 방향은 다음과 같다.
Figure 112020002465519-pct00011
(4) 그래디언트 폭에 대해 비-최대값 억제를 수행하는데, 글로벌 그래디언트만 얻어서는 에지를 결정하기에 충분하지 못하므로, 에지를 결정하기 위해, 반드시 국부 그래디언트가 가장 큰 포인트를 보류하고 비 최대값을 억제해야 한다. 각 포인트에서, 인접한 중심 픽셀(M)과 그라디언트 선을 따른 2 개의 픽셀을 서로 비교한다. 만일 M의 그래디언트 값이 그래디언트 선을 따라 인접한 두 픽셀의 그래디언트 값보다 크지 않으면 M = 0으로 설정한다.
(5) 이중 임계값 알고리즘으로 에지를 검출하고 연결한다. 비-최대값 억제 이미지에 대해 2개의 임계값 th1 및 th2를 적용하며, 2개의 임계값 사이의 관계는 일반적으로 th1 = 0.4th2이다. 본 발명에서는 그라디언트 값이 th1보다 작은 픽셀의 그레이 스케일 값을 0으로 설정하여 이미지 a를 얻는다. 그 다음에, 그라디언트 값이 th2보다 작은 픽셀의 그레이 스케일 값을 0으로 설정하여 이미지 b를 얻는다. 이미지 b는 높은 임계값으로 인해 대부분의 노이즈가 제거되지만 동시에 유용한 에지 정보가 손실된다. 그러나 이미지 a는 임계값이 낮아 더 많은 정보가 유지되기에 본 발명에서는 이미지 b를 기초로, 이미지a를 보조로 사용하여 이미지의 에지를 연결한다.
(6) 이미지를 처리한다. 에지 픽셀의 값은 255(검정), 다른 픽셀의 값은 0(흰색)으로 설정하여 이미지의 제4차원E으로 사용하며, 이미지를(R, G, B) 표현에서(R, G, B, E) 표현으로 변경한다.
단계b
선박 영역을 획득한다. 단계a에서 얻은 에지에 대해 Hough변환을 수행하여 해안선을 얻으며, 해수면 영역을 선박이 나타나는 범위 영역(Ship area)으로 한다.
계산량을 감소하기 위해, 본 발명은 먼저 하나의(λ,θ)극좌표 파라미터 공간의 2차원 배열을 만들어 누산기로 사용한다. 점-선의 이중성에 따라, 이미지에서 점(x, y)을 경과하는 모든 직선의 방정식은 다음과 같다.
Figure 112020002465519-pct00012
여기서, k는 기울기이고 b는 절편이다.
파라미터 공간에서 직선은 점으로 표시될 수 있으며 다음과 같이 극좌표로 표시된다.
Figure 112020002465519-pct00013
여기서, λ는 점에서 극점까지의 거리이고, θ는 점과 극점을 연결하는 선과 가로 축 사이의 각도이다. 따라서 이미지 공간의 각 점을 파라미터 공간에서의 대응되는 곡선으로 볼 수 있다.
그 다음에, 이미지 중의 모든 목표(검은 색) 픽셀을 순차적으로 검색하고, 각 목표 픽셀에 대해 파라미터 공간에서 위의 수식에 따라 해당 위치를 찾은 후 누산기의 대응하는 위치에 1을 가산한다.
그 다음에, 파라미터 공간(누산기) 중의 최대값을 구하는데, 그 위치는(λi,θi)이다.
마지막으로, 파라미터 공간 위치(λi,θi)를 통해, 상기 수식에 따라 이미지 공간에서 서로 대응하는 직선 파라미터를 찾는다. 카메라는 해안에서 해수면에 대해 촬영하기 때문에, 매번마다 영상에 하나의 해안선만 표시되며, 가장 긴 직선이 바로 본 발명에서 구하려는 해안선이고, 해안선에 따라 해수면 영역을 얻어서 선박이 나타나는 범위 영역(Ship area)으로 할 수 있으며, 이는 후속의 영역 제안 박스의 생성에 유리하다.
단계c
딥 러닝 네트워크로서 Faster RCNN와 유사한 합성곱 네트워크를 구축한다. 단계a에서 얻은 처리 된 이미지를 샘플 데이터로서 딥 러닝 네트워크에 입력하여 합성곱 연산을 거친 특징 맵을 얻는다.
여기서 사용 된 Faster RCNN과 유사한 딥 러닝 네트워크의 네트워크 구조는 5 개의 합성곱층, 3 개의 제일 큰 풀링층 및 2 개의 완전연결층으로 구성된다.
일반 합성곱층의 경우, 이전 층의 특징 맵을 학습 가능한 합성곱 필터로 합성곱 연산 후에 활성화 함수를 통해 특징 맵을 출력할 수 있다. 각 출력층은 합성곱의 복수의 입력층을 조합한 값일 수 있다. 즉:
Figure 112020002465519-pct00014
여기서,
Figure 112020002465519-pct00015
는 선택한 입력층의 집합을 나타내고,
Figure 112020002465519-pct00016
는 입력층 유닛의 인덱스 값이고,
Figure 112020002465519-pct00017
는 출력층 유닛의 인덱스 값이고,
Figure 112020002465519-pct00018
는 입력층과 출력층 사이의 가중치를 나타내고,
Figure 112020002465519-pct00019
는 각 층 사이의 활성화 바이어스를 나타내고,
Figure 112020002465519-pct00020
는 해당 출력층의 활성화 함수를 나타내고,
Figure 112020002465519-pct00021
는
Figure 112020002465519-pct00022
층의 제
Figure 112020002465519-pct00023
개 출력층을 나타내고,
Figure 112020002465519-pct00024
는
Figure 112020002465519-pct00025
층의 제
Figure 112020002465519-pct00026
개 입력층을 나타낸다.
풀링층의 경우, N 개의 입력층이 있으면 N개의 출력층이 있지만, 각 출력층이 모두 작아진다.
Figure 112020002465519-pct00027
Figure 112020002465519-pct00028
는 다운 샘플링 함수를 나타낸다. 일반적으로 입력 된 이미지의 서로 다른 n * n 영역에 있는 모든 픽셀을 합산한다. 이 경우, 출력 이미지는 두개의 차원에서 모두 n 배 감소된다. 각 출력층은 모두 하나의 자체의 곱하기 바이어스
Figure 112020002465519-pct00029
및 하나의 더하기 바이어스
Figure 112020002465519-pct00030
는
Figure 112020002465519-pct00031
층의 제
Figure 112020002465519-pct00032
개 출력층을 나타내고,
Figure 112020002465519-pct00033
는
Figure 112020002465519-pct00034
층의 제
Figure 112020002465519-pct00035
개 입력층을 나타낸다.
출력 된 완전연결층의 경우, 복수의 특징층을 합성곱 입력하고 이러한 합성곱을 합산하여 하나의 출력층을 얻는데, 이 경우 효과가 비교적 우수하다. 본 발명에서는
Figure 112020002465519-pct00036
으로 제
Figure 112020002465519-pct00037
개 출력 특징층 중의 제
Figure 112020002465519-pct00038
개 입력층의 가중치를 나타낸다. 이에 따라, 제
Figure 112020002465519-pct00039
개 출력층을 다음과 같이 표시할 수 있다. 즉:
Figure 112020002465519-pct00040
반드시 다음의 제약 조건을 충족해야 한다.
Figure 112020002465519-pct00041
여기서,
Figure 112020002465519-pct00042
는 입력 특징층의 수량을 나타내고,
Figure 112020002465519-pct00043
는 입력층과 출력층 사이의 가중치를 나타내고,
Figure 112020002465519-pct00044
는 각 층 사이의 활성화 바이어스를 나타내고,
Figure 112020002465519-pct00045
는
Figure 112020002465519-pct00046
층의 제
Figure 112020002465519-pct00047
개 출력층을 나타내고,
Figure 112020002465519-pct00048
는
Figure 112020002465519-pct00049
층의 제
Figure 112020002465519-pct00050
개 입력층을 나타낸다.
단계d
RPN네트워크를 구축한다. 단계c에서 얻은 합성곱 연산을 거친 특징 맵을 기반으로 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 영역 제안 박스를 생성하고 단계a에서 얻은 선박의 길이와 폭에 따라 K- 평균 군집화를 통해 선택한 영역 제안 박스의 크기를 얻으며, 단계c에서 획득한 딥 러닝 네트워크와 결부하고 선박의 실제 위치에 따라 훈련하여 훈련 모델을 얻는다.
슬라이딩 윈도우를 이용하여 영역 제안 박스를 생성하는 구조는 도 2에 도시 된 바와 같다. 여기서, anchor boxes은 앵커 포인트로 이해될 수 있고 슬라이딩 윈도우의 중심에 위치하며, sliding window은 슬라이딩 윈도우이고, conv feature map는 단계c에서 얻은 합성곱 특징 맵이며, intermediate layer은 완전연결층 전의 중간층이고, 256-d는 제안 박스에 의해 생성 된 256차원 길이의 완전연결 특징이며, cls layer는 유형을 예측하는 완전연결층이고, reg layer는 위치를 예측하는 완전연결층이며, 만일 k개 제안 박스가 있다고 가정하면, 2k scores는 출력에 대응하는 2k개 유형 점수이고, 4k coorrdinates은 출력에 대응하는 4k개 위치 좌표이며, ship area은 선박이 나타나는 범위 영역이고, region proposal는 영역 제안 박스이며, original image는 원본 이미지이다. 단계c에서 최종적으로 얻은 합성곱 특징 맵을 기반으로 슬라이딩 윈도우를 이용하고, 단계a에서 얻은 선박의 길이와 폭에 따라 K- 평균 군집화를 통해 선택한 영역 제안 박스의 크기를 얻고, 단계 a에서 얻은 선박의 실제 위치 손실 함수를 이용하며 단계c에서 획득한 딥 러닝 네트워크와 결부하여 선박의 실제 위치에 따라 훈련하여 훈련 모델을 얻는다. 주로 역전파 알고리즘(BP algorithm) 신경망 모드를 사용하여 업데이트한다.
본 실시예에서, 고정 크기의 3 * 3 슬라이딩 윈도우를 사용하며, 단계 c의 딥 러닝 네트워크의 마지막 합성곱층에서 슬라이딩한다. 슬라이딩 윈도우가 위치한 중심 위치를 입력 된 원본 이미지에 대응시키고 대응되는 해당 픽셀을 앵커의 중심 위치로 인정하며, 중심 위치가 b 단계에서 획득 한 선박 영역에 있는지 여부를 판단하여 위치하지 않으면 포기하고 계속하여 아래로 슬라이딩한다. 본 발명은 영역 제안 박스를 예측하기 위한 것이기 때문에, 해안선과 결합하면 불필요한 영역 제안 박스를 줄일 수 있고, 앵커 메커니즘과 바운딩 회귀를 사용하여 다른 스케일과 다른 종횡비의 영역 제안을 얻을 수 있음으로 스케일 문제를 해결할 수 있다.
여기서, 각 앵커는 모두 하나의 종횡비 및 스케일에 대응된다. 본 발명의 실시예에서는 표기 된 샘플의 종횡비 및 스케일을 통계하여 K- 평균 군집화 방법으로 빈도가 가장 높은 선박의 길이 및 폭 조건을 군집화하며, 모두 5가지로 구분되고 앵커가 5개 있다. 마지막에 출력되는 두개의 완전연결층이 목표 영역 제안 박스의 위치와 점수를 동시에 예측할 수 있다.
훈련 중의 손실 함수는 영역 제안 박스의 위치 결정을 평가하는 손실 함수 및 분류를 평가하는 손실 함수로 구분된다.
영역 제안 박스의 위치 결정을 평가하는 손실 함수는 다음과 같다.
Figure 112020002465519-pct00051
여기서,
Figure 112020002465519-pct00052
는 선박 위치 참값에 대응하는 이동 및 확대 예측 파라미트를 비교하고,
Figure 112020002465519-pct00053
는 유형의 번호를 나타내고,
Figure 112020002465519-pct00054
는 영역 제안 박스에 대한 일정한 이동을 나타내고,
Figure 112020002465519-pct00055
는 로그 공간에서 영역 제안 박스에 대하는 높이와 폭이다.
Figure 112020002465519-pct00056
는 대응하는 실제 이동 확대 파라미터이고,
Figure 112020002465519-pct00057
Figure 112020002465519-pct00058
이다.
분류를 평가하는 손실 함수는 선박 위치 참값
Figure 112020002465519-pct00059
에 대응하는 확률에 의해 결정된다.
Figure 112020002465519-pct00060
여기서,
Figure 112020002465519-pct00061
는 각 영역 제안 박스에 대해
Figure 112020002465519-pct00062
차원 이산 배열을 출력한다.
단계e
단계d에서 훈련을 통해 얻은 모델을 이용하여 테스트 데이터에 대해 검출한다. 검출하기 전에 먼저 검출 이미지에 대해 에지 검출을 수행하여 이미지 중의 모든 에지를 얻어 이미지의 제4차원으로 하고, 그 다음에 Hough변환을 통해 해안선을 얻으며, 영상을 딥 러닝 네트워크에 입력하여 훈련을 통해 얻은 모델을 기반으로 해안선 사이의 부분에 대해 선박 탐지를 수행한다.
본 단계에서는 출력 모델을 사용하여 테스트 데이터를 검출하며, 검출 전에 먼지 영상 중의 해안선을 검출하고 그 다음에 선박 영역을 검출한다. 테스트 데이터로서의 검출 영상에 대한 처리 방법은 단계 a 및 b에서 샘플 이미지에 대한 처리 방법과 동일하다. 구체적인 실시 방식에서는 참값 교집합의 임계값을 설정하여 임계값보다 크면 목표 선박으로 출력한다.
상술한 바와 같이, 먼저 이미지 샘플 라이브러리를 구축하고 선박의 이미지에 대해 샘플링 표기하여 충분한 샘플을 얻는다. 그 다음에, 에지 검출 및 Hough변환을 통해 해안선을 얻고, 이와 동시에 에지 검출 결과를 이미지의 제4차원으로 사용하며, 딥 러닝 네트워크를 구축하여 이미지에 대해 합성곱 연산을 수행한다. 그 다음에, 섬 이미지에서 선박이 수면에만 나타나기 때문에, 해안선 사이 영역에서 슬라이딩 윈도우를 사용하여 영역 제안 박스를 생성하며, 다른 딥 러닝 방법의 영역 제안 방법은 모두 전체 이미지에 대해 영역 제안을 생성한다. 그 다음에, 선박 위치의 참값을 사용하여 제안 박스의 손실 함수를 얻고, 전체 네트워크에 대해 훈련하여 훈련 된 모델을 출력한다. 마지막으로, 훈련 된 모델은 사용하여 테스트 데이터에 대해 선박 탐지를 수행한다. 본 발명의 방법은 해안선의 특징을 이용하여 영역 제안 박스를 생성하는 시간을 줄이고, 영역 제안 박스이 리콜을 향상시키며, 최종 검출 결과의 정확성 및 효율을 개선한다.
이로써, 본 발명의 장면의 다차원 특징을 기반으로 딥 러닝 네트워크 모델을 구축하기 위한 선박 탐지 방법의 구체적인 실시과정에 대해 모두 설명하였다.
구체적인 실시 과정에서, 본 발명의 방법은 소프트웨어 기술을 사용함으로써 자동으로 구현 될 수 있거나, 모듈화 방식으로 대응하는 시스템을 구현할 수도 있다.
본 발명의 실시예는 장면의 다차원 특징을 기반으로 딥 러닝 네트워크 모델을 구축하기 위한 선박 탐지 시스템을 제공하는 바,
선박 이미지 샘플 라이브러리를 구축하기 위한 제1 모듈 - 가시광 조건의 연해영역의 감시 영상 데이터를 수집하고 각 프레임의 이미지를 추출하여 선박 위치의 참값 및 길이와 폭을 얻으며, 캐니 에지 검출기를 통해 에지를 검출하여 이미지 중의 모든 에지를 획득하여 이미지의 제4차원으로 하는 과정을 포함함 - ;
선박 영역을 획득하기 위한 제2 모듈 - 제1 모듈에서 얻은 에지에 대해 Hough변환을 수행하여 해안선을 얻으며, 해수면 영역을 선박이 나타나는 범위 영역(Ship area)으로 하는 과정을 포함함 - ;
Faster RCNN와 유사한 합성곱 네트워크를 구축하기 위한 제3 모듈 - 제1 모듈에서 얻은 처리 된 이미지를 샘플 데이터로서 딥 러닝 네트워크에 입력하여 합성곱 연산을 거친 특징 맵을 얻는 과정을 포함함 - ;
RPN네트워크를 구축하기 위한 제4 모듈 - 제3 모듈에서 얻은 합성곱 연산을 거친 특징 맵을 기반으로 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 영역 제안 박스를 생성하여 제3 모듈에서 획득한 딥 러닝 네트워크와 결부하고, 선박의 실제 위치에 따라 훈련하여 훈련 모델을 얻는 과정을 포함함 - ; 및,
제4 모듈에서 훈련을 통해 얻은 모델을 이용하여 테스트 데이터에 대해 검출하는 제5 모듈 - 검출 이미지에 대해 에지 검출을 수행하여 이미지 중의 모든 에지를 얻어 이미지의 제4차원으로 하고, Hough변환을 통해 해안선을 얻으며, 제4 모듈에서 훈련을 통해 얻은 모델을 기반으로 해안선 사이의 부분에 대해 선박 탐지를 수행하는 과정을 포함함 - ;를 포함한다.
각 모듈의 구체적인 구현은 대응되는 단계를 참조할 수 있으므로 여기서는 더 이상 상세히 설명하지 않는다.
본 명세서에 기술 된 구체적인 실시예는 단지 본 발명의 원칙을 설명하기 위한 것일 뿐이다. 본 발명이 속하는 기술 분야의 당업자는 본 명세서에 기술 된 구체적인 실시예에 대해 다양한 수정, 보충 또는 유사한 방식으로 대체할 수 있지만, 이러한 수정, 보충 및 유사한 대체는 모두 본 발명의 보호 범위에 속한다.

Claims (6)

  1. 선박 이미지 샘플 라이브러리를 구축하는 단계a - 가시광 조건의 연해영역의 감시 영상 데이터를 수집하고 각 프레임의 이미지를 추출하여 선박 위치의 참값 및 길이와 폭을 얻으며, 캐니 에지 검출기를 통해 에지를 검출하여 이미지 중의 모든 에지를 획득하여 이미지의 제4차원으로 하는 과정을 포함함 - ;
    선박 영역을 획득하는 단계b - 단계a에서 얻은 에지에 대해 Hough변환을 수행하여 해안선을 얻으며, 해수면 영역을 선박이 나타나는 범위 영역(Ship area)으로 하는 과정을 포함함 - 여기서, 먼저 하나의(
    Figure 112020057241678-pct00071
    극좌표 파라미터 공간의 2차원 배열을 만들어 누산기로 사용하고 이미지 중의 모든 목표 픽셀을 순차적으로 검색하며 각 목표 픽셀에 대해 파라미터 공간에서 대응되는 위치를 찾아 누산기의 대응되는 위치에 1을 가산하고, 그 다음에 파라미터 공간 누산기 중의 최대값을 구해 그 위치를(
    Figure 112020057241678-pct00072
    로 설정하며, 마지막으로 파라미터 공간 위치
    Figure 112020057241678-pct00073
    를 통해 이미지 공간 중의 서로 대응하는 직선 파라미터를 찾고, 그 중의 제일 긴 직선을 해안선으로 결정함 -;
    Faster RCNN와 유사한 합성곱 네트워크를 구축하는 단계c - 단계a에서 얻은 처리 된 이미지를 샘플 데이터로서 딥 러닝 네트워크에 입력하여 합성곱 연산을 거친 특징 맵을 얻는 과정을 포함함 - ;
    RPN네트워크를 구축하는 단계d - 단계c에서 얻은 합성곱 연산을 거친 특징 맵을 기반으로 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 영역 제안 박스를 생성하여 단계c에서 획득한 딥 러닝 네트워크와 결부하고, 선박의 실제 위치에 따라 훈련하여 훈련 모델을 얻는 과정을 포함함 - ; 및,
    단계d에서 훈련을 통해 얻은 모델을 이용하여 테스트 데이터에 대해 검출하는 단계e - 검출 이미지에 대해 에지 검출을 수행하여 이미지 중의 모든 에지를 얻어 이미지의 제4차원으로 하고, Hough변환을 통해 해안선을 얻으며, 단계d에서 훈련을 통해 얻은 모델을 기반으로 해안선 사이의 부분에 대해 선박 탐지를 수행하는 과정을 포함함 - ;를 포함하는 것을 특징으로 하는 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법.
  2. 제1항에 있어서,
    단계d에서, 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 제안 박스를 생성한 후, 단계a에서 얻은 선박의 길이와 폭에 따라 K- 평균 군집화를 통해 선택한 영역 제안 박스의 크기를 얻는 것을 특징으로 하는 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법.
  3. 선박 이미지 샘플 라이브러리를 구축하기 위한 제1 모듈 - 가시광 조건의 연해영역의 감시 영상 데이터를 수집하고 각 프레임의 이미지를 추출하여 선박 위치의 참값 및 길이와 폭을 얻으며, 캐니 에지 검출기를 통해 에지를 검출하여 이미지 중의 모든 에지를 획득하여 이미지의 제4차원으로 하는 과정을 포함함 - ;
    선박 영역을 획득하기 위한 제2 모듈 - 제1 모듈에서 얻은 에지에 대해 Hough변환을 수행하여 해안선을 얻으며, 해수면 영역을 선박이 나타나는 범위 영역(Ship area)으로 하는 과정을 포함함 - 여기서, 먼저 하나의(
    Figure 112020057241678-pct00074
    극좌표 파라미터 공간의 2차원 배열을 만들어 누산기로 사용하고 이미지 중의 모든 목표 픽셀을 순차적으로 검색하며 각 목표 픽셀에 대해 파라미터 공간에서 대응되는 위치를 찾아 누산기의 대응되는 위치에 1을 가산하고, 그 다음에 파라미터 공간 누산기 중의 최대값을 구해 그 위치를(
    Figure 112020057241678-pct00075
    로 설정하며, 마지막으로 파라미터 공간 위치
    Figure 112020057241678-pct00076
    를 통해 이미지 공간 중의 서로 대응하는 직선 파라미터를 찾고, 그 중의 제일 긴 직선을 해안선으로 결정함 - ;
    Faster RCNN와 유사한 합성곱 네트워크를 구축하기 위한 제3 모듈 - 제1 모듈에서 얻은 처리 된 이미지를 샘플 데이터로서 딥 러닝 네트워크에 입력하여 합성곱 연산을 거친 특징 맵을 얻는 과정을 포함함 - ;
    RPN네트워크를 구축하기 위한 제4 모듈 - 제3 모듈에서 얻은 합성곱 연산을 거친 특징 맵을 기반으로 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 영역 제안 박스를 생성하여 제3 모듈에서 획득한 딥 러닝 네트워크와 결부하고, 선박의 실제 위치에 따라 훈련하여 훈련 모델을 얻는 과정을 포함함 - ; 및,
    제4 모듈에서 훈련을 통해 얻은 모델을 이용하여 테스트 데이터에 대해 검출하는 제5 모듈 - 검출 이미지에 대해 에지 검출을 수행하여 이미지 중의 모든 에지를 얻어 이미지의 제4차원으로 하고, Hough변환을 통해 해안선을 얻으며, 제4 모듈에서 훈련을 통해 얻은 모델을 기반으로 해안선 사이의 부분에 대해 선박 탐지를 수행하는 과정을 포함함 - ;를 포함하는 것을 특징으로 하는 장면의 다차원 특징을 기반으로 하는 선박 탐지 시스템.
  4. 제3항에 있어서,
    제4 모듈에서, 슬라이딩 윈도우를 이용하여 선박이 나타나는 범위 영역(Ship area)에 서로 다른 크기의 제안 박스를 생성한 후, 제1 모듈에서 얻은 선박의 길이와 폭에 따라 K- 평균 군집화를 통해 선택한 영역 제안 박스의 크기를 얻는 것을 특징으로 하는 장면의 다차원 특징을 기반으로 하는 선박 탐지 시스템.
  5. 삭제
  6. 삭제
KR1020207000721A 2017-12-11 2018-12-11 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템 KR102171122B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711311822.1 2017-12-11
CN201711311822.1A CN107818326B (zh) 2017-12-11 2017-12-11 一种基于场景多维特征的船只检测方法及系统
PCT/CN2018/120296 WO2019101221A1 (zh) 2017-12-11 2018-12-11 一种基于场景多维特征的船只检测方法及系统

Publications (2)

Publication Number Publication Date
KR20200007084A KR20200007084A (ko) 2020-01-21
KR102171122B1 true KR102171122B1 (ko) 2020-10-28

Family

ID=61605234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207000721A KR102171122B1 (ko) 2017-12-11 2018-12-11 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템

Country Status (6)

Country Link
US (1) US10885381B2 (ko)
EP (1) EP3696726A4 (ko)
JP (1) JP6759475B2 (ko)
KR (1) KR102171122B1 (ko)
CN (1) CN107818326B (ko)
WO (1) WO2019101221A1 (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018091486A1 (en) 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
CN107818326B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN108509919B (zh) * 2018-04-03 2022-04-29 哈尔滨哈船智控科技有限责任公司 一种基于深度学习对视频或图片中水线的检测和识别方法
CN108810505A (zh) * 2018-06-06 2018-11-13 合肥康之恒机械科技有限公司 一种动态目标高效跟踪图像数据优化传输方法及系统
US11638569B2 (en) * 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
CN108960143B (zh) * 2018-07-04 2021-02-23 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN109166094B (zh) * 2018-07-11 2022-03-25 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109241913B (zh) * 2018-09-10 2021-05-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109359557B (zh) * 2018-09-25 2021-11-09 东北大学 一种基于迁移学习的sar遥感图像舰船检测方法
CN109458978B (zh) * 2018-11-07 2020-12-01 五邑大学 一种基于多尺度检测算法的天线下倾角测量方法
CN109583424A (zh) * 2018-12-21 2019-04-05 杭州电子科技大学 一种基于衰减置信度的重叠舰船目标候选框筛选方法
CN109740665B (zh) * 2018-12-29 2020-07-17 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN109859103A (zh) * 2019-01-09 2019-06-07 杭州电子科技大学 一种基于双线性内插法精确池化策略的舰船目标检测方法
CN109934088A (zh) * 2019-01-10 2019-06-25 海南大学 基于深度学习的海面船只辨识方法
CN110210561B (zh) * 2019-05-31 2022-04-01 北京市商汤科技开发有限公司 神经网络的训练方法、目标检测方法及装置、存储介质
CN110619647B (zh) * 2019-09-16 2022-12-30 中山大学 基于边缘点频域空域特征结合图像模糊区域定位方法
CN110796009A (zh) * 2019-09-29 2020-02-14 航天恒星科技有限公司 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN111105419B (zh) * 2019-10-09 2023-04-18 中国船舶重工集团公司第七0九研究所 一种基于极化sar图像的车辆船舶检测方法及装置
CN110781785A (zh) * 2019-10-18 2020-02-11 上海理工大学 基于Faster RCNN算法改进的交通场景下行人检测方法
CN110807424B (zh) * 2019-11-01 2024-02-02 深圳市科卫泰实业发展有限公司 一种基于航拍图像的港口船舶比对方法
JP7327508B2 (ja) * 2019-12-06 2023-08-16 日本電気株式会社 パラメータ決定装置、パラメータ決定方法、及び、プログラム
CN110969213A (zh) * 2019-12-10 2020-04-07 珠海大横琴科技发展有限公司 一种基于Faster RCNN的船只检测方法、装置及电子设备
CN111553184A (zh) * 2019-12-27 2020-08-18 珠海大横琴科技发展有限公司 一种基于电子围网的小目标检测方法、装置及电子设备
CN111368690B (zh) * 2020-02-28 2021-03-02 珠海大横琴科技发展有限公司 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN111583722B (zh) * 2020-04-23 2022-09-06 大连理工大学 一种基于ais数据的船舶航行特征及偏好分析方法
CN111553940B (zh) * 2020-05-19 2023-06-16 上海海栎创科技股份有限公司 一种深度图人像边缘优化方法及处理装置
CN111832611B (zh) * 2020-06-03 2024-01-12 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111967313B (zh) * 2020-07-08 2022-04-12 北京航空航天大学 一种深度学习目标检测算法辅助的无人机图像标注方法
CN111985470B (zh) * 2020-07-09 2024-06-21 浙江工业大学 一种自然场景下的船牌矫正识别方法
CN113473076B (zh) * 2020-07-21 2023-03-14 青岛海信电子产业控股股份有限公司 社区报警方法及服务器
CN112102394B (zh) * 2020-09-17 2021-05-28 中国科学院海洋研究所 基于深度学习的遥感图像舰船尺寸一体化提取方法
CN112085001B (zh) * 2020-09-23 2024-04-23 清华大学苏州汽车研究院（相城） 一种基于多尺度边缘特征检测的隧道识别模型及方法
CN112115891B (zh) * 2020-09-24 2022-06-14 电子科技大学 一种基于一维多向抽取的sar图像港口检测方法
CN112285712B (zh) * 2020-10-15 2023-09-15 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112508848B (zh) * 2020-11-06 2024-03-26 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112396582B (zh) * 2020-11-16 2024-04-26 南京工程学院 一种基于Mask RCNN的均压环歪斜检测方法
WO2022114252A1 (ko) * 2020-11-25 2022-06-02 한국전자기술연구원 복잡도 기반 특정 영역 연산 생략 방식을 이용한 딥러닝 기반 범시적 영역 분할 연산 가속처리 방법
CN112597815B (zh) * 2020-12-07 2024-10-01 西北工业大学 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN112800932B (zh) * 2021-01-25 2023-10-03 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备
CN112907728B (zh) * 2021-01-27 2023-04-11 北京邮电大学 基于摄像头和边缘计算的船舶场景还原和定位方法及系统
CN112819068B (zh) * 2021-01-29 2023-09-26 南京长江油运有限公司 一种基于深度学习的船舶作业违章行为实时侦测方法
CN113326724B (zh) * 2021-02-07 2024-02-02 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN112926426A (zh) * 2021-02-09 2021-06-08 长视科技股份有限公司 基于监控视频的船舶识别方法、系统、设备及存储介质
CN112869829B (zh) * 2021-02-25 2022-10-21 北京积水潭医院 一种智能镜下腕管切割器
CN113158787B (zh) * 2021-03-11 2024-04-05 上海海事大学 一种复杂海洋环境下船舶检测分类方法
CN113033390B (zh) * 2021-03-23 2022-12-13 中国科学院空天信息创新研究院 一种基于深度学习的大坝遥感智能检测方法
CN113096098B (zh) * 2021-04-14 2024-01-05 大连理工大学 基于深度学习的铸件外观缺陷检测方法
CN113205026B (zh) * 2021-04-26 2022-08-16 武汉大学 一种基于Faster RCNN深度学习网络改进的车型识别方法
CN113158966A (zh) * 2021-05-08 2021-07-23 浙江浩腾电子科技股份有限公司 基于深度学习的非机动车骑车带人行为识别的检测方法
CN113205151B (zh) * 2021-05-25 2024-02-27 上海海事大学 基于改进ssd模型的船舶目标实时检测方法及终端
CN113239854B (zh) * 2021-05-27 2023-12-19 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
CN113313166B (zh) * 2021-05-28 2022-07-26 华南理工大学 基于特征一致性学习的船舶目标自动标注方法
CN113379695B (zh) * 2021-06-01 2024-03-29 大连海事大学 局部特征差异性耦合的sar图像近岸舰船检测方法
CN113343355B (zh) * 2021-06-08 2022-10-18 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113379603B (zh) * 2021-06-10 2024-03-15 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113628245B (zh) * 2021-07-12 2023-10-31 中国科学院自动化研究所 多目标跟踪方法、装置、电子设备和存储介质
CN113705505B (zh) * 2021-09-02 2024-05-17 浙江索思科技有限公司 一种面向海洋渔业的船舶目标检测方法和系统
CN113850166A (zh) * 2021-09-13 2021-12-28 湖北中南鹏力海洋探测系统工程有限公司 一种基于卷积神经网络的船舶图像识别方法及系统
CN113850783B (zh) * 2021-09-27 2022-08-30 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113936205B (zh) * 2021-10-29 2024-09-17 北京航空航天大学 一种基于集成学习的海上目标检测方法
CN113920140B (zh) * 2021-11-12 2022-04-19 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN113822277B (zh) * 2021-11-19 2022-02-18 万商云集(成都)科技股份有限公司 基于深度学习目标检测的违规广告图片检测方法及系统
CN114627046B (zh) * 2021-12-30 2024-07-16 山东爱普电气设备有限公司 一种基于可见光多滤波维度的电力线检测方法及系统
CN114648509B (zh) * 2022-03-25 2023-05-12 中国医学科学院肿瘤医院 一种基于多分类任务的甲状腺癌检出系统
CN114742950B (zh) * 2022-04-19 2024-02-02 上海海事大学 船舶外形3d数字重构方法、装置、存储介质及电子设备
CN114973061B (zh) * 2022-04-24 2023-06-23 哈尔滨工程大学 基于深度学习方法的辅助抗沉决策模型生成方法及系统
CN114596536A (zh) * 2022-05-07 2022-06-07 陕西欧卡电子智能科技有限公司 无人船沿岸巡检方法、装置、计算机设备及存储介质
CN114612471B (zh) * 2022-05-10 2022-10-11 佛山市阿瑞斯数字设备有限公司 一种复杂纹理瓷砖表面缺陷检测方法
CN114898152B (zh) * 2022-05-13 2023-05-30 电子科技大学 嵌入式弹性自扩展通用学习系统
CN114898290A (zh) * 2022-05-13 2022-08-12 中交信息技术国家工程实验室有限公司 一种海上船舶实时检测方法及系统
CN115082694B (zh) * 2022-05-17 2024-03-05 交通运输部水运科学研究所 基于扁长形锚点和线段扩充技术的船舶检测方法和装置
CN115100501B (zh) * 2022-06-22 2023-09-22 中国科学院大学 一种基于单点监督的精准目标检测方法
CN115131590B (zh) * 2022-09-01 2022-12-06 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关设备
KR20240043171A (ko) 2022-09-26 2024-04-03 김준연 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템
CN115641510B (zh) * 2022-11-18 2023-08-08 中国人民解放军战略支援部队航天工程大学士官学校 一种遥感影像舰船检测识别方法
CN116385953B (zh) * 2023-01-11 2023-12-15 哈尔滨市科佳通用机电股份有限公司 铁路货车敞车车门折页折断故障图像识别方法
CN116665149B (zh) * 2023-06-02 2024-08-13 西南交通大学 一种船舶遥感图像的细粒度小样本分类方法及系统
CN116385984B (zh) * 2023-06-05 2023-09-01 武汉理工大学 船舶吃水深度的自动检测方法和装置
CN117557912A (zh) * 2023-12-18 2024-02-13 大连海事大学 一种基于改进YoloV7模型的冰山场景识别方法
CN117576185B (zh) * 2024-01-16 2024-04-16 浙江华是科技股份有限公司 基于深度学习和ransac算法的干舷高度识别方法及系统
CN118314331B (zh) * 2024-06-06 2024-09-13 湖南大学 一种面向海面场景的目标检测方法及其系统
CN118411626B (zh) * 2024-07-02 2024-09-13 青岛国测海遥信息技术有限公司 一种卫星遥感海岸线自动提取方法、介质及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893957A (zh) 2016-03-30 2016-08-24 上海交通大学 基于视觉湖面船只检测识别与跟踪方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355579B2 (en) * 2009-05-20 2013-01-15 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Automatic extraction of planetary image features
CN103514448A (zh) * 2013-10-24 2014-01-15 北京国基科技股份有限公司 船形识别方法和系统
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US11200664B2 (en) * 2015-12-18 2021-12-14 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
CN107169412B (zh) * 2017-04-09 2021-06-22 北方工业大学 基于混合模型决策的遥感图像靠港船只检测方法
WO2019028725A1 (en) * 2017-08-10 2019-02-14 Intel Corporation CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT
CN107818326B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893957A (zh) 2016-03-30 2016-08-24 上海交通大学 基于视觉湖面船只检测识别与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shaoqing Ren, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, IEEE Transaction on pattern analysis and machine intelligence, IEEE, 2017년 6월1일, Vol. 30, ㅔㅔ 1137~1149

Also Published As

Publication number Publication date
CN107818326B (zh) 2018-07-20
KR20200007084A (ko) 2020-01-21
US10885381B2 (en) 2021-01-05
EP3696726A1 (en) 2020-08-19
JP6759475B2 (ja) 2020-09-23
JP2020527785A (ja) 2020-09-10
US20200167601A1 (en) 2020-05-28
EP3696726A4 (en) 2021-01-27
WO2019101221A1 (zh) 2019-05-31
CN107818326A (zh) 2018-03-20

Similar Documents

Publication Publication Date Title
KR102171122B1 (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
JP6797860B2 (ja) 水上侵入検知システムおよびその方法
CN109145836B (zh) 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN109859246B (zh) 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法
CN115661569A (zh) 一种高精度的细粒度sar目标检测方法
Wang et al. Soft thresholding attention network for adaptive feature denoising in SAR ship detection
Delibasoglu et al. Motion detection in moving camera videos using background modeling and FlowNet
Wang et al. Object counting in video surveillance using multi-scale density map regression
Yang et al. Video anomaly detection for surveillance based on effective frame area
CN114913442A (zh) 一种异常行为检测方法、装置及计算机存储介质
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
Yu et al. An Algorithm for Target Detection of Engineering Vehicles Based on Improved CenterNet.
CN115719368B (zh) 一种多目标船舶跟踪方法及系统
CN116935304A (zh) 一种基于人群密集度的自适应检测与跟踪方法
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
Nag et al. ARCN: a real-time attention-based network for crowd counting from drone images
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置
Lin et al. Automatic object detection and direction prediction of unmanned vessels based on multiple convolutional neural network technology
Mittal et al. A feature pyramid based multi-stage framework for object detection in low-altitude UAV images
CN116994201B (zh) 对高空抛物进行溯源监测的方法及计算设备
CN117152689B (zh) 一种基于视觉的河道目标检测方法及系统
KR101517815B1 (ko) 실시간 객체 추출 방법 및 이를 적용한 감시 시스템
Anoopa et al. Comparison of Faster RCNN and YOLO V3 for Video Anomaly Localization
Riaz et al. Saifullah; Bux, JA; Ullah, A. Traffic Anomaly Prediction System Using Predictive Network. Remote Sens. 2022, 14, 447

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant