JP6759475B2 - シーンの多次元特徴に基づく船舶検出方法及びシステム - Google Patents

シーンの多次元特徴に基づく船舶検出方法及びシステム Download PDF

Info

Publication number
JP6759475B2
JP6759475B2 JP2019572825A JP2019572825A JP6759475B2 JP 6759475 B2 JP6759475 B2 JP 6759475B2 JP 2019572825 A JP2019572825 A JP 2019572825A JP 2019572825 A JP2019572825 A JP 2019572825A JP 6759475 B2 JP6759475 B2 JP 6759475B2
Authority
JP
Japan
Prior art keywords
ship
image
area
module
coastline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019572825A
Other languages
English (en)
Other versions
JP2020527785A (ja
Inventor
▲練▼兵 ▲トン▼
▲練▼兵 ▲トン▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Publication of JP2020527785A publication Critical patent/JP2020527785A/ja
Application granted granted Critical
Publication of JP6759475B2 publication Critical patent/JP6759475B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明はコンピュータビジョン分野に属し、シーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出方法及びシステムに関する。
今日の社会では、ビデオ監視カメラはいたるところに配置されており、監視センターのビデオウォールは複数の監視画面を同時表示することとなり、視認だけで検出する場合、異常なイベントを見逃しやすい。研究したところ、プロの監視スタッフが２個のモニタのみを監視する場合でも、２２分間後、行動の９５％を見逃すことになり、事前に犯罪行動を効果的に防止できないことを分かった。インテリジェント監視プローブはリアルタイム監視システムの自動早期警告能力を高め、関連危険が検出されると早期警告を行い、それにより関連部門が早急に措置を講じることができる。一方、インテリジェント監視プローブによる異常早期警告行動の記憶記録は将来の事件解決、事故原因分析等における大切な手がかりにもなる。
急速な人口増加及び非常に乏しい地上資源により、２１世紀、人類は海への進出を徐々に加速している。海洋環境及び資源を如何に保護しながら活用するか、限られた人力で広大な海を監視するかは現在重要な研究課題となっている。海洋ビデオ監視システムは２４時間連続監視を実現でき、往来船、船員の動き等を全面的に監視し、違反行動が即座に捕捉され、周辺海域の状況が連続記録され、それにより海洋管理者の作業の困難度を大幅に低減させ、作業効率を向上させ、管理コストを削減させるとともに、海洋管理決定の策定に科学的根拠を提供する。
本出願は、如何に島周り監視ビデオシステムから移動中の船舶を迅速かつ正確に検出するかを研究する。中国国内外のオブジェクト検出アルゴリズムの現状を概観して、時間領域フレーム間差分法、オプティカルフロー法、バックグラウンド減算法等の従来の方法からＲ−ＣＮＮ、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ等のような深層学習に基づく検出方法に徐々に移行している。
従来の方法では、時間領域フレーム間差分法は、ビデオ中の隣接する２フレーム又は複数フレームの画像を抽出し、差分計算を行い、閾値化によって画像中の背景及び移動物体を分離し、その画素を取得することである。該アルゴリズムは動的背景に対して、カメラが固定される場合に高い適応性及びロバスト性を示すが、特徴のすべての関連画素点を全抽出できず、特徴の関連画素の一部を抽出するしかできないため、高精度の検出結果を取得できない。物体が迅速に移動している場合、比較的大きなサンプリング間隔を採用すると、２フレームの画像間にカバレッジがなく、誤検出を招きやすい。物体の移動速度が遅い場合、比較的小さなサンプリング間隔を採用すると、検出された移動オブジェクトにホール現象が生じやすく、後続のオブジェクト検出に不利である。
深層学習に基づく方法では、ＲＣＮＮはＣＮＮ特徴領域を有するネットワークであり、初めて、畳み込みニューラルネットワークの特徴を利用して分類する。１つの画像が入力されると、まず選択的検索（Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈ、ＳＳ）領域提案方法によって約２０００個の候補領域を取得し、その後、各特徴領域からＣＮＮ特徴を抽出する。さらにＳＶＭ分類器を利用して各領域を分類し、最後に閾値に応じて最終分類結果を決定する。しかし、該方法は効率が低く、ＣＰＵモードでは１つの画像に２秒程度がかかり、その主な原因として、特徴抽出中、ＣＮＮがｒｅｇｉｏｎ ｐｒｏｐｏｓａｌｓごとに個別特徴抽出を行うことであり、その結果、かかる時間が大幅に増加してしまう。
Ｆａｓｔ ＲＣＮＮネットワークの入力は画像及びそのオブジェクト提案ボックスであり、その後、画像に対し畳み込み及び最大プーリング操作を行い、本出願に必要な特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を得る。Ｆａｓｔ ＲＣＮＮは新たなネットワーク層構造のＲＯＩ Ｐｏｏｌｉｎｇ層を提案し、これらの結果のスケールを統一して固定長さの特徴ベクトルにする。その後、これらの特徴ベクトルを完全接続層に入力し、さらにｓｏｆｔｍａｘ分類器及びｂｂｏｘ ｒｅｇｒｅｓｓｏｒ回帰分析から構成されるｍｕｌｔｉ−ｔａｓｋモデルに入力し、これら２つの層は特徴を共有できるため、これらを同時に微調整し、相互に促進し、より良好な効果が得られる。Ｆａｓｔ ＲＣＮＮはＧＰＵ上で実装でき、効率を向上させるが、後続の検出ネットワークを考慮しておらず、且つ領域提案部分にかかる時間が長すぎ、この問題をよく解決できない。
Ｆａｓｔｅｒ ＲＣＮＮは領域提案ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ ＲＰＮ）＋ｆａｓｔ ＲＣＮＮによって領域提案を行う。ここで、領域提案ネットワークは検出ネットワークと畳み込み特徴を共有し、これらの畳み込み層特徴を用いて領域提案ボックスを予測し、このように領域提案ボックスを生成するための計算コストが非常に小さい。その後、これらの領域をＦａｓｔ Ｒ−ＣＮＮ検出に使用することで、検出の正確率がＦａｓｔ Ｒ−ＣＮＮと略同じであるが、効率が大幅に向上する。しかし、正確率はまだ十分ではない。
従来技術の欠陥に鑑みて、島周り監視システムのデータ特性に合わせて、本発明はシーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出技術案を提供する。
上記目的を実現するために、本発明の技術案はシーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出方法であり、
船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得るステップａと、
船舶領域を取得するように、ステップａで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）とするステップｂと、
クラスＦａｓｔｅｒ ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、ステップａで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得るステップｃと、
ＲＰＮネットワークを構築し、ステップｃで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、ステップｃで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得るステップｄと、
ステップｄで訓練されたモデルを利用してテストデータを検出するように、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、ステップｄで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行うステップｅと、を含む。
また、ステップｂでは、まず、（λ,θ）極座標パラメータ空間の二次元配列を累算器として構築し、画像中のすべてのオブジェクト画素を順に検索し、オブジェクト画素ごとにパラメータ空間において対応する位置を見つけ、累算器の対応する位置に１を足し、さらにパラメータ空間累算器中の最大値を求め、その位置を（λi,θｉ）とし、最後に、パラメータ空間の位置（λi,θｉ）によって、上式に従って画像空間中の対応する直線パラメータを見つけ、最も長い直線を海岸線として決定する。
また、ステップｄでは、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成した後、ステップａで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得る。
本発明は、シーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出システムを提供し、
船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得る第１モジュールと、
船舶領域を取得するように、第１モジュールで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）とする第２モジュールと、
クラスＦａｓｔｅｒ ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、第１モジュールで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得る第３モジュールと、
ＲＰＮネットワークを構築し、第３モジュールで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、第３モジュールで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得る第４モジュールと、
第４モジュールで訓練されたモデルを利用してテストデータを検出し、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、第４モジュールで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行う第５モジュールと、を備える。
また、第２モジュールでは、まず、（λ,θ）極座標パラメータ空間の二次元配列を累算器として構築し、画像中のすべてのオブジェクト画素を順に検索し、オブジェクト画素ごとにパラメータ空間において対応する位置を見つけ、累算器の対応する位置に１を足し、さらにパラメータ空間累算器中の最大値を求め、その位置を（λi,θｉ）とし、最後に、パラメータ空間の位置（λi,θｉ）によって、上式に従って画像空間中の対応する直線パラメータを見つけ、最も長い直線を海岸線として決定する。
また、第４モジュールでは、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成した後、第１モジュールで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得る。
本発明に係る技術案の有益な効果は以下の通りである。
（１）実際のデータ状況によると、陸上家屋は船舶の誤検出の主な原因である。本出願は海岸線を抽出することで陸上家屋の干渉を回避し、船舶領域のみに対し領域提案を行うことで、領域提案ボックスの正確率及び速度を高める。
（２）オブジェクト検出においてエッジ特徴を画像の第４次元として追加することで、検出精度及び速度を高める。霧、曇り、雨等のような複雑なシーンでも良好な検出結果が示され、方法のロバスト性が高い。本発明は、海洋管理効率を向上させ、管理コストを削減させるとともに、海洋管理決定の策定に科学的根拠を提供することができ、重要な市場価値を有する。
本発明の実施例のフローチャートである。 本発明の実施例のスライディングウィンドウによって生成される領域提案ボックスの構成模式図である。
本発明はシーンの特徴を用いた深層学習ネットワークに基づく船舶検出方法を提案する。まず、画像サンプルライブラリを構築し、船舶画像をサンプリングしてマーキングし、十分なサンプルを得る。その後、エッジ検出及びＨｏｕｇｈ変換によって海岸線を得て、且つエッジ検出結果を画像の第４次元とし、深層学習ネットワークを構築して画像を畳み込みする。さらにスライディングウィンドウを用いて海岸線間領域で領域提案ボックスを生成し、島周り画像において船舶が水面上にしか出現しないが、ほかの深層学習方法の領域提案方法はいずれも画像全体に対し領域提案を行うからである。その後、船舶の位置真値を用いて提案ボックスの損失関数を得て、ネットワーク全体を訓練し、訓練済みモデルを出力する。最後に、訓練済みモデルを用いてテストデータに対し船舶検出を行う。主にサンプルライブラリ構築、海岸線抽出、深層学習ネットワーク訓練、船舶検出の４つの工程を含む。
具体的な実施形態を詳細説明するために、図１に示すように、実施例の流れは以下の通りである。
ステップａでは、船舶画像サンプルライブラリを構築し、ｃａｎｎｙ演算子によってエッジ検出を行い、画像のエッジ検出結果を得て、バンドＥと呼び、それを画像の第４次元とし、画像を（Ｒ、Ｇ、Ｂ）表現から（Ｒ、Ｇ、Ｂ、Ｅ）表現に変更する。
まず、船舶画像を用意し、本発明における収集対象となるデータは主に、可視光下での沿海領域監視ビデオデータである。具体的な実施では、予め収集して構築するようにしてもよい。収集したビデオデータに対し、デコーダ又はコードによって各フレームの画像を取得し、複数のビデオに対し、十分に多様な船舶画像サンプルライブラリを得る。さらに船舶画像サンプルライブラリ中の各フレームの画像を予選マーキングして、船舶の位置真値及び長さと幅を取得する。
その後、ｃａｎｎｙ演算子によって検出を行い、船舶画像サンプルライブラリ中の各フレームの画像中のエッジを得て、エッジ画素に値２５５（黒色）を付与し、ほかの画素に値０（白色）を付与し、それを画像の第４次元Ｅとし、画像を（Ｒ、Ｇ、Ｂ）表現から（Ｒ、Ｇ、Ｂ、Ｅ）表現に変更する。以下の工程を含む。
（１）まず、ガウスフィルタを用いて画像を平滑化し、ガウス平滑化関数は、
であり、式中、ｘ、ｙは画像点の座標であり、画像処理では整数と考えられ、σは標準偏差である。
（２）ガウス平滑化関数によって３×３テンプレートＨを生成し、ｆは原画像であり、その後、このテンプレートを用いて画像をぼかし、平滑化後画像Ｇを得る。

Ｇ（ｘ,ｙ）＝ｆ（ｘ,ｙ）×Ｈ（ｘ，ｙ）
（３）さらに一次偏導関数の有限差分を用いて勾配の振幅及び方向を計算する。一次微分畳み込みテンプレートは、
であり、
それぞれ垂直方向と水平方向の数値を計算し、その後、勾配の振幅は、
であり、
勾配の方向は、
である。
（４）勾配振幅に対し非最大抑制を行い、全体的な勾配を取得するだけではエッジを決定できないため、エッジを決定するには、局所勾配が最も大きい点を保留して非最大抑制を行う必要がある。各点では、近傍の中心画素Ｍと勾配線に沿う２つの画素とを比較する。Ｍの勾配値が勾配線に沿う2つの隣接画素の勾配値以下であると、Ｍ＝０とする。
（５）二重閾値アルゴリズムを用いてエッジを検出して連結する。非最大抑制画像に２つの閾値ｔｈ１及びｔｈ２を作用し、ここで、２つの閾値の関係は一般にｔｈ１＝０．４ｔｈ２である。本出願は、勾配値がｔｈ１未満の画素のグレー値を０とし、画像ａを得る。その後、勾配値がｔｈ２未満の画素のグレー値を０とし、画像ｂを得る。画像ｂの閾値が比較的高いため、大部分のノイズを除去できる一方、有用なエッジ情報を失ってしまう。画像ａの閾値が比較的低いため、比較的多くの情報を保留し、本出願は画像ｂを基礎、画像ａを補足として画像のエッジを連結することができる。
（６） 画像を処理する。エッジ画素に値２５５（黒色）を付与し、ほかの画素に値０（白色）を付与し、それを画像の第４次元とし、画像を（Ｒ、Ｇ、Ｂ）表現から（Ｒ、Ｇ、Ｂ、Ｅ）表現に変更する。
ステップｂでは、船舶領域を取得する。ステップａで得られたエッジＥに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）とする。
計算量を減少させるために、本発明は、まず、（λ、θ）極座標パラメータ空間の二次元配列を構築し、該配列は累算器に相当する。点−線に基づく双対性の思想から、画像において、すべての点（ｘ，ｙ）を通過する直線方程式は
ｙ＝ｋ×ｘ＋ｂ
であり、式中、ｋは勾配、ｂは切片である。
パラメータ空間において、該直線は１つの点として表されてもよく、極座標で表されると、
λ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ

であり、
式中、λは点から極点までの距離、θは点と極点とを結ぶ線と横軸とのなす角度である。従って、画像空間における各点はそれらのパラメータ空間における、対応する曲線としてみなされてもよい。
その後、画像中のすべてのオブジェクト（黒色）画素を順に検索し、オブジェクト画素ごとに、パラメータ空間において上式に従って対応する位置を見つけ、その後、累算器の対応する位置に１を足す。
さらにパラメータ空間（累算器）中の最大値を求め、その位置を（λi,θｉ）とする。
最後に、パラメータ空間の位置（λi,θｉ）によって、上式に従って画像空間中の対応する直線パラメータを見つける。カメラが海岸上で海面を撮影するため、各回の画像に１本の海岸線しかが表示されず、従って最も長い直線は本出願に求められる海岸線であり、海岸線から海面領域を船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）として得て、後続の領域提案ボックスの生成に有利である。
ステップｃでは、クラスＦａｓｔｅｒ ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、ステップａで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得る。
使用されるクラスＦａｓｔｅｒ ＲＣＮＮ深層学習ネットワークのネットワーク構造は５個の畳み込み層、３個の最大プーリング層及び２個の完全接続層からなる。
普通の畳み込み層の場合、1つ上の層の特徴層が学習可能な畳み込みカーネルによって畳み込みされ、その後、活性化関数によって、出力特徴層を得る。各出力層は複数の入力層を組合せ畳み込みした値
であってもよく、
式中、Ｍｊは選択された入力層の集合を表し、iは入力層ユニットのインデックス値、ｊは出力層ユニットのインデックス値であり、ｋl ijは入力層と出力層との間の重み、ｂｉ ｊは各層間の活性化オフセット、ｆ（）は該出力層の活性化関数、ｋl jはｌ層の第ｊ個の出力層、Ｘｌ−１ iはｌ−１層の第ｉ個の入力層を表す。
プーリング層の場合、Ｎ個の入力層を有すると、Ｎ個の出力層を有するが、各出力層が小さくなる。
down()はダウンサンプリング関数を表す。一般には、入力画像の異なるｎ＊ｎ領域内のすべての画素の合計を計算する。このように、出力画像は２つの次元の両方にｎ倍縮小した。各出力層は１つのそれ自体の乗法オフセットβｌ ｊ及び１つの加法オフセットｂl ｊに対応し、Xｌ ｊはｌ層の第ｊ個の出力層、Xｌ−１ ｊはｌ−１層の第ｊ個の入力層を表す。
出力された完全接続層の場合、畳み込みを複数の特徴層に入力し、さらにこれらの畳み込み値の合計を計算し１つの出力層を得て、多くの場合、このような効果は優れている。本出願では、αｉｊは、第ｊ個の出力特徴層の取得における第ｉ個の入力層の重み値又は貢献を表す。このように、第ｊ個の出力層は、
で表されてもよく、
なお、
を満たす必要があり、
式中、Ｎｉｎは入力特徴層の数、ｋｌ ｊは入力層と出力層との間の重み、
ｂｌ ｊは各層間の活性化オフセット、Xｌ ｊはｌ層の第ｊ個の出力層、Xｌ−１ ｊはｌ−１層の第ｊ個の入力層を表す。
ステップｄでは、ＲＰＮネットワークを構築し、ステップｃで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、ステップａで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得て、ステップｃで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得る。
スライディングウィンドウによって生成される領域提案ボックスの構造は図２に示され、ａｎｃｈｏｒ ｂｏｘｅｓはアンカーポイントとして理解でき、スライディングウィンドウの中心に位置し、ｓｌｉｄｉｎｇ ｗｉｎｄｏｗはスライディングウィンドウであり、ｃｏｎｖ ｆｅａｔｕｒｅ ｍａｐはステップｃで得られた畳み込み特徴マップであり、ｉｎｔｅｒｍｅｄｉａｔｅ ｌａｙｅｒは完全接続層の前の中間層であり、２５６−ｄとは提案ボックスによって生成される２５６次元長さの完全接続特徴であり、ｃｌｓ ｌａｙｅｒはクラスを予測する完全接続層であり、ｒｅｇ ｌａｙｅｒは位置を予測する完全接続層であり、ｋ個の提案ボックスがあるとすると、２ｋ ｓｃｏｒｅｓとは対応して出力する２ｋ個のクラススコアであり、４ｋ ｃｏｏｒｒｄｉｎａｔｅｓとは対応して出力する４ｋ個の位置座標であり、ｓｈｉｐ ａｒｅａは船舶出現範囲領域であり、ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌは領域提案ボックスであり、ｏｒｉｇｉｎａｌ ｉｍａｇｅは原画像である。ステップｃで最終的に得られた畳み込み特徴マップ上をスライドし、ステップａで得られた船舶の長さと幅に応じて、Ｋ−平均法によって領域提案ボックスのサイズを得て、さらにステップａで得られた船舶の実際位置を利用して損失関数を学習し、その後、ステップｃで訓練された深層学習ネットワークと組み合わせ、組合せネットワークを訓練し、最後に、訓練済みモデルを出力する。主に逆伝播アルゴリズム（ＢＰアルゴリズム）のニューラルネットワークモードを採用して更新を行う。
実施例では、固定サイズの３＊３スライディングウィンドウを用いて、ステップｃの深層学習ネットワークの最後の１層の畳み込み層上をスライドする。スライディングウィンドウが位置する中心位置を原入力画像に対応付け、対応する画素はａｎｃｈｏｒの中心位置としてみなされ、中心位置がステップｂで得られた船舶領域内にあるか否かを判断し、ＮＯの場合、破棄してスライドし続ける。これは、本出願が領域提案ボックスを予測するためであり、海岸線に合わせて不要な領域提案ボックスを減少させ、ａｎｃｈｏｒメカニズム及び境界ボックス回帰を利用して異なるスケール及び異なるアスペクト比のＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌを得て、それによりスケール問題を解決する。
ここで、各ａｎｃｈｏｒはいずれも１種のアスペクト比及び１種のスケールに対応する。本発明の実施例では、サンプルとしてマーキングされた船舶のアスペクト比及びスケールを統計し、Ｋ−平均法によって頻度が最も高い船舶の長さと幅の状況をクラスタリングし、５種類を選択し、このように計５個のａｎｃｈｏｒを有する。最後に、２つの完全接続層に出力し、オブジェクトの領域提案ボックスの位置及びスコアを同時に予測できる。
訓練時の損失関数は領域提案ボックスの位置推定を評価するための損失関数及び分類を評価するための損失関数に分けられ、
領域提案ボックスの位置特定を評価するための損失関数は、
であり、
式中、
は比較される船舶の位置真値に対応する予測シフトズームパラメータであり、
はクラスの番号を表し、
とは領域提案ボックスに対してスケールが一定のシフトを行うことであり、
とは対数空間における領域提案ボックスに対する高さ及び幅である。
ｖ＝（ｖｘ,ｖｙ,ｖｗ,ｖｈ）は対応する実際シフトズームパラメータであり、ｓmoothL1の損失関数は
であり、
分類を評価するための損失関数は、船舶の位置真値
に対応する確率によって決定され、
であり、
式中、ｐ＝（ｐ０,ｐ１,ｐ２,・・・ｐｋ）は各領域提案ボックスにｋ＋１次元の離散型配列を出力することである。
ステップｅでは、ステップｄの出力モデルを利用してテストデータを検出する。検出前、まず、検出画像に対しエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得る。その後、Ｈｏｕｇｈ変換によって海岸線を得て、画像を深層学習ネットワークに入力し、訓練されたパラメータを用いて海岸線間の部分に対し船舶検出を行う。
本ステップは出力モデルを利用してテストデータを検出し、検出前、まず、画像中の海岸線を検出し、その後、船舶領域を検出する。テストデータである検出画像に対する処理方式はステップａ、ｂにおけるサンプル画像の処理方式に一致する。具体的な実施では、真値重畳度のｔｈｒｅｓｈ閾値を設定し、閾値より高いと、オブジェクト船舶として出力するようにしてもよい。
以上のように、まず、画像サンプルライブラリを構築し、船舶画像をサンプリングしてマーキングし、十分なサンプルを得る。その後、エッジ検出及びＨｏｕｇｈ変換によって海岸線を得て、且つ検出されたエッジを画像の第４次元とし、深層学習ネットワークを構築して画像を畳み込みする。さらにスライディングウィンドウを用いて船舶領域で領域提案ボックスを生成し、領域提案ボックスのサイズがＫ−平均法によって得られ、島周り画像において船舶が水面上に出現するしかないからであり、それに対して、ほかの深層学習方法の領域提案方法はいずれも画像全体に対して領域提案を行うのである。その後、船舶の位置真値を用いて提案ボックスの損失関数を得て、ネットワーク全体を訓練し、訓練済みモデルを出力する。最後に、訓練済みモデルを用いてテストデータに対し船舶検出を行う。本発明の方法は海岸線の特徴を利用することで、領域提案ボックスの生成にかかる時間を減少させ、領域提案ボックスのリコール率、及び最終検出結果の精度及び効率を向上させる。
ここまで、本出願に使用されるシーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出方法の具体的な実施過程についての説明は完了する。
具体的な実施では、本発明に係る方法はソフトウェア技術に基づいてプロセスの自動実行を実現してもよく、モジュール化方式によって対応するシステムを実現してもよい。本発明の実施例はシーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出システムを提供し、当該船舶検出システムは、
船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得る第１モジュールと、
船舶領域を取得するように、第１モジュールで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）とする第２モジュールと、
クラスＦａｓｔｅｒ ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、第１モジュールで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得る第３モジュールと、
ＲＰＮネットワークを構築し、第３モジュールで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、第３モジュールで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得る第４モジュールと、
第４モジュールで訓練されたモデルを利用してテストデータを検出するように、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、第４モジュールで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行う第５モジュールと、を備える。
各モジュールの具体的な実装は対応するステップを参照すればよいため、本発明では重複説明を省略する。
本明細書に説明された具体例は単に本発明の精神を例示的に説明するためのものである。本発明の精神又は添付の特許請求の範囲に定められた範囲を逸脱することなく、当業者は説明された具体例に対し種々の変更や補充を行ったり類似形態で置換したりすることができる。

Claims (4)

  1. シーンの多次元特徴に基づく船舶検出方法であって、
    船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得るステップａと、
    船舶領域を取得するように、ステップａで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）とするステップｂと、
    クラスＦａｓｔｅｒ ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、ステップａで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得るステップｃと、
    ＲＰＮネットワークを構築し、ステップｃで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、ステップｃで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得るステップｄと、
    ステップｄで訓練されたモデルを利用してテストデータを検出するように、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、ステップｄで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行うステップｅとを含み、
    ステップｂでは、まず、（λ、θ）極座標パラメータ空間の二次元配列を累算器として構築し、画像中のすべてのオブジェクト画素を順に検索し、オブジェクト画素ごとにパラメータ空間において対応する位置を見つけ、累算器の対応する位置に１を足し、さらにパラメータ空間累算器中の最大値を求め、その位置を（λ i ,θ ｉ ）とし、最後に、パラメータ空間の位置（λ i ,θ ｉ ）によって、上式に従って画像空間中の対応する直線パラメータを見つけ、最も長い直線を海岸線として決定することを特徴とするシーンの多次元特徴に基づく船舶検出方法。
  2. ステップｄでは、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成した後、ステップａで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得ることを特徴とする請求項１に記載のシーンの多次元特徴に基づく船舶検出方法。
  3. シーンの多次元特徴に基づく船舶検出システムであって、
    船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得る第１モジュールと、
    船舶領域を取得するように、第１モジュールで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）とする第２モジュールと、
    クラスＦａｓｔｅｒ ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、第１モジュールで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得る第３モジュールと、
    ＲＰＮネットワークを構築し、第３モジュールで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、第３モジュールで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得る第４モジュールと、
    第４モジュールで訓練されたモデルを利用してテストデータを検出するように、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、第４モジュールで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行う第５モジュールと、を備え、
    第２モジュールでは、まず、（λ、θ）極座標パラメータ空間の二次元配列を累算器として構築し、画像中のすべてのオブジェクト画素を順に検索し、オブジェクト画素ごとにパラメータ空間において対応する位置を見つけ、累算器の対応する位置に１を足し、さらにパラメータ空間累算器中の最大値を求め、その位置を（λ i ,θ ｉ ）とし、最後に、パラメータ空間の位置（λ i ,θ ｉ ）によって、上式に従って画像空間中の対応する直線パラメータを見つけ、最も長い直線を海岸線として決定することを特徴とするシーンの多次元特徴に基づく船舶検出システム。
  4. 第４モジュールでは、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ ａｒｅａ）で異なるサイズの領域提案ボックスを生成した後、第１モジュールで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得ることを特徴とする請求項３に記載のシーンの多次元特徴に基づく船舶検出システム。
JP2019572825A 2017-12-11 2018-12-11 シーンの多次元特徴に基づく船舶検出方法及びシステム Expired - Fee Related JP6759475B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711311822.1 2017-12-11
CN201711311822.1A CN107818326B (zh) 2017-12-11 2017-12-11 一种基于场景多维特征的船只检测方法及系统
PCT/CN2018/120296 WO2019101221A1 (zh) 2017-12-11 2018-12-11 一种基于场景多维特征的船只检测方法及系统

Publications (2)

Publication Number Publication Date
JP2020527785A JP2020527785A (ja) 2020-09-10
JP6759475B2 true JP6759475B2 (ja) 2020-09-23

Family

ID=61605234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019572825A Expired - Fee Related JP6759475B2 (ja) 2017-12-11 2018-12-11 シーンの多次元特徴に基づく船舶検出方法及びシステム

Country Status (6)

Country Link
US (1) US10885381B2 (ja)
EP (1) EP3696726A4 (ja)
JP (1) JP6759475B2 (ja)
KR (1) KR102171122B1 (ja)
CN (1) CN107818326B (ja)
WO (1) WO2019101221A1 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018091486A1 (en) 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
CN107818326B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN108509919B (zh) * 2018-04-03 2022-04-29 哈尔滨哈船智控科技有限责任公司 一种基于深度学习对视频或图片中水线的检测和识别方法
CN108810505A (zh) * 2018-06-06 2018-11-13 合肥康之恒机械科技有限公司 一种动态目标高效跟踪图像数据优化传输方法及系统
US11638569B2 (en) * 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
CN108960143B (zh) * 2018-07-04 2021-02-23 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN109166094B (zh) * 2018-07-11 2022-03-25 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109241913B (zh) * 2018-09-10 2021-05-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109359557B (zh) * 2018-09-25 2021-11-09 东北大学 一种基于迁移学习的sar遥感图像舰船检测方法
CN109458978B (zh) * 2018-11-07 2020-12-01 五邑大学 一种基于多尺度检测算法的天线下倾角测量方法
CN109583424A (zh) * 2018-12-21 2019-04-05 杭州电子科技大学 一种基于衰减置信度的重叠舰船目标候选框筛选方法
CN109740665B (zh) * 2018-12-29 2020-07-17 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN109859103A (zh) * 2019-01-09 2019-06-07 杭州电子科技大学 一种基于双线性内插法精确池化策略的舰船目标检测方法
CN109934088A (zh) * 2019-01-10 2019-06-25 海南大学 基于深度学习的海面船只辨识方法
CN110210561B (zh) * 2019-05-31 2022-04-01 北京市商汤科技开发有限公司 神经网络的训练方法、目标检测方法及装置、存储介质
CN110619647B (zh) * 2019-09-16 2022-12-30 中山大学 基于边缘点频域空域特征结合图像模糊区域定位方法
CN110796009A (zh) * 2019-09-29 2020-02-14 航天恒星科技有限公司 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN111105419B (zh) * 2019-10-09 2023-04-18 中国船舶重工集团公司第七0九研究所 一种基于极化sar图像的车辆船舶检测方法及装置
CN110781785A (zh) * 2019-10-18 2020-02-11 上海理工大学 基于Faster RCNN算法改进的交通场景下行人检测方法
CN110807424B (zh) * 2019-11-01 2024-02-02 深圳市科卫泰实业发展有限公司 一种基于航拍图像的港口船舶比对方法
CN110969213A (zh) * 2019-12-10 2020-04-07 珠海大横琴科技发展有限公司 一种基于Faster RCNN的船只检测方法、装置及电子设备
CN111553184A (zh) * 2019-12-27 2020-08-18 珠海大横琴科技发展有限公司 一种基于电子围网的小目标检测方法、装置及电子设备
CN111368690B (zh) * 2020-02-28 2021-03-02 珠海大横琴科技发展有限公司 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN111583722B (zh) * 2020-04-23 2022-09-06 大连理工大学 一种基于ais数据的船舶航行特征及偏好分析方法
CN111553940B (zh) * 2020-05-19 2023-06-16 上海海栎创科技股份有限公司 一种深度图人像边缘优化方法及处理装置
CN111832611B (zh) * 2020-06-03 2024-01-12 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111967313B (zh) * 2020-07-08 2022-04-12 北京航空航天大学 一种深度学习目标检测算法辅助的无人机图像标注方法
CN111985470B (zh) * 2020-07-09 2024-06-21 浙江工业大学 一种自然场景下的船牌矫正识别方法
CN113473076B (zh) * 2020-07-21 2023-03-14 青岛海信电子产业控股股份有限公司 社区报警方法及服务器
CN112102394B (zh) * 2020-09-17 2021-05-28 中国科学院海洋研究所 基于深度学习的遥感图像舰船尺寸一体化提取方法
CN112085001B (zh) * 2020-09-23 2024-04-23 清华大学苏州汽车研究院（相城） 一种基于多尺度边缘特征检测的隧道识别模型及方法
CN112115891B (zh) * 2020-09-24 2022-06-14 电子科技大学 一种基于一维多向抽取的sar图像港口检测方法
CN112285712B (zh) * 2020-10-15 2023-09-15 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112508848B (zh) * 2020-11-06 2024-03-26 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112396582B (zh) * 2020-11-16 2024-04-26 南京工程学院 一种基于Mask RCNN的均压环歪斜检测方法
US12051230B2 (en) 2020-11-25 2024-07-30 Korea Electronics Technology Institute Accelerated processing method for deep learning based-panoptic segmentation using a RPN skip based on complexity
CN112800932B (zh) * 2021-01-25 2023-10-03 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备
CN112907728B (zh) * 2021-01-27 2023-04-11 北京邮电大学 基于摄像头和边缘计算的船舶场景还原和定位方法及系统
CN112819068B (zh) * 2021-01-29 2023-09-26 南京长江油运有限公司 一种基于深度学习的船舶作业违章行为实时侦测方法
CN113326724B (zh) * 2021-02-07 2024-02-02 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN112926426A (zh) * 2021-02-09 2021-06-08 长视科技股份有限公司 基于监控视频的船舶识别方法、系统、设备及存储介质
CN112869829B (zh) * 2021-02-25 2022-10-21 北京积水潭医院 一种智能镜下腕管切割器
CN113158787B (zh) * 2021-03-11 2024-04-05 上海海事大学 一种复杂海洋环境下船舶检测分类方法
CN113033390B (zh) * 2021-03-23 2022-12-13 中国科学院空天信息创新研究院 一种基于深度学习的大坝遥感智能检测方法
CN113096098B (zh) * 2021-04-14 2024-01-05 大连理工大学 基于深度学习的铸件外观缺陷检测方法
CN113205026B (zh) * 2021-04-26 2022-08-16 武汉大学 一种基于Faster RCNN深度学习网络改进的车型识别方法
CN113158966A (zh) * 2021-05-08 2021-07-23 浙江浩腾电子科技股份有限公司 基于深度学习的非机动车骑车带人行为识别的检测方法
CN113205151B (zh) * 2021-05-25 2024-02-27 上海海事大学 基于改进ssd模型的船舶目标实时检测方法及终端
CN113239854B (zh) * 2021-05-27 2023-12-19 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
CN113313166B (zh) * 2021-05-28 2022-07-26 华南理工大学 基于特征一致性学习的船舶目标自动标注方法
CN113379695B (zh) * 2021-06-01 2024-03-29 大连海事大学 局部特征差异性耦合的sar图像近岸舰船检测方法
CN113343355B (zh) * 2021-06-08 2022-10-18 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113379603B (zh) * 2021-06-10 2024-03-15 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113628245B (zh) * 2021-07-12 2023-10-31 中国科学院自动化研究所 多目标跟踪方法、装置、电子设备和存储介质
CN113705505B (zh) * 2021-09-02 2024-05-17 浙江索思科技有限公司 一种面向海洋渔业的船舶目标检测方法和系统
CN113850166A (zh) * 2021-09-13 2021-12-28 湖北中南鹏力海洋探测系统工程有限公司 一种基于卷积神经网络的船舶图像识别方法及系统
CN113850783B (zh) * 2021-09-27 2022-08-30 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113936205B (zh) * 2021-10-29 2024-09-17 北京航空航天大学 一种基于集成学习的海上目标检测方法
CN113920140B (zh) * 2021-11-12 2022-04-19 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN113822277B (zh) * 2021-11-19 2022-02-18 万商云集(成都)科技股份有限公司 基于深度学习目标检测的违规广告图片检测方法及系统
CN114627046B (zh) * 2021-12-30 2024-07-16 山东爱普电气设备有限公司 一种基于可见光多滤波维度的电力线检测方法及系统
CN114648509B (zh) * 2022-03-25 2023-05-12 中国医学科学院肿瘤医院 一种基于多分类任务的甲状腺癌检出系统
CN114742950B (zh) * 2022-04-19 2024-02-02 上海海事大学 船舶外形3d数字重构方法、装置、存储介质及电子设备
CN114973061B (zh) * 2022-04-24 2023-06-23 哈尔滨工程大学 基于深度学习方法的辅助抗沉决策模型生成方法及系统
CN114596536A (zh) * 2022-05-07 2022-06-07 陕西欧卡电子智能科技有限公司 无人船沿岸巡检方法、装置、计算机设备及存储介质
CN114612471B (zh) * 2022-05-10 2022-10-11 佛山市阿瑞斯数字设备有限公司 一种复杂纹理瓷砖表面缺陷检测方法
CN114898290A (zh) * 2022-05-13 2022-08-12 中交信息技术国家工程实验室有限公司 一种海上船舶实时检测方法及系统
CN114898152B (zh) * 2022-05-13 2023-05-30 电子科技大学 嵌入式弹性自扩展通用学习系统
CN115082694B (zh) * 2022-05-17 2024-03-05 交通运输部水运科学研究所 基于扁长形锚点和线段扩充技术的船舶检测方法和装置
CN115100501B (zh) * 2022-06-22 2023-09-22 中国科学院大学 一种基于单点监督的精准目标检测方法
CN115131590B (zh) * 2022-09-01 2022-12-06 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关设备
KR20240043171A (ko) 2022-09-26 2024-04-03 김준연 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템
CN115641510B (zh) * 2022-11-18 2023-08-08 中国人民解放军战略支援部队航天工程大学士官学校 一种遥感影像舰船检测识别方法
CN116385953B (zh) * 2023-01-11 2023-12-15 哈尔滨市科佳通用机电股份有限公司 铁路货车敞车车门折页折断故障图像识别方法
CN116665149B (zh) * 2023-06-02 2024-08-13 西南交通大学 一种船舶遥感图像的细粒度小样本分类方法及系统
CN116385984B (zh) * 2023-06-05 2023-09-01 武汉理工大学 船舶吃水深度的自动检测方法和装置
CN117557912A (zh) * 2023-12-18 2024-02-13 大连海事大学 一种基于改进YoloV7模型的冰山场景识别方法
CN117576185B (zh) * 2024-01-16 2024-04-16 浙江华是科技股份有限公司 基于深度学习和ransac算法的干舷高度识别方法及系统
CN118314331B (zh) * 2024-06-06 2024-09-13 湖南大学 一种面向海面场景的目标检测方法及其系统
CN118411626B (zh) * 2024-07-02 2024-09-13 青岛国测海遥信息技术有限公司 一种卫星遥感海岸线自动提取方法、介质及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355579B2 (en) * 2009-05-20 2013-01-15 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Automatic extraction of planetary image features
CN103514448A (zh) * 2013-10-24 2014-01-15 北京国基科技股份有限公司 船形识别方法和系统
US10410096B2 (en) 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
JP7110098B2 (ja) * 2015-12-18 2022-08-01 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化
CN105893957B (zh) * 2016-03-30 2019-03-22 上海交通大学 基于视觉湖面船只检测识别与跟踪方法
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN107169412B (zh) * 2017-04-09 2021-06-22 北方工业大学 基于混合模型决策的遥感图像靠港船只检测方法
US11188794B2 (en) * 2017-08-10 2021-11-30 Intel Corporation Convolutional neural network framework using reverse connections and objectness priors for object detection
CN107818326B (zh) 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统

Also Published As

Publication number Publication date
KR102171122B1 (ko) 2020-10-28
WO2019101221A1 (zh) 2019-05-31
JP2020527785A (ja) 2020-09-10
KR20200007084A (ko) 2020-01-21
EP3696726A4 (en) 2021-01-27
US20200167601A1 (en) 2020-05-28
CN107818326A (zh) 2018-03-20
EP3696726A1 (en) 2020-08-19
US10885381B2 (en) 2021-01-05
CN107818326B (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
JP6759475B2 (ja) シーンの多次元特徴に基づく船舶検出方法及びシステム
CN107256225B (zh) 一种基于视频分析的热度图生成方法及装置
CN110378308B (zh) 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN109657541A (zh) 一种基于深度学习的无人机航拍图像中的船舶检测方法
CN104834915B (zh) 一种复杂云天背景下小红外目标检测方法
CN109376591A (zh) 深度学习特征与视觉特征联合训练的船只目标检测方法
Wang et al. Background extraction based on joint gaussian conditional random fields
Dong et al. Infrared target detection in backlighting maritime environment based on visual attention model
Zhao et al. An adaptation of CNN for small target detection in the infrared
CN114565824B (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN117274759A (zh) 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合系统
CN114549642B (zh) 一种低对比度红外弱小目标检测方法
CN115331162A (zh) 一种跨尺度红外行人检测方法、系统、介质、设备及终端
Zhang et al. Contextual squeeze-and-excitation mask r-cnn for sar ship instance segmentation
Liu et al. Target detection and tracking algorithm based on improved Mask RCNN and LMB
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
Wu et al. Marine pollution detection based on deep learning and optical flow
CN108985292A (zh) 一种基于多尺度分割的sar图像cfar目标检测方法与系统
CN115953312A (zh) 一种基于单幅图像的联合去雾检测方法、装置及存储介质
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置
Liu et al. Attention-guided lightweight generative adversarial network for low-light image enhancement in maritime video surveillance
CN110211124B (zh) 一种基于MobileNetV2的红外成像结冰湖泊检测方法
Gao et al. Building Extraction from High Resolution Remote Sensing Images Based on Improved Mask R-CNN
Xiaojun et al. Tracking of moving target based on video motion nuclear algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200117

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200902

R150 Certificate of patent or registration of utility model

Ref document number: 6759475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees