WO2020161843A1 - 船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体 - Google Patents

船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2020161843A1
WO2020161843A1 PCT/JP2019/004306 JP2019004306W WO2020161843A1 WO 2020161843 A1 WO2020161843 A1 WO 2020161843A1 JP 2019004306 W JP2019004306 W JP 2019004306W WO 2020161843 A1 WO2020161843 A1 WO 2020161843A1
Authority
WO
WIPO (PCT)
Prior art keywords
track
ship
unit
behavior analysis
pattern image
Prior art date
Application number
PCT/JP2019/004306
Other languages
English (en)
French (fr)
Inventor
健太 先崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020570276A priority Critical patent/JP7184101B2/ja
Priority to US17/427,991 priority patent/US20220120892A1/en
Priority to PCT/JP2019/004306 priority patent/WO2020161843A1/ja
Publication of WO2020161843A1 publication Critical patent/WO2020161843A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9029—SAR image post-processing techniques specially adapted for moving target detection within a single SAR image or within multiple SAR images taken at the same time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft

Definitions

  • the present disclosure relates to a ship behavior analysis device, a ship behavior analysis method, and a non-transitory computer-readable medium.
  • AIS Automatic Identification System
  • Non-Patent Document 1 discloses a method of discriminating between fishing and non-fishing ship behavior from a track pattern generated from time-series position information of the ship.
  • a trace image is generated by connecting discrete AIS data points with a line, and a large number of generated trace images are learned by a neural network. Since fishing vessels may show characteristic wakes, this method enables highly accurate binary discrimination between fishing and non-fishing.
  • Patent Document 1 a ship existing around the ship is monitored by a radar to analyze a behavior pattern of a ship traveling around the ship, and the behavior pattern is registered in a database in advance. And a suspicious ship detection method for recognizing a ship having a behavior pattern that matches or approximates the suspicious behavior pattern as a suspicious ship.
  • the ship behavior analysis method disclosed in Non-Patent Document 1 determines the fishing status of each ship and the sailing status other than fishing.
  • the AIS can stop the signal transmission at the discretion of the seafarer, and it is not realistic to obtain the AIS from the ship operating illegally. Therefore, in the ship behavior analysis method disclosed in Non-Patent Document 1, it has been a problem to establish a ship behavior analysis method in an actual operation environment even in an environment in which a malicious user has stopped AIS.
  • Patent Document 1 discloses a technique of detecting a suspicious ship around the ship by using a radar mounted on the ship, but in this case, the range within which the radar installed on the ship reaches (number Since it is relatively narrow (about 10 km), there is a problem that the entire sea area cannot be monitored.
  • the purpose is to detect ships (pirates, etc.) that are malicious to the ship itself, so there is a problem that suspicious behavior that does not target the ship itself is not dealt with.
  • a ship behavior analysis apparatus includes ship detection means for detecting a ship from synthetic aperture radar data, A track extracting means for extracting the detected track of the vessel, A track pattern generation means for generating a track pattern image using the extracted track, A navigation state estimation means for estimating the navigation state of the ship using the generated track pattern image, Equipped with.
  • a ship behavior analysis method detects a ship from synthetic aperture radar data, Extracting the track of the detected vessel, Generate a track pattern image using the extracted track, The navigation state of the ship is estimated using the generated track pattern image.
  • a non-transitory computer-readable medium that stores a program according to the third aspect of the present disclosure detects a ship from synthetic aperture radar data, Extracting the track of the detected vessel, Generate a track pattern image using the extracted track, Estimating the sailing state of the ship using the generated track pattern image, It is what makes a computer do that.
  • the first embodiment of the present invention functions as a ship behavior learning device 1, and includes a data input unit 101, a track pattern generation unit 102, a pattern learning unit 103, and a data storage unit 1001. , And a parameter storage unit 1002. That is, the control unit of the ship behavior learning device 1 functions as a function calculation unit that executes each of these subdivided processes.
  • the control unit has a CPU (central processing unit), a main storage device, an auxiliary storage device, an external interface, and the like.
  • the auxiliary storage device is an example of a non-transitory computer-readable medium described later.
  • the data input unit 101 extracts, from the data storage unit 1001 in which the navigation information of the ship is stored, the data of the navigation status and the position information of each ship that are continuous in time, and outputs the data of the navigation status and the data of the position information. It outputs to the track pattern generation unit 102.
  • data acquired from GPS or AIS includes speed information. However, if there is no speed information, calculate the speed from the spatial distance and temporal distance between two consecutive points. Is possible. The temporal distance can be obtained from the acquisition date and time of data between two consecutive points.
  • “Vessel voyage state” means, for example, the state of the vessel such as speeding (navigation using an engine), anchoring (down the anchor and mooring), mooring (berthing on the quay, etc.), fishing, etc.
  • the track pattern generation unit 102 determines a drawing method based on the speed information from the position information and speed information data input from the data input unit 101, and performs drawing so as to interpolate between discrete position information. Generate a track pattern image. Then, the track pattern generation unit 102 sets, for the navigation state data input from the data input unit 101, the navigation state corresponding to the track pattern image as the correct answer label of the main track pattern. Then, the track pattern generation unit 102 outputs the generated track pattern image and label information to the pattern learning unit 103.
  • the pattern learning unit 103 machine-learns the track pattern image by supervised learning from the track pattern image and label information input from the track pattern generation unit 102, and optimizes the parameters of the navigation state classifier. Then, the optimized parameter (learned parameter) is stored in the parameter storage unit 1002.
  • the data storage unit 1001 is a database in which navigation information of ships is stored.
  • the data storage unit 1001 stores or transmits the navigation information of the ship.
  • the data storage unit 1001 is realized by a storage medium such as a hard disk or a memory card that holds the voyage information of the ship, and a network to which these are connected.
  • the parameter storage unit 1002 stores or transmits the parameters of the ship behavior classifier.
  • the parameter storage unit 1002 is realized by a storage medium such as a hard disk or a memory card that holds the parameters (learned parameters) of the ship behavior classifier generated by the pattern learning unit 103, and a network to which they are connected.
  • one piece of data at an arbitrary time serving as a reference is selected from the data set of continuous time-series position information p i and voyage state s i .
  • the reference time is T.
  • p i is the absolute position information such as latitude and longitude, lng latitude i, if the longitude and lat i, ...(Equation 1) It is represented by. When each point is drawn, it becomes a discrete point as shown in FIG. 2A, for example.
  • relative position information p i ′ with respect to the reference time T is calculated for the m pieces of data before and after the reference time T 0 by the following formula.
  • round( ⁇ ) represents rounding processing to an integer value, and ⁇ is a predetermined scalar value.
  • each point p i' is mapped as shown in FIG. 2B while the point at the reference time T is located at the center of the grid of a predetermined size.
  • a straight line is used here for simplicity, it is not limited to a straight line in practice, and spline interpolation or the like may be used.
  • a process of making the time intervals of the data of each ship uniform may be applied.
  • the navigation state s T at the time T is set as the correct answer label.
  • a large number of correct labeled image data sets can be generated by repeating the above process at any time at any ship.
  • a process in the pattern learning unit 103 for optimizing the parameters of the nautical state classifier by machine learning of the wake pattern image by supervised learning from the wake pattern image and label information input from the wake pattern generation unit 102 will be described. ..
  • CNN convolutional Neural Network
  • the ship behavior analysis device can be configured using the parameters (learned parameters) obtained by the pattern learning unit.
  • the ship behavior analysis device 2 shown in FIG. 3 includes a data input unit 201, a ship detection unit 202, a track extraction unit 203, a track pattern generation unit 204, a voyage state estimation unit 205, a data storage unit 2001, and parameters. And a storage unit 1002. That is, the control unit of the ship behavior analysis device 2 functions as a function calculation unit that executes each of these subdivided processes.
  • the control unit has a CPU (central processing unit), a main storage device, an auxiliary storage device, an external interface, and the like.
  • the auxiliary storage device is an example of a non-transitory computer-readable medium described later.
  • the data input unit 201 stores the SAR data to be analyzed to the ship detection unit 202 and the track extraction unit 203 from the data storage unit 2001 which stores the synthetic aperture radar (Synthetic Aperture Radar, hereafter referred to as SAR) data of the ocean. Output.
  • SAR data is composed of a SAR image and its metadata (including observation time and observation conditions).
  • the ship detection unit 202 applies ship detection processing to the SAR data input from the data input unit 201 and detects a ship. Then, the detected ship information (ship position, size, etc.) is output to the track extraction unit 203.
  • the track extraction unit 203 extracts a track from the SAR data input from the data input unit 201 based on the ship information input from the ship detection unit 202. Then, the extracted track information (position) is output to the track pattern generation unit 204.
  • the track pattern generation unit 204 generates a track pattern image based on the track information input from the track extraction unit 203. Then, the generated track pattern image is output to the sailing state estimation unit 205.
  • the navigation state estimation unit 205 refers to the parameter storage unit 1002 to obtain the learned classifier parameters, reconfigures the classifier having the same configuration as the classifier learned by the pattern learning unit 103, and the track pattern generation unit 204.
  • the voyage state of each track pattern image is estimated from the track pattern image input from.
  • the navigational state estimation unit 205 outputs the estimated navigational state.
  • the sailing state of the ship can be estimated with high accuracy using the learned classifier parameters.
  • a process of detecting a ship from SAR data in the ship detection unit 202 will be described.
  • a process using an adaptive threshold process is widely used.
  • the idea of the adaptive threshold processing is very simple, and is a method of detecting an extremely bright pixel as a ship as compared with surrounding pixels. This is realized by appropriately setting the threshold value of pixels detected as a ship based on the statistical analysis of surrounding pixels.
  • the concept of constant false alarm rate (hereinafter referred to as CFAR) is used as an appropriate threshold setting method.
  • peripheral pixels other than the detection target are regarded as background pixels, and the distribution of pixel values of the background pixels is fitted to a predetermined probability density function. Then, a random variable with which the cumulative distribution function of the obtained probability density function has a predetermined false alarm rate is used as a threshold. A K-distribution, a generalized gamma distribution, or the like is used as the probability density function. If the probability density function is f and the predetermined false alarm rate is P FA , ...(Formula 3) If the threshold value ⁇ is calculated, the false alarm rate becomes the threshold value ⁇ at which P FA can be expected.
  • the land may also be erroneously detected as a ship because the land also has a higher pixel value than the sea level. Therefore, as preprocessing, the land area may be excluded from the ship detection processing by using map information or the like.
  • the wake created by a ship on the surface of the sea is one backward turbulence, V-shaped Kelvin waves, and five V-shaped waves existing between the backward turbulence and Kelvin waves.
  • the backward turbulence tends to be darker than the sea surface, and the other four pixels tend to be brighter than the sea surface.
  • the angle formed by the Kelvin wave and the backward turbulence is about 19 degrees, and the angle formed by the V-shaped wave inside the Kelvin wave and the backward turbulence is about 4 degrees.
  • the Kelvin wave and the V-shaped wave inside the Kelvin wave are utilized to robustly execute the extraction of wakes, but this time the backward turbulent flow indicating the route followed by the ship of interest is extracted.
  • the result of the vessel detection is used to generate a window of a predetermined size whose center is the center coordinate of a certain vessel cluster.
  • the wake will be multiple halves running near the center of the window.
  • the Radon transform is applied to the pixels of the window.
  • the Radon transform is a method of performing line integration in various directions on an input image.
  • the coefficient value in the Radon space corresponding to the angle and position of the straight line is calculated.
  • Has a peak Since the backward turbulence is darker than the sea surface pixels, a negative peak may be searched for in the Radon space.
  • a set of coefficient values that maximizes the difference between the negative peak and the positive peak is searched based on the fact that the Kelvin wave and the wave inside the Kelvin wave are bright pixels. May be.
  • the search range in the Radon space may be limited in consideration of the physical characteristics. For example, since the Kelvin wave has an angular difference of about 19 degrees with respect to the backward turbulence, the search range of the positive peak corresponding to the Kelvin wave is ⁇ 19° with respect to the negative peak candidate corresponding to the backward turbulence. it may be limited to ⁇ [delta] theta. Similarly to the inner wave Kelvin wave, it may be limited to ⁇ 4 ° ⁇ ⁇ ⁇ .
  • the wake After detecting the backward turbulence, the wake can be extracted by following the same half line on the image.
  • a process of generating a track pattern image based on the track information in the track pattern generation unit 204 will be described. Since the wake pattern image input to the voyage state estimation unit 205 is a black and white binary image as shown in FIG. 2, the extracted wake is colored white and the other sea surface pixels are colored black. Then, at a predetermined sampling interval from the start point to the end point of the track, the track image is cut out in a window having the same size as the track pattern image used by the pattern learning unit 103 so that the point on the track becomes the center of the window.
  • the sailing state of each ship detected from the SAR data is estimated based on the track pattern of the ship. Therefore, it is possible to estimate the sailing state even for a ship whose AIS signal is stopped.
  • the second embodiment of the present invention functions as the ship behavior learning device 3, and includes a data input unit 301, a track pattern generation unit 302, a pattern learning unit 303, and a data storage unit 1001. , And a parameter storage unit 3002. That is, the control unit of the ship behavior learning device 3 functions as a function calculation unit that executes each of these subdivided processes.
  • the control unit has a CPU (central processing unit), a main storage device, an auxiliary storage device, an external interface, and the like.
  • the auxiliary storage device is an example of a non-transitory computer-readable medium described later.
  • the data storage unit 1001, which is a database in which the voyage information of the ship is stored, is the same as that in the first embodiment, and thus the description thereof is omitted.
  • the data input unit 301 extracts, from the data storage unit 1001, the data of the voyage state, position information, and speed information of each ship included in the database, which are continuous in time, and the voyage state data and the position information.
  • the speed information data is output to the track pattern generation unit 302.
  • data acquired from GPS or AIS includes speed information. However, if there is no speed information, calculate the speed from the spatial distance and temporal distance between two consecutive points. Is possible. The temporal distance can be obtained from the acquisition date and time of data between two consecutive points.
  • the wake pattern generation unit 302 determines the drawing method based on the speed information based on the position information and speed information data input from the data input unit 301, and is drawn so as to interpolate between the discrete position information. Generate a track pattern image. Then, the track pattern generation unit 302 sets, for the navigation state data input from the data input unit 301, the navigation state corresponding to the track pattern image as the correct answer label of the main track pattern. Then, the track pattern generation unit 302 outputs the generated track pattern image and label information to the pattern learning unit 303.
  • the pattern learning unit 303 learns the track pattern image from the track pattern image and the label information input from the track pattern generation unit 302, and optimizes the parameters of the navigation state classifier. Then, the pattern learning unit 303 stores the optimized parameter in the parameter storage unit 3002.
  • the parameter storage unit 3002 stores or transmits the parameters of the ship behavior classifier.
  • the parameter storage unit 3002 is realized by a storage medium such as a hard disk or a memory card that holds the parameters of the ship behavior classifier generated by the pattern learning unit 303, or a network to which they are connected.
  • v max it is sufficient to input about 45 knots, which is the current maximum speed of a high-speed ship for practical use.
  • 22 knots (Japan), 24 knots (Europe), and 30 knots (US) may be used, using the definition of high-speed ships in each country.
  • the method of drawing the track of FIG. 2C is determined.
  • v i' v i for mapping to the color wheel.
  • v′ a method of changing the color of the line to be drawn on the basis of, v i' v i for mapping to the color wheel.
  • the minimum value and the maximum value of v′ are mapped so that the hue is 0 degrees and 360 degrees, respectively, the maximum and minimum values of the speed are continuous on the hue circle. ), and map so that the maximum value corresponds to 240 degrees (blue).
  • the hue H i is represented by the following equation. ...(Equation 5)
  • the color in the HSV space that reflects the speed information of the ship is expressed by the following equation.
  • the color of the RGB space finally generated is expressed by the following equation.
  • ...(Equation 7) Note that f HSV2RGB (•) represents a conversion function from the HSV color space to the RGB color space.
  • the track is colored based on the speed information of the ship.
  • the color at the point p i may be C i RGB , but the color of the line segment connecting the point p i and the point p (i+1) is weighted so that the color between the two points changes linearly.
  • the average value or either one of the colors may be used.
  • the drawing method that is changed based on v i' is not limited to color, and may be, for example, the thickness of the line to be drawn or the type of line.
  • v i' is not limited to color
  • a 3-channel track pattern image is generated
  • a 1-channel track pattern image is generated.
  • the navigation state s T at the time T is set as the correct answer label.
  • a large amount of correct labeled image data sets can be generated by repeating the above process for any ship at any time.
  • CNN convolutional neural network
  • the ship behavior analysis device can be configured using the parameters (learned parameters) obtained by the pattern learning unit.
  • the ship behavior analysis device 4 shown in FIG. 6 includes a data input unit 401, a ship detection unit 402, a track extraction unit 403, a track pattern generation unit 404, a voyage state estimation unit 405, a ship speed estimation unit 406, A track selection unit 407, a data storage unit 2001, and a parameter storage unit 3002 are provided. That is, the control unit of the ship behavior analysis device 4 functions as a function calculation unit that executes each of these subdivided processes.
  • the control unit has a CPU (central processing unit), a main storage device, an auxiliary storage device, an external interface, and the like.
  • the auxiliary storage device is an example of a non-transitory computer-readable medium described later.
  • the data input unit 401 includes a ship detection unit 402, a track extraction unit 403, a ship speed estimation unit 406, and a SAR data to be analyzed from a data storage unit 2001 that stores synthetic aperture radar (SAR) data of ocean images. Output to.
  • the SAR data is composed of a SAR image and its metadata (including observation time and observation conditions).
  • the ship detection unit 402 detects ship by applying ship detection processing to the SAR data input from the data input unit 201. Then, the ship detection unit 402 outputs the detected ship information (ship position, size, etc.) to the track extraction unit 403 and the ship speed estimation unit 406.
  • the track extraction unit 403 extracts a track from the SAR data input from the data input unit 201 based on the ship information input from the ship detection unit 402. Then, the track extraction unit 403 outputs the information (position) of the extracted track to the track pattern generation unit 404, the ship speed estimation unit 406, and the track selection unit 407.
  • the track pattern generation unit 404 based on the track information input from the track extraction unit 403, the vessel speed information input from the ship speed estimation unit 406, and the track selection information input from the track selection unit 407, Generate a track pattern image. Then, the track pattern generation unit 404 outputs the generated track pattern image to the navigation state estimation unit 205.
  • the voyage state estimating unit 405 refers to the parameter accumulating unit 3002 to obtain learned classifier parameters, reconfigures a classifier having the same configuration as the classifier learned by the pattern learning unit 303 described above, and generates a track pattern.
  • the navigation state of each track pattern image is estimated from the track pattern image input from the unit 204. Then, the navigational state estimation unit 405 outputs the estimated navigational state.
  • the ship speed estimation unit 406 estimates the speed of the ship from the SAR data input from the data input unit 401, the ship information input from the ship detection unit 402, and the track information input from the track extraction unit 403. To do. Then, the estimated speed of the ship is output to the track pattern generation unit 404.
  • the track selection unit 407 selects a track used for pattern generation based on the track information input from the track extraction unit 403. Then, the track selection unit 407 outputs information on the selected track to the track pattern generation unit 404.
  • the ship detection unit 402, the track extraction unit 403, and the voyage state estimation unit 405 are substantially the same as the above-described embodiment except that the input/output of data is different, and detailed description thereof will be omitted. To do.
  • the details of the operations of the ship speed estimation unit 406, the track selection unit 407, and the track pattern generation unit 404 will be described below as characteristic parts of the navigation state estimation device.
  • FIG. 7 is a diagram for explaining the displacement of the moving body on the SAR image.
  • the SAR image has a characteristic that a moving object within the shooting range is imaged while being displaced from the original position on the image.
  • the amount of displacement ⁇ X is the moving speed V of the platform (artificial satellite system) 70 equipped with the SAR antenna, the distance R between the platform 70 and the moving body 80 on the ground, and the moving speed v of the moving body 80 on the ground in the platform direction. It is calculated as follows using R. ...(Equation 8)
  • the moving speed V of the platform 70 and the distance R between the platform 70 and the moving body (ground surface object) 80 on the surface can be extracted from the metadata of the SAR data. If the position of the ship and the position of the track are given, ⁇ X can be estimated from the image, and therefore the velocity of the moving body 80 on the surface can be estimated only from the SAR data.
  • FIG. 8 is a diagram showing the relationship between the radar incident angle ⁇ i , the velocity v R in the platform direction, and the velocity v in the ground surface direction. Than this, ...(Equation 9) Holds.
  • the radar incident angle information at each point of the image can be generally extracted from the metadata of the SAR data, like the moving speed V of the platform 70 and the distance R between the platform 70 and the surface object (moving body 80). ..
  • the data of the speed of the ship estimated from the SAR data is just the timing at the time of capturing the SAR data, but in general, as shown in FIG. 9, when the ship is traveling linearly (the curvature is small. In this case, the speed change is small. Therefore, as shown in FIG. 10, the track in the window 10 of a predetermined size is regarded as a straight line in order from the track closer to the ship, the angle is obtained, and it is considered that the speed change occurs when the angle change becomes large, Abandon the wake. That is, in FIG. 10, it is considered that a speed change has occurred in the fifth window 10 from the track close to the ship, and the track in the window 10 up to the fourth window 10 close to the ship is adopted. As described above, the track selection unit 407 selects a track whose angle of the track is equal to or less than the threshold from the tracks close to the target ship.
  • Radon conversion may be used as in the case of track extraction.
  • the angle of the straight line most prominent in each window is obtained in order from the window closest to the ship, and the track is terminated when the difference from the angle of the straight line in the immediately preceding window exceeds a predetermined value.
  • the speed information is superimposed on the extracted track in the same manner as the track pattern generation unit 302 based on the ship speed information. ..
  • the pixels on the sea surface other than the wake should be black. Then, from the start point of the track to the end point of the track determined based on the track selection information, at a predetermined sampling interval, the track pattern image used by the pattern learning unit 103 so that the point on the track becomes the center of the window. Cut out the track image in the same size window as.
  • each unit can be configured by hardware, but can also be realized by a computer program.
  • the processor operating with the program stored in the program memory realizes the same functions and operations as those in the above-described embodiment.
  • the present invention has been described above with reference to the preferred embodiments, the present invention is not necessarily limited to the above embodiments, and various modifications can be implemented within the scope of the technical idea thereof.
  • the first embodiment and the second embodiment can be used at the same time.
  • a track image is generated by the method of the first embodiment for a track after it is considered that a speed change has occurred, and the first embodiment is used.
  • the voyage state estimation unit may estimate the voyage state.
  • Non-transitory computer-readable media include tangible storage media of various types.
  • Examples of non-transitory computer-readable media are magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, DVD (Digital Versatile Disc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM ( RandomAccessMemory)) is included.
  • the program may be supplied to the computer by various types of transitory computer readable media.
  • Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本開示の実施形態は、船舶の時系列位置情報から、所定時刻における対象船舶の航海状態を安定的に推定することを目的とする。本開示の実施形態の船舶行動解析装置は、合成開口レーダデータから船舶を検出する船舶検出手段（２０２）と、検出された船舶の航跡を抽出する航跡抽出手段（２０３）と、抽出された航跡を用いて航跡パターン画像を生成する航跡パターン生成手段（２０４）と、生成された航跡パターン画像を用いて前記対象船舶の航海状態を推定する航海状態推定手段（２０５）と、を備える。

Description

船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体
　本開示は船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体に関する。
　近年、違法な漁業による環境破壊や資源の枯渇が世界的に問題視されている。違法漁業を抑止するために、船舶の識別符号、種類、位置、針路、速力、航海状態などの情報を船舶間や地上基地局と相互通信する船舶自動識別装置（Ａｕｔｏｍａｔｉｃ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ，以下、ＡＩＳと称する）が注目されている。ＡＩＳの航海状態データには、漁業行動中を示すコードが含まれるため、ＡＩＳを正しく運用することで、個々の船舶の漁業行動を把握し、さらには海域全体での漁業の実態把握につなげることが期待される。
　しかし、一般に船舶に搭載されるＡＩＳはクラスＡとクラスＢの２種類があり、多くの場合、漁船に搭載されるＡＩＳは、航海状態を送信する機能を有しない安価なクラスＢである。また、仮にクラスＡを搭載する漁船が増えたとしても、ＡＩＳの航海状態は船員の手入力であるため、悪意ある偽装を容易に行えるという問題がある。
　この問題に対し、非特許文献１には、船舶の時系列位置情報から生成される航跡パターンから、漁と漁以外の船舶行動を判別する手法が開示されている。同手法では、離散的なＡＩＳのデータ点間を線で結ぶことで航跡画像を生成し、大量に生成した航跡画像をニューラルネットで学習する。漁を行っている船舶は特徴的な航跡を示すことがあるため、本手法によって漁と漁以外との２値判別を高精度に行うことができる。
　また、特許文献１には、自船周囲に存在する船舶をレーダーで監視して自船周囲を航行する船舶の行動パターンを解析し、該行動パターンを予めデータベースに登録した不審船の不審行動パターンと比較し、該不審行動パターンと一致又は近似する行動パターンの船舶を不審船として認定する不審船探知方法が開示されている。
Xiang Jiang, Daniel L. Silver, Baifan Hu, Erico N. de Souza, Stan Matwin: "Fishing Activity Detection from AIS Data Using Autoencoders," Canadian Conference on AI 2016: 33-39.
特開２００５－９６６７４号公報
　非特許文献１に開示される船舶行動解析手法は受信したＡＩＳ信号に基づき、各船舶の漁と漁以外の航海状態を判別する。しかしながら、ＡＩＳは船員の判断により信号の送信を停止することが可能であり、違法操業中の船舶からのＡＩＳを入手することは現実的でない。したがって、非特許文献１に開示される船舶行動解析手法では、実運用環境において、悪意あるユーザがＡＩＳを停止した環境においても船舶の行動の解析手法を確立することが課題であった。
　また、特許文献１にかかる方法では、船舶に搭載するレーダーを用いて当該船舶周辺の不審船を検出する技術を開示しているが、この場合、船舶に搭載されているレーダーが届く範囲（数十ｋｍ程度）が比較的狭いため、海域全体を監視することはできないという問題がある。また、基本的には自船に悪意を持つ船舶（海賊など）の検出が目的であるため、自船をターゲットとしない不審行動については対応していない、という問題がある。
　本発明は、船舶の時系列位置情報から、所定時刻における対象船舶の航海状態を安定的に推定する船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体を提供することを目的の１つとする。
　本開示の第１の態様にかかる船舶行動解析装置は、合成開口レーダデータから船舶を検出する船舶検出手段と、
　前記検出された船舶の航跡を抽出する航跡抽出手段と、
　前記抽出された航跡を用いて航跡パターン画像を生成する航跡パターン生成手段と、
　前記生成された航跡パターン画像を用いて前記船舶の航海状態を推定する航海状態推定手段と、
を備える。
　本開示の第２の態様にかかる船舶行動解析方法は、合成開口レーダデータから船舶を検出し、
　前記検出された船舶の航跡を抽出し、
　前記抽出された航跡を用いて航跡パターン画像を生成し、
　前記生成された航跡パターン画像を用いて前記船舶の航海状態を推定するものである。
　本開示の第３の態様にかかるプログラムが格納された非一時的なコンピュータ可読媒体は、合成開口レーダデータから船舶を検出し、
　前記検出された船舶の航跡を抽出し、
　前記抽出された航跡を用いて航跡パターン画像を生成し、
　前記生成された航跡パターン画像を用いて前記船舶の航海状態を推定する、
ことをコンピュータに実行させるものである。
　本開示によれば、船舶の時系列位置情報から、所定時刻における対象船舶の航海状態を安定的に推定することができる。
本発明の第１の実施形態に係る船舶行動学習装置の構成を示すブロック図である。 位置情報から航跡を生成する手順を示す図である。 位置情報から航跡を生成する手順を示す図である。 位置情報から航跡を生成する手順を示す図である。 本発明の第１の実施形態に係る船舶行動学習装置によって得られたパラメータを用いて構成した船舶行動解析装置を示すブロック図である。 航跡画像とそのＲａｄｏｎ変換を説明する図である。 本発明の第２の実施形態に係る船舶行動学習装置の構成を示すブロック図である。 本発明の第２の実施形態に係る船舶行動学習装置によって得られたパラメータを用いて構成した船舶行動解析装置を示すブロック図である。 ＳＡＲ画像上の移動体の変位について説明する図である。 レーダ入射角、プラットフォーム方向の速度、地表面方向の速度の関係を示す図である。 採用する航跡パターンの決定方法を説明する図である。 採用する航跡パターンの決定方法を説明する図である。
　（実施の形態１）
　以下、図面を参照して本開示の実施の形態について説明する。本開示の第１の実施形態について説明する。第１の実施形態では、まず、航跡パターンの航海状態を推定する航海状態推定器のパラメータを、ＡＩＳデータから生成した航跡パターン画像を用いて学習する。そして、実運用時には、合成開口レーダ等の画像データから抽出された船舶の航跡に基づいて生成した航跡パターン画像に対し、学習済みパラメータを用いて船舶の航海状態を推定する。
　まず、船舶の航海状態を推定する精度を向上させるための、船舶行動学習装置について説明する。
　図１を参照すると、本発明の第１の実施の形態は、船舶行動学習装置１として機能し、データ入力部１０１と、航跡パターン生成部１０２と、パターン学習部１０３と、データ蓄積部１００１と、パラメータ蓄積部１００２と、を備えている。すなわち、船舶行動学習装置１の制御部は、これらの細分化された処理のそれぞれを実行する機能演算部として機能する。制御部は、ＣＰＵ（中央処理装置）、主記憶装置、補助記憶装置、外部インタフェース等を有する。補助記憶装置は、後述する非一時的なコンピュータ可読媒体の例である。
　データ入力部１０１は、船舶の航海情報が蓄積されたデータ蓄積部１００１から、各船舶の、時間的に連続する航海状態及び位置情報のデータを抽出し、航海状態のデータと位置情報のデータを航跡パターン生成部１０２に出力する。なお、一般的に、ＧＰＳやＡＩＳから取得されるデータには速度情報が含まれるが、速度情報がない場合には、連続する２点間の空間的距離と時間的距離から速度を算出することが可能である。時間的距離については、連続する２点間のデータの取得日時から求めることが可能である。
　「船舶の航海状態」とは、例えば、機走(エンジンを使った航行)、錨泊(錨をおろして停泊中)、係留(岸壁等に停泊)、漁労中などの船舶の状態をいう。
　航跡パターン生成部１０２は、データ入力部１０１から入力される位置情報と速度情報のデータから、速度情報に基づいて描画方法を決定し、離散的な位置情報間を補間するようにして描画される航跡パターン画像を生成する。そして、航跡パターン生成部１０２は、データ入力部１０１から入力される航海状態のデータに対して、当該航跡パターン画像に対応する航海状態を本航跡パターンの正解ラベルとして設定する。そして、航跡パターン生成部１０２は、生成された航跡パターン画像と、ラベル情報と、をパターン学習部１０３に出力する。
　パターン学習部１０３は、航跡パターン生成部１０２から入力される航跡パターン画像とラベル情報とから、航跡パターン画像を教師あり学習によって機械学習し、航海状態分類器のパラメータを最適化する。そして、最適化したパラメータ（学習済みパラメータ）をパラメータ蓄積部１００２に保存する。
　データ蓄積部１００１は、船舶の航海情報が蓄積されたデータベースである。データ蓄積部１００１は、船舶の航海情報の蓄積あるいは伝送を行う。データ蓄積部１００１は、船舶の航海情報を保持するハードディスクやメモリカードなどの記憶媒体、及びそれらが接続されるネットワークなどで実現される。
　パラメータ蓄積部１００２は、船舶行動分類器のパラメータの蓄積あるいは伝送を行う。パラメータ蓄積部１００２は、パターン学習部１０３で生成された船舶行動分類器のパラメータ（学習済みパラメータ）を保持するハードディスクやメモリカードなどの記憶媒体、及びそれらが接続されるネットワークなどで実現される。
　以下、本発明の特徴的な各部の動作の詳細について説明する。
　図２を参照して、航跡パターン生成部１０２における、位置情報のデータから航跡パターン画像を生成する処理と、当該航跡パターンに対応するラベルを設定する処理について説明する。
　まず、連続する時系列位置情報ｐｉ、航海状態ｓｉのデータセットの中から、基準となる任意の時刻のデータを１つ選択する。ここでは基準時刻をＴとする。また、ｐｉは緯度経度等の絶対的な位置情報であり、緯度をｌｎｇｉ、経度をｌａｔｉとすると、
Figure JPOXMLDOC01-appb-M000001
 ・・・（式１）
で表される。各点を描画すると、例えば図２Ａのような離散点となる。
　次に、基準時刻Ｔ０の前後のｍ個のデータに対し、基準時刻Ｔに対する相対的な位置情報ｐｉ’を次式で算出する。
Figure JPOXMLDOC01-appb-M000002
 ・・・（式２）
ｒｏｕｎｄ（・）は整数値への丸め処理を表し、αは所定のスカラー値である。
　そして、基準時刻Ｔの点が所定のサイズのグリッドの中心に位置するようにしつつ、各点ｐｉ’を図２Ｂのようにマッピングする。このとき、グリッドの１マスの分解能をｒとすると、前述のαはα＝１／ｒで表される。
　次に、時間的に連続する点を直線でつなぎ、図２Ｃのような航跡画像を生成する。
　なお、ここでは簡単のために直線を用いたが、実用上は直線に限定されず、スプライン補間等を用いてもよい。なお、位置情報・速度情報のデータの時間間隔が不均一の場合には、船舶ごとのデータの時間間隔を一定に揃える処理を適用してもよい。
　そして、このようにして生成された時刻Ｔを中心として生成された航跡パターン画像が示す航海状態について、時刻Ｔにおける航海状態ｓＴが正解ラベルであるとして設定する。
　以上の処理を任意の船舶、任意の時刻において繰り返すことで大量の正解ラベル付き画像データセットを生成することができる。
　パターン学習部１０３における、航跡パターン生成部１０２から入力される航跡パターン画像とラベル情報とから、航跡パターン画像を教師あり学習によって機械学習し、航海状態分類器のパラメータを最適化する処理について説明する。
　今回は大量の正解ラベルの付いた画像データが存在するため、一般的な教師あり分類器を用いればよい。このような分類器は多岐にわたるが、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，以下ではＣＮＮと称する）などを用いればよい。
　さらに、本実施の形態では、後述するように、前記パターン学習部で得られたパラメータ（学習済みパラメータ）を用いて船舶行動解析装置を構成することができる。
　図３に示す船舶行動解析装置２は、データ入力部２０１と、船舶検出部２０２と、航跡抽出部２０３と、航跡パターン生成部２０４と、航海状態推定部２０５と、データ蓄積部２００１と、パラメータ蓄積部１００２と、を備えている。すなわち、船舶行動解析装置２の制御部は、これらの細分化された処理のそれぞれを実行する機能演算部として機能する。制御部は、ＣＰＵ（中央処理装置）、主記憶装置、補助記憶装置、外部インタフェース等を有する。補助記憶装置は、後述する非一時的なコンピュータ可読媒体の例である。
　データ入力部２０１は、海洋を撮影した合成開口レーダ（Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ，以下、ＳＡＲと称する）データを蓄積したデータ蓄積部２００１から、解析対象のＳＡＲデータを船舶検出部２０２と航跡抽出部２０３に出力する。なお、ＳＡＲデータとは、ＳＡＲ画像およびそのメタデータ（観測時刻や観測条件等を含む）から構成される。
　船舶検出部２０２は、データ入力部２０１から入力されたＳＡＲデータに対し、船舶検出処理を適用し、船舶を検出する。そして、検出された船舶の情報（船舶の位置、大きさ等）を航跡抽出部２０３に出力する。
　航跡抽出部２０３は、データ入力部２０１から入力されたＳＡＲデータに対し、船舶検出部２０２から入力された船舶情報に基づいて、航跡を抽出する。そして抽出した航跡の情報（位置）を航跡パターン生成部２０４に出力する。
　航跡パターン生成部２０４は、航跡抽出部２０３から入力された航跡情報に基づき、航跡パターン画像を生成する。そして、生成した航跡パターン画像を航海状態推定部２０５に出力する。
　航海状態推定部２０５は、パラメータ蓄積部１００２を参照して学習済みの分類器パラメータを得て、パターン学習部１０３で学習した分類器と同じ構成の分類器を再構成し、航跡パターン生成部２０４から入力される航跡パターン画像から、各航跡パターン画像の航海状態を推定する。そして、航海状態推定部２０５は、推定した航海状態を出力する。このように、本実施の形態によれば、学習済みの分類器パラメータを用いて、高精度で船舶の航海状態を推定することができる。
　以下、航海状態推定装置の特徴的な各部の動作の詳細について説明する。
　船舶検出部２０２における、ＳＡＲデータから船舶を検出する処理について説明する。ＳＡＲデータからの船舶検出においては、適応閾値処理を用いた処理が広く用いられる。適応閾値処理の考え方は非常にシンプルであり、周辺の画素と比較して極端に明るい画素を船舶として検出する手法である。これは、周辺画素の統計的な解析に基づき、船舶として検出する画素の閾値を適切に設定することで実現される。適切な閾値の設定方法には、定誤警報確率（Ｃｏｎｓｔａｎｔ　Ｆａｌｓｅ　Ａｌａｒｍ　Ｒａｔｅ，以下、ＣＦＡＲと称する）の考え方が用いられる。ＣＦＡＲでは、検出対象物以外の周辺画素を背景画素とみなし、背景画素の画素値の分布を所定の確率密度関数にフィッティングする。そして、得られた確率密度関数の累積分布関数が所定の誤警報率となる確率変数を閾値として用いる。確率密度関数としてはＫ－分布、一般化ガンマ分布などが用いられる。確率密度関数をｆ、所定の誤警報率をＰＦＡとすると、
Figure JPOXMLDOC01-appb-M000003
 ・・・（式３）
となる閾値τを算出すれば、誤警報率をＰＦＡを期待できる閾値τとなる。
　閾値τ以上の値をもつ画素を船舶由来の画素として検出する。さらに、本処理に後続して、船舶として検出された画素の連結性に基づき、船舶画素のかたまり（クラスタ）毎に一意にラベルを与える処理を適用する。なお、各クラスタの大きさが所定範囲内の大きさではない場合は船舶検出の結果から除外する処理などを適用してもよい。
　なお、ＳＡＲ画像中に陸地が含まれる場合、陸地も海面と比較して高い画素値を持つことから、船舶として誤検出されることがある。そのため、前処理として、地図情報等を用いて、陸域を船舶検出の処理から除外してもよい。
　図４を参照して航跡抽出部２０３における、ＳＡＲデータから船舶情報に基づいて航跡を抽出する処理について説明する。
　一般に、船舶が海面上に作り出す航跡は、１本の後方乱流、Ｖ字状の波であるケルビン波、さらに、後方乱流とケルビン波の間に存在するＶ字状の波の５本であることが知られている。このうち、後方乱流については海面より暗い画素となり、それ以外の４本については海面より海面より明るくなる傾向がある。また、物理特性から、ケルビン波と後方乱流のなす角度は約１９度、ケルビン波の内側のＶ字の波と後方乱流のなす角度は約４度であることが知られている。ケルビン波、ケルビン波の内側のＶ字の波は航跡の抽出をロバストに実行するために活用されるが、今回は注目する船舶が辿ったルートを示す後方乱流を抽出対象とする。
　船舶検出の結果を用いて、ある１つの船舶クラスタの中心座標をウィンドウ中心とする所定サイズのウィンドウを生成する。航跡が存在するとき、航跡はウィンドウの中心付近を通る複数の半直線となる。この半直線を検出するために、当該ウィンドウの画素に対し、Ｒａｄｏｎ変換を適用する。Ｒａｄｏｎ変換は、入力画像に対し、様々な方向に線積分を実行する手法であり、周囲と異なる明るさの直線が存在する場合、その直線の角度と位置に対応するラドン空間上の係数値がピークをもつ。後方乱流は海面画素と比較して暗いため、ラドン空間上で負のピークを探索すればよい。なお、負のピークの探索と合わせて、ケルビン波、ケルビン波の内側の波が明るい画素であることを踏まえて、負のピークと正のピークの差が最大となる係数値のセットを探索してもよい。なお、セットの探索を実行する場合、物理特性を考慮して、Ｒａｄｏｎ空間上における探索範囲を限定してもよい。例えば、ケルビン波は後方乱流に対し約１９度の角度差を持つことから、後方乱流に対応する負のピークの候補に対し、ケルビン波に対応する正のピークの探索範囲を±１９°±δθに限定してもよい。ケルビン波の内側の波に対しても同様に、±４°±δθに限定してもよい。
　後方乱流の検出後は、画像上の同半直線を辿ることで航跡を抽出できる。
　航跡パターン生成部２０４における航跡情報に基づいて航跡パターン画像を生成する処理について説明する。
　航海状態推定部２０５に入力する航跡パターン画像は図２のように白黒二値の画像であるため、抽出した航跡については白、それ以外の海面画素を黒となるように色分けする。そして、航跡の始点から終点まで、所定のサンプリング間隔で、航跡上の点がウィンドウの中心となるように、パターン学習部１０３で用いた航跡パターン画像と同じサイズのウィンドウで航跡画像を切り出す。
　ここで、本実施形態の効果について説明する。本実施形態は、ＳＡＲデータから検出された各船舶の航海状態を、船舶の航跡パターンに基づいて推定するため、ＡＩＳ信号を停止している船舶についても航海状態の推定が可能となる。
　（実施の形態２）
　本発明の第２の実施形態について説明する。第２の実施形態では、まず、航跡パターンの航海状態を推定する航海状態推定器のパラメータを、ＡＩＳデータから生成した航跡パターン画像を用いて学習する。この際、第１の実施形態とは異なり、速度の情報も用いて学習する。そして、実運用時には、合成開口レーダ等の画像データから抽出された船舶の航跡と、画像上の航跡と船舶の位置変位量から推定される船舶の速度に基づいて生成した航跡パターン画像に対し、学習済みパラメータを用いた航海状態推定を実施することで、船舶の航海状態を推定する。
　図５を参照すると、本発明の第２の実施の形態は、船舶行動学習装置３として機能し、データ入力部３０１と、航跡パターン生成部３０２と、パターン学習部３０３と、データ蓄積部１００１と、パラメータ蓄積部３００２と、を備えている。すなわち、船舶行動学習装置３の制御部は、これらの細分化された処理のそれぞれを実行する機能演算部として機能する。制御部は、ＣＰＵ（中央処理装置）、主記憶装置、補助記憶装置、外部インタフェース等を有する。補助記憶装置は、後述する非一時的なコンピュータ可読媒体の例である。船舶の航海情報が蓄積されたデータベースであるデータ蓄積部１００１については実施形態１と同様であるため説明を省略する。
　データ入力部３０１は、データ蓄積部１００１から、データベースに含まれる各船舶の、時間的に連続する航海状態、位置情報、及び速度情報のデータを抽出し、航海状態のデータと、位置情報と、速度情報のデータを航跡パターン生成部３０２に出力する。なお、一般的に、ＧＰＳやＡＩＳから取得されるデータには速度情報が含まれるが、速度情報がない場合には、連続する２点間の空間的距離と時間的距離から速度を算出することが可能である。時間的距離については、連続する２点間のデータの取得日時から求めることが可能である。
　航跡パターン生成部３０２は、データ入力部３０１から入力される位置情報と速度情報のデータから、速度情報に基づいて描画方法を決定し、離散的な位置情報間を補間するようにして描画される航跡パターン画像を生成する。そして、航跡パターン生成部３０２は、データ入力部３０１から入力される航海状態のデータに対して、当該航跡パターン画像に対応する航海状態を本航跡パターンの正解ラベルとして設定する。そして、航跡パターン生成部３０２は、生成された航跡パターン画像と、ラベル情報と、をパターン学習部３０３に出力する。
　パターン学習部３０３は、航跡パターン生成部３０２から入力される航跡パターン画像とラベル情報とから、航跡パターン画像を学習し、航海状態分類器のパラメータを最適化する。そして、パターン学習部３０３は、最適化したパラメータをパラメータ蓄積部３００２に保存する。
　パラメータ蓄積部３００２は、船舶行動分類器のパラメータの蓄積あるいは伝送を行う。このパラメータ蓄積部３００２は、パターン学習部３０３で生成された船舶行動分類器のパラメータを保持するハードディスクやメモリカードなどの記憶媒体、あるいはそれらが接続されるネットワークなどで実現される。
　以下、本発明の特徴的な各部の動作の詳細について説明する。
　航跡パターン生成部３０２における、位置情報と速度情報のデータから航跡パターン画像を生成する処理と、当該航跡パターンに対応するラベルを設定する処理について説明する。
　なお、位置情報から航跡を生成する手順については航跡パターン生成部１０２と同様であるため説明を省略する。つまり、図２Ｃの航跡の描画が終了した以降の、速度情報に基づいて航跡の描画方法を決定する方法について説明する。
　まず、連続する時系列位置情報ｐｉ、航海状態ｓｉと同じくＡＩＳ中に存在する速度情報ｖｉを、所定の最高速度ｖｍａｘを用いて下式のように変換し、０．０から１．０の範囲に正規化されたｖｉ’を算出する。
Figure JPOXMLDOC01-appb-M000004
 ・・・（式４）
　ｖｍａｘについては、現在における実用上の高速船の最高速度である４５ノット程度を入力すればよい。あるいは、各国の高速船の定義を用いて、２２ノット（日本）、２４ノット（欧州）、３０ノット（米国）でもよい。
　このｖｉ’の値に基づき、図２Ｃの航跡の描画方法を決定する。一例として、ｖｉ’に基づき描画する線の色を変更する方法として、ｖｉ’の色相環へのマッピングについて説明する。ｖ’の最小値と最大値がそれぞれ色相の０度と３６０度になるようにマッピングすると、速度の最大値と最小値が色相環上では連続してしまうため、例えば最小値が０度（赤）、最大値が２４０度（青）に対応するようにマッピングする。色相Ｈｉは次式で表される。
Figure JPOXMLDOC01-appb-M000005
 ・・・（式５）
以上より、船舶の速度情報を反映したＨＳＶ空間上の色は次式で表される。
Figure JPOXMLDOC01-appb-M000006
 ・・・（式６）
最終的に生成されるＲＧＢ空間の色は次式で表される。
Figure JPOXMLDOC01-appb-M000007
 ・・・（式７）
なお、ｆＨＳＶ２ＲＧＢ（・）はＨＳＶ色空間からＲＧＢ色空間への変換関数を表す。
　このようにして航跡は船舶の速度情報に基づいて着色される。なお、点ｐｉにおける色はＣｉ ＲＧＢを使えばよいが、点ｐｉと点ｐ（ｉ＋１）の間を結ぶ線分の色については、２点間の色が線形に変化するように重み付け和してもよいし、単純には平均値やどちらか一方の色を用いてもよい。
　なお、ｖｉ’に基づいて変更する描画方法は色だけに限定されず、例えば描画する線の太さや線の種類などでもよい。色の場合は３チャネルの航跡パターン画像、線の種類や太さの場合には１チャネルの航跡パターン画像が生成される。
　そして、このようにして生成された時刻Ｔを中心として生成された航跡パターン画像が示す航海状態について、時刻Ｔにおける航海状態ｓＴが正解ラベルであるとして設定する。
　以上の処理を任意の船舶に対し、任意の時刻において繰り返すことで大量の正解ラベル付き画像データセットを生成することができる。
　パターン学習部３０３における、航跡パターン生成部３０２から入力される航跡パターン画像とラベル情報とから、航跡パターン画像を学習し、航海状態分類器のパラメータを最適化する処理について説明する。
　パターン学習部１０３と同様に、大量の正解ラベルの付いた画像データが存在するため、一般的な教師あり分類器を用いればよい。このような分類器は多岐にわたるが、例えば畳み込みニューラルネットワーク（ＣＮＮ）などを用いればよい。なお、航跡の描画方法として色を用いた場合、ＣＮＮの入力がグレースケール画像からカラー画像に変わるため、ネットワークのチャネルの構成が変わることに注意する。
　また、本実施の形態では、後述するように、前記パターン学習部で得られたパラメータ（学習済みパラメータ）を用いて船舶行動解析装置を構成することができる。
　図６に示す船舶行動解析装置４は、データ入力部４０１と、船舶検出部４０２と、航跡抽出部４０３と、航跡パターン生成部４０４と、航海状態推定部４０５と、船速推定部４０６と、航跡選択部４０７と、データ蓄積部２００１と、パラメータ蓄積部３００２と、を備えている。すなわち、船舶行動解析装置４の制御部は、これらの細分化された処理のそれぞれを実行する機能演算部として機能する。制御部は、ＣＰＵ（中央処理装置）、主記憶装置、補助記憶装置、外部インタフェース等を有する。補助記憶装置は、後述する非一時的なコンピュータ可読媒体の例である。
　データ蓄積部２００１は実施形態１と同様であるため説明を省略する。
　データ入力部４０１は、海洋を撮影した合成開口レーダ（ＳＡＲ）データを蓄積したデータ蓄積部２００１から、解析対象のＳＡＲデータを船舶検出部４０２と、航跡抽出部４０３と、船速推定部４０６と、に出力する。なお、ＳＡＲデータとは、ＳＡＲ画像およびそのメタデータ（観測時刻や観測条件等を含む）から構成される。
　船舶検出部４０２は、データ入力部２０１から入力されたＳＡＲデータに対し、船舶検出処理を適用し、船舶を検出する。そして、船舶検出部４０２は、検出された船舶の情報（船舶の位置、大きさ等）を航跡抽出部４０３と、船速推定部４０６と、に出力する。
　航跡抽出部４０３は、データ入力部２０１から入力されたＳＡＲデータに対し、船舶検出部４０２から入力された船舶情報に基づいて、航跡を抽出する。そして、航跡抽出部４０３は、抽出した航跡の情報（位置）を航跡パターン生成部４０４と、船速推定部４０６と、航跡選択部４０７と、に出力する。
　航跡パターン生成部４０４は、航跡抽出部４０３から入力された航跡情報と、船速推定部４０６から入力される船舶の速度情報と、航跡選択部４０７から入力される航跡選択情報と、に基づき、航跡パターン画像を生成する。そして、航跡パターン生成部４０４は、生成した航跡パターン画像を航海状態推定部２０５に出力する。
　航海状態推定部４０５は、パラメータ蓄積部３００２を参照して学習済みの分類器パラメータを得て、前述したパターン学習部３０３で学習した分類器と同じ構成の分類器を再構成し、航跡パターン生成部２０４から入力される航跡パターン画像から、各航跡パターン画像の航海状態を推定する。そして、航海状態推定部４０５は、推定した航海状態を出力する。
　船速推定部４０６は、データ入力部４０１から入力されるＳＡＲデータと、船舶検出部４０２から入力される船舶情報と、航跡抽出部４０３から入力される航跡情報と、から、船舶の速度を推定する。そして、推定した船舶の速度を航跡パターン生成部４０４に出力する。
　航跡選択部４０７は、航跡抽出部４０３から入力される航跡情報に基づいて、パターン生成に用いる航跡を選択する。そして、航跡選択部４０７は、選択した航跡の情報を航跡パターン生成部４０４に出力する。
　なお、船舶検出部４０２と、航跡抽出部４０３と、航海状態推定部４０５と、については、データの入出力が前述の実施形態と異なるだけで実質的には同様であるため詳細な説明を省略する。
　以下、航海状態推定装置の特徴的な部位として、船速推定部４０６と航跡選択部４０７と航跡パターン生成部４０４の動作の詳細について説明する。
　船速推定部４０６における、ＳＡＲデータと船舶情報と航跡情報に基づいて、船舶の速度を推定する処理について説明する。
　図７はＳＡＲ画像上の移動体の変位について説明する図である。ＳＡＲ画像には、撮影範囲内の移動体は、画像上、本来の位置から変位して結像される特性がある。その変位量ΔＸは、ＳＡＲのアンテナを搭載したプラットフォーム（人工衛星システム）７０の移動速度Ｖ、プラットフォーム７０と地表の移動体８０までの距離Ｒ、及び地表の移動体８０のプラットフォーム方向の移動速度ｖＲを用いて、次式として算出される。
Figure JPOXMLDOC01-appb-M000008
 ・・・（式８）
　一般に、プラットフォーム７０の移動速度Ｖやプラットフォーム７０と地表の移動体（地表物）８０までの距離Ｒについては、ＳＡＲデータのメタデータから抽出可能である。船舶の位置、及び航跡の位置が与えられれば、ΔＸは画像上から推定可能であるため、ＳＡＲデータのみから地表の移動体８０の速度が推定可能となる。
　なお、ここで推定される速度はプラットフォーム方向の移動速度であるため、本実施の形態のように移動体８０が船舶の場合は、地表面に沿う方向の速度に換算する必要がある。図８はレーダ入射角θｉ、プラットフォーム方向の速度ｖＲ、及び地表面方向の速度ｖの関係を示す図である。これより、
Figure JPOXMLDOC01-appb-M000009
 ・・・（式９）
が成り立つ。なお、画像の各地点におけるレーダ入射角情報は、一般に、プラットフォーム７０の移動速度Ｖやプラットフォーム７０と地表物（移動体８０）までの距離Ｒと同様に、ＳＡＲデータのメタデータから抽出可能である。
　図９及び図１０を参照して、航跡選択部４０７における、航跡情報に基づいて、パターン生成に用いる航跡を選択する処理について説明する。
　ＳＡＲデータから推測される船舶の速度のデータは、あくまでＳＡＲデータ撮影時におけるタイミングのものであるが、一般的に、図９に示すように、船舶が直線的に進んでいる際（曲率が小さい場合）には速度変化が小さい。そこで、図１０に示すように、船舶に近い航跡から順に、所定サイズのウィンドウ１０内における航跡を直線とみなして角度を求め、角度の変化が大きくなった時点で速度変化が発生したとみなし、航跡を打ち切る。すなわち、図１０では、船舶に近い航跡から５つ目のウィンドウ１０で、速度変化が発生したものとみなし、船舶に近い４つ目までのウィンドウ１０内の航跡を採用する。以上のように、航跡選択部４０７は、対象船舶に近い航跡から当該航跡の角度が閾値以下の航跡を選択する。
　航跡の角度の算出には様々な手法を用いることができるが、航跡抽出と同様に、Ｒａｄｏｎ変換を用いてもよい。船舶の最も近くに位置するウィンドウから順に、各ウィンドウにおいて最も顕著な直線の角度を求め、直前のウィンドウにおける直線の角度との差が所定値を超えたときに、航跡を打ち切る。
　航跡パターン生成部４０４における、航跡情報と、船舶の速度情報と、航跡選択情報と、に基づき、航跡パターン画像を生成する処理について説明する。
　航海状態推定部４０５に入力する航跡パターン画像は速度情報を反映した画像であるため、船舶の速度情報に基づいて、航跡パターン生成部３０２と同様の方法で、抽出した航跡に速度情報を重畳する。航跡以外の海面画素については黒となるようにする。そして、航跡の始点から、航跡選択情報に基づいて決定される航跡の終点まで、所定のサンプリング間隔で、航跡上の点がウィンドウの中心となるように、パターン学習部１０３で用いた航跡パターン画像と同じサイズのウィンドウで航跡画像を切り出す。
　ここで、本実施形態の効果について説明する。本実施形態は、船舶の速度情報を航跡に重畳することによって航海状態に関する情報量を増やし、航跡のみからの分類が困難な航海状態の安定的な推定が可能となる。
　なお、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
　以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。例えば、実施形態１と実施形態２は同時に用いることができ、実施形態２において、速度変化が発生したとみなした以降の航跡については、実施形態1の方法によって航跡画像を生成し、実施形態１の航海状態推定部によって航海状態を推定してもよい。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１　　　　　　船舶行動学習装置
２　　　　　　船舶行動解析装置
３　　　　　　船舶行動学習装置
４　　　　　　船舶行動解析装置
１０１　　　　　　データ入力部
１０２　　　　　　航跡パターン生成部
１０３　　　　　　パターン学習部
２０１　　　　　　データ入力部
２０２　　　　　　船舶検出部
２０３　　　　　　航跡抽出部
２０４　　　　　　航跡パターン生成部
２０５　　　　　　航海状態推定部
３０１　　　　　　データ入力部
３０２　　　　　　航跡パターン生成部
３０３　　　　　　パターン学習部
４０１　　　　　　データ入力部
４０２　　　　　　船舶検出部
４０３　　　　　　航跡抽出部
４０４　　　　　　航跡パターン生成部
４０５　　　　　　航海状態推定部
４０６　　　　　　船速推定部
４０７　　　　　　航跡選択部
１００１　　　　　データ蓄積部
１００２　　　　　パラメータ蓄積部
２００１　　　　　データ蓄積部
３００２　　　　　パラメータ蓄積部

Claims (10)

  1. 　合成開口レーダデータから船舶を検出する船舶検出手段と、
    　前記検出された船舶の航跡を抽出する航跡抽出手段と、
    　前記抽出された航跡を用いて航跡パターン画像を生成する航跡パターン生成手段と、
    　前記生成された航跡パターン画像を用いて前記船舶の航海状態を推定する航海状態推定手段と、
    を備える船舶行動解析装置。
  2. 　前記航海状態推定手段は、
    複数の航跡パターンと当該複数の航跡パターンそれぞれに対応する正解ラベルである正解航海状態とを用いて予め機械学習によって生成された学習済みパラメータを用いて、前記船舶の航海状態を推定する、
    　請求項１に記載の船舶行動解析装置。
  3. 　前記航跡パターン生成手段は、前記航跡を、前記船舶の速度に応じて異なる描画方法で描画するように、前記航跡パターンを生成する、請求項１又は２に記載の船舶行動解析装置。
  4. 　前記描画方法は、前記航跡パターンの線の色、線の太さ及び線の種類を含む群から選択される、請求項３に記載の船舶行動解析装置。
  5. 　前記航跡抽出手段から入力される航跡情報に基づいて、パターン生成に用いる航跡を選択する航跡選択手段とを更に備える、請求項１～４のいずれか一項に記載の船舶行動解析装置。
  6. 　前記航跡選択手段は、前記船舶に近い航跡から当該航跡の角度が閾値以下の航跡を選択する、請求項５に記載の船舶行動解析装置。
  7. 　前記航跡抽出手段及び前記航跡選択手段は、ラドン変換を用いる、請求項５又は６に記載の船舶行動解析装置。
  8. 　前記船舶検出手段は、適応閾値処理を用いて、船舶を検出する、請求項１～７のいずれか一項に記載の船舶行動解析装置。
  9. 　合成開口レーダデータから船舶を検出し、
    　前記検出された船舶の航跡を抽出し、
    　前記抽出された航跡を用いて航跡パターン画像を生成し、
    　前記生成された航跡パターン画像を用いて前記対象船舶の航海状態を推定する、
    船舶行動解析方法。
  10. 　合成開口レーダデータから船舶を検出し、
    　前記検出された船舶の航跡を抽出し、
    　前記抽出された航跡を用いて航跡パターン画像を生成し、
    　前記生成された航跡パターン画像を用いて前記対象船舶の航海状態を推定する、
    ことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2019/004306 2019-02-06 2019-02-06 船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体 WO2020161843A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020570276A JP7184101B2 (ja) 2019-02-06 2019-02-06 船舶行動解析装置、船舶行動解析方法及びプログラム
US17/427,991 US20220120892A1 (en) 2019-02-06 2019-02-06 Ship behavior analyzing device, ship behavior analyzing method, and non-transitory computer-readable medium
PCT/JP2019/004306 WO2020161843A1 (ja) 2019-02-06 2019-02-06 船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/004306 WO2020161843A1 (ja) 2019-02-06 2019-02-06 船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2020161843A1 true WO2020161843A1 (ja) 2020-08-13

Family

ID=71947754

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004306 WO2020161843A1 (ja) 2019-02-06 2019-02-06 船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20220120892A1 (ja)
JP (1) JP7184101B2 (ja)
WO (1) WO2020161843A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130146A (zh) * 2020-08-26 2020-12-25 南京航空航天大学 基于Radon变换与机器学习的视频合成孔径雷达动目标亮线检测方法
JP7010422B1 (ja) * 2021-06-03 2022-01-26 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN114462529A (zh) * 2022-01-24 2022-05-10 北京中交通信科技有限公司 一种渔船双拖作业方式识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067400A (ja) * 1998-08-26 2000-03-03 Mitsubishi Electric Corp 自動船舶航跡検出装置
JP2001004398A (ja) * 1999-06-25 2001-01-12 Mitsubishi Space Software Kk 衛星ｓａｒ画像に基づく移動体の移動情報検出方法
JP2005096674A (ja) * 2003-09-26 2005-04-14 Kawasaki Shipbuilding Corp 不審船探知方法及び装置
JP2008009846A (ja) * 2006-06-30 2008-01-17 Natl Inst For Land & Infrastructure Management Mlit 広域用船舶動静監視方法及びシステム
JP2015148452A (ja) * 2014-02-05 2015-08-20 三菱電機株式会社 合成開口レーダ装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422738B1 (en) * 2008-08-25 2013-04-16 The United States Of America As Represented By The Secretary Of The Navy Adaptive automated synthetic aperture radar vessel detection method with false alarm mitigation
US8903134B2 (en) * 2010-07-21 2014-12-02 Ron Abileah Methods for mapping depth and surface current

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067400A (ja) * 1998-08-26 2000-03-03 Mitsubishi Electric Corp 自動船舶航跡検出装置
JP2001004398A (ja) * 1999-06-25 2001-01-12 Mitsubishi Space Software Kk 衛星ｓａｒ画像に基づく移動体の移動情報検出方法
JP2005096674A (ja) * 2003-09-26 2005-04-14 Kawasaki Shipbuilding Corp 不審船探知方法及び装置
JP2008009846A (ja) * 2006-06-30 2008-01-17 Natl Inst For Land & Infrastructure Management Mlit 広域用船舶動静監視方法及びシステム
JP2015148452A (ja) * 2014-02-05 2015-08-20 三菱電機株式会社 合成開口レーダ装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130146A (zh) * 2020-08-26 2020-12-25 南京航空航天大学 基于Radon变换与机器学习的视频合成孔径雷达动目标亮线检测方法
JP7010422B1 (ja) * 2021-06-03 2022-01-26 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2022254651A1 (ja) * 2021-06-03 2022-12-08 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN114462529A (zh) * 2022-01-24 2022-05-10 北京中交通信科技有限公司 一种渔船双拖作业方式识别方法及装置

Also Published As

Publication number Publication date
US20220120892A1 (en) 2022-04-21
JP7184101B2 (ja) 2022-12-06
JPWO2020161843A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
WO2020161843A1 (ja) 船舶行動解析装置、船舶行動解析方法及び非一時的なコンピュータ可読媒体
CN112699315B (zh) 基于ais数据的船舶异常行为探测方法
US20190204416A1 (en) Target object detecting device, method of detecting a target object and computer readable medium
CN111899568B (zh) 桥梁防撞预警系统、方法、装置和存储介质
US11681036B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
CN109817023B (zh) 一种海缆水域ais目标检测方法
US20190137624A1 (en) Signal processing device and radar device
JP6732900B2 (ja) 信号処理装置及びレーダ装置
Yu et al. Deep learning approaches for AIS data association in the context of maritime domain awareness
Sánchez-Heres Simplification and event identification for AIS trajectories: the equivalent passage plan method
Xu et al. Trajectory clustering for SVR-based Time of Arrival estimation
JP6611796B2 (ja) 信号処理装置、及びレーダ装置
CN112101250B (zh) 一种基于上下文语义感知的近岸舰船目标检测方法
Hu et al. Statistical analysis of massive AIS trajectories using Gaussian mixture models
CN111709308B (zh) 一种基于无人机的海上遇险人员检测和跟踪方法及其系统
Chapple Unsupervised detection of mine-like objects in seabed imagery from autonomous underwater vehicles
US20220003554A1 (en) Ship movement learning method, ship movement learning system, service condition estimation method, and service condition estimation system
Chen et al. Rain detection from X-band marine radar images
Anneken et al. Synthetic trajectory extraction for maritime anomaly detection
WO2020157964A1 (ja) 船舶解析装置、船舶行動学習装置、船舶解析システム、船舶解析方法、船舶行動学習方法及び記録媒体
Vijverberg et al. Object localization and path prediction using radar and other sources towards autonomous shipping
CN118050728B (zh) 一种用于航道安全监控的目标获取方法及系统
CN115273557B (zh) 一种基于ais的在航船舶碰撞风险检测及预警方法和系统
Kumar et al. Detection and Identification of Threat Potential of Ships using Satellite Images and AIS Data.
US20240193904A1 (en) Method and system for determining a region of water clearance of a water surface

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914345

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020570276

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19914345

Country of ref document: EP

Kind code of ref document: A1