WO2023112349A1 - 物標監視装置、物標監視方法、及びプログラム - Google Patents

物標監視装置、物標監視方法、及びプログラム Download PDF

Info

Publication number
WO2023112349A1
WO2023112349A1 PCT/JP2022/014831 JP2022014831W WO2023112349A1 WO 2023112349 A1 WO2023112349 A1 WO 2023112349A1 JP 2022014831 W JP2022014831 W JP 2022014831W WO 2023112349 A1 WO2023112349 A1 WO 2023112349A1
Authority
WO
WIPO (PCT)
Prior art keywords
ship
vessel
course
distance
target
Prior art date
Application number
PCT/JP2022/014831
Other languages
English (en)
French (fr)
Inventor
悠太 高橋
Original Assignee
古野電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古野電気株式会社 filed Critical 古野電気株式会社
Publication of WO2023112349A1 publication Critical patent/WO2023112349A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a target monitoring device, a target monitoring method, and a program.
  • Patent Document 1 discloses a technique for calculating the length of a ship using radar.
  • the radar since the radar has low azimuth resolution, it is difficult to determine the size of the ship from the radar echo.
  • the present invention has been made in view of the above problems, and its main purpose is to provide a target monitoring device, a target monitoring method, and a program capable of improving the accuracy of estimating the hull length. be.
  • a target object monitoring apparatus includes a data acquisition unit that acquires image data including a vessel observed by an imaging sensor, and an area of the vessel included in the image data.
  • an image recognition unit that detects a distance from an observation position detected by a sensor different from the imaging sensor to the vessel; and a distance that is detected by a sensor different from the imaging sensor a course acquisition unit that acquires the course of the ship; and a hull length estimation unit that estimates the hull length of the ship based on the horizontal dimension of the area of the ship, the distance to the ship, and the course of the ship.
  • the hull length estimation unit may estimate the hull length of the ship further based on a predetermined hull aspect ratio. According to this, it becomes possible to improve the estimation accuracy of the hull length.
  • the imaging sensor is a camera
  • the hull length estimation unit is based on the horizontal dimension of the image data, the horizontal dimension of the area of the vessel, and the horizontal angle of view of the camera.
  • the hull length of the ship may be estimated based on the occupancy angle of the ship, the distance to the ship, and the course of the ship. According to this, it becomes possible to improve the estimation accuracy of the hull length.
  • the hull length estimation unit includes: the horizontal dimension of the image data, the horizontal dimension of the area of the target, the horizontal angle of view of the camera, the focal length of the camera, and the An occupancy angle of the target within the angle of view may be calculated based on the optical center. According to this, it becomes possible to improve the estimation accuracy of the hull length.
  • the another sensor may be a radar
  • the distance acquisition unit may acquire the distance to the ship based on data detected by the radar. According to this, it is possible to estimate the hull length using the distance to the ship detected by the radar.
  • the another sensor may be a radar
  • the course acquisition unit may acquire the course of the ship based on data detected by the radar. According to this, it becomes possible to estimate the hull length using the course of the ship detected by the radar.
  • the image recognition unit may detect a bounding box surrounding the ship included in the image as the region of the ship. This makes it easier to obtain the horizontal dimensions of the area of the ship.
  • a target monitoring method acquires image data including a vessel observed by an imaging sensor, detects an area of the vessel included in the image data, obtains the distance of said vessel from an observation position detected by another sensor, obtains the course of said vessel detected by a sensor different from said imaging sensor, and obtains the horizontal dimension of said vessel's area, , the hull length of the vessel is estimated based on the distance to the vessel and the course of the vessel. According to this, it becomes possible to improve the estimation accuracy of the hull length.
  • a program comprises acquiring image data including a vessel observed by an imaging sensor, detecting an area of the vessel included in the image data, obtaining a distance to the vessel from an observation position detected by another sensor; obtaining a course of the vessel detected by a sensor other than the imaging sensor; and a horizontal direction of the area of the vessel. , the distance to the vessel, and the course of the vessel, estimating the hull length of the vessel. According to this, it becomes possible to improve the estimation accuracy of the hull length.
  • FIG. 3 is a diagram illustrating a configuration example of an image processing unit;
  • FIG. FIG. 5 is a diagram showing an example of image recognition;
  • FIG. 4 is a diagram showing examples of bounding boxes;
  • FIG. 4 is a diagram showing an example of echo;
  • FIG. 4 is a diagram showing an example of echo;
  • It is a figure which shows the example of calculation of hull length. It is a figure which shows the example of calculation of hull length. It is a figure which shows the example of calculation of hull length. It is a figure which shows the example of calculation of hull length. It is a figure which shows the procedure example of a target monitoring method.
  • FIG. 1 is a block diagram showing a configuration example of the target monitoring system 100.
  • the target object monitoring system 100 is a system mounted on a ship.
  • the ship equipped with the target monitoring system 100 is called “own ship”, and the other ships are called “other ships”.
  • a target monitoring system 100 includes a target monitoring device 1, a display unit 2, a radar 3, an AIS 4, a camera 5, a GNSS receiver 6, a gyrocompass 7, an ECDIS 8, a wireless communication unit 9, and a ship maneuvering control unit 10. . These devices are connected to a network N such as a LAN, and are capable of network communication with each other.
  • a network N such as a LAN
  • the target monitoring device 1 is a computer including a CPU, RAM, ROM, non-volatile memory, input/output interface, and the like.
  • the CPU of the target monitoring device 1 executes information processing according to a program loaded from the ROM or nonvolatile memory to the RAM.
  • the program may be supplied via an information storage medium such as an optical disc or memory card, or may be supplied via a communication network such as the Internet or LAN.
  • the display unit 2 displays the display image generated by the target monitoring device 1.
  • the display unit 2 also displays radar images, camera images, electronic charts, and the like.
  • the display unit 2 is, for example, a display device with a touch sensor, a so-called touch panel.
  • the touch sensor detects a position within the screen indicated by a user's finger or the like.
  • the designated position is not limited to this, and may be input by a trackball or the like.
  • the radar 3 emits radio waves around its own ship, receives the reflected waves, and generates echo data based on the received signals. Also, the radar 3 identifies a target from the echo data and generates TT data (Target Tracking) representing the position and speed of the target.
  • TT data Target Tracking
  • the AIS (Automatic Identification System) 4 receives AIS data from other ships around the ship or from land control. Not limited to AIS, VDES (VHF Data Exchange System) may be used.
  • the AIS data includes identification codes of other ships, ship names, positions, courses, ship speeds, ship types, hull lengths, destinations, and the like.
  • the camera 5 is a digital camera that captures images of the outside from the own ship and generates image data.
  • the camera 5 is installed, for example, on the bridge of the own ship facing the heading.
  • the camera 5 may be a camera having pan/tilt/zoom functions, a so-called PTZ camera.
  • the camera 5 may include an image recognition unit that estimates the position and type of targets such as other ships included in the captured image using an object detection model.
  • the image recognition unit is not limited to the camera 5, and may be realized in another device such as the target object monitoring device 1 or the like.
  • the GNSS receiver 6 detects the position of the own ship based on radio waves received from the GNSS (Global Navigation Satellite System).
  • the gyrocompass 7 detects the heading of the own ship.
  • a GPS compass may be used instead of the gyro compass.
  • the ECDIS (Electronic Chart Display and Information System) 8 acquires the ship's position from the GNSS receiver 6 and displays the ship's position on the electronic chart.
  • the ECDIS 8 also displays the planned route of the own ship on the electronic chart.
  • a GNSS plotter may be used.
  • the radio communication unit 9 includes various radio equipment for realizing communication with other ships or land control, such as ultra-high frequency, ultra-high frequency band, medium short wave band, and short wave band radio equipment.
  • the ship steering control unit 10 is a control device for realizing automatic ship steering, and controls the steering gear of the own ship. Further, the ship maneuvering control unit 10 may control the engine of the own ship.
  • the target monitoring device 1 is an independent device, but it is not limited to this, and may be integrated with other devices such as the ECDIS 8. That is, the functional units of the target monitoring device 1 may be realized by another device.
  • the target monitoring device 1 is mounted on the own ship and used to monitor targets of other ships, etc. existing around the own ship, but the application is not limited to this.
  • the target monitoring device 1 may be installed in a control on land and used to monitor vessels existing in the controlled sea area.
  • FIG. 2 is a diagram showing a configuration example of the target monitoring device 1.
  • the control unit 20 of the target monitoring device 1 includes data acquisition units 11 , 12 , 13 , an image processing unit 14 , a data integration unit 15 , a display control unit 16 and a ship maneuvering determination unit 17 . These functional units are implemented by the control unit 20 executing information processing according to programs.
  • the control unit 20 of the target monitoring device 1 further includes a radar management DB (database) 21, an AIS management DB 22, a camera management DB 23, and an integrated management DB 24. These storage units are provided in the memory of the control unit 20 .
  • the data acquisition unit 11 sequentially acquires the TT data generated by the radar 3 as target data and registers it in the radar management DB 21.
  • the target data registered in the radar management DB 21 includes the position, ship speed, course, etc. of targets such as other ships detected by the radar 3.
  • the target data registered in the radar management DB 21 may further include the track of the target, the elapsed time from detection, the size of the echo image, the signal strength of the reflected wave, and the like.
  • the data acquisition unit 12 acquires the AIS data received by the AIS 4 as target data, and registers it in the AIS management DB 22.
  • the target data registered in the AIS management DB 22 includes the position, speed, course, etc. of other ships detected by the AIS 4.
  • the target data registered in the AIS management DB 22 may further include the type of other ship, ship name, destination, and the like.
  • the data acquisition unit 13 acquires images captured by the camera 5 including targets such as other ships.
  • the data acquisition unit 13 sequentially acquires time-series images from the camera 5 and sequentially provides the images to the image processing unit 14 .
  • Time-series images are, for example, still images (frames) included in moving image data.
  • the image processing unit 14 performs predetermined image processing such as image recognition on the image acquired by the data acquisition unit 13, generates target data of the target recognized from the image, and registers the data in the camera management DB 23. do. Details of the image processing unit 14 will be described later.
  • the target data registered in the camera management DB 23 includes the positions, ship speeds, courses, etc. of targets such as other ships calculated by the image processing unit 14 .
  • the target data registered in the camera management DB 23 may further include target size, target type, elapsed time from detection, and the like.
  • the position of the own ship detected by the GNSS receiver 6 is converted to an absolute position using .
  • the targets detected by the radar 3 and the targets recognized from the images captured by the camera 5 are mainly ships, but may also include, for example, buoys.
  • the data integration unit 15 registers the target data registered in the radar management DB 21, the AIS management DB 22, and the camera management DB 23 in the integrated management DB 24 for managing these databases across.
  • the target data registered in the integrated management DB 24 includes the positions, ship speeds, courses, and the like of targets of other ships and the like.
  • the data integration unit 15 combines the positions included in the target data registered in one of the radar management DB 21, the AIS management DB 22, and the camera management DB 23 with the target data registered in the other one. , the target data are integrated and registered in the integrated management DB 24 .
  • the display control unit 16 generates a display image including an object representing the target based on the target data registered in the integrated management DB 24 and outputs the display image to the display unit 2 .
  • the display image is, for example, a radar image, an electronic chart, or a composite image thereof, and the object representing the target is placed at a position in the image corresponding to the actual position of the target.
  • the ship maneuvering determination unit 17 makes ship maneuvering decisions based on the target data registered in the integrated management DB 24, and causes the ship maneuvering control unit 10 to perform avoidance maneuvers when it is determined that it is necessary to avoid the target. Specifically, the ship maneuvering control unit 10 calculates a avoidance route for avoiding the target using a avoidance maneuvering algorithm, and controls the steering gear, the engine, and the like so that the own ship follows the avoidance route.
  • FIG. 3 is a diagram showing a configuration example of the image processing unit 14.
  • the image processing unit 14 includes an image recognition unit 31 , a distance/course acquisition unit 32 and a hull length estimation unit 33 .
  • the figure shows a configuration related to the function of estimating the hull length of another ship among the functions realized by the image processing unit 14 .
  • the image processing unit 14 acquires from the data acquisition unit 13 image data including targets such as other ships captured by the camera 5 .
  • Camera 5 is an example of an imaging sensor. Not limited to this, image data observed by other imaging sensors such as LiDAR (Light Detection and Ranging) may be acquired. Image data observed by LiDAR shall also be included in image data.
  • LiDAR Light Detection and Ranging
  • the image recognition unit 31 detects the ship area included in the image acquired by the data acquisition unit 13 . Specifically, the image recognition unit 31 uses a learned model generated in advance by machine learning to calculate the area of the ship, the type of the target, and the reliability of the estimation included in the image.
  • the type of target is, for example, the type of vessel such as a tanker or a fishing boat. Not limited to this, the image recognition unit 31 may recognize the area, type, etc. of the target included in the image based on a rule.
  • the trained model is an object detection model such as SSD (Single Shot MultiBox Detector) or YOLO (You Only Look Once), and detects the bounding box surrounding the ship included in the image as the ship's area.
  • the trained model is not limited to this, and may be a segmentation model such as Semantic Segmentation or Instance Segmentation.
  • FIG. 4 is a diagram showing an example of image P recognition.
  • FIG. 5 is an enlarged view of the bounding box BB. As shown in these figures, the other ship SH included in the image P is surrounded by a rectangular bounding box BB. A label CF describing the type of target and the degree of reliability of estimation is added to the bounding box BB.
  • Lb in FIG. 4 represents the horizontal dimension of the image P.
  • Lw in FIG. 5 represents the horizontal dimension of the area of the other ship SH, that is, the horizontal dimension of the bounding box BB.
  • the horizontal direction of the image is the direction corresponding to the horizontal direction of the real space, and is the horizontal direction in the illustrated example.
  • the dimensions are expressed in pixels, for example.
  • the accuracy of estimating the hull length is improved by using the data of the other ship SH detected by the target detection unit other than the camera 5, as described below.
  • the distance/course acquisition unit 32 acquires the distance from the own ship to the other ship and the course of the other ship from the TT data generated by the radar 3. Specifically, the distance/course acquisition unit 32 reads the target object data of the target other ship from the radar management DB 21, and calculates the distance from the own ship to the other ship and the course of the other ship from the read target object data. to get Radar 3 is an example of "another sensor".
  • the other ship's course is, for example, the other ship's course over ground (COG: Course Over Ground).
  • COG Course Over Ground
  • the heading (HDG: Heading) of another ship may be used.
  • the heading it is preferable to use the heading to estimate the hull length, the course over the ground is used in this embodiment because it is easy to obtain.
  • the echo EC detected by the radar 3 it is possible to identify the distance d to the target MK and the course DR of the target MK.
  • the echo EC has a shape that spreads in the angular direction, that is, the radar 3 has a low azimuth resolution, it is difficult to specify the size of the target MK from the size of the echo EC. In particular, this difficulty becomes more pronounced as the distance d increases.
  • the azimuth width (occupancy angle) ⁇ of the other ship SH obtained by the camera 5 with high azimuth resolution and the distance of the other ship SH obtained by the radar 3 with high distance resolution By combining d and course DR, the accuracy of estimating the hull length of the other ship SH is improved.
  • the distance/course acquisition unit 32 may acquire the distance from the own ship to the other ship and the course of the other ship from the AIS data received by the AIS 4.
  • the hull length estimation unit 33 estimates the hull of the other ship based on the horizontal dimension of the area of the other ship detected by the image recognition unit 31 and the distance and course of the other ship acquired by the distance/course acquisition unit 32. Estimate length. In addition, the hull length estimator 33 estimates the hull length of the other ship further based on a predetermined hull aspect ratio. Before estimating the hull length, the image may be subjected to preprocessing such as distortion correction.
  • the occupancy angle (azimuth width) ⁇ of the other ship SH within the angle of view ⁇ is calculated.
  • Dimensions Lb and Lw represent dimensions in the image (eg number of pixels).
  • a distance d represents a distance in real space detected by the radar 3 .
  • the angle of view ⁇ is an angle that represents the range included in an image captured by the camera 5, and is determined by the lens of the camera 5.
  • the occupancy angle ⁇ of the other ship SH is an angle representing the range occupied by the other ship SH, and is the angle between the left end and the right end of the other ship SH with the camera 5 as the center.
  • the ratio between the horizontal dimension Lb of the image and the horizontal dimension Lw of the area of the other ship SH can be regarded as the same as the ratio between the horizontal angle of view ⁇ of the camera 5 and the occupancy angle ⁇ of the other ship SH, Thereby, the occupation angle ⁇ of the other ship SH can be calculated.
  • the hull length estimator 33 calculates the horizontal dimension Lb of the image, the horizontal dimension Lw of the area of the target SH, the horizontal angle of view ⁇ of the camera 5, Further based on the optical center, the occupancy angle ⁇ of the target SH within the angle of view ⁇ may be calculated. That is, in order to consider the camera intrinsic parameters of the perspective projection model, the occupancy angle ⁇ of the target SH may be calculated using the focal length and optical center of the camera 5 representing the camera intrinsic parameters.
  • the hull length estimation unit 33 as shown in FIG.
  • the hull length L of the other ship SH is estimated based on the deviation angle ⁇ asp corresponding to the aspect ratio of .
  • Equation 1 The hull length L of the other ship SH is expressed by Equation 1 below.
  • L dig is the length of the diagonal when the hull of the other ship SH is assumed to be rectangular, and corresponds to the occupancy angle ⁇ of the other ship SH (that is, it corresponds to the portion captured in the image).
  • ⁇ asp is the deviation angle of L dig from the other ship's course ⁇ determined by the aspect ratio of the hull, and is represented by tan ⁇ 1 (hull width/hull length).
  • L dig is represented by Equation 2 below.
  • Equation 2 The derivation of Equation 2 will be described using FIG. 10 as an example when ⁇ is in the range of 0° to 90°.
  • A is the line segment from the position P of the own ship to the left end of the diagonal line of the other ship SH
  • B is the line segment to the right end.
  • the angle obtained by combining the course ⁇ of the other ship SH and the deviation angle ⁇ asp is defined as ⁇ '.
  • Equation 3 The triangle surrounded by the left and right ends of the diagonal line of the other ship SH and the position P of the own ship is represented by Equation 3 below.
  • Equation 4 Multiplying both sides of Equation 3 by 2 cos ⁇ yields Equation 4 below.
  • vectors A and B with the position P of the own ship as the origin are expressed as in Equation 5 below.
  • Equation 9 By solving this Equation 8 for L' using the solution formula, Equation 9 below is obtained.
  • Equation 10 is the same as Equation 2 above.
  • the hull length estimation unit 33 estimates the hull length L of the other ship SH as described above.
  • the hull length L of the other ship SH estimated by the hull length estimation unit 33 is included in the target object data together with the position, speed, course, etc. of the other ship SH, and registered in the camera management DB 23 .
  • the area of the other ship SH is detected by image recognition from the image captured by the camera 5.
  • the area of the other ship SH is detected by other sensors such as LiDAR (Light Detection and Ranging).
  • the area of the other ship SH may be detected by image recognition from image data including the other ship.
  • the sensor preferably has higher azimuth resolution than the radar 3 .
  • FIG. 11 is a diagram showing a procedure example of a target monitoring method implemented in the target monitoring system 100.
  • FIG. The figure mainly shows the process of estimating the hull length of another ship.
  • the target monitoring device 1 executes the processing shown in the figure according to the program.
  • the target monitoring device 1 acquires the image captured by the camera 5, it performs image recognition processing, and calculates the area of the other ship, the type of ship, and the reliability of the estimation included in the image (S11, image recognition processing as unit 31).
  • the target monitoring device 1 acquires the horizontal dimension of the area of the other ship calculated by the image recognition processing (S12).
  • the horizontal dimension of the other ship's area is the horizontal dimension Lw of the bounding box BB (see FIG. 5).
  • the target monitoring device 1 acquires the distance from the own ship to the other ship and the course of the other ship based on the target data detected by the radar 3 (S13, process).
  • the target monitoring device 1 estimates the hull length of the other ship based on the horizontal dimension of the area of the other ship, the distance from the own ship to the other ship, and the course of the other ship (S14, hull processing as the length estimation unit 33).
  • the target monitoring device 1 After that, the target monitoring device 1 generates target data including the hull length of the other ship together with the position, speed, course, etc. of the other ship, and registers it in the camera management DB 23 (S15). This completes a series of processes for the image.
  • Target monitoring device 2 Display unit, 3 Radar, 4 AIS, 5 Camera, 6 GNSS receiver, 7 Gyro compass, 8 ECDIS, 9 Wireless communication unit, 10 Ship operation control unit, 20 Control unit, 11, 12, 13 Data Acquisition Unit, 14 Image Processing Unit, 15 Data Integration Unit, 16 Display Control Unit, 17 Vessel Operation Judgment Unit, 21 Radar Management DB, 22 AIS Management DB, 23 Camera Management DB, 24 Integrated Management DB, 31 Image Recognition Section, 32 Distance/Course Acquisition Section, 33 Hull Length Estimation Section, 100 Target Monitoring System

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】船体長の推定精度を向上させることが可能な物標監視装置を提供する。 【解決手段】物標監視装置は、画像化センサにより観測された船舶を含む画像データを取得するデータ取得部と、画像データに含まれる船舶の領域を検出する画像認識部と、画像化センサとは別のセンサにより検出された観測位置から船舶までの距離を取得する距離取得部と、画像化センサとは別のセンサにより検出された船舶の針路を取得する針路取得部と、船舶の領域の水平方向の寸法、船舶までの距離、及び船舶の針路に基づいて、船舶の船体長を推定する船体長推定部と、を備える。

Description

物標監視装置、物標監視方法、及びプログラム
　本発明は、物標監視装置、物標監視方法、及びプログラムに関する。
　特許文献１には、レーダーを用いて船舶の長さを算出する技術が開示されている。
特許第５７３０５６５号公報
　しかしながら、レーダーは方位分解能が低いため、レーダーのエコーから船舶の大きさを判別することは困難である。
　本発明は、上記課題に鑑みてなされたものであり、その主な目的は、船体長の推定精度を向上させることが可能な物標監視装置、物標監視方法、及びプログラムを提供することにある。
　上記課題を解決するため、本発明の一の態様の物標監視装置は、画像化センサにより観測された船舶を含む画像データを取得するデータ取得部と、前記画像データに含まれる前記船舶の領域を検出する画像認識部と、前記画像化センサとは別のセンサにより検出された観測位置から前記船舶までの距離を取得する距離取得部と、前記画像化センサとは別のセンサにより検出された前記船舶の針路を取得する針路取得部と、前記船舶の領域の水平方向の寸法、前記船舶までの距離、及び前記船舶の針路に基づいて、前記船舶の船体長を推定する船体長推定部とを備える。これによると、船体長の推定精度を向上させることが可能となる。
　上記態様において、前記船体長推定部は、予め定められた船体のアスペクト比にさらに基づいて、前記船舶の船体長を推定してもよい。これによると、船体長の推定精度を向上させることが可能となる。
　上記態様において、前記画像化センサはカメラであり、前記船体長推定部は、前記画像データの水平方向の寸法、前記船舶の領域の水平方向の寸法、及び前記カメラの水平方向の画角に基づいて、前記画角内における前記船舶の占有角度を算出し、前記船舶の占有角度、前記船舶までの距離、及び前記船舶の針路に基づいて、前記船舶の船体長を推定してもよい。これによると、船体長の推定精度を向上させることが可能となる。
　上記態様において、前記船体長推定部は、　前記画像データの水平方向の寸法、前記物標の領域の水平方向の寸法、前記カメラの水平方向の画角、前記カメラの焦点距離、及び前記カメラの光学中心に基づいて、前記画角内における前記物標の占有角度を算出してもよい。これによると、船体長の推定精度を向上させることが可能となる。
　上記態様において、前記別のセンサは、レーダーであり、前記距離取得部は、前記レーダーにより検出されたデータに基づいて、前記船舶までの距離を取得してもよい。これによると、レーダーにより検出された船舶までの距離を利用して船体長を推定することが可能となる。
　上記態様において、前記別のセンサは、レーダーであり、前記針路取得部は、前記レーダーにより検出されたデータに基づいて、前記船舶の針路を取得してもよい。これによると、レーダーにより検出された船舶の針路を利用して船体長を推定することが可能となる。
　上記態様において、前記画像認識部は、前記画像に含まれる前記船舶を囲む境界ボックスを、前記船舶の領域として検出してもよい。これによると、船舶の領域の水平方向の寸法の取得が容易となる。
　また、本発明の他の態様の物標監視方法は、画像化センサにより観測された船舶を含む画像データを取得し、前記画像データに含まれる前記船舶の領域を検出し、前記画像化センサとは別のセンサにより検出された観測位置から前記船舶までの距離を取得し、前記画像化センサとは別のセンサにより検出された前記船舶の針路を取得し、前記船舶の領域の水平方向の寸法、前記船舶までの距離、及び前記船舶の針路に基づいて、前記船舶の船体長を推定する。これによると、船体長の推定精度を向上させることが可能となる。
　また、本発明の他の態様のプログラムは、画像化センサにより観測された船舶を含む画像データを取得すること、前記画像データに含まれる前記船舶の領域を検出すること、前記画像化センサとは別のセンサにより検出された観測位置から前記船舶までの距離を取得すること、前記画像化センサとは別のセンサにより検出された前記船舶の針路を取得すること、及び前記船舶の領域の水平方向の寸法、前記船舶までの距離、及び前記船舶の針路に基づいて、前記船舶の船体長を推定することをコンピュータに実行させる。これによると、船体長の推定精度を向上させることが可能となる。
物標監視システムの構成例を示す図である。 物標監視装置の構成例を示す図である。 画像処理部の構成例を示す図である。 画像の認識例を示す図である。 境界ボックスの例を示す図である。 エコーの例を示す図である。 エコーの例を示す図である。 船体長の計算例を示す図である。 船体長の計算例を示す図である。 船体長の計算例を示す図である。 物標監視方法の手順例を示す図である。
　以下、本発明の実施形態について、図面を参照しながら説明する。
　図１は、物標監視システム１００の構成例を示すブロック図である。物標監視システム１００は、船舶に搭載されるシステムである。以下の説明では、物標監視システム１００が搭載された船舶を「自船」といい、その他の船舶を「他船」という。
　物標監視システム１００は、物標監視装置１、表示部２、レーダー３、ＡＩＳ４、カメラ５、ＧＮＳＳ受信機６、ジャイロコンパス７、ＥＣＤＩＳ８、無線通信部９、及び操船制御部１０を備えている。これらの機器は、例えばＬＡＮ等のネットワークＮに接続されており、相互にネットワーク通信が可能である。
　物標監視装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。物標監視装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。
　プログラムは、光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、インターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。
　表示部２は、物標監視装置１により生成された表示用画像を表示する。表示部２は、レーダー画像、カメラ画像、又は電子海図なども表示する。
　表示部２は、例えばタッチセンサ付き表示装置、いわゆるタッチパネルである。タッチセンサは、ユーザの指等による画面内の指示位置を検出する。これに限らず、トラックボール等により指示位置が入力されてもよい。
　レーダー３は、自船の周囲に電波を発するとともにその反射波を受信し、受信信号に基づいてエコーデータを生成する。また、レーダー３は、エコーデータから物標を識別し、物標の位置及び速度を表すＴＴデータ（Target Tracking）を生成する。
　ＡＩＳ（Automatic Identification System）４は、自船の周囲に存在する他船又は陸上の管制からＡＩＳデータを受信する。ＡＩＳに限らず、ＶＤＥＳ（VHF Data Exchange System）が用いられてもよい。ＡＩＳデータは、他船の識別符号、船名、位置、針路、船速、船種、船体長、及び行き先などを含んでいる。
　カメラ５は、自船から外部を撮像して画像データを生成するデジタルカメラである。カメラ５は、例えば自船のブリッジに船首方位を向いて設置される。カメラ５は、パン・チルト・ズーム機能を有するカメラ、いわゆるＰＴＺカメラであってもよい。
　また、カメラ５は、撮像した画像に含まれる他船等の物標の位置及び種別を物体検出モデルにより推定する画像認識部を含んでもよい。画像認識部は、カメラ５に限らず、物標監視装置１等の他の装置において実現されてもよい。
　ＧＮＳＳ受信機６は、ＧＮＳＳ（Global Navigation Satellite System）から受信した電波に基づいて自船の位置を検出する。ジャイロコンパス７は、自船の船首方位を検出する。ジャイロコンパスに限らず、ＧＰＳコンパスが用いられてもよい。
　ＥＣＤＩＳ（Electronic Chart Display and Information System）８は、ＧＮＳＳ受信機６から自船の位置を取得し、電子海図上に自船の位置を表示する。また、ＥＣＤＩＳ８は、電子海図上に自船の計画航路も表示する。ＥＣＤＩＳに限らず、ＧＮＳＳプロッタが用いられてもよい。
　無線通信部９は、例えば極超短波、超短波帯、中短波帯、短波帯の無線設備など、他船又は陸上の管制との通信を実現するための種々の無線設備を含んでいる。
　操船制御部１０は、自動操船を実現するための制御装置であり、自船の操舵機を制御する。また、操船制御部１０は、自船のエンジンを制御してもよい。
　本実施形態において、物標監視装置１は独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置と一体であってもよい。すなわち、物標監視装置１の機能部が他の装置で実現されてもよい。
　なお、本実施形態では、物標監視装置１は自船に搭載され、自船の周囲に存在する他船等の物標を監視するために用いられるが、用途はこれに限られない。例えば、物標監視装置１は陸上の管制に設置され、管制海域に存在する船舶を監視するために用いられてもよい。
　図２は、物標監視装置１の構成例を示す図である。物標監視装置１の制御部２０は、データ取得部１１，１２，１３、画像処理部１４、データ統合部１５、表示制御部１６、及び操船判断部１７を備えている。これらの機能部は、制御部２０がプログラムに従って情報処理を実行することによって実現される。
　物標監視装置１の制御部２０は、レーダー用管理ＤＢ（データベース）２１、ＡＩＳ用管理ＤＢ２２、カメラ用管理ＤＢ２３、及び統合管理ＤＢ２４をさらに備えている。これらの記憶部は、制御部２０のメモリに設けられる。
　データ取得部１１は、レーダー３により生成されたＴＴデータを物標データとして逐次取得し、レーダー用管理ＤＢ２１に登録する。
　レーダー用管理ＤＢ２１に登録される物標データは、レーダー３により検出された他船等の物標の位置、船速、及び針路等を含んでいる。レーダー用管理ＤＢ２１に登録される物標データは、物標の航跡、検出からの経過時間、エコー像の大きさ、及び反射波の信号強度等をさらに含んでもよい。
　データ取得部１２は、ＡＩＳ４により受信されたＡＩＳデータを物標データとして取得し、ＡＩＳ用管理ＤＢ２２に登録する。
　ＡＩＳ用管理ＤＢ２２に登録される物標データは、ＡＩＳ４により検出された他船の位置、船速、及び針路等を含んでいる。ＡＩＳ用管理ＤＢ２２に登録される物標データは、他船の種別、船名、及び目的地等をさらに含んでもよい。
　データ取得部１３は、カメラ５により撮像された他船等の物標を含む画像を取得する。データ取得部１３は、カメラ５から時系列の画像を逐次取得し、画像処理部１４に逐次提供する。時系列の画像は、例えば動画像データに含まれる静止画像（フレーム）である。
　画像処理部１４は、データ取得部１３により取得された画像に対して画像認識等の所定の画像処理を行い、画像から認識された物標の物標データを生成し、カメラ用管理ＤＢ２３に登録する。画像処理部１４の詳細については後述する。
　カメラ用管理ＤＢ２３に登録される物標データは、画像処理部１４により算出された他船等の物標の位置、船速、及び針路等を含んでいる。カメラ用管理ＤＢ２３に登録される物標データは、物標の大きさ、物標の種類、及び検出からの経過時間等をさらに含んでもよい。
　レーダー３により検出される物標の位置、及びカメラ５により撮像された画像から認識される物標の位置は、自船に対する相対位置であるので、ＧＮＳＳ受信機６により検出される自船の位置を用いて絶対位置に変換される。
　なお、レーダー３により検出される物標、及びカメラ５により撮像された画像から認識される物標は、主に船舶であるが、その他に例えばブイ等を含むことがある。
　データ統合部１５は、レーダー用管理ＤＢ２１、ＡＩＳ用管理ＤＢ２２、及びカメラ用管理ＤＢ２３に登録された物標データを、これらのデータベースを横断的に管理するための統合管理ＤＢ２４に登録する。統合管理ＤＢ２４に登録される物標データは、他船等の物標の位置、船速、及び針路等を含んでいる。
　データ統合部１５は、レーダー用管理ＤＢ２１、ＡＩＳ用管理ＤＢ２２、及びカメラ用管理ＤＢ２３のうちの１つに登録された物標データに含まれる位置と、他の１つに登録された物標データに含まれる位置とが同一又は近似する場合には、それらの物標データを統合して統合管理ＤＢ２４に登録する。
　表示制御部１６は、統合管理ＤＢ２４に登録された物標データに基づいて、物標を表すオブジェクトを含む表示用画像を生成し、表示部２に出力する。表示用画像は、例えばレーダー画像、電子海図、又はそれらを合成した画像であり、物標を表すオブジェクトは、物標の実際の位置に対応する画像内の位置に配置される。
　操船判断部１７は、統合管理ＤＢ２４に登録された物標データに基づいて操船判断を行い、物標を避ける必要があると判断した場合に、操船制御部１０に避航操船を行わせる。具体的には、操船制御部１０は、避航操船アルゴリズムにより物標を避けるための避航航路を算出し、自船が避航航路に従うように操舵機及びエンジン等を制御する。
　図３は、画像処理部１４の構成例を示す図である。画像処理部１４は、画像認識部３１、距離／針路取得部３２、及び船体長推定部３３を含んでいる。同図は、画像処理部１４が実現する機能のうち、他船の船体長を推定する機能に係る構成を示している。
　本実施形態では、画像処理部１４は、カメラ５により撮像された他船等の物標を含む画像データをデータ取得部１３から取得する。カメラ５は、画像化センサの例である。これに限らず、例えばＬｉＤＡＲ（Light Detection and Ranging）等の他の画像化センサにより観測された画像データが取得されてもよい。ＬｉＤＡＲにより観測される画像化されたデータも、画像データに含まれるものとする。
　画像認識部３１は、データ取得部１３により取得された画像に含まれる船舶の領域を検出する。具体的には、画像認識部３１は、機械学習により予め生成された学習済みモデルを用いて、画像に含まれる船舶の領域、物標の種類、及び推定の信頼度を算出する。物標の種類は、例えばタンカー又は漁船等の船種である。これに限らず、画像認識部３１は、ルールベースによって画像に含まれる物標の領域及び種類等を認識してもよい。
　学習済みモデルは、例えば SSD（Single Shot MultiBox Detector）又は YOLO（You Only Look Once）等の物体検出モデルであり、画像に含まれる船舶を囲む境界ボックスを船舶の領域として検出する。これに限らず、学習済みモデルは、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルであってもよい。
　図４は、画像Ｐの認識例を示す図である。図５は、境界ボックスＢＢを拡大して示す図である。これらの図に示すように、画像Ｐに含まれる他船ＳＨは、矩形状の境界ボックスＢＢによって囲まれる。境界ボックスＢＢには、物標の種類及び推定の信頼度が記載されたラベルＣＦが付加される。
　図４中のＬｂは、画像Ｐの水平方向の寸法を表す。図５中のＬｗは、他船ＳＨの領域の水平方向の寸法、すなわち境界ボックスＢＢの水平方向の寸法を表す。画像の水平方向とは、実空間の水平方向に対応する方向であり、図示の例では左右方向である。寸法は、例えばピクセル数で表される。
　画像から検出される他船ＳＨの領域の水平方向の寸法Ｌｗは、他船ＳＨとの距離や向きに応じて変化するため、この寸法Ｌｗだけでは他船ＳＨの船体長を求めることは困難である。そこで、本実施形態では、下記のように、カメラ５以外の物標検出部により検出された他船ＳＨのデータを用いることで、船体長の推定精度の向上を図っている。
　距離／針路取得部３２は、レーダー３により生成されたＴＴデータから、自船から他船までの距離及び他船の針路を取得する。具体的には、距離／針路取得部３２は、レーダー用管理ＤＢ２１から対象となる他船の物標データを読出し、読出された物標データから自船から他船までの距離及び他船の針路を取得する。レーダー３は、「別のセンサ」の例である。
　他船の針路は、例えば他船の対地針路（ＣＯＧ：Course Over Ground）である。これに限らず、他船の船首方位（ＨＤＧ：Heading）が用いられてもよい。船体長を推定するためには、船首方位を用いる方が好ましいが、本実施形態では、取得の容易さから対地針路を用いている。
　図６に示すように、レーダー３により検出されたエコーＥＣによれば、物標ＭＫまでの距離ｄ及び物標ＭＫの針路ＤＲを特定することはできる。しかし、エコーＥＣは角度方向に広がった形状となるため、すなわちレーダー３は方位分解能が低いため、エコーＥＣの大きさから物標ＭＫの大きさを特定することは困難である。特に、距離ｄが長くなるほどこの困難さは顕著なものになる。
　そこで、本実施形態では、図７に示すように、方位分解能が高いカメラ５により得られる他船ＳＨの方位幅（占有角度）θと、距離分解能が高いレーダー３により得られる他船ＳＨの距離ｄ及び針路ＤＲとを組み合わせることで、他船ＳＨの船体長の推定精度の向上を図っている。
　なお、距離／針路取得部３２は、ＡＩＳ４により受信されたＡＩＳデータから、自船から他船までの距離及び他船の針路を取得してもよい。
　船体長推定部３３は、画像認識部３１により検出された他船の領域の水平方向の寸法、並びに距離／針路取得部３２により取得された他船の距離及び針路に基づいて、他船の船体長を推定する。また、船体長推定部３３は、予め定められた船体のアスペクト比にさらに基づいて、他船の船体長を推定する。船体長を推定する前に、画像に歪み補正等の前処理を施してもよい。
　具体的には、まず、船体長推定部３３は、図８に示すように、画像の水平方向の寸法Ｌｂ、他船ＳＨの領域の水平方向の寸法Ｌｗ、及びカメラ５の水平方向の画角Θに基づいて、画角Θ内における他船ＳＨの占有角度（方位幅）θを算出する。寸法Ｌｂ，Ｌｗは、画像内の寸法（例えばピクセル数）を表す。距離ｄは、レーダー３により検出される実空間の距離を表す。
　画角Θは、カメラ５で撮像したときに画像に含まれる範囲を表す角度であり、カメラ５のレンズによって決まる角度である。他船ＳＨの占有角度θは、他船ＳＨが占める範囲を表す角度であり、カメラ５を中心とする他船ＳＨの左端と右端の間の角度である。
　画像の水平方向の寸法Ｌｂと他船ＳＨの領域の水平方向の寸法Ｌｗとの比は、カメラ５の水平方向の画角Θと他船ＳＨの占有角度θとの比と同じとみなせるため、これにより他船ＳＨの占有角度θを算出することができる。
　より詳しくは、船体長推定部３３は、画像の水平方向の寸法Ｌｂ、物標ＳＨの領域の水平方向の寸法Ｌｗ、及びカメラ５の水平方向の画角Θに加え、カメラ５の焦点距離及び光学中心にさらに基づいて、画角Θ内における物標ＳＨの占有角度θを算出してもよい。すなわち、透視投影モデルのカメラ内部パラメータを考慮するために、カメラ内部パラメータを表すカメラ５の焦点距離及び光学中心を用いて、物標ＳＨの占有角度θを算出してもよい。
　次に、船体長推定部３３は、図９に示すように、他船ＳＨの占有角度θ、自船ＳＰから他船ＳＨまでの距離ｄ、他船ＳＨの自船に対する相対針路φ、及び船体のアスペクト比に応じたずれ角φａｓｐに基づいて、他船ＳＨの船体長Ｌを推定する。
　他船ＳＨの船体長Ｌは、下記数式１で表される。
Figure JPOXMLDOC01-appb-M000001
　Ｌｄｉｇは、他船ＳＨの船体を矩形と仮定したときの対角線の長さであり、他船ＳＨの占有角度θに対応する（すなわち、画像に写る部分に対応する）。φａｓｐは、船体のアスペクト比により決まる、他船の針路φに対するＬｄｉｇのずれ角であり、ｔａｎ－１（船体の幅／船体の長さ）で表される。
　Ｌｄｉｇは、下記数式２で表される。
Figure JPOXMLDOC01-appb-M000002
　数式２の導出について、φが０°～９０°の範囲の場合を例に図１０を用いて説明する。
　同図では、自船の位置Ｐから他船ＳＨの対角線の左端までの線分をＡとし、右端までの線分をＢとする。また、他船ＳＨの対角線の長さをＬ'（＝Ｌｄｉｇ）とし、他船ＳＨの針路φとずれ角φａｓｐを合わせた角をφ'とする。
　他船ＳＨの対角線の左端及び右端、並びに自船の位置Ｐで囲まれる三角形は、下記数式３で表される。
Figure JPOXMLDOC01-appb-M000003
　数式３の両辺に２ｃｏｓθを掛けると、下記数式４となる。
Figure JPOXMLDOC01-appb-M000004
　また、自船の位置Ｐを原点としたときのベクトルＡ，Ｂは、下記数式５のように表される。
Figure JPOXMLDOC01-appb-M000005
　ベクトルＡ，Ｂの内積をとると、下記数式６が得られる。
Figure JPOXMLDOC01-appb-M000006
　この数式６を上記数式４に代入すると、下記数式７が得られる。
Figure JPOXMLDOC01-appb-M000007
　この数式７を整理することで、Ｌ'について下記数式８が得られる。
Figure JPOXMLDOC01-appb-M000008
　この数式８を解の公式によってＬ'について解くことで、下記数式９が得られる。
Figure JPOXMLDOC01-appb-M000009
　ここで、距離は正の値であるので、下記数式１０となる。
Figure JPOXMLDOC01-appb-M000010
　ここで、Ｌ'＝Ｌｄｉｇであり、φ'＝φ＋φａｓｐであるので、数式１０は上記数式２と同じとなる。
　船体長推定部３３は、以上のようにして、他船ＳＨの船体長Ｌを推定する。船体長推定部３３により推定された他船ＳＨの船体長Ｌは、他船ＳＨの位置、船速、及び針路等とともに物標データに含められ、カメラ用管理ＤＢ２３に登録される。
　なお、本実施形態では、カメラ５により撮像された画像から画像認識によって他船ＳＨの領域を検出したが、これに限らず、例えばＬｉＤＡＲ（Light Detection and Ranging）等の他のセンサにより観測された他船を含む画像データから画像認識によって他船ＳＨの領域を検出してもよい。センサは、レーダー３よりも方位分解能が高いものが好適である。
　図１１は、物標監視システム１００において実現される物標監視方法の手順例を示す図である。同図は、他船の船体長を推定する処理について主に示している。物標監視装置１は、プログラムに従って同図に示す処理を実行する。
　物標監視装置１は、カメラ５により撮像された画像を取得すると、画像認識処理を行い、画像に含まれる他船の領域、船舶の種類、及び推定の信頼度を算出する（Ｓ１１、画像認識部３１としての処理）。
　次に、物標監視装置１は、画像認識処理により算出された他船の領域の水平方向の寸法を取得する（Ｓ１２）。他船の領域の水平方向の寸法は、境界ボックスＢＢの水平方向の寸法Ｌｗである（図５参照）。
　次に、物標監視装置１は、レーダー３により検出された物標データに基づいて、自船から他船までの距離及び他船の針路を取得する（Ｓ１３、距離／針路取得部３２としての処理）。
　次に、物標監視装置１は、他船の領域の水平方向の寸法、自船から他船までの距離、及び他船の針路に基づいて、他船の船体長を推定する（Ｓ１４、船体長推定部３３としての処理）。
　その後、物標監視装置１は、他船の位置、船速、及び針路等とともに、他船の船体長を含む物標データを生成し、カメラ用管理ＤＢ２３に登録する（Ｓ１５）。これにより、画像に対する一連の処理が終了する。
　以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。
１　物標監視装置、２　表示部、３　レーダー、４　ＡＩＳ、５　カメラ、６　ＧＮＳＳ受信機、７　ジャイロコンパス、８　ＥＣＤＩＳ、９　無線通信部、１０　操船制御部、２０　制御部、１１，１２，１３　データ取得部、１４　画像処理部、１５　データ統合部、１６　表示制御部、１７　操船判断部、２１　レーダー用管理ＤＢ、２２　ＡＩＳ用管理ＤＢ、２３　カメラ用管理ＤＢ、２４　統合管理ＤＢ、３１　画像認識部、３２　距離／針路取得部、３３　船体長推定部、１００　物標監視システム

Claims (9)

  1. 　画像化センサにより観測された船舶を含む画像データを取得するデータ取得部と、
    　前記画像データに含まれる前記船舶の領域を検出する画像認識部と、
    　前記画像化センサとは別のセンサにより検出された観測位置から前記船舶までの距離を取得する距離取得部と、
    　前記画像化センサとは別のセンサにより検出された前記船舶の針路を取得する針路取得部と、
    　前記船舶の領域の水平方向の寸法、前記船舶までの距離、及び前記船舶の針路に基づいて、前記船舶の船体長を推定する船体長推定部と、
    　を備える、物標監視装置。
  2. 　前記船体長推定部は、予め定められた船体のアスペクト比にさらに基づいて、前記船舶の船体長を推定する、
    　請求項１に記載の物標監視装置。
  3. 　前記画像化センサはカメラであり、
    　前記船体長推定部は、
    　前記画像データの水平方向の寸法、前記船舶の領域の水平方向の寸法、及び前記カメラの水平方向の画角に基づいて、前記画角内における前記船舶の占有角度を算出し、
    　前記船舶の占有角度、前記船舶までの距離、及び前記船舶の針路に基づいて、前記船舶の船体長を推定する、
    　請求項１または２に記載の物標監視装置。
  4. 　前記船体長推定部は、
    　前記画像データの水平方向の寸法、前記物標の領域の水平方向の寸法、前記カメラの水平方向の画角、前記カメラの焦点距離、及び前記カメラの光学中心に基づいて、前記画角内における前記物標の占有角度を算出する、
    　請求項３に記載の物標監視装置。
  5. 　前記別のセンサは、レーダーであり、
    　前記距離取得部は、前記レーダーにより検出されたデータに基づいて、前記船舶までの距離を取得する、
    　請求項１ないし４の何れかに記載の物標監視装置。
  6. 　前記別のセンサは、レーダーであり、
    　前記針路取得部は、前記レーダーにより検出されたデータに基づいて、前記船舶の針路を取得する、
    　請求項１ないし５の何れかに記載の物標監視装置。
  7. 　前記画像認識部は、前記画像に含まれる前記船舶を囲む境界ボックスを、前記船舶の領域として検出する、
    　請求項１ないし６の何れかに記載の物標監視装置。
  8. 　画像化センサにより観測された船舶を含む画像データを取得し、
    　前記画像データに含まれる前記船舶の領域を検出し、
    　前記画像化センサとは別のセンサにより検出された観測位置から前記船舶までの距離を取得し、
    　前記画像化センサとは別のセンサにより検出された前記船舶の針路を取得し、
    　前記船舶の領域の水平方向の寸法、前記船舶までの距離、及び前記船舶の針路に基づいて、前記船舶の船体長を推定する、
    　物標監視方法。
  9. 　画像化センサにより観測された船舶を含む画像データを取得すること、
    　前記画像データに含まれる前記船舶の領域を検出すること、
    　前記画像化センサとは別のセンサにより検出された観測位置から前記船舶までの距離を取得すること、
    　前記画像化センサとは別のセンサにより検出された前記船舶の針路を取得すること、及び
    　前記船舶の領域の水平方向の寸法、前記船舶までの距離、及び前記船舶の針路に基づいて、前記船舶の船体長を推定すること、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2022/014831 2021-12-16 2022-03-28 物標監視装置、物標監視方法、及びプログラム WO2023112349A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-203919 2021-12-16
JP2021203919 2021-12-16

Publications (1)

Publication Number Publication Date
WO2023112349A1 true WO2023112349A1 (ja) 2023-06-22

Family

ID=86773977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014831 WO2023112349A1 (ja) 2021-12-16 2022-03-28 物標監視装置、物標監視方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023112349A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62204178A (ja) * 1986-03-04 1987-09-08 Nippon Kokan Kk <Nkk> 他船舶サイズ推測装置
JP2003172608A (ja) * 2001-12-07 2003-06-20 Fujitsu Ltd 物体長算出方法および物体長算出装置
JP2012137446A (ja) * 2010-12-28 2012-07-19 Japan Radio Co Ltd レーダ信号処理装置およびレーダ画像処理装置
JP2019118043A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 撮像装置、画像処理装置、制御方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62204178A (ja) * 1986-03-04 1987-09-08 Nippon Kokan Kk <Nkk> 他船舶サイズ推測装置
JP2003172608A (ja) * 2001-12-07 2003-06-20 Fujitsu Ltd 物体長算出方法および物体長算出装置
JP2012137446A (ja) * 2010-12-28 2012-07-19 Japan Radio Co Ltd レーダ信号処理装置およびレーダ画像処理装置
JP2019118043A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 撮像装置、画像処理装置、制御方法およびプログラム

Similar Documents

Publication Publication Date Title
US9507028B1 (en) Positioning apparatus and method for vehicle
US20220024549A1 (en) System and method for measuring the distance to an object in water
US8098280B2 (en) Moving object locating device, moving object locating method, and computer product
EP4082890A1 (en) Administrative server in ship navigation assistance system, ship navigation assistance method, and ship navigation assistance program
JP5873676B2 (ja) レーダ基準方位補正装置、レーダ装置、レーダ基準方位補正プログラム、及びレーダ基準方位補正方法
Franchi et al. A forward-looking sonar-based system for underwater mosaicing and acoustic odometry
JP4236767B2 (ja) 衛星ｓａｒ画像に基づく移動体の移動情報検出方法
EP2479585B1 (en) Target object movement estimating device
CN113820705A (zh) 船舶用物标检测系统及方法、可信度推定装置、以及程序
EP3860908B1 (en) System and method for assisting docking of a vessel
JP4965035B2 (ja) 船舶表示装置および港湾監視装置
KR20180040175A (ko) 선박 위치 결정 방법 및 시스템
JP4445313B2 (ja) 船舶航行支援装置
CN111860215B (zh) 目标对象的位置确定方法、终端设备及航行系统
WO2023112349A1 (ja) 物標監視装置、物標監視方法、及びプログラム
CN117075112A (zh) 一种方位角航迹匹配的无人艇雷达光电融合方法
WO2023112347A1 (ja) 物標監視装置、物標監視方法、及びプログラム
US20110280473A1 (en) Rotation estimation device, rotation estimation method, and record medium
CN115830140A (zh) 一种海上近程光电监控方法、系统、介质、设备及终端
CN114022775B (zh) 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法
WO2023112348A1 (ja) 物標監視装置、物標監視方法、及びプログラム
JP3501653B2 (ja) エプロン監視方法及びその装置
WO2023162562A1 (ja) 物標監視システム、物標監視方法、及びプログラム
CN115328131A (zh) 一种无人船的避障方法、装置、无人船及存储介质
WO2023286360A1 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22906886

Country of ref document: EP

Kind code of ref document: A1