WO2023112348A1 - 物標監視装置、物標監視方法、及びプログラム - Google Patents

物標監視装置、物標監視方法、及びプログラム Download PDF

Info

Publication number
WO2023112348A1
WO2023112348A1 PCT/JP2022/013014 JP2022013014W WO2023112348A1 WO 2023112348 A1 WO2023112348 A1 WO 2023112348A1 JP 2022013014 W JP2022013014 W JP 2022013014W WO 2023112348 A1 WO2023112348 A1 WO 2023112348A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
camera
detected
registered
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/013014
Other languages
English (en)
French (fr)
Inventor
勝幸 柳
悠太 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Priority to JP2023567516A priority Critical patent/JP7829597B2/ja
Publication of WO2023112348A1 publication Critical patent/WO2023112348A1/ja
Priority to US18/677,863 priority patent/US20240312178A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to a target monitoring device, a target monitoring method, and a program.
  • Patent Document 1 discloses a technique for linking/combining information obtained from devices and equipment such as radar with information obtained from camera images.
  • radar may cause erroneous detection due to the effects of sea surface reflections or false image echoes.
  • AIS cannot detect ships that do not have or use AIS, or targets other than ships.
  • the present invention has been made in view of the above problems, and its main purpose is to provide a target monitoring device, a target monitoring method, and a program that make it easy to focus on an unrecognized target. be.
  • a target object monitoring apparatus includes an image acquisition unit that sequentially acquires an image including a scene of the sea captured by a panning camera; An image recognition unit that detects a target, and the detected target is the same as a target registered in a database in which target data of targets detected by a target detection unit that is different from the camera is registered. and a panning operation of the camera with the detected target included in the angle of view when the detected target is not registered in the database. and a camera control unit that stops the According to this, it becomes easy to pay attention to an unrecognized target.
  • the camera control unit may continue the pan operation of the camera when the detected target is the same as the target registered in the database. According to this, it is possible to continue monitoring by the pan operation.
  • the image recognition unit may generate target data of the detected target from the image acquired while the panning motion is stopped, and register the data in the database. According to this, it is possible to generate target object data from an image acquired while the panning operation is stopped.
  • the camera control unit may cause the camera to zoom in and capture an image of the detected target while the panning operation is stopped. According to this, it is possible to generate target object data from an image captured by zooming.
  • the camera control unit may cause the camera to resume the panning operation when a predetermined time has elapsed after the panning operation was stopped. According to this, it is possible to restart the panning operation when the predetermined time has elapsed.
  • target data of targets detected by at least one of a camera different from the camera, radar, and AIS may be registered in the database. According to this, it is possible to suppress target detection omission by at least one of the camera, the radar, and the AIS.
  • a target monitoring method obtains an image including a scene of the sea captured by a panning camera, detects a target included in the image, and detects the detected object. determining whether or not the target is the same as a target registered in a database in which target data of a target detected by a target detection unit different from the camera is registered; If the target is not registered in the database, the pan operation of the camera is stopped while the detected target is included in the angle of view. According to this, it becomes easy to pay attention to an unrecognized target.
  • a program sequentially acquires images including scenes of the sea taken by a panning camera, detects a target included in the image, detects the detected object, Determining whether or not the target is the same as a target registered in a database in which target data of a target detected by a target detection unit different from the camera is registered; and the detected target. is not the target registered in the database, the computer stops the panning operation of the camera with the detected target included in the angle of view. According to this, it becomes easy to pay attention to an unrecognized target.
  • FIG. 4 is a diagram showing an example of panning operation of a camera;
  • FIG. 4 is a diagram showing an example of panning operation of a camera;
  • FIG. 4 is a diagram showing an example of panning operation of a camera;
  • FIG. 4 is a diagram showing an example of panning operation of a camera;
  • It is a figure which shows the procedure example of a target monitoring method.
  • FIG. 1 is a block diagram showing a configuration example of the target monitoring system 100.
  • the target object monitoring system 100 is a system mounted on a ship.
  • the ship equipped with the target monitoring system 100 is called “own ship”, and the other ships are called “other ships”.
  • a target monitoring system 100 includes a target monitoring device 1, a display unit 2, a radar 3, an AIS 4, a camera 5, a GNSS receiver 6, a gyrocompass 7, an ECDIS 8, a wireless communication unit 9, and a ship maneuvering control unit 10. . These devices are connected to a network N such as a LAN, and are capable of network communication with each other.
  • a network N such as a LAN
  • the target monitoring device 1 is a computer including a CPU, RAM, ROM, non-volatile memory, input/output interface, and the like.
  • the CPU of the target monitoring device 1 executes information processing according to a program loaded from the ROM or nonvolatile memory to the RAM.
  • the program may be supplied via an information storage medium such as an optical disc or memory card, or may be supplied via a communication network such as the Internet or LAN.
  • the display unit 2 displays the display image generated by the target monitoring device 1.
  • the display unit 2 also displays radar images, camera images, electronic charts, and the like.
  • the display unit 2 is, for example, a display device with a touch sensor, a so-called touch panel.
  • the touch sensor detects a position within the screen indicated by a user's finger or the like.
  • the designated position is not limited to this, and may be input by a trackball or the like.
  • the radar 3 emits radio waves around its own ship, receives the reflected waves, and generates echo data based on the received signals. Also, the radar 3 identifies the target from the echo data and generates TT (Target Tracking) data representing the position and speed of the target. TT data may be generated in the target monitoring device 1 .
  • the AIS (Automatic Identification System) 4 receives AIS data from other ships around the ship or from land control. Not limited to AIS, VDES (VHF Data Exchange System) may be used.
  • the AIS data includes identification codes of other ships, ship names, positions, courses, ship speeds, ship types, hull lengths, destinations, and the like.
  • the camera 5 is a digital camera that captures images of the outside from the own ship and generates image data.
  • the camera 5 is installed, for example, on the bridge of the own ship facing the heading.
  • the camera 5 is a so-called PTZ camera that has pan/tilt/zoom functions.
  • the camera 5 may include an image recognition unit that estimates the position and type of targets such as other ships included in the captured image using an object detection model.
  • the image recognition unit is not limited to the camera 5, and may be realized in another device such as the target object monitoring device 1 or the like.
  • the GNSS receiver 6 detects the position of the own ship based on radio waves received from the GNSS (Global Navigation Satellite System).
  • the gyrocompass 7 detects the heading of the own ship.
  • a GPS compass may be used instead of the gyro compass.
  • the ECDIS (Electronic Chart Display and Information System) 8 acquires the ship's position from the GNSS receiver 6 and displays the ship's position on the electronic chart.
  • the ECDIS 8 also displays the planned route of the own ship on the electronic chart.
  • a GNSS plotter may be used.
  • the radio communication unit 9 includes various radio equipment for realizing communication with other ships or land control, such as ultra-high frequency, ultra-high frequency band, medium short wave band, and short wave band radio equipment.
  • the ship steering control unit 10 is a control device for realizing automatic ship steering, and controls the steering gear of the own ship. Further, the ship maneuvering control unit 10 may control the engine of the own ship.
  • the target monitoring device 1 is an independent device, but it is not limited to this, and may be integrated with other devices such as the ECDIS 8. That is, the functional units of the target monitoring device 1 may be realized by another device.
  • the target monitoring device 1 is mounted on the own ship and used to monitor targets of other ships, etc. existing around the own ship, but the application is not limited to this.
  • the target monitoring device 1 may be installed in a control on land and used to monitor vessels existing in the controlled sea area.
  • FIG. 2 is a diagram showing a configuration example of the target monitoring device 1.
  • the control unit 20 of the target monitoring device 1 includes a data acquisition unit 11, a data acquisition unit 12, an image acquisition unit 13, an image recognition unit 14, a data integration unit 15, a display control unit 16, a ship maneuvering determination unit 17, and a target identification unit. 18 and a camera control unit 19 . These functional units are implemented by the control unit 20 executing information processing according to programs.
  • the control unit 20 of the target monitoring device 1 further includes a radar management DB (database) 21, an AIS management DB 22, a camera management DB 23, and an integrated management DB 24. These storage units are provided in the memory of the control unit 20 .
  • the data acquisition unit 11 sequentially acquires the TT data generated by the radar 3 as target data and registers it in the radar management DB 21.
  • the target data registered in the radar management DB 21 includes the position, ship speed, course, etc. of targets such as other ships detected by the radar 3.
  • the target data registered in the radar management DB 21 may further include the track of the target, the elapsed time from detection, the size of the echo image, the signal strength of the reflected wave, and the like.
  • the data acquisition unit 12 acquires the AIS data received by the AIS 4 as target data, and registers it in the AIS management DB 22.
  • the target data registered in the AIS management DB 22 includes the position, speed, course, etc. of other ships detected by the AIS 4.
  • the target data registered in the AIS management DB 22 may further include other ship type, ship name, hull length, hull width, destination, and the like.
  • the image acquisition unit 13 acquires images captured by the camera 5 including targets such as other ships.
  • the image acquisition unit 13 sequentially acquires time-series images from the camera 5 and sequentially provides the images to the image recognition unit 14 .
  • Time-series images are, for example, still images (frames) included in moving image data.
  • the image recognition unit 14 performs image recognition on the image acquired by the image acquisition unit 13, generates target data of the target recognized from the image, and registers it in the camera management DB 23. Details of the image recognition unit 14 will be described later.
  • the target data registered in the camera management DB 23 includes the positions, ship speeds, courses, etc. of targets such as other ships calculated by the image recognition unit 14 .
  • the target data registered in the camera management DB 23 may further include target size, target type, elapsed time from detection, and the like.
  • the position of the own ship detected by the GNSS receiver 6 and heading are used to convert to absolute positions that also include heading information.
  • the heading may be obtained from a gyro sensor or the like instead of the GNSS receiver.
  • the targets detected by the radar 3 and the targets recognized from the images captured by the camera 5 are mainly ships, but may also include, for example, buoys.
  • the target data registered in the camera management DB 23 includes not only the target data of the target recognized from the image captured by the camera 5, but also the PZT camera of the same type as the camera 5 and installed separately. may be target data of targets recognized from images captured by different types of fixed-point cameras, 360-degree cameras, or infrared cameras.
  • the data integration unit 15 registers the target data registered in the radar management DB 21, the AIS management DB 22, and the camera management DB 23 in the integrated management DB 24 for managing these databases across.
  • the target data registered in the integrated management DB 24 includes the positions, ship speeds, courses, etc. of targets such as other ships.
  • the source represents the origin of the target data, ie whether the target was detected by radar 3, AIS 4, or camera 5.
  • the data integration unit 15 determines whether the position of the target registered in one of the radar management DB 21, the AIS management DB 22, and the camera management DB 23 and the position of the target registered in the other one are If they are the same or similar, those target data are integrated. In addition, the calculation accuracy of the position of the target by the camera is often low, and in that case, the speed, course (azimuth), At least one of size and the like may also be used as a condition for integration.
  • the display control unit 16 generates a display image including an object representing the target based on the target data registered in the integrated management DB 24 and outputs the display image to the display unit 2 .
  • the display image is, for example, a radar image, an electronic chart, or a composite image thereof, and the object representing the target is placed at a position in the image corresponding to the actual position of the target.
  • the ship maneuvering determination unit 17 makes ship maneuvering decisions based on the target data registered in the integrated management DB 24, and causes the ship maneuvering control unit 10 to perform avoidance maneuvers when it is determined that it is necessary to avoid the target. Specifically, the ship maneuvering control unit 10 calculates a avoidance route for avoiding the target using a avoidance maneuvering algorithm, and controls the steering gear, the engine, and the like so that the own ship follows the avoidance route.
  • the image acquisition unit 13 and the image recognition unit 14 will be explained again.
  • the target is monitored while panning the camera 5 .
  • the image acquisition unit 13 sequentially acquires images including scenes of the sea captured by the camera 5 during panning.
  • the image recognition unit 14 detects targets included in the image acquired by the data acquisition unit 13 . Specifically, the image recognition unit 14 uses a learned model generated in advance by machine learning to calculate the region of the target included in the image, the type of the target, and the reliability of estimation.
  • the type of target is, for example, the type of vessel such as a tanker or a fishing boat. Not limited to this, the image recognition unit 14 may recognize the area, type, etc. of the target included in the image based on a rule.
  • a trained model is an object detection model such as SSD (Single Shot MultiBox Detector) or YOLO (You Only Look Once), and detects the bounding box surrounding the target contained in the image as the target area.
  • the trained model is not limited to this, and may be a segmentation model such as Semantic Segmentation or Instance Segmentation.
  • the other ship SH included in the image P captured by the camera 5 is surrounded by a rectangular bounding box BB.
  • a label CF describing the type of target and the degree of reliability of estimation is added to the bounding box BB.
  • the target identification unit 18 determines whether or not the target detected by the image recognition unit 14 is the same as the target registered in the integrated management DB 24. Whether or not the targets are the same is determined by whether or not the positions of the targets are the same or similar. In addition, the calculation accuracy of the position of the target by the camera is often low, and in that case, the speed, course (azimuth), At least one of size and the like may also be used as a condition for integration.
  • the integrated management DB 24 it is determined whether or not the targets are the same by referring to the integrated management DB 24 in which target data detected by the radar 3, AIS 4, or camera 5 is registered. It is not limited to this.
  • the radar management DB 21 or AIS management DB 22 in which the target data detected by the radar 3 or AIS 4, which is a target detection unit different from that of the camera 5, is registered, it is possible to determine whether or not the target is the same. can be determined.
  • the camera control unit 19 controls the pan operation, tilt operation, or zoom operation of the camera 5.
  • the camera control unit 19 causes the camera 5 to repeatedly perform a panning operation during target monitoring.
  • the camera control unit 19 continues the pan operation of the camera 5 and integrates the detected targets. If the detected target is not registered in the management DB 24, the pan operation of the camera 5 is stopped while the detected target is included in the angle of view.
  • the image recognition unit 14 performs image recognition on the image acquired while the pan operation of the camera 5 is stopped, generates target data of the detected target, and registers it in the camera management DB 23 .
  • the registered target object data are also registered in the integrated management DB 24 . This makes it possible to register the target object data while the pan operation of the camera 5 is stopped, and to prevent omission of detection.
  • the camera control unit 19 causes the camera 5 to zoom in on the target while the panning operation of the camera 5 is stopped.
  • the image recognition unit 14 performs image recognition on the zoomed image, generates target data of the detected target, and registers the data in the camera management DB 23 . This makes it possible to generate more accurate target object data.
  • the camera control unit 19 causes the camera 5 to resume the panning operation when a predetermined time (for example, several seconds or ten-odd seconds) has elapsed after the panning operation of the camera 5 was stopped.
  • a predetermined time for example, several seconds or ten-odd seconds
  • FIG. 5 to 8 are diagrams for explaining the pan operation of the camera 5.
  • FIG. SA represents the angle of view of the camera 5 .
  • RS represents the start angle of the panning motion, and RE represents the end angle of the panning motion.
  • the angle of view SA of the camera 5 moves from the start angle RS to the end angle RE.
  • SC represents a target recognized from the image of the camera 5 (hereinafter referred to as an image recognition target SC).
  • SN represents a target registered in the integrated management DB 24 (hereinafter referred to as DB registered target SN).
  • FIG. 5 shows a situation where the image recognition target SC does not exist within the angle of view SA of the camera 5.
  • the camera control unit 19 updates the orientation of the camera 5, that is, continues the panning operation.
  • FIG. 6 shows a situation in which an image recognition target SC exists within the angle of view SA of the camera 5, and the same DB registered target SN exists. This is a situation in which no detection omission (oversight) has occurred. At this time, the camera control unit 19 updates the orientation of the camera 5 .
  • FIG. 7 shows a situation where the image recognition target SC exists within the angle of view SA of the camera 5, but the same DB registered target SN does not exist. This is a situation where false positives occur.
  • the camera control unit 19 suspends the orientation update of the camera 5, that is, suspends the panning operation. As a result, the camera 5 enters a state (target lock state) in which the image recognition target SC is included in the angle of view SA.
  • the image recognition unit 14 performs image recognition on the image captured in the target locked state, generates target data of the detected target, and registers it in the camera management DB 23 .
  • the registered target object data are also registered in the integrated management DB 24 .
  • the image recognition target SC exists within the angle of view SA of the camera 5, and the same DB registered target SN exists as in FIG. 6 above.
  • FIG. 8 shows a situation where the image recognition target SC does not exist within the angle of view SA of the camera 5, but the DB registered target SN exists. This is also a situation in which there is no omission of detection.
  • the camera control unit 19 updates the orientation of the camera 5 .
  • FIG. 9 is a diagram showing a procedure example of a target monitoring method implemented in the target monitoring system 100.
  • FIG. The figure mainly shows the process of monitoring the target while panning the camera 5 .
  • the target monitoring device 1 executes the processing shown in the figure according to the program.
  • the target monitoring device 1 acquires the image captured by the panning camera 5, it performs image recognition processing (S11, processing as the image recognition unit 14).
  • the target monitoring device 1 continues the pan operation of the camera 5 (S13, situation in FIG. 5 above).
  • the target monitoring device 1 calculates the position of the detected target (S14). The position of the target is calculated based on the position of the target within the image, the orientation of the camera 5, and the position of the own ship.
  • the target monitoring device 1 determines whether or not the detected target is the same as the target registered in the integrated management DB 24 (S15, processing by the target identification unit 18). Whether or not the targets are the same is determined by whether or not the positions of the targets are the same or similar.
  • the target monitoring device 1 continues the pan operation of the camera 5 (S13, Processing as the camera control unit 19, situation of FIG. 6 above).
  • the target monitoring device 1 stops the pan operation of the camera 5 (S16 , processing as the camera control unit 19, the situation in FIG.
  • the target monitoring device 1 performs image recognition on the image acquired while the pan operation of the camera 5 is stopped, generates target data of the detected target, and registers the data in the camera management DB 23 . (S17-S19, processing by the image recognition unit 14).
  • the target monitoring device 1 causes the camera 5 to resume the panning operation (S13, processing by the camera control unit 19; 6 situation).
  • the target monitoring device 1 repeats the above processes S11-S20 while the camera 5 is panning.
  • Target monitoring device 2 display unit, 3 radar, 4 AIS, 5 camera, 6 GNSS receiver, 7 gyro compass, 8 ECDIS, 9 wireless communication unit, 10 ship operation control unit, 20 control unit, 11, 12 data acquisition Section 13 Image Acquisition Section 14 Image Recognition Section 15 Data Integration Section 16 Display Control Section 17 Vessel Operation Judgment Section 18 Target Identification Section 19 Camera Control Section 21 Radar Management DB 22 AIS Management DB 23 Management DB for cameras, 24 Integrated management DB, 100 Target monitoring system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】未把握の物標に着目することが容易な物標監視装置を提供する。 【解決手段】物標監視装置は、パン動作中のカメラにより撮像された海上の光景を含む画像を逐次取得する画像取得部と、画像に含まれる物標を検出する画像認識部と、検出された物標が、カメラと異なる物標検出部により検出された物標の物標データが登録されるデータベースに登録された物標と同一であるか否か判定する物標同定部と、検出された物標がデータベースに登録された物標でない場合に、検出された物標を画角に含めた状態でカメラのパン動作を停止するカメラ制御部と、を備える。

Description

物標監視装置、物標監視方法、及びプログラム
　本発明は、物標監視装置、物標監視方法、及びプログラムに関する。
　特許文献１には、カメラ映像により得られる情報に対して、レーダー等の装置や機器によって得られる情報を連携・結合させる技術が開示されている。
特許第６２３６５４９号公報
　ところで、レーダーは、海面反射又は偽像エコー等の影響で誤検出を生じるおそれがある。また、ＡＩＳは、ＡＩＳを搭載しない若しくは使用しない船舶、又は船舶以外の物標を検出することができない。
　本発明は、上記課題に鑑みてなされたものであり、その主な目的は、未把握の物標に着目することが容易な物標監視装置、物標監視方法、及びプログラムを提供することにある。
　上記課題を解決するため、本発明の一の態様の物標監視装置は、パン動作中のカメラにより撮像された海上の光景を含む画像を逐次取得する画像取得部と、前記画像に含まれる物標を検出する画像認識部と、前記検出された物標が、前記カメラと異なる物標検出部により検出された物標の物標データが登録されるデータベースに登録された物標と同一であるか否か判定する物標同定部と、前記検出された物標が前記データベースに登録された物標でない場合に、前記検出された物標を画角に含めた状態で前記カメラの前記パン動作を停止するカメラ制御部とを備える。これによると、未把握の物標に着目することが容易となる。
　上記態様において、前記カメラ制御部は、前記検出された物標が前記データベースに登録された物標と同一である場合に、前記カメラの前記パン動作を継続してもよい。これによると、パン動作による監視を継続することが可能である。
　上記態様において、前記画像認識部は、前記パン動作の停止中に取得された前記画像から、前記検出された物標の物標データを生成し、前記データベースに登録してもよい。これによると、パン動作の停止中に取得された画像から物標データを生成することが可能となる。
　上記態様において、前記カメラ制御部は、前記パン動作の停止中に、前記カメラに前記検出された物標をズームして撮像させてもよい。これによると、ズームして撮像された画像から物標データを生成することが可能となる。
　上記態様において、前記カメラ制御部は、前記パン動作の停止後、所定の時間が経過した場合に、前記カメラに前記パン動作を再開させてもよい。これによると、所定の時間が経過した場合に、パン動作を再開させることが可能となる。
　上記態様において、前記データベースには、前記カメラとは異なるカメラ、レーダー、及びＡＩＳ（Automatic Identification System）の少なくとも１つにより検出された物標の物標データが登録されてもよい。これによると、カメラ、レーダー、及びＡＩＳの少なくとも１つによる物標の検出漏れを抑制することが可能となる。
　また、本発明の他の態様の物標監視方法は、パン動作中のカメラにより撮像された海上の光景を含む画像を取得し、前記画像に含まれる物標を検出し、前記検出された物標が、前記カメラと異なる物標検出部により検出された物標の物標データが登録されるデータベースに登録された物標と同一であるか否か判定し、前記検出された物標が前記データベースに登録された物標でない場合に、前記検出された物標を画角に含めた状態で前記カメラの前記パン動作を停止する。これによると、未把握の物標に着目することが容易となる。
　また、本発明の他の態様のプログラムは、パン動作中のカメラにより撮像された海上の光景を含む画像を逐次取得すること、前記画像に含まれる物標を検出すること、前記検出された物標が、前記カメラと異なる物標検出部により検出された物標の物標データが登録されるデータベースに登録された物標と同一であるか否か判定すること、及び前記検出された物標が前記データベースに登録された物標でない場合に、前記検出された物標を画角に含めた状態で前記カメラの前記パン動作を停止することをコンピュータに実行させる。これによると、未把握の物標に着目することが容易となる。
物標監視システムの構成例を示す図である。 物標監視装置の構成例を示す図である。 統合管理データベースの例を示す図である。 カメラにより撮像された画像の例を示す図である。 カメラのパン動作の例を示す図である。 カメラのパン動作の例を示す図である。 カメラのパン動作の例を示す図である。 カメラのパン動作の例を示す図である。 物標監視方法の手順例を示す図である。
　以下、本発明の実施形態について、図面を参照しながら説明する。
　図１は、物標監視システム１００の構成例を示すブロック図である。物標監視システム１００は、船舶に搭載されるシステムである。以下の説明では、物標監視システム１００が搭載された船舶を「自船」といい、その他の船舶を「他船」という。
　物標監視システム１００は、物標監視装置１、表示部２、レーダー３、ＡＩＳ４、カメラ５、ＧＮＳＳ受信機６、ジャイロコンパス７、ＥＣＤＩＳ８、無線通信部９、及び操船制御部１０を備えている。これらの機器は、例えばＬＡＮ等のネットワークＮに接続されており、相互にネットワーク通信が可能である。
　物標監視装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。物標監視装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。
　プログラムは、光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、インターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。
　表示部２は、物標監視装置１により生成された表示用画像を表示する。表示部２は、レーダー画像、カメラ画像、又は電子海図なども表示する。
　表示部２は、例えばタッチセンサ付き表示装置、いわゆるタッチパネルである。タッチセンサは、ユーザの指等による画面内の指示位置を検出する。これに限らず、トラックボール等により指示位置が入力されてもよい。
　レーダー３は、自船の周囲に電波を発するとともにその反射波を受信し、受信信号に基づいてエコーデータを生成する。また、レーダー３は、エコーデータから物標を識別し、物標の位置及び速度を表すＴＴ（Target Tracking）データを生成する。ＴＴデータは、物標監視装置１において生成されてもよい。
　ＡＩＳ（Automatic Identification System）４は、自船の周囲に存在する他船又は陸上の管制からＡＩＳデータを受信する。ＡＩＳに限らず、ＶＤＥＳ（VHF Data Exchange System）が用いられてもよい。ＡＩＳデータは、他船の識別符号、船名、位置、針路、船速、船種、船体長、及び行き先などを含んでいる。
　カメラ５は、自船から外部を撮像して画像データを生成するデジタルカメラである。カメラ５は、例えば自船のブリッジに船首方位を向いて設置される。カメラ５は、パン・チルト・ズーム機能を有するカメラ、いわゆるＰＴＺカメラである。
　また、カメラ５は、撮像した画像に含まれる他船等の物標の位置及び種別を物体検出モデルにより推定する画像認識部を含んでもよい。画像認識部は、カメラ５に限らず、物標監視装置１等の他の装置において実現されてもよい。
　ＧＮＳＳ受信機６は、ＧＮＳＳ（Global Navigation Satellite System）から受信した電波に基づいて自船の位置を検出する。ジャイロコンパス７は、自船の船首方位を検出する。ジャイロコンパスに限らず、ＧＰＳコンパスが用いられてもよい。
　ＥＣＤＩＳ（Electronic Chart Display and Information System）８は、ＧＮＳＳ受信機６から自船の位置を取得し、電子海図上に自船の位置を表示する。また、ＥＣＤＩＳ８は、電子海図上に自船の計画航路も表示する。ＥＣＤＩＳに限らず、ＧＮＳＳプロッタが用いられてもよい。
　無線通信部９は、例えば極超短波、超短波帯、中短波帯、短波帯の無線設備など、他船又は陸上の管制との通信を実現するための種々の無線設備を含んでいる。
　操船制御部１０は、自動操船を実現するための制御装置であり、自船の操舵機を制御する。また、操船制御部１０は、自船のエンジンを制御してもよい。
　本実施形態において、物標監視装置１は独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置と一体であってもよい。すなわち、物標監視装置１の機能部が他の装置で実現されてもよい。
　なお、本実施形態では、物標監視装置１は自船に搭載され、自船の周囲に存在する他船等の物標を監視するために用いられるが、用途はこれに限られない。例えば、物標監視装置１は陸上の管制に設置され、管制海域に存在する船舶を監視するために用いられてもよい。
　図２は、物標監視装置１の構成例を示す図である。物標監視装置１の制御部２０は、データ取得部１１、データ取得部１２、画像取得部１３、画像認識部１４、データ統合部１５、表示制御部１６、操船判断部１７、物標同定部１８、及びカメラ制御部１９を備えている。これらの機能部は、制御部２０がプログラムに従って情報処理を実行することによって実現される。
　物標監視装置１の制御部２０は、レーダー用管理ＤＢ（データベース）２１、ＡＩＳ用管理ＤＢ２２、カメラ用管理ＤＢ２３、及び統合管理ＤＢ２４をさらに備えている。これらの記憶部は、制御部２０のメモリに設けられる。
　データ取得部１１は、レーダー３により生成されたＴＴデータを物標データとして逐次取得し、レーダー用管理ＤＢ２１に登録する。
　レーダー用管理ＤＢ２１に登録される物標データは、レーダー３により検出された他船等の物標の位置、船速、及び針路等を含んでいる。レーダー用管理ＤＢ２１に登録される物標データは、物標の航跡、検出からの経過時間、エコー像の大きさ、及び反射波の信号強度等をさらに含んでもよい。
　データ取得部１２は、ＡＩＳ４により受信されたＡＩＳデータを物標データとして取得し、ＡＩＳ用管理ＤＢ２２に登録する。
　ＡＩＳ用管理ＤＢ２２に登録される物標データは、ＡＩＳ４により検出された他船の位置、船速、及び針路等を含んでいる。ＡＩＳ用管理ＤＢ２２に登録される物標データは、他船の種別、船名、船体長、船体幅、及び目的地等をさらに含んでもよい。
　画像取得部１３は、カメラ５により撮像された他船等の物標を含む画像を取得する。画像取得部１３は、カメラ５から時系列の画像を逐次取得し、画像認識部１４に逐次提供する。時系列の画像は、例えば動画像データに含まれる静止画像（フレーム）である。
　画像認識部１４は、画像取得部１３により取得された画像に対して画像認識を行い、画像から認識された物標の物標データを生成し、カメラ用管理ＤＢ２３に登録する。画像認識部１４の詳細については後述する。
　カメラ用管理ＤＢ２３に登録される物標データは、画像認識部１４により算出された他船等の物標の位置、船速、及び針路等を含んでいる。カメラ用管理ＤＢ２３に登録される物標データは、物標の大きさ、物標の種類、及び検出からの経過時間等をさらに含んでもよい。
　レーダー３により検出される物標の位置、及びカメラ５により撮像された画像から認識される物標の位置は、自船に対する相対位置であるので、ＧＮＳＳ受信機６により検出される自船の位置や船首方位を用いて、方位情報も含む絶対位置に変換される。なお、船首方位はＧＮＳＳ受信機に代えてジャイロセンサ等から取得してもよい。
　なお、レーダー３により検出される物標、及びカメラ５により撮像された画像から認識される物標は、主に船舶であるが、その他に例えばブイ等を含むことがある。
　カメラ用管理ＤＢ２３に登録される物標データは、カメラ５により撮像された画像から認識された物標の物標データだけでなく、カメラ５と同じ種類で別に設置されたＰＺＴカメラ、カメラ５とは種類が異なる定点固定カメラ、３６０度カメラ、又は赤外線カメラにより撮像された画像から認識された物標の物標データであってもよい。
 
　データ統合部１５は、レーダー用管理ＤＢ２１、ＡＩＳ用管理ＤＢ２２、及びカメラ用管理ＤＢ２３に登録された物標データを、これらのデータベースを横断的に管理するための統合管理ＤＢ２４に登録する。
　図３に示すように、統合管理ＤＢ２４に登録される物標データは、他船等の物標の位置、船速、及び針路等を含んでいる。ソースは、物標データの出所を表す、すなわちレーダー３、ＡＩＳ４、及びカメラ５の何れによって物標が検出されたかを表す。
　データ統合部１５は、レーダー用管理ＤＢ２１、ＡＩＳ用管理ＤＢ２２、及びカメラ用管理ＤＢ２３のうちの１つに登録された物標の位置と、他の１つに登録された物標の位置とが同一又は近似する場合には、それらの物標データを統合する。なお、カメラによる物標の位置の算出精度は低いことが多く、その場合は、物標の位置だけでなく、あるいは物標の位置に代えて、物標の速さ、針路（方位）、及び大きさ等の少なくともいずれかも統合する条件としてもよい。
　表示制御部１６は、統合管理ＤＢ２４に登録された物標データに基づいて、物標を表すオブジェクトを含む表示用画像を生成し、表示部２に出力する。表示用画像は、例えばレーダー画像、電子海図、又はそれらを合成した画像であり、物標を表すオブジェクトは、物標の実際の位置に対応する画像内の位置に配置される。
　操船判断部１７は、統合管理ＤＢ２４に登録された物標データに基づいて操船判断を行い、物標を避ける必要があると判断した場合に、操船制御部１０に避航操船を行わせる。具体的には、操船制御部１０は、避航操船アルゴリズムにより物標を避けるための避航航路を算出し、自船が避航航路に従うように操舵機及びエンジン等を制御する。
　再び、画像取得部１３及び画像認識部１４について説明する。本実施形態では、カメラ５をパン動作させながら、物標の監視が行われる。画像取得部１３は、パン動作中のカメラ５により撮像された海上の光景を含む画像を逐次取得する。
　画像認識部１４は、データ取得部１３により取得された画像に含まれる物標を検出する。具体的には、画像認識部１４は、機械学習により予め生成された学習済みモデルを用いて、画像に含まれる物標の領域、物標の種類、及び推定の信頼度を算出する。物標の種類は、例えばタンカー又は漁船等の船種である。これに限らず、画像認識部１４は、ルールベースによって画像に含まれる物標の領域及び種類等を認識してもよい。
　学習済みモデルは、例えば SSD（Single Shot MultiBox Detector）又は YOLO（You Only Look Once）等の物体検出モデルであり、画像に含まれる物標を囲む境界ボックスを物標の領域として検出する。これに限らず、学習済みモデルは、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルであってもよい。
　図４に示すように、カメラ５により撮像された画像Ｐに含まれる他船ＳＨは、矩形状の境界ボックスＢＢによって囲まれる。境界ボックスＢＢには、物標の種類及び推定の信頼度が記載されたラベルＣＦが付加される。
　物標同定部１８は、画像認識部１４により検出された物標が、統合管理ＤＢ２４に登録された物標と同一であるか否か判定する。物標が同一であるか否かは、物標の位置が同一又は近似であるか否かにより判定される。なお、カメラによる物標の位置の算出精度は低いことが多く、その場合は、物標の位置だけでなく、あるいは物標の位置に代えて、物標の速さ、針路（方位）、及び大きさ等の少なくともいずれかも統合する条件としてもよい。
　本実施形態では、レーダー３、ＡＩＳ４、又はカメラ５により検出された物標データが登録された統合管理ＤＢ２４を参照することで、物標が同一であるか否か判定したが、参照するデータベースはこれに限られない。
　例えば、カメラ５と異なる物標検出部であるレーダー３又はＡＩＳ４により検出された物標データが登録されたレーダー用管理ＤＢ２１又はＡＩＳ用管理ＤＢ２２を参照することで、物標が同一であるか否か判定してもよい。
　カメラ制御部１９は、カメラ５のパン動作、チルト動作、又はズーム動作を制御する。本実施形態では、カメラ制御部１９は、物標の監視時にカメラ５にパン動作を繰り返し行わせる。
　カメラ制御部１９は、画像認識部１４により検出された物標が統合管理ＤＢ２４に登録された物標と同一である場合には、カメラ５のパン動作を継続し、検出された物標が統合管理ＤＢ２４に登録された物標でない場合には、検出された物標を画角に含めた状態でカメラ５のパン動作を停止する。
　画像認識部１４は、カメラ５のパン動作の停止中に取得された画像に対して画像認識を行い、検出された物標の物標データを生成し、カメラ用管理ＤＢ２３に登録する。登録された物標データは、さらに統合管理ＤＢ２４にも登録される。これにより、カメラ５のパン動作の停止中に物標データを登録し、検出漏れを防ぐことが可能となる。
　カメラ制御部１９は、カメラ５のパン動作の停止中にカメラ５に物標をズームして撮像させる。画像認識部１４は、ズームして撮像された画像に対して画像認識を行い、検出された物標の物標データを生成し、カメラ用管理ＤＢ２３に登録する。これにより、より精度の高い物標データを生成することが可能となる。
　カメラ制御部１９は、カメラ５のパン動作の停止後、所定の時間（例えば、数秒又は１０数秒）が経過した場合に、カメラ５にパン動作を再開させる。
　図５－図８は、カメラ５のパン動作を説明するための図である。ＳＡはカメラ５の画角を表す。ＲＳはパン動作の開始角度を表し、ＲＥはパン動作の終了角度を表す。カメラ５の画角ＳＡは、開始角度ＲＳから終了角度ＲＥに向けて移動する。
　また、ＳＣは、カメラ５の画像から認識された物標を表す（以下、画像認識物標ＳＣという）。ＳＮは、統合管理ＤＢ２４に登録された物標を表す（以下、ＤＢ登録物標ＳＮという）。
　図５は、カメラ５の画角ＳＡ内に画像認識物標ＳＣが存在しない状況を示している。このとき、カメラ制御部１９は、カメラ５の方位更新を行う、すなわちパン動作を継続する。
　図６は、カメラ５の画角ＳＡ内に画像認識物標ＳＣが存在し、さらにそれと同一のＤＢ登録物標ＳＮが存在する状況を示している。これは、検出漏れ（見落とし）が生じていない状況である。このとき、カメラ制御部１９は、カメラ５の方位更新を行う。
　図７は、カメラ５の画角ＳＡ内に画像認識物標ＳＣが存在するが、それと同一のＤＢ登録物標ＳＮは存在しない状況を示している。これは、検出漏れが生じている状況である。このとき、カメラ制御部１９は、カメラ５の方位更新を一時停止する、すなわちパン動作を一時停止する。これにより、カメラ５は、画角ＳＡに画像認識物標ＳＣを含めたままの状態（ターゲットロック状態）となる。
　画像認識部１４は、ターゲットロック状態で撮像された画像に対して画像認識を行い、検出された物標の物標データを生成し、カメラ用管理ＤＢ２３に登録する。登録された物標データは、さらに統合管理ＤＢ２４にも登録される。これにより、カメラ５の画角ＳＡ内に画像認識物標ＳＣが存在し、さらにそれと同一のＤＢ登録物標ＳＮが存在する、上記図６と同じ状況になる。
　図８は、カメラ５の画角ＳＡ内に画像認識物標ＳＣが存在しないが、ＤＢ登録物標ＳＮは存在する状況を示している。これも、検出漏れが生じていない状況である。このとき、カメラ制御部１９は、カメラ５の方位更新を行う。
　図９は、物標監視システム１００において実現される物標監視方法の手順例を示す図である。同図は、カメラ５にパン動作をさせながら物標を監視する処理について主に示している。物標監視装置１は、プログラムに従って同図に示す処理を実行する。
　物標監視装置１は、パン動作中のカメラ５により撮像された画像を取得すると、画像認識処理を行う（Ｓ１１、画像認識部１４としての処理）。
　画像認識処理により物標が検出されなかった場合（Ｓ１２：ＮＯ）、物標監視装置１は、カメラ５のパン動作を継続する（Ｓ１３、上記図５の状況）。
　一方、画像認識処理により物標が検出された場合（Ｓ１２：ＹＥＳ）、物標監視装置１は、検出された物標の位置を算出する（Ｓ１４）。物標の位置は、画像内の物標の位置、カメラ５の向き、及び自船の位置に基づいて算出される。
　次に、物標監視装置１は、検出された物標が、統合管理ＤＢ２４に登録された物標と同一であるか否か判定する（Ｓ１５、物標同定部１８としての処理）。物標が同一であるか否かは、物標の位置が同一又は近似であるか否かにより判定される。
　画像認識処理により検出された物標が統合管理ＤＢ２４に登録された物標と同一である場合には（Ｓ１５：ＹＥＳ）、物標監視装置１は、カメラ５のパン動作を継続する（Ｓ１３、カメラ制御部１９としての処理、上記図６の状況）。
　一方、画像認識処理により検出された物標が統合管理ＤＢ２４に登録された物標と同一でない場合には（Ｓ１５：ＮＯ）、物標監視装置１は、カメラ５のパン動作を停止する（Ｓ１６、カメラ制御部１９としての処理、上記図７の状況）。
　次に、物標監視装置１は、カメラ５のパン動作の停止中に取得された画像に対して画像認識を行い、検出された物標の物標データを生成し、カメラ用管理ＤＢ２３に登録する（Ｓ１７－Ｓ１９、画像認識部１４としての処理）。
　カメラ５のパン動作の停止後、所定の時間が経過した場合（Ｓ２０：ＹＥＳ）、物標監視装置１は、カメラ５にパン動作を再開させる（Ｓ１３、カメラ制御部１９としての処理、上記図６の状況）。
　物標監視装置１は、カメラ５のパン動作中に上記の処理Ｓ１１－Ｓ２０を繰り返す。
　以上に説明した実施形態によれば、カメラ５のパン動作中に検出された、統合管理ＤＢ２４で未把握の物標に着目することが可能となり、さらに、パン動作の停止中に取得された画像から物標データを生成して、統合管理ＤＢ２４に登録することが可能となる。
　以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。
１　物標監視装置、２　表示部、３　レーダー、４　ＡＩＳ、５　カメラ、６　ＧＮＳＳ受信機、７　ジャイロコンパス、８　ＥＣＤＩＳ、９　無線通信部、１０　操船制御部、２０　制御部、１１，１２　データ取得部、１３　画像取得部、１４　画像認識部、１５　データ統合部、１６　表示制御部、１７　操船判断部、１８　物標同定部、１９　カメラ制御部、２１　レーダー用管理ＤＢ、２２　ＡＩＳ用管理ＤＢ、２３　カメラ用管理ＤＢ、２４　統合管理ＤＢ、１００　物標監視システム

Claims (8)

  1. 　パン動作中のカメラにより撮像された海上の光景を含む画像を逐次取得する画像取得部と、
    　前記画像に含まれる物標を検出する画像認識部と、
    　前記検出された物標が、前記カメラと異なる物標検出部により検出された物標の物標データが登録されるデータベースに登録された物標と同一であるか否か判定する物標同定部と、
    　前記検出された物標が前記データベースに登録された物標でない場合に、前記検出された物標を画角に含めた状態で前記カメラの前記パン動作を停止するカメラ制御部と、
    　を備える、物標監視装置。
  2. 　前記カメラ制御部は、前記検出された物標が前記データベースに登録された物標と同一である場合に、前記カメラの前記パン動作を継続する
    　請求項１に記載の物標監視装置。
  3. 　前記画像認識部は、前記パン動作の停止中に取得された前記画像から、前記検出された物標の物標データを生成し、前記データベースに登録する、
    　請求項１または２に記載の物標監視装置。
  4. 　前記カメラ制御部は、前記パン動作の停止中に、前記カメラに前記検出された物標をズームして撮像させる、
    　請求項１ないし３の何れかに記載の物標監視装置。
  5. 　前記カメラ制御部は、前記パン動作の停止後、所定の時間が経過した場合に、前記カメラに前記パン動作を再開させる、
    　請求項１ないし４の何れかに記載の物標監視装置。
  6. 　前記データベースには、前記カメラとは異なるカメラ、レーダー、及びＡＩＳ（Automatic Identification System）の少なくとも１つにより検出された物標の物標データが登録される、
    　請求項１ないし５の何れかに記載の物標監視装置。
  7. 　パン動作中のカメラにより撮像された海上の光景を含む画像を取得し、
    　前記画像に含まれる物標を検出し、
    　前記検出された物標が、前記カメラと異なる物標検出部により検出された物標の物標データが登録されるデータベースに登録された物標と同一であるか否か判定し、
    　前記検出された物標が前記データベースに登録された物標でない場合に、前記検出された物標を画角に含めた状態で前記カメラの前記パン動作を停止する、
    　物標監視方法。
  8. 　パン動作中のカメラにより撮像された海上の光景を含む画像を逐次取得すること、
    　前記画像に含まれる物標を検出すること、
    　前記検出された物標が、前記カメラと異なる物標検出部により検出された物標の物標データが登録されるデータベースに登録された物標と同一であるか否か判定すること、及び　前記検出された物標が前記データベースに登録された物標でない場合に、前記検出された物標を画角に含めた状態で前記カメラの前記パン動作を停止すること、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2022/013014 2021-12-16 2022-03-22 物標監視装置、物標監視方法、及びプログラム Ceased WO2023112348A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023567516A JP7829597B2 (ja) 2021-12-16 2022-03-22 物標監視装置、物標監視方法、及びプログラム
US18/677,863 US20240312178A1 (en) 2021-12-16 2024-05-29 Target monitoring device, target monitoring method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021203918 2021-12-16
JP2021-203918 2021-12-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/677,863 Continuation US20240312178A1 (en) 2021-12-16 2024-05-29 Target monitoring device, target monitoring method, and recording medium

Publications (1)

Publication Number Publication Date
WO2023112348A1 true WO2023112348A1 (ja) 2023-06-22

Family

ID=86773978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013014 Ceased WO2023112348A1 (ja) 2021-12-16 2022-03-22 物標監視装置、物標監視方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240312178A1 (ja)
JP (1) JP7829597B2 (ja)
WO (1) WO2023112348A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63172980A (ja) * 1987-01-12 1988-07-16 Tokyo Keiki Co Ltd 物標監視装置
JP2000059762A (ja) * 1998-08-07 2000-02-25 Canon Inc カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体
JP6236549B1 (ja) * 2016-06-02 2017-11-22 日本郵船株式会社 船舶航行支援装置
JP2020005120A (ja) * 2018-06-28 2020-01-09 セコム株式会社 監視装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086486A (ja) * 1999-09-14 2001-03-30 Matsushita Electric Ind Co Ltd 監視カメラシステム及び監視カメラの表示方法
US8320613B2 (en) * 2008-06-04 2012-11-27 Lockheed Martin Corporation Detecting and tracking targets in images based on estimated target geometry
US10330794B2 (en) * 2016-04-04 2019-06-25 Spire Global, Inc. AIS spoofing and dark-target detection methodology
US11373401B2 (en) * 2018-06-11 2022-06-28 Flir Systems Ab Detection of discrepancies between imaged maritime vessels and received identification data
JP7743502B2 (ja) * 2021-03-30 2025-09-24 富士フイルム株式会社 制御装置、制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63172980A (ja) * 1987-01-12 1988-07-16 Tokyo Keiki Co Ltd 物標監視装置
JP2000059762A (ja) * 1998-08-07 2000-02-25 Canon Inc カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体
JP6236549B1 (ja) * 2016-06-02 2017-11-22 日本郵船株式会社 船舶航行支援装置
JP2020005120A (ja) * 2018-06-28 2020-01-09 セコム株式会社 監視装置

Also Published As

Publication number Publication date
JP7829597B2 (ja) 2026-03-13
JPWO2023112348A1 (ja) 2023-06-22
US20240312178A1 (en) 2024-09-19

Similar Documents

Publication Publication Date Title
CN1332222C (zh) 移动体显示装置
EP4485424A1 (en) Target monitoring system, target monitoring method, and program
JP2003276677A (ja) 船舶の離着桟支援装置
JP2018019359A (ja) 船舶監視装置
CN113820705A (zh) 船舶用物标检测系统及方法、可信度推定装置、以及程序
US20240320846A1 (en) Target monitoring device, target monitoring method, and recording medium
CN119919452B (zh) 一种基于多源数据融合的船舶目标识别跟踪方法及系统
US20240270359A1 (en) Ship monitoring device, ship monitoring method and non-transitory computer-readable recording medium
JP4965035B2 (ja) 船舶表示装置および港湾監視装置
WO2023112348A1 (ja) 物標監視装置、物標監視方法、及びプログラム
WO2023162561A1 (ja) 物標監視装置、操船システム、物標監視方法、及びプログラム
WO2023112347A1 (ja) 物標監視装置、物標監視方法、及びプログラム
JP6639195B2 (ja) 船舶監視装置
CN117218601B (zh) 船舶搭靠作业的真伪确定方法、装置和可读储存介质
JP7775316B2 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
CN210166499U (zh) 光电智能可视导航雷达
US12400548B1 (en) Other-ship tracking monitoring system and other-ship tracking monitoring method
CN119044951B (zh) 一种自主伴航作业中对被伴航船的目标跟踪方法及设备
EP4539490A1 (en) Target tracking in a water area
JP7813794B2 (ja) 自動追従システム及び自動追従方法
JP2004309246A (ja) レーダ信号処理装置
EP4675593A1 (en) Navigation assistance device, navigation assistance method, and program
US20250054251A1 (en) Method and device for filtering virtual object using plurality of sensors
JP2000131434A (ja) 船舶用衝突予防支援装置
JP3609160B2 (ja) 船舶用レーダの物標警報装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22906885

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023567516

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22906885

Country of ref document: EP

Kind code of ref document: A1