WO2023286360A1 - 学習用データ収集装置、学習用データ収集方法、及びプログラム - Google Patents

学習用データ収集装置、学習用データ収集方法、及びプログラム Download PDF

Info

Publication number
WO2023286360A1
WO2023286360A1 PCT/JP2022/011826 JP2022011826W WO2023286360A1 WO 2023286360 A1 WO2023286360 A1 WO 2023286360A1 JP 2022011826 W JP2022011826 W JP 2022011826W WO 2023286360 A1 WO2023286360 A1 WO 2023286360A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
data collection
type
collection device
Prior art date
Application number
PCT/JP2022/011826
Other languages
English (en)
French (fr)
Inventor
一喜 辻本
博紀 村上
Original Assignee
古野電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古野電気株式会社 filed Critical 古野電気株式会社
Priority to JP2023535120A priority Critical patent/JPWO2023286360A1/ja
Publication of WO2023286360A1 publication Critical patent/WO2023286360A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a learning data collection device, a learning data collection method, and a program.
  • the present invention has been made in view of the above problems, and its main purpose is to provide a learning data collection device, a learning data collection method, and a program that facilitate collection of learning data.
  • a learning data collection device includes a first image including a target in a port or on the sea captured by a camera installed on a ship; an image acquisition unit that acquires a second image having a resolution higher than that of the first image; an image recognition unit that estimates the type of the target from the second image; and an associating unit that associates the type of the target estimated from. This facilitates collection of learning data.
  • the second image may be an image captured by the camera at a point closer to the target than the point at which the first image was captured. According to this, it is possible to associate the first image with the target type estimated from the second image captured at a point closer to the target.
  • the second image may be an image obtained by enlarging a range including the target in the first image using an optical zoom function of the camera. According to this, it is possible to associate the first image with the type of the target estimated from the second image captured by enlarging it using the optical zoom function.
  • the second image may be an image of the range including the target in the first image captured by another camera having higher resolution than the camera. According to this, it is possible to associate the first image with the target type estimated from the second image captured by another camera with higher resolution.
  • the image recognition unit estimates the type of the target from the second image and calculates the estimation accuracy
  • the association unit determines the type of the target whose accuracy is equal to or greater than a threshold, It may be associated with the first image. According to this, it is possible to associate with the first image the type of the target whose estimation accuracy is equal to or higher than the threshold, which is estimated from the second image.
  • the image recognition unit estimates the type of the target from the first image and calculates an estimation accuracy
  • the associating unit adds the A type of the target estimated from the second image may be associated. According to this, it is possible to associate the target type estimated from the second image with the first image whose estimation accuracy is less than the threshold.
  • the image recognition unit estimates the type of the target from the image captured by the camera, calculates the estimation accuracy, sets the image with the accuracy equal to or higher than a threshold value as the second image, and calculates the accuracy. is less than the threshold may be used as the first image. According to this, an image whose estimation accuracy is less than the threshold can be set as the first image, and an image whose estimation accuracy is equal to or higher than the threshold can be set as the second image.
  • a position and orientation acquisition unit that acquires the position and orientation of the ship, the position and orientation of the ship at the time of capturing the first image, the in-image position of the target detected in the first image, The target detected in the first image and the second and an identification unit that identifies the target detected in the image. According to this, it becomes possible to identify the target detected in the first image and the target detected in the second image.
  • the association unit may further associate additional data representing the state of the ship or its surroundings at the time of capturing the first image with the first image. According to this, it becomes possible to further include supplementary data in the learning data.
  • a learning data collection method includes a first image including a target in a port or on the sea captured by a camera installed on a ship; a second image having a higher resolution than the second image, estimating the type of the target from the second image, and associating the type of the target estimated from the second image with the first image. This facilitates collection of learning data.
  • a program includes a first image captured by a camera installed on a ship and containing a target in a harbor or on the sea, and obtaining a high second image, estimating the type of the target from the second image, and associating the first image with the type of the target estimated from the second image; run on the computer. This facilitates collection of learning data.
  • FIG. 1 illustrates an example data collection system
  • FIG. FIG. 3 is a diagram showing an example of a data collection device
  • FIG. 4 is a diagram showing an example of image capturing points
  • FIG. 10 is a diagram showing an example of a recognition result of the first image
  • FIG. 10 is a diagram showing an example of a recognition result of a second image
  • FIG. It is a figure which shows the example of a temporary storage database.
  • FIG. 4 is a diagram showing an example of a data collection method
  • FIG. 4 is a diagram showing an example of a data collection method
  • FIG. 1 is a block diagram showing a configuration example of the data collection system 100.
  • the data collection system 100 is a system that is mounted on a ship and collects learning data for machine learning.
  • the ship on which the data collection system 100 is installed is referred to as "own ship”.
  • the data collection system 100 includes a data collection device 1, a display unit 2, a radar 3, an AIS 4, a camera 5, a GNSS receiver 6, a gyrocompass 7, an ECDIS 8, and a wireless communication unit 9. These devices are connected to a network N such as a LAN, and are capable of network communication with each other.
  • a network N such as a LAN
  • the data collection device 1 is a computer including a CPU, RAM, ROM, nonvolatile memory, input/output interfaces, and the like.
  • the CPU of the data collection device 1 executes information processing according to a program loaded from the ROM or nonvolatile memory to the RAM.
  • the program may be supplied via an information storage medium such as an optical disk or memory card, or via a communication network such as the Internet or LAN.
  • the display unit 2 displays radar images, camera images, electronic charts, or the like.
  • the display unit 2 also displays display images generated by the data collection device 1 .
  • the display unit 2 is, for example, a display device with a touch sensor, a so-called touch panel.
  • the touch sensor detects a position within the screen indicated by a user's finger or the like.
  • the designated position is not limited to this, and may be input by a trackball or the like.
  • the radar 3 emits radio waves around its own ship, receives the reflected waves, and generates echo data based on the received signals.
  • the radar 3 also identifies the target from the echo data and generates target tracking data (TT data) representing the position and speed of the target.
  • TT data target tracking data
  • the AIS (Automatic Identification System) 4 receives AIS data from other ships around the ship or from land control. Not limited to AIS, VDES (VHF Data Exchange System) may be used.
  • the AIS data includes identification codes of other ships, ship names, positions, courses, ship speeds, ship types, hull lengths, destinations, and the like.
  • the camera 5 is a digital camera that captures images of the outside from the own ship and generates image data.
  • the camera 5 is installed, for example, on the bridge of the own ship facing the heading.
  • the camera 5 may be a camera having a pan/tilt function and an optical zoom function, a so-called PTZ camera.
  • the camera 5 is preferably a wide-angle camera, for example. Moreover, the camera 5 is not limited to a visible light camera, and may be an infrared camera.
  • the GNSS receiver 6 detects the position of the own ship based on radio waves received from the GNSS (Global Navigation Satellite System).
  • the gyrocompass 7 detects the heading of the own ship.
  • a GPS compass may be used instead of the gyro compass.
  • the ECDIS (Electronic Chart Display and Information System) 8 acquires the ship's position from the GNSS receiver 6 and displays the ship's position on the electronic chart.
  • the ECDIS 8 also displays the planned route of the own ship on the electronic chart.
  • a GNSS plotter may be used.
  • the radio communication unit 9 includes various radio equipment for realizing communication with other ships or land control, such as ultra-high frequency band, medium short wave band, and short wave band radio equipment.
  • the data collection device 1 and the display unit 2 are devices independent of each other, but the data collection device 1 and the display unit 2 may be an integrated device.
  • the data collection device 1 is an independent device in this embodiment, it is not limited to this, and may be integrated with other devices such as the ECDIS 8 . That is, the functional units of the data collection device 1 may be realized by another device.
  • the display unit 2 is also an independent device, but not limited to this, the display unit of another device such as the ECDIS 8 may be used as the display unit 2 for displaying the display image generated by the data collection device 1. good too.
  • FIG. 2 is a block diagram showing a configuration example of the data collection device 1.
  • the data acquisition device 1 includes an image acquisition unit 11 , a position/orientation acquisition unit 12 , an image recognition unit 13 , an identification unit 14 , an association unit 15 , a model holding unit 16 , a temporary storage unit 17 and a data storage unit 18 .
  • the functional units 11 to 15 included in the data collection device 1 are realized by the control unit 10 (processing circuitry) of the data collection device 1 executing information processing according to a program.
  • the storage units 16 to 18 included in the data collection device 1 are secured in the memory of the data collection device 1 .
  • the image acquisition unit 11 acquires an image captured by the camera 5.
  • the image acquisition unit 11 sequentially acquires a plurality of time-series images from the camera 5 and sequentially provides the images to the image recognition unit 13 .
  • the plurality of time-series images are, for example, a plurality of still images (frames) included in moving image data.
  • the image acquired by the image acquisition unit 11 is an image captured by the camera 5 when the own ship is navigating in a harbor area or the like, and is an image containing target objects in the harbor or on the sea.
  • Port landmarks are, for example, installations for cargo handling such as cranes, installations for mooring such as quay walls, and the like.
  • Marine targets are, for example, ships and buoys.
  • the image acquisition unit 11 acquires a first image P1 including targets in harbors or on the sea, and a second image P2 including the installed object and having a resolution higher than that of the first image P1.
  • the second image P2 is an image captured by the camera 5 at a point closer to the target than the point at which the first image P1 was captured.
  • FIG. 3 and 4 are diagrams showing examples of the first image P1 and the second image P2.
  • FIG. 5 is a diagram showing an example of image capturing points.
  • K1 and D1 represent the position and bearing of the own ship SS when the first image P1 was taken
  • K2 and D2 represent the position and bearing of the own ship SS when the second image P2 was taken.
  • the second image P2 has a higher resolution than the first image P1, making it easier to identify the cranes C1 and C2. This is because, as shown in the example of FIG. 5, the first image P1 was captured at a position K1 relatively far from the quay PQ where the cranes C1 to C3 were installed, while the second image P2 was captured at the quay PQ. This is because the image was captured at a position K2 relatively close to .
  • the first image P1 is an image in which the target can be detected by the image recognition unit 13 in the subsequent stage, but the target cannot be classified.
  • the second image P2 is an image in which the target can be detected by the image recognition unit 13 and the target can be classified. Being able to classify means, for example, that the accuracy of type estimation is at a sufficient level.
  • the image recognition unit 13 determines whether the image is the first image P1 or the second image P2 in the subsequent stage. That is, as a result of the classification by the image recognition unit 13, when the estimation accuracy is less than the threshold, the image may be the first image P1, and when the estimation accuracy is the threshold or more, the image may be the second image P2.
  • the second image P2 may be an image obtained by enlarging the range of the cranes C1 and C2 detected in the first image P1 using the optical zoom function of the camera 5, for example.
  • An image captured by another camera having a resolution higher than that of the camera 5 may be used.
  • the second image P2 may be, for example, an image obtained by increasing the resolution of the range of the cranes C1 and C2 detected in the first image P1.
  • the first image P1 may be an infrared image captured by an infrared camera
  • the second image P2 may be a visible light image captured by a visible light camera.
  • the position of own ship is the position of own ship detected by GNSS receiver 6 .
  • the direction of the own ship is the heading of the own ship detected by the gyrocompass 7.
  • the orientation of the own ship may include not only the heading of the own ship but also the roll or pitch of the own ship detected by an attitude sensor (not shown).
  • the image recognition unit 13 uses the learned model held in the model holding unit 16 to estimate the type of target contained in the image provided by the image acquisition unit 11 . Specifically, the image recognition unit 13 detects the in-image position of the target included in the image, estimates the type of the target, and calculates the estimation accuracy.
  • a trained model is generated in advance by machine learning, using learning images as input data and the in-image positions and types of targets included in the learning images as teacher data.
  • the trained model generated in this way outputs the in-image position of the target included in the image, the type of the target, and the accuracy of estimation.
  • the trained model For the trained model, an object detection model such as SSD (Single Shot MultiBox Detector) or YOLO (You Only Look Once) is used. Not limited to this, the trained model may be a segmentation model such as Semantic Segmentation or Instance Segmentation.
  • SSD Single Shot MultiBox Detector
  • YOLO You Only Look Once
  • FIG. 6 and 7 are diagrams showing examples of recognition results of the first image P1 and the second image P2 by the image recognition unit 13.
  • FIG. 6 and 7 are diagrams showing examples of recognition results of the first image P1 and the second image P2 by the image recognition unit 13.
  • Cranes C1 to C3 included in the first image P1 are surrounded by bounding boxes B1 to B3, and bounding boxes B1 to B3 are added with labels L1 to L3 describing the estimated types and their accuracy.
  • the cranes C1 and C2 included in the second image P2 are surrounded by bounding boxes B1 and B2, and attached to the bounding boxes B1 and B2 are labels L1 and L2 describing the estimated type and its accuracy. be done.
  • the estimation accuracy is relatively low.
  • the estimated types of the cranes C1 and C3 are incorrect, and the accuracy of the estimation is also low.
  • crane C2 although the estimated type is correct, the accuracy of the estimation is low.
  • the second image P2 is an image with relatively high resolution
  • the accuracy of estimation is relatively high.
  • the estimated types of the cranes C1 and C2 are correct and the accuracy of the estimation is high.
  • the temporary storage unit 17 shown in FIG. 2 temporarily stores the first image P1.
  • an image including a target whose estimation accuracy is less than a threshold as a result of recognition by the image recognition unit 13 is stored as the first image P1 in the temporary storage unit 17. stored in
  • FIG. 8 is a diagram showing an example of a temporary storage database for managing the first image P1 stored in the temporary storage section 17.
  • the temporary storage database stores, for example, "target ID”, “image”, “position within image”, “type”, “accuracy”, “imaging position”, “imaging direction”, “estimated position”, and “attached data”. contains fields such as
  • Target ID is an identifier for identifying a target.
  • Image represents the file name of the first image P1.
  • target object IDs: 001 to 003 correspond to cranes C1 to C3 shown in the example of FIG.
  • In-image position represents the in-image position of the target detected in the first image P1.
  • the position in the image is represented, for example, by the coordinates of the upper left end point and the lower right end point of a bounding box surrounding the target.
  • Type represents the type of the target estimated by the image recognition unit 13.
  • the type of target object ID: 001,003 is erroneously estimated to be a radio tower or bridge instead of a crane.
  • "Accuracy” represents the accuracy of estimation. Accuracy is represented, for example, by a value between 0 and 1, and the closer to 1, the higher the accuracy.
  • Capturing position represents the position of the own ship when the first image P1 was captured.
  • the position of the own ship is represented by latitude and longitude, for example.
  • the “imaging direction” represents the imaging direction of the camera 5 when the first image P1 was captured.
  • the imaging azimuth of the camera 5 corresponds to the heading of the own ship.
  • Estimated position represents the estimated position of the target calculated based on the position in the image, the imaging position, the imaging direction, and the like. Parameters such as the angle of view and resolution of the camera 5 are also used to calculate the estimated position.
  • the estimated position is first calculated as a relative position with respect to the own ship from the position in the image and the imaging direction, and then converted to an absolute position using the imaging position.
  • the estimated position is represented by latitude and longitude, for example, like the imaging position.
  • Additional data is data representing the state of the own ship or its surroundings at the time of capturing the first image P1.
  • Ancillary data includes data such as weather conditions such as fog or rain, or area attributes such as harbors or perspectives.
  • the identification unit 14 shown in FIG. 2 identifies the target detected in the first image P1 and the target detected in the second image P2.
  • an image in which the accuracy of estimation of all detected targets is equal to or higher than a threshold is used as the second image P2. It is provided to the identification unit 14 .
  • the identification unit 14 Upon receiving the second image P2, the identification unit 14 selects the first image P1 stored in the temporary storage unit 17 and identifies the first image P1 including the same target as the target detected in the second image P2. to extract
  • the identification unit 14 determines that the two targets are the same. I judge.
  • the estimated position of the target is calculated based on the position in the image, the imaging position, the imaging direction, and the like, as described above.
  • the associating unit 15 associates, with the first image P1, the type of the target estimated from the second image P2 and whose estimation accuracy is greater than or equal to the threshold. Then, the associating unit 15 stores the data set including the first image P1 and the target type associated therewith in the data storage unit 18 as a learning data set for machine learning.
  • the associating unit 15 converts the first image P1 including the same target as the second image P2 extracted from the temporary storage unit 17 by the identifying unit 14 to the second image P2 by the image recognition unit 13. Associate the estimated target type. Further, the association unit 15 may further associate additional data with the first image P1.
  • FIG. 9 is a diagram showing an example of a learning data set stored in the data storage unit 18.
  • the learning data set includes the first image P1, the in-image position and type of the target included in the first image P1, and supplementary data.
  • the type of target is the type of target estimated from the second image P2. That is, the type of target whose estimation accuracy is less than the threshold estimated from the first image P1 is replaced with the type of target whose estimation accuracy is equal to or higher than the threshold estimated from the second image P2.
  • the type of some targets in the image IMG01 was erroneously estimated to be a radio tower or a bridge instead of a crane, but in the example of FIG. As a result of applying the classifications, all the classifications of the image IMG01 are cranes.
  • the learning data set stored in the data storage unit 19 is used by the learning device 200 to re-learn the trained model.
  • the learning device 200 is, for example, one or more server computers located on land.
  • the data collection device 1 transfers the learning data set stored in the data storage unit 18 to the learning device 200 when communication with the learning device 200 is established, for example, when calling at a port. In addition, the data collection device 1 deletes the learning data set for which the transfer has been completed from the data storage unit 18 to create space.
  • the learning device 200 uses the learning data set acquired from the data collection device 1 to re-learn the trained model. Specifically, the learning device 200 performs re-learning using the images included in the acquired learning data set as input data, and the position and type of the target in the image and the incidental data as teacher data.
  • the data collection device 1 acquires the new version of the trained model from the learning device 200, and acquires the old version of the trained model held in the model holding unit 16. replace with
  • the learned model is re-learned using the learning data set collected by the data collection device 1, and the data collection device 1 uses the re-learned trained model to re-learn the learning data set. Repeating the collection cycle enables continuous improvement of the trained model.
  • FIG. 10 is a diagram showing a procedure example of a data collection method realized by the data collection device 1.
  • the CPU of the data collection device 1 executes the information processing shown in the figure according to the program.
  • the data collection device 1 acquires an image captured by the camera 5 (S11, processing as the image acquisition unit 11). Next, the data collection device 1 obtains the position and attitude of the own ship and associates them with the image (S12-S13, processing by the position/attitude obtaining unit 12).
  • the data collection device 1 performs image recognition (S14, processing as the image recognition unit 13). Specifically, the data collection device 1 uses the learned model to detect the in-image position of the target included in the image, estimate the target type, and calculate the estimation accuracy.
  • the data collection device 1 sets the image including the target whose estimation accuracy is less than the threshold as the first image P1 (S15: YES), and stores the information related to the first image P1 and the target in the temporary storage database (Fig. 8) and terminate the process.
  • the data collection device 1 sets the image in which the accuracy of estimation of all targets is equal to or higher than the threshold as the second image (S15: NO), refers to the temporary storage database, and selects the same target as the second image P2. (S17, S18, processing by the identification unit 14).
  • the data collection device 1 adds the estimation accuracy estimated from the second image P2 to the first image P1.
  • the types of targets equal to or greater than the threshold are associated and stored (S19, processing by the association unit 15), and the processing is terminated.
  • a camera different from the camera 5 is provided on the own ship, an image captured by the other camera is defined as the first image P1, and an image captured by the camera 5 is defined as the second image P2, and the second image P2 is identified.
  • the result may be associated with the first image P1.
  • This makes it possible to collect a training data set for another camera.
  • it is preferable to correct the position in the image according to the parallax based on the difference in the position, resolution, and angle of view of the camera 5 and another camera.
  • 1 data collection device 2 display unit, 3 radar, 4 AIS, 5 camera, 6 GNSS receiver, 7 gyrocompass, 8 ECDIS, 9 wireless communication unit, 11 image acquisition unit, 12 position and orientation acquisition unit, 13 image recognition unit , 14 identification unit, 15 association unit, 16 model holding unit, 17 temporary storage unit, 18 data storage unit, 100 data collection system, 200 learning device

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】学習用データの収集が容易な学習用データ収集装置を提供する。 【解決手段】学習用データ収集装置は、船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、物標を含み、第１画像よりも分解能が高い第２画像とを取得する画像取得部と、第２画像から物標の種別を推定する画像認識部と、第１画像に、第２画像から推定された物標の種別を関連付ける関連付け部と、を備える。

Description

学習用データ収集装置、学習用データ収集方法、及びプログラム
　本発明は、学習用データ収集装置、学習用データ収集方法、及びプログラムに関する。
　港湾又は海上の物標を識別する画像認識技術が求められている。
特開２０２１－０７７２０２号公報
　そのような画像認識技術を実現するには多数の学習用データが必要になるが、各画像に手作業でアノテーションを行うことは、多大な労力を要する。
　本発明は、上記課題に鑑みてなされたものであり、その主な目的は、学習用データの収集が容易な学習用データ収集装置、学習用データ収集方法、及びプログラムを提供することにある。
　上記課題を解決するため、本発明の一の態様の学習用データ収集装置は、船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得する画像取得部と、前記第２画像から前記物標の種別を推定する画像認識部と、前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける関連付け部と、を備える。これによると、学習用データの収集が容易となる。
　上記態様において、前記第２画像は、前記第１画像が撮像された地点よりも前記物標に近づいた地点で前記カメラにより撮像された画像であってもよい。これによると、第１画像に、物標により近づいた地点で撮像した第２画像から推定された物標の種別を関連付けることが可能となる。
　上記態様において、前記第２画像は、前記第１画像の前記物標を含む範囲を前記カメラの光学ズーム機能を用いて拡大して撮像した画像であってもよい。これによると、これによると、第１画像に、光学ズーム機能を用いて拡大して撮像した第２画像から推定された物標の種別を関連付けることが可能となる。
　上記態様において、前記第２画像は、前記第１画像の前記物標を含む範囲を前記カメラよりも分解能が高い別のカメラにより撮像した画像であってもよい。これによると、第１画像に、より分解能が高い別のカメラにより撮像した第２画像から推定された物標の種別を関連付けることが可能となる。
　上記態様において、前記画像認識部は、前記第２画像から前記物標の種別を推定するとともに推定の確度を算出し、前記関連付け部は、前記確度が閾値以上である前記物標の種別を、前記第１画像に関連付けてもよい。これによると、第２画像から推定された、推定の確度が閾値以上の物標の種別を、第１画像に関連付けることが可能となる。
　上記態様において、前記画像認識部は、前記第１画像から前記物標の種別を推定するとともに推定の確度を算出し、前記関連付け部は、前記確度が閾値未満である前記第１画像に、前記第２画像から推定された前記物標の種別を関連付けてもよい。これによると、推定の確度が閾値未満の第１画像に、第２画像から推定された物標の種別を関連付けることが可能となる。
　上記態様において、前記画像認識部は、前記カメラにより撮像された画像から前記物標の種別を推定するとともに推定の確度を算出し、前記確度が閾値以上の画像を前記第２画像とし、前記確度が閾値未満の画像を前記第１画像としてもよい。これによると、推定の確度が閾値未満の画像を第１画像とし、推定の確度が閾値以上の画像を第２画像とすることが可能となる。
　上記態様において、前記船舶の位置及び向きを取得する位置姿勢取得部と、前記第１画像の撮像時点における前記船舶の位置及び向き、前記第１画像で検出された前記物標の画像内位置、前記第２画像の撮像時点における前記船舶の位置及び向き、並びに前記第２画像で検出された前記物標の画像内位置に基づいて、前記第１画像で検出された前記物標と前記第２画像で検出された前記物標とを同定する同定部と、をさらに備えてもよい。これによると、第１画像で検出された物標と第２画像で検出された物標とを同定することが可能となる。
　上記態様において、前記関連付け部は、前記第１画像に、前記第１画像の撮像時点における前記船舶又はその周囲の状態を表す付帯データをさらに関連付けてもよい。これによると、学習用データに付帯データをさらに含めることが可能となる。
　また、本発明の他の態様の学習用データ収集方法は、船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得し、前記第２画像から前記物標の種別を推定し、前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける。これによると、学習用データの収集が容易となる。
　上記態様において、さらに、前記第１画像及び前記第２画像から推定された前記物標の種別を含むデータセットを用いて、前記物標の種別を推定するための学習済みモデルを再学習してもよい。これによると、学習済みモデルの認識精度のさらなる向上を図ることが可能となる。
　また、本発明の他の態様のプログラムは、船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得すること、前記第２画像から前記物標の種別を推定すること、及び、前記第１画像に、前記第２画像から推定された前記物標の種別を関連付けること、をコンピュータに実行させる。これによると、学習用データの収集が容易となる。
データ収集システムの例を示す図である。 データ収集装置の例を示す図である。 第１画像の例を示す図である。 第２画像の例を示す図である。 画像撮像地点の例を示す図である。 第１画像の認識結果の例を示す図である。 第２画像の認識結果の例を示す図である。 一時記憶データベースの例を示す図である。 学習用データセットの例を示す図である。 データ収集方法の例を示す図である。
　以下、本発明の実施形態について、図面を参照しながら説明する。
　図１は、データ収集システム１００の構成例を示すブロック図である。データ収集システム１００は、船舶に搭載され、機械学習のための学習用データを収集するシステムである。以下の説明では、データ収集システム１００が搭載された船舶を「自船」という。
　データ収集システム１００は、データ収集装置１、表示部２、レーダー３、ＡＩＳ４、カメラ５、ＧＮＳＳ受信機６、ジャイロコンパス７、ＥＣＤＩＳ８、及び無線通信部９を備えている。これらの機器は、例えばＬＡＮ等のネットワークＮに接続されており、相互にネットワーク通信が可能である。
　データ収集装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。データ収集装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。
　プログラムは、光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、インターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。
　表示部２は、レーダー画像、カメラ画像、又は電子海図などを表示する。また、表示部２は、データ収集装置１により生成された表示用画像も表示する。
　表示部２は、例えばタッチセンサ付き表示装置、いわゆるタッチパネルである。タッチセンサは、ユーザの指等による画面内の指示位置を検出する。これに限らず、トラックボール等により指示位置が入力されてもよい。
　レーダー３は、自船の周囲に電波を発するとともにその反射波を受信し、受信信号に基づいてエコーデータを生成する。また、レーダー３は、エコーデータから物標を識別し、物標の位置及び速度を表す物標追跡データ（ＴＴデータ）を生成する。
　ＡＩＳ（Automatic Identification System）４は、自船の周囲に存在する他船又は陸上の管制からＡＩＳデータを受信する。ＡＩＳに限らず、ＶＤＥＳ（VHF Data Exchange System）が用いられてもよい。ＡＩＳデータは、他船の識別符号、船名、位置、針路、船速、船種、船体長、及び行き先などを含んでいる。
　カメラ５は、自船から外部を撮像して画像データを生成するデジタルカメラである。カメラ５は、例えば自船のブリッジに船首方位を向いて設置される。カメラ５は、パン・チルト機能及び光学ズーム機能を有するカメラ、いわゆるＰＴＺカメラであってもよい。
　カメラ５は、例えば広角カメラであることが好ましい。また、カメラ５は、可視光カメラに限らず、赤外線カメラであってもよい。
　ＧＮＳＳ受信機６は、ＧＮＳＳ（Global Navigation Satellite System）から受信した電波に基づいて自船の位置を検出する。ジャイロコンパス７は、自船の船首方位を検出する。ジャイロコンパスに限らず、ＧＰＳコンパスが用いられてもよい。
　ＥＣＤＩＳ（Electronic Chart Display and Information System）８は、ＧＮＳＳ受信機６から自船の位置を取得し、電子海図上に自船の位置を表示する。また、ＥＣＤＩＳ８は、電子海図上に自船の計画航路も表示する。ＥＣＤＩＳに限らず、ＧＮＳＳプロッタが用いられてもよい。
　無線通信部９は、例えば超短波帯、中短波帯、短波帯の無線設備など、他船又は陸上の管制との通信を実現するための種々の無線設備を含んでいる。
　本実施形態では、データ収集装置１と表示部２は互いに独立した装置であるが、これに限らず、データ収集装置１と表示部２は一体の装置であってもよい。
　本実施形態において、データ収集装置１は独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置と一体であってもよい。すなわち、データ収集装置１の機能部が他の装置で実現されてもよい。
　また、表示部２も独立した装置であるが、これに限らず、ＥＣＤＩＳ８等の他の装置の表示部が、データ収集装置１により生成された表示用画像を表示する表示部２として用いられてもよい。
　図２は、データ収集装置１の構成例を示すブロック図である。データ収集装置１は、画像取得部１１、位置姿勢取得部１２、画像認識部１３、同定部１４、関連付け部１５、モデル保持部１６、一時記憶部１７、及びデータ記憶部１８を備えている。
　データ収集装置１に含まれる機能部１１～１５は、データ収集装置１の制御部１０（processing circuitry）がプログラムに従って情報処理を実行することによって実現される。データ収集装置１に含まれる記憶部１６～１８は、データ収集装置１のメモリに確保される。
　画像取得部１１は、カメラ５により撮像された画像を取得する。画像取得部１１は、カメラ５から時系列の複数の画像を順次取得し、画像認識部１３に順次提供する。時系列の複数の画像は、例えば動画像データに含まれる複数の静止画像（フレーム）である。
　画像取得部１１により取得される画像は、自船が港湾海域などを航行するときにカメラ５により撮像される画像であり、港湾又は海上の物標を含む画像である。港湾の物標は、例えばクレーン等の荷捌きのための設置物、又は岸壁等の係留のための設置物などである。海上の物標は、例えば船舶や浮標等である。
　具体的には、画像取得部１１は、港湾又は海上の物標を含む第１画像Ｐ１と、当該設置物を含み、第１画像Ｐ１よりも分解能が高い第２画像Ｐ２とを取得する。本実施形態では、第２画像Ｐ２は、第１画像Ｐ１が撮像された地点よりも物標に近づいた地点でカメラ５により撮像された画像である。
　図３及び図４は、第１画像Ｐ１及び第２画像Ｐ２の例を示す図である。図５は、画像撮像地点の例を示す図である。Ｋ１及びＤ１は、第１画像Ｐ１が撮像された時点の自船ＳＳの位置及び方位を表し、Ｋ２及びＤ２は、第２画像Ｐ２が撮像された時点の自船ＳＳの位置及び方位を示している。
　図３に示す例では、第１画像Ｐ１の画像中央に３つのクレーンＣ１～Ｃ３が比較的小さく含まれている。これに対し、図４に示す例では、第２画像Ｐ２の画像全体に２つのクレーンＣ１，Ｃ２が比較的大きく含まれている。なお、図４に示す例では、クレーンＣ３はカメラ５の画角から外れ、第２画像Ｐ２に含まれていない。
　このように、第２画像Ｐ２は第１画像Ｐ１よりも分解能が高く、クレーンＣ１，Ｃ２をより識別し易い。これは、図５の例に示すように、第１画像Ｐ１は、クレーンＣ１～Ｃ３が設置された岸壁ＰＱから比較的遠い位置Ｋ１で撮像されたのに対し、第２画像Ｐ２は、岸壁ＰＱに比較的近い位置Ｋ２で撮像されたためである。
　言い換えると、第１画像Ｐ１は、後段の画像認識部１３で物標の検知は可能であるものの、物標の分類まではできない画像である。一方、第２画像Ｐ２は、画像認識部１３で物標の検知が可能であり、且つ物標の分類も可能な画像である。分類が可能であるとは、例えば種別の推定の確度が十分なレベルにあることを指す。
　このため、第１画像Ｐ１であるか第２画像Ｐ２であるかは、後段の画像認識部１３により判定されてもよい。すなわち、画像認識部１３による分類の結果、推定の確度が閾値未満である場合には第１画像Ｐ１とされ、推定の確度が閾値以上である場合には第２画像Ｐ２とされてもよい。
　これに限らず、第２画像Ｐ２は、例えば第１画像Ｐ１で検知されたクレーンＣ１，Ｃ２の範囲を、カメラ５の光学ズーム機能を用いて拡大して撮像した画像であってもよいし、カメラ５よりも分解能が高い別のカメラにより撮像した画像であってもよい。
　第２画像Ｐ２は、例えば第１画像Ｐ１で検知されたクレーンＣ１，Ｃ２の範囲を高解像度化した画像であってもよい。また、第１画像Ｐ１が赤外線カメラにより撮像された赤外線画像、第２画像Ｐ２が可視光カメラにより撮像された可視光画像であってもよい。
　図２に示す位置姿勢取得部１２は、カメラ５により画像が撮像された時点の自船の位置及び向きを取得し、画像取得部１１により取得される画像に関連付ける。自船の位置は、ＧＮＳＳ受信機６により検出される自船の位置である。
　自船の向きは、ジャイロコンパス７により検出される自船の船首方位である。また、自船の向きは、自船の船首方位だけでなく、不図示の姿勢センサにより検出される自船のロール又はピッチをさらに含んでもよい。
　画像認識部１３は、モデル保持部１６に保持された学習済みモデルを用いて、画像取得部１１から提供される画像に含まれる物標の種別を推定する。具体的には、画像認識部１３は、画像に含まれる物標の画像内位置を検出し、物標の種別を推定し、推定の精度を算出する。
　学習済みモデルは、学習用画像を入力データとし、学習用画像に含まれる物標の画像内位置及び種別を教師データとして、機械学習により予め生成される。このように生成された学習済みモデルは、画像に含まれる物標の画像内位置、物標の種別、及び推定の確度を出力する。
　学習済みモデルには、例えば SSD（Single Shot MultiBox Detector）又は YOLO（You Only Look Once）等の物体検出モデルが用いられる。これに限らず、学習済みモデルには、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルが用いられてもよい。
　図６及び図７は、画像認識部１３による第１画像Ｐ１及び第２画像Ｐ２の認識結果の例を示す図である。
　第１画像Ｐ１に含まれるクレーンＣ１～Ｃ３は、境界ボックスＢ１～Ｂ３によって囲まれ、境界ボックスＢ１～Ｂ３には、推定された種別及びその確度が記載されたラベルＬ１～Ｌ３が付加される。
　同様に、第２画像Ｐ２に含まれるクレーンＣ１，Ｃ２は、境界ボックスＢ１，Ｂ２によって囲まれ、境界ボックスＢ１，Ｂ２には、推定された種別及びその確度が記載されたラベルＬ１，Ｌ２が付加される。
　第１画像Ｐ１は分解能が比較的低い画像であるため、推定の確度が比較的低い。図６の例では、クレーンＣ１，Ｃ３については、推定された種別が誤っている上、推定の確度も低い。クレーンＣ２については、推定された種別は正しいものの、推定の確度が低い。
　一方、第２画像Ｐ２は分解能が比較的高い画像であるため、推定の確度が比較的高い。図７の例では、クレーンＣ１，Ｃ２については、推定された種別が正しく、且つ推定の確度も高い。
　図２に示す一時記憶部１７は、第１画像Ｐ１を一時的に記憶する。本実施形態では、画像取得部１１により取得された画像のうち、画像認識部１３による認識の結果、推定の確度が閾値未満である物標を含む画像が、第１画像Ｐ１として一時記憶部１７に記憶される。
　図８は、一時記憶部１７に記憶された第１画像Ｐ１を管理するための一時記憶データベースの例を示す図である。一時記憶データベースは、例えば「物標ＩＤ」、「画像」、「画像内位置」、「種別」、「確度」、「撮像位置」、「撮像方位」、「推定位置」、及び「付帯データ」等のフィールドを含んでいる。
　「物標ＩＤ」は、物標を識別するための識別子である。「画像」は、第１画像Ｐ１のファイル名を表す。本例では、物標ＩＤ：００１～００３が、図６の例に示すクレーンＣ１～Ｃ３に対応するものとする。
　「画像内位置」は、第１画像Ｐ１内で検出された物標の画像内位置を表す。画像内位置は、例えば物標を囲む境界ボックスの左上端点と右下端点の座標で表される。
　「種別」は、画像認識部１３により推定された物標の種別を表す。本例では、物標ＩＤ：００１，００３の種別が、クレーンではなく電波塔又は橋と誤って推定されている。「確度」は、推定の確度を表す。確度は、例えば０以上１以下の値で表され、１に近いほど確度が高い。
　「撮像位置」は、第１画像Ｐ１が撮像された時点の自船の位置を表す。自船の位置は、例えば緯度・経度によって表される。「撮像方位」は、第１画像Ｐ１が撮像された時点のカメラ５の撮像方位を表す。カメラ５の撮像方位は、自船の船首方位に対応する。
　「推定位置」は、画像内位置、撮像位置、及び撮像方位等に基づいて算出される物標の推定位置を表す。推定位置の算出には、その他に、カメラ５の画角及び解像度等のパラメータも用いられる。
　具体的には、推定位置は、始めに、画像内位置及び撮像方位から自船に対する相対位置として算出され、その後、撮像位置を用いて絶対位置に変換される。推定位置は、撮像位置と同様に、例えば緯度・経度によって表される。
　「付帯データ」は、第１画像Ｐ１の撮像時点における自船又はその周囲の状態を表すデータである。付帯データは、例えば霧若しくは雨等の気象条件、又は港湾若しくはパース等の領域属性などのデータを含んでいる。
　図２に示す同定部１４は、第１画像Ｐ１で検出された物標と、第２画像Ｐ２で検出された物標との同定を行う。本実施形態では、画像取得部１１により取得された画像のうち、画像認識部１３による認識の結果、検出された全ての物標の推定の確度が閾値以上である画像が、第２画像Ｐ２として同定部１４に提供される。
　同定部１４は、第２画像Ｐ２を受け付けると、一時記憶部１７に記憶された第１画像Ｐ１の中から、第２画像Ｐ２で検出された物標と同一の物標を含む第１画像Ｐ１を抽出する。
　同定部１４は、第１画像Ｐ１で検出された物標の推定位置と、第２画像Ｐ２で検出された物標の推定位置とが同一又は近似する場合に、２つの物標が同一であると判断する。物標の推定位置は、上述したように、画像内位置、撮像位置、及び撮像方位等に基づいて算出される。
　関連付け部１５は、第１画像Ｐ１に、第２画像Ｐ２から推定された、推定の確度が閾値以上の物標の種別を関連付ける。そして、関連付け部１５は、第１画像Ｐ１及びこれに関連付けられた物標の種別を含むデータセットを、機械学習のための学習用データセットとしてデータ記憶部１８に記憶する。
　具体的には、関連付け部１５は、同定部１４により一時記憶部１７から抽出された、第２画像Ｐ２と同一の物標を含む第１画像Ｐ１に、画像認識部１３により第２画像Ｐ２から推定された物標の種別を関連付ける。また、関連付け部１５は、第１画像Ｐ１に付帯データをさらに関連付けてもよい。
　図９は、データ記憶部１８に記憶される学習用データセットの例を示す図である。学習用データセットは、第１画像Ｐ１、第１画像Ｐ１に含まれる物標の画像内位置及び種別、並びに付帯データを含んでいる。
　このうち、物標の種別は、第２画像Ｐ２から推定された物標の種別である。すなわち、第１画像Ｐ１から推定された、推定の確度が閾値未満の物標の種別が、第２画像Ｐ２から推定された、推定の確度が閾値以上の物標の種別によって置き換えられている。
　これにより、物標の分類ができない第１画像Ｐ１に、第２画像Ｐ２から推定された信頼性が高い種別を関連付けることができ、好適な学習用データセットを得ることが可能となる。
　上記図８の例では、画像ＩＭＧ０１の一部の物標の種別がクレーンではなく電波塔又は橋と誤って推定されていたが、図９の例では、第２画像Ｐ２から推定された物標の種別が適用された結果、画像ＩＭＧ０１の全ての種別がクレーンとなっている。
　図２の説明に戻る。データ記憶部１９に記憶された学習用データセットは、学習装置２００による学習済みモデルの再学習に用いられる。学習装置２００は、例えば陸地に設けられた１又は複数のサーバコンピュータである。
　データ収集装置１は、例えば寄港時において学習装置２００との通信が確立すると、データ記憶部１８に記憶された学習用データセットを学習装置２００に転送する。また、データ収集装置１は、転送が完了した学習用データセットをデータ記憶部１８から削除し、空きを作る。
　学習装置２００は、データ収集装置１から取得した学習用データセットを用いて、学習済みモデルの再学習を行う。具体的には、学習装置２００は、取得された学習用データセットに含まれる画像を入力データとし、物標の画像内位置、種別、及び付帯データを教師データとして、再学習を行う。
　データ収集装置１は、学習装置２００に新バージョンの学習済みモデルが用意された場合、学習装置２００から新バージョンの学習済みモデルを取得し、モデル保持部１６に保持された旧バージョンの学習済みモデルと置き換える。
　このように、データ収集装置１により収集された学習用データセットを用いて学習済みモデルの再学習を行い、さらに、データ収集装置１が再学習された学習済みモデルを用いて学習用データセットを収集するサイクルを繰り返すことにより、学習済みモデルの継続的な改善が可能となる。
　図１０は、データ収集装置１において実現されるデータ収集方法の手順例を示す図である。データ収集装置１のＣＰＵは、プログラムに従って同図に示す情報処理を実行する。
　まず、データ収集装置１は、カメラ５により撮像された画像を取得する（Ｓ１１、画像取得部１１としての処理）。次に、データ収集装置１は、自船の位置及び姿勢を取得し、画像に関連付ける（Ｓ１２－Ｓ１３、位置姿勢取得部１２としての処理）。
　次に、データ収集装置１は、画像認識を行う（Ｓ１４、画像認識部１３にとしての処理）。具体的には、データ収集装置１は、学習済みモデルを用いて、画像に含まれる物標の画像内位置を検出し、物標の種別を推定し、推定の精度を算出する。
　次に、データ収集装置１は、推定の確度が閾値未満の物標を含む画像を第１画像Ｐ１とし（Ｓ１５：ＹＥＳ）、第１画像Ｐ１及び物標に係る情報などを一時記憶データベース（図８参照）に登録して、処理を終了する。
　一方、データ収集装置１は、全ての物標の推定の確度が閾値以上である画像を第２画像とし（Ｓ１５：ＮＯ）、一時記憶データベースを参照して、第２画像Ｐ２と同一の物標を含む第１画像Ｐ１が存在するか否か判定する（Ｓ１７，Ｓ１８、同定部１４としての処理）。
　第２画像Ｐ２と同一の物標を含む第１画像Ｐ１が存在する場合（Ｓ１８：ＹＥＳ）、データ収集装置１は、第１画像Ｐ１に、第２画像Ｐ２から推定された、推定の確度が閾値以上の物標の種別を関連付けて保存し（Ｓ１９、関連付け部１５としての処理）、処理を終了する。
　以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。
　例えば、自船にカメラ５とは別のカメラを設け、別のカメラにより撮像された画像を第１画像Ｐ１とし、カメラ５により撮像された画像を第２画像Ｐ２として、第２画像Ｐ２の識別結果を第１画像Ｐ１に関連付けてもよい。これによれば、別のカメラのための学習用データセットを収集することが可能となる。この際、カメラ５と別のカメラの位置、分解能、及び画角の違い基づく視差に応じて、画像内位置を補正することが好ましい。
１　データ収集装置、２　表示部、３　レーダー、４　ＡＩＳ、５　カメラ、６　ＧＮＳＳ受信機、７　ジャイロコンパス、８　ＥＣＤＩＳ、９　無線通信部、１１　画像取得部、１２　位置姿勢取得部、１３　画像認識部、１４　同定部、１５　関連付け部、１６　モデル保持部、１７　一時記憶部、１８　データ記憶部、１００　データ収集システム、２００　学習装置

Claims (12)

  1. 　船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得する画像取得部と、
    　前記第２画像から前記物標の種別を推定する画像認識部と、
    　前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける関連付け部と、
    　を備える、学習用データ収集装置。
  2. 　前記第２画像は、前記第１画像が撮像された地点よりも前記物標に近づいた地点で前記カメラにより撮像された画像である、
    　請求項１に記載の学習用データ収集装置。
  3. 　前記第２画像は、前記第１画像の前記物標を含む範囲を前記カメラの光学ズーム機能を用いて拡大して撮像した画像である、
    　請求項１に記載の学習用データ収集装置。
  4. 　前記第２画像は、前記第１画像の前記物標を含む範囲を前記カメラよりも分解能が高い別のカメラにより撮像した画像である、
    　請求項１に記載の学習用データ収集装置。
  5. 　前記画像認識部は、前記第２画像から前記物標の種別を推定するとともに推定の確度を算出し、
    　前記関連付け部は、前記確度が閾値以上である前記物標の種別を、前記第１画像に関連付ける、
    　請求項１ないし４の何れかに記載の学習用データ収集装置。
  6. 　前記画像認識部は、前記第１画像から前記物標の種別を推定するとともに推定の確度を算出し、
    　前記関連付け部は、前記確度が閾値未満である前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける、
    　請求項１ないし５の何れかに記載の学習用データ収集装置。
  7. 　前記画像認識部は、前記カメラにより撮像された画像から前記物標の種別を推定するとともに推定の確度を算出し、前記確度が閾値以上の画像を前記第２画像とし、前記確度が閾値未満の画像を前記第１画像とする、
    　請求項１ないし６の何れかに記載の学習用データ収集装置。
  8. 　前記船舶の位置及び向きを取得する位置姿勢取得部と、
    　前記第１画像の撮像時点における前記船舶の位置及び向き、前記第１画像で検出された前記物標の画像内位置、前記第２画像の撮像時点における前記船舶の位置及び向き、並びに前記第２画像で検出された前記物標の画像内位置に基づいて、前記第１画像で検出された前記物標と前記第２画像で検出された前記物標とを同定する同定部と、
    　をさらに備える、
    　請求項１ないし７の何れかに記載の学習用データ収集装置。
  9. 　前記関連付け部は、前記第１画像に、前記第１画像の撮像時点における前記船舶又はその周囲の状態を表す付帯データをさらに関連付ける、
    　請求項１ないし８の何れかに記載の学習用データ収集装置。
  10. 　船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得し、
    　前記第２画像から前記物標の種別を推定し、
    　前記第１画像に、前記第２画像から推定された前記物標の種別を関連付ける、
    　学習用データ収集方法。
  11. 　さらに、前記第１画像及び前記第２画像から推定された前記物標の種別を含むデータセットを用いて、前記物標の種別を推定するための学習済みモデルを再学習する、
    　請求項１０に記載の学習用データ収集方法。
  12. 　船舶に設置されたカメラにより撮像された、港湾又は海上の物標を含む第１画像と、前記物標を含み、前記第１画像よりも分解能が高い第２画像とを取得すること、
    　前記第２画像から前記物標の種別を推定すること、及び、
    　前記第１画像に、前記第２画像から推定された前記物標の種別を関連付けること、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2022/011826 2021-07-12 2022-03-16 学習用データ収集装置、学習用データ収集方法、及びプログラム WO2023286360A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023535120A JPWO2023286360A1 (ja) 2021-07-12 2022-03-16

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021115089 2021-07-12
JP2021-115089 2021-07-12

Publications (1)

Publication Number Publication Date
WO2023286360A1 true WO2023286360A1 (ja) 2023-01-19

Family

ID=84919947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011826 WO2023286360A1 (ja) 2021-07-12 2022-03-16 学習用データ収集装置、学習用データ収集方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023286360A1 (ja)
WO (1) WO2023286360A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019118098A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2021077202A (ja) * 2019-11-12 2021-05-20 ジャパンマリンユナイテッド株式会社 情報処理装置、船舶および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019118098A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2021077202A (ja) * 2019-11-12 2021-05-20 ジャパンマリンユナイテッド株式会社 情報処理装置、船舶および情報処理方法

Also Published As

Publication number Publication date
JPWO2023286360A1 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
EP2423871B1 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
CN104978390B (zh) 使用出行路径元数据进行情景感知目标检测
US20220024549A1 (en) System and method for measuring the distance to an object in water
EP4082890A1 (en) Administrative server in ship navigation assistance system, ship navigation assistance method, and ship navigation assistance program
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN113820705A (zh) 船舶用物标检测系统及方法、可信度推定装置、以及程序
CN115077519A (zh) 基于模板匹配与激光惯导松耦合的定位建图方法和装置
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
WO2023286360A1 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
WO2022137952A1 (ja) 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
CN113253619B (zh) 一种船舶数据信息的处理方法及装置
WO2022014220A1 (ja) 学習用データ収集システム、学習用データ収集方法、データ収集装置、プログラム、学習済みモデルの生成方法、学習装置、及び推定装置
CN115082811A (zh) 一种依据图像数据的海上航行船舶识别与距离测量的方法
WO2023162562A1 (ja) 物標監視システム、物標監視方法、及びプログラム
WO2023112349A1 (ja) 物標監視装置、物標監視方法、及びプログラム
WO2023112347A1 (ja) 物標監視装置、物標監視方法、及びプログラム
JP2001195565A (ja) 移動物体画像検索方法、及び、装置
WO2023112348A1 (ja) 物標監視装置、物標監視方法、及びプログラム
WO2022137953A1 (ja) 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
Geng et al. A Vision-based Ship Speed Measurement Method Using Deep Learning
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
WO2022137931A1 (ja) 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
US20240320846A1 (en) Target monitoring device, target monitoring method, and recording medium
JP2023124259A (ja) 物標監視装置、操船システム、物標監視方法、及びプログラム
Ma et al. Multi-sensor Analytic System Architecture for Maritime Surveillance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22841710

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023535120

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22841710

Country of ref document: EP

Kind code of ref document: A1