WO2022137953A1 - 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム - Google Patents

航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム Download PDF

Info

Publication number
WO2022137953A1
WO2022137953A1 PCT/JP2021/042928 JP2021042928W WO2022137953A1 WO 2022137953 A1 WO2022137953 A1 WO 2022137953A1 JP 2021042928 W JP2021042928 W JP 2021042928W WO 2022137953 A1 WO2022137953 A1 WO 2022137953A1
Authority
WO
WIPO (PCT)
Prior art keywords
sign
buoy
candidate
content
image
Prior art date
Application number
PCT/JP2021/042928
Other languages
English (en)
French (fr)
Inventor
大助 松本
Original Assignee
古野電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古野電気株式会社 filed Critical 古野電気株式会社
Priority to JP2022571989A priority Critical patent/JPWO2022137953A1/ja
Publication of WO2022137953A1 publication Critical patent/WO2022137953A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft

Definitions

  • the present invention relates to a sea mark identification device, an autonomous navigation system, a sea mark identification method, and a program.
  • Patent Document 1 discloses an automatic visual recognition device that automatically identifies a navigation sign. It is described in the same document that if the extraction information of the color, shape and emission time of the navigation sign matches the predetermined data, the navigation sign is confirmed.
  • the present invention has been made in view of the above problems, and its main object is a navigation sign identification device, an autonomous navigation system, a navigation sign identification method, and a program capable of improving the identification accuracy of the sign contents. Is to provide.
  • the navigation sign identification device identifies an acquisition unit that acquires an image generated by a camera installed in a ship and a color candidate of a buoy included in the image.
  • the shape identification unit that identifies the shape candidate of the top mark of the buoy
  • the shining method identification unit that identifies the buoy shining candidate from a plurality of time-series images, and the color candidate.
  • the buoy is based on the first candidate of the buoy label content, the second candidate of the buoy label content corresponding to the shape candidate, and the third candidate of the buoy label content corresponding to the shining candidate. It is provided with a sign content determination unit for determining the sign content.
  • the sign content determination unit uses the same sign content as the buoy. It may be determined as the content of the sign.
  • the color identification unit calculates the first accuracy representing the certainty of the color candidate together with the color candidate
  • the shape identification unit together with the shape candidate represents the certainty of the shape candidate. 2
  • the accuracy is calculated
  • the shining method identification unit calculates the third accuracy indicating the certainty of the shining method candidate together with the shining method candidate
  • the labeling content determination unit calculates the first accuracy and the second accuracy.
  • the marking content of the buoy may be determined based on the accuracy and the sum of the third accuracy.
  • the sign content determination unit may change the determination criteria for determining the sign content of the buoy according to the time when the image is generated.
  • the sign content determination unit may change the weighting given to each of the first accuracy, the second accuracy, and the third accuracy according to the time when the image is generated.
  • the color identification unit may identify the color candidate of the buoy in the image by using the trained model.
  • the shape identification unit may identify the shape candidate of the top mark of the buoy in the image by using the trained model.
  • the shining method identification unit may identify the buoy shining method candidate according to a predetermined rule.
  • the buoy marking content is displayed on the first image, electronic sea map, or radar image based on the buoy marking content, the position of the buoy in the first image, and the imaging direction of the camera.
  • a display control unit that displays a symbol to be represented may be further provided.
  • the sign content of the buoy and the navigation sign recorded on the electronic chart are based on the sign content of the buoy, the position of the buoy in the first image, the image pickup direction of the camera, and the position of the ship.
  • a matching determination unit for determining consistency with the content of the sign represented by the data may be further provided.
  • a display control unit that displays the consistency determination result on the first image, the electronic chart, or the radar image may be further provided.
  • the above-mentioned navigation sign identification device and the case where the marking contents of the plurality of the buoys include at least two of a left-hand sign, a right-hand sign, and a safe water area sign.
  • a route calculation unit that calculates the route or the route width of the ship based on the position of the buoy in the first image and the image pickup direction of the camera.
  • the above-mentioned navigation sign identification device a virtual sign acquisition unit for acquiring data representing the position and sign contents of the virtual sign, the sign contents of the buoy, and the virtual sign
  • a route calculation unit for calculating the route or the route width of the ship based on the position of the virtual sign and the content of the sign of the virtual sign may be provided.
  • the autonomous navigation system of another aspect of the present invention includes the above-mentioned navigation sign identification device, a position detection unit for detecting the position of the ship, the contents of the sign of the buoy, and the position of the buoy in the first image.
  • a route calculation unit that sets a change point to be passed by the ship based on the image pickup direction of the camera and the position of the ship may be provided.
  • the autonomous navigation system of another aspect of the present invention includes the above-mentioned navigation sign identification device, an azimuth detection unit for detecting the directional direction of the ship, the content of the buoy sign, the image pickup direction of the camera, and the ship. It may be provided with a route calculation unit for setting the direction in which the ship should navigate based on the head direction of the ship.
  • an automatic steering device that performs autonomous navigation control based on the content of the sign of the buoy may be further provided.
  • an image generated by a camera installed in a ship is acquired, color candidates of the buoy included in the image are identified, and the shape of the top mark of the buoy is formed. Candidates are identified, the buoy shining candidate is identified from a plurality of time-series images, the first candidate of the buoy marker content corresponding to the color candidate, and the buoy label content corresponding to the shape candidate. The tag content of the buoy is determined based on the second candidate of the above and the third candidate of the label content of the buoy corresponding to the shining candidate.
  • the program of another aspect of the present invention is to acquire an image generated by a camera installed in a ship, to identify a color candidate of a buoy included in the image, and a shape candidate of a top mark of the buoy.
  • the buoy can be identified from a plurality of images in a time series, the buoy can be identified, the buoy can be the first candidate of the buoy's marking content corresponding to the color candidate, and the buoy can be identified from the shape candidate.
  • the computer is made to determine the buoy sign content based on the second candidate of the buoy content and the third candidate of the buoy sign content corresponding to the shining candidate.
  • FIG. 1 is a block diagram showing a configuration example of the autonomous navigation system 100.
  • the autonomous navigation system 100 is an ICT system mounted on a ship.
  • a ship equipped with the autonomous navigation system 100 is referred to as a "own ship".
  • the autonomous navigation system 100 includes a navigation sign identification device 1, a camera 2, a radar 3, an AIS 4, a wireless communication unit 5, a display unit 6, a GNSS receiver 7, a gyro compass 8, ECDIS 9, and an automatic steering device 10. These devices are connected to a network N such as a LAN, and can communicate with each other via a network.
  • a network N such as a LAN
  • the navigation mark identification device 1 is a computer including a CPU, RAM, ROM, non-volatile memory, an input / output interface, and the like.
  • the CPU of the sea mark identification device 1 executes information processing according to a program loaded from the ROM or the non-volatile memory into the RAM.
  • the program may be supplied via an information storage medium such as an optical disk or a memory card, or may be supplied via a communication network such as the Internet or a LAN.
  • Camera 2 is a digital camera that captures the outside of the ship and generates image data.
  • the camera 2 is installed, for example, on the bridge of the own ship facing the bow direction.
  • the camera 2 is a visible light camera capable of capturing at least a visible range. It may be possible to image not only the visible region but also the infrared region.
  • the camera 2 is a camera having a pan / tilt function and an optical zoom function, that is, a so-called PTZ camera.
  • the camera 2 pans, tilts, or zooms in response to a command from the navigation sign identification device 1.
  • Radar 3 emits radio waves around its own ship, receives the reflected waves, and generates echo data based on the received signals. Further, the radar 3 identifies the target from the echo data and generates target tracking data (TT data) indicating the position and speed of the target.
  • TT data target tracking data
  • AIS Automatic Identification System 4 receives AIS data from other ships or land controls existing around its own ship. Not limited to AIS, VDES (VHFDataExchangeSystem) may be used.
  • the AIS data includes the positions and speeds of other ships.
  • AIS4 may acquire AIS data representing the position of the virtual sign and the content of the sign.
  • AIS4 is an example of a virtual sign acquisition unit.
  • the virtual sign using AIS is a so-called virtual AIS route sign.
  • the radio communication unit 5 includes various radio equipment for realizing communication with other ships or land control, such as radio equipment for ultra-short wave band, medium-short wave band, and short wave band.
  • the display unit 6 is, for example, a display device with a touch sensor, a so-called touch panel.
  • a display unit device for example, a liquid crystal display device, an organic EL display device, or the like is used.
  • touch sensor other pointing devices such as a trackball or a mouse may be used.
  • the display unit 6 displays an image captured by the camera 2, a radar image generated by the radar 3, an electronic nautical chart, or a composite image obtained by synthesizing a radar image and an electronic nautical chart.
  • the GNSS receiver 7 detects the position of its own ship based on the radio waves received from the GNSS (Global Navigation Satellite System).
  • the GNSS receiver 7 is an example of a position detection unit that detects the position of the own ship.
  • the gyro compass 8 detects the bow direction of its own ship.
  • the gyro compass 8 is an example of an azimuth detection unit that detects the bow azimuth of the own ship.
  • another type of compass such as a GPS compass may be used.
  • ECDIS Electronic Chart Display and Information System 9 acquires its own ship position from the GNSS receiver 7 and displays its own ship position on the electronic chart. ECDIS 9 also displays the planned route of the ship on the electronic chart. Not limited to ECDIS, a GNSS plotter may be used.
  • the automatic steering device 10 calculates a target rudder angle for directing the head to the target course based on the target course acquired from the route sign identification device 1 and the like and the rudder direction acquired from the gyro compass 8, and steers the rudder. Drive the steering wheel so that the angle approaches the target rudder angle. Further, the automatic steering device 10 may control the engine.
  • the route sign identification device 1 is an independent device, but the device is not limited to this, and may be integrated with other devices such as ECDIS 9. That is, the function of the navigation sign identification device 1 may be realized by another device such as ECDIS 10.
  • the display unit 2 is also an independent device, but the display unit is not limited to this, and the display unit included in other devices such as ECDIS 9 displays the image generated by the navigation sign identification device 1. It may be used as 2.
  • FIG. 2 is a diagram for explaining the contents of the buoy sign.
  • a buoy is a sea mark that floats on the surface of the sea and is also called a buoy.
  • the type of buoy and the content of the sign are classified according to the color of the buoy, the shape of the top mark, and the like.
  • Types of buoys include side signs, orientation signs, isolated obstacle signs, safe water area signs, and special signs.
  • the sign contents of the side signs include port signs and starboard signs.
  • the port and starboard sides represent the left and right sides when facing the water source.
  • the content of the directional sign includes a north directional sign, an east directional sign, a south directional sign, and a west directional sign.
  • the contents of the isolated obstacle sign, safe water area sign, and special sign are not further subdivided. That is, it can be said that the type of buoy itself represents the content of the sign.
  • the buoy floating on the surface of the sea is smaller than the ship, and it is difficult to identify the sign content of the buoy far away from the ship. Therefore, in the present embodiment, the accuracy of identifying the content of the sign is improved by acquiring the image step by step as described below.
  • FIG. 3 is a block diagram showing a functional configuration example of the navigation sign identification device 1 according to the embodiment.
  • the route sign identification device 1 includes a first acquisition unit 11, a first identification unit 12, a second acquisition unit 13, a second identification unit 14, a display control unit 15, a route calculation unit 16, and a matching determination unit 18. ..
  • These functional units are realized by the CPU of the navigation sign identification device 1 executing information processing according to a program.
  • a part of the functional units such as the display control unit 15 or the route calculation unit 16 may be realized by a computer different from the route sign identification device 1 included in the ECDIS 9 or the automatic steering device 10.
  • the route sign identification device 1 includes a model storage unit 17 that stores a trained model.
  • This storage unit is provided in the non-volatile memory of the navigation sign identification device 1.
  • the model storage unit 17 may be provided outside the navigation sign identification device 1.
  • the first acquisition unit 11 acquires the first image generated by the camera 2. Specifically, the first acquisition unit 11 sequentially acquires a plurality of first images of the time series generated by the camera 2 and sequentially provides them to the first identification unit 12.
  • the first image is an image taken when the camera 2 is in the standard state.
  • the magnification of the optical zoom is the minimum, and the imaging direction faces the bow direction.
  • the camera 2 repeats the generation of the first image in the standard state except for the period controlled by the second acquisition unit 13.
  • the plurality of first images in the time series may be, for example, a plurality of still images (frames) included in a moving image, or a plurality of still images individually generated by imaging at predetermined time intervals. May be good.
  • FIG. 4 is a diagram showing an example of the first image P1 acquired by the first acquisition unit 11.
  • the figure shows an example in which the first image P1 includes a port sign LL and a starboard sign LR floating on the sea surface in front of the ship together with the hull SP of the ship.
  • the first identification unit 12 identifies the position of the buoy in the first image P1. Specifically, the first identification unit 12 identifies the position of the buoy in the first image P1 by using the first trained model stored in the model storage unit 17. Further, the first identification unit 12 may further identify the type of the buoy as well as the position of the buoy in the first image P1.
  • the first trained model is generated by machine learning using the training image as input data and the floating mark label (or the label of the floating mark type) and the position in the learning image as teacher data.
  • the first trained model thus generated estimates the label (or buoy type label), position, and accuracy of the buoy in the first image P1.
  • the position of the buoy is represented, for example, by the coordinates of the boundary box surrounding the buoy.
  • an object detection model such as SSD (Single Shot MultiBox Detector), YOLO (You Only Look Once), or Mask R-CNN is used.
  • an object detection model such as SSD (Single Shot MultiBox Detector), YOLO (You Only Look Once), or Mask R-CNN is used.
  • a region division model such as Semantic Segmentation or Instance Segmentation may be used, or a feature point detection model such as Keypoint Detection may be used.
  • FIG. 5 is a diagram showing an example of identification of the first image P1 by the first identification unit 12.
  • the figure shows an example in which each of the port marker LL and the starboard marker LR is identified as a buoy (or a side buoy) and surrounded by a boundary box BB.
  • the second acquisition unit 13 acquires a second image having a higher resolution than the first image P1, which corresponds to a partial region including the position of the buoy in the first image P1.
  • the partial region is, for example, a boundary box BB (see FIG. 5) identified by the first identification unit 12.
  • the camera 2 includes a lens unit 21 that realizes an optical zoom function and a pan / tilt mechanism 22 that realizes a pan / tilt function
  • the second acquisition unit 13 includes a lens unit 21 and a pan / tilt mechanism of the camera 2. By controlling the mechanism 22, the second image is acquired.
  • the second acquisition unit 13 controls the lens unit 21 to cause the camera 2 to enlarge the range of the real space corresponding to the partial region of the first image P1 to take an image of the second image. get.
  • the optical zoom function By using the optical zoom function in this way, a second image having a higher resolution than the first image P1 is acquired.
  • the second acquisition unit 13 controls the pan / tilt mechanism 22 to direct the imaging direction of the camera 2 to the range of the real space corresponding to the partial region of the first image P1.
  • the second acquisition unit 13 sets a target value in the imaging direction of the camera 2 according to the position of the buoy in the first image P1 identified by the first identification unit 12.
  • FIG. 6 is a diagram showing an example of the second image P2 acquired by the second acquisition unit 13.
  • the figure shows an example in which the port marker LL is included in the second image P2.
  • the color of the port marker LL, the shape of the top mark TM, and the like are easier to identify than in the first image P1 (see FIG. 4).
  • the second acquisition unit 13 is the camera 2.
  • the second image P2 is acquired for each of the plurality of buoys by sequentially imaging each of the plurality of buoys.
  • the second identification unit 14 identifies the content of the buoy sign from the second image P2. Specifically, the second identification unit 14 identifies the marking content of the buoy from the second image P2 by using the second trained model stored in the model storage unit 17.
  • the second trained model is generated by machine learning using the training image as input data and the label of the sign content of the floating marker in the training image as teacher data.
  • the second trained model generated in this way estimates the label and accuracy of the label content of the buoy in the second image P2.
  • the second trained model for example, a model of the same type as the first trained model is used.
  • the first trained model and the second trained model have different first trained parameters and second trained parameters incorporated into a common inference program, respectively.
  • an object identification model that only identifies the object and does not detect the position of the object may be used.
  • the second trained model includes a trained model for a side sign specialized for identifying the sign content of the side sign and a trained model for the direction sign specialized for discriminating the sign content of the direction sign. But it may be.
  • FIG. 7 and 8 are flow charts showing a procedure example of the route sign identification method realized by the route sign identification device 1.
  • the processes executed by the navigation sign identification device 1 the processes related to image acquisition and identification of the sign contents are mainly shown.
  • the CPU of the navigation sign identification device 1 functions as the first acquisition unit 11, the first identification unit 12, the second acquisition unit 13, and the second identification unit 14 by executing the information processing shown in these figures according to the program. do.
  • the navigation sign identification device 1 acquires the first image P1 (see FIG. 4) from the camera 2 (S11: processing as the first acquisition unit 11).
  • the route sign identification device 1 identifies the position and type of the buoy in the first image P1 using the first trained model (S12: processing as the first identification unit 12).
  • the navigation sign identification device 1 determines whether or not the type of the buoy identified in the first image P1 is a side buoy or a directional buoy (S13).
  • the navigation sign identification device 1 controls the camera 2 to magnify and capture the second image P2 (see FIG. 6). (S14: Processing as the second acquisition unit 13).
  • the route sign identification device 1 executes a sign content identification process for identifying the sign content of the buoy from the second image P2 (S15: process as the second identification unit 14).
  • the route sign identification device 1 is used for the side sign as the second trained model. Using the trained model, it is identified whether the sign content is a left-handed sign or a right-handed sign (S22).
  • the navigation sign identification device 1 uses the trained model for the buoy as the second trained model, and the sign content is northward. It identifies whether it is a position sign, an east direction sign, a south direction sign, or a west direction sign (S23).
  • the route sign identification device 1 When the type of the buoy is not a side buoy or an azimuth buoy (S13 ⁇ NO), that is, when the type of the buoy is an isolated obstacle sign, a safe water area sign, or a special sign, the route sign identification device 1 has a second image. Do not get P2. This is because in those buoys, the type itself represents the content of the sign.
  • the route sign identification device 1 executes S13 to S15 for all the identified buoys (S16). That is, the second image P2 is acquired and the content of the sign is identified for all the buoys that are side buoys or directional buoys.
  • the tag content is identified from the second image P2, which has a higher resolution than the first image P1, and is magnified and imaged based on the position of the buoy identified in the first image P1. Therefore, it is possible to improve the identification accuracy of the sign content.
  • the sign content can be narrowed down according to the type of the buoy, and the sign content can be narrowed down. It is possible to further improve the identification accuracy.
  • the buoy and its position may be identified from the first image P1, and the type of buoy and the content of the sign may be identified from the second image P2.
  • FIG. 9 is a diagram showing an example of a buoy management DB (database).
  • the buoy management DB is a database for managing the identified or acquired buoy information, and is provided in the non-volatile memory of the navigation mark identification device 1.
  • the buoy management DB includes not only the information of the buoy identified from the image of the camera 2 but also the information of the virtual sign acquired by AIS4.
  • the buoy management DB includes fields such as "identifier”, “type”, “mark content”, “position in image”, “real position”, and “virtual buoy”.
  • the "identifier” is an identifier for identifying a buoy.
  • the “virtual buoy” indicates whether or not the buoy is a virtual buoy.
  • Type represents the type of buoy.
  • Synign content represents the sign content of the buoy.
  • the “type” is a side sign or a direction sign, a port sign, a north direction sign, or the like is input in the “sign content”.
  • the "type” is an isolated obstacle sign, a safe water area sign, or a special sign, no data is input in the "mark content”.
  • Position in image represents the position of the buoy in the first image P1 (see FIG. 4). In the case of a virtual buoy, no data is input in the "position in the image”.
  • Actual position represents the actual position of the buoy. The actual position of the buoy identified from the image of the camera 2 is calculated based on the position in the image of the buoy and the imaging direction of the camera 2.
  • the display control unit 15 generates display data related to the buoy and outputs it to the display unit 6. Specifically, the display control unit 15 determines the first image P1, the electronic chart, or the radar based on the content of the identified buoy marker, the position of the buoy in the first image P1, the image pickup direction of the camera 2, and the like. A symbol representing the sign content of the buoy is displayed on the image or the like.
  • the display control unit 15 displays an image with symbols ML and MR associated with the positions of the port sign LL and the starboard sign LR in the first image P1 and representing the contents of the signs. Displayed in part 6.
  • the symbols ML and MR include, for example, a character string representing a sign content.
  • the display control unit 15 has a symbol representing the contents of the left-sided sign LL and the right-sided sign LR at positions corresponding to the actual positions in the composite image CP obtained by synthesizing the electronic sea map and the radar image.
  • the image with TL and TR is displayed on the display unit 6.
  • the symbols TL and TR have a shape representing, for example, the content of a sign.
  • the symbol SF of the own ship, the planned route RT of the own ship, the turning point DF on the planned route RT, the symbol EL of another ship, etc. are displayed.
  • the symbols VL and VR representing the sign contents of the virtual sign may be displayed on the composite image CP.
  • the symbols VL and VR have the same shape as the symbols TL and TR. It is preferable that the symbols VL and VR are displayed so as to be distinguishable from the symbols TL and TR, for example, by changing the transparency.
  • the route calculation unit 16 calculates a target course, that is, a direction, a turning point, and a route for autonomous navigation control based on the content of the identified buoy sign.
  • the calculated target course is provided to the automatic steering device 10 that performs autonomous navigation control.
  • misrecognition of the identification content of the navigation sign causes a serious accident. Therefore, by performing autonomous navigation control by identifying the content of the navigation sign whose accuracy has been improved by the present invention, it is possible to realize an autonomous navigation system that can withstand maneuvering in a real environment.
  • the route calculation unit 16 determines the positions of the port marker LL and the starboard marker LR in the first image P1 when the buoys identified in the first image P1 include the port marker LL and the starboard marker LR. And, based on the image pickup direction of the camera 2, the planned route or the route width of the own ship is calculated. Specifically, the route calculation unit 16 is based on the positions of the port marker LL and the starboard marker LR in the first image P1 and the actual positions of the port marker LL and the starboard marker LR calculated from the imaging direction of the camera 2. Set the planned route RT of the ship so that it passes between the port sign LL and the starboard sign LR from the position of the ship (see FIG. 11).
  • the route calculation unit 16 determines the port marker LL or the starboard marker LR and the safe water area.
  • the planned route RT of the own ship may be set between the sign and the sign.
  • the route calculation unit 16 is based on the positions of the port marker LL and the starboard marker LR in the first image P1 and the actual positions of the port marker LL and the starboard marker LR calculated from the imaging direction of the camera 2, and the port marker LL.
  • the starboard sign LR may be calculated as the route width W.
  • the calculated route width W may be displayed in the first image P1 displayed on the display unit 6, or may be displayed in the composite image CP in which the electronic chart and the radar image are combined (see FIG. 11). ).
  • the route calculation unit 16 sets a change point to be passed by the own ship based on the content of the identified buoy sign, the position of the buoy in the first image P1, the image pickup direction of the camera 2, and the position of the own ship. May be good. Specifically, the route calculation unit 16 determines the contents of the identified side signs and buoys such as directional buoys, the positions of those buoys in the first image P1, and the actual buoys calculated from the imaging direction of the camera 2. Based on the position and the position of the own ship, one or more change point DFs for setting the planned route RT of the own ship entering or leaving the port are set (see FIG. 11).
  • the route calculation unit 16 determines the contents of the identified buoys such as isolated obstacle signs or special signs, the positions of those buoys in the first image P1, and the image pickup direction of the camera 2. Based on the actual position and the position of the ship, one or more change points may be set to set an avoidance route to avoid obstacles or special areas.
  • the route calculation unit 16 may set the direction in which the ship should navigate based on the content of the identified buoy sign, the imaging direction of the camera 2, and the bow direction of the ship. For example, the route calculation unit 16 maintains or adjusts the direction in which the ship should navigate so that buoys such as side buoys continue to be included in the plurality of first images P1 in the time series. In addition, the route calculation unit 16 further uses the position of the buoy in the first image P1 so as to go between the port sign and the starboard sign, or to go in the direction along the plurality of port signs or starboard signs. , You may set the direction in which your ship should navigate.
  • the route calculation unit 16 calculates a target course for autonomous navigation control based on the position of the virtual sign and the content of the sign, that is, the direction, the change point, and the route, in addition to the content of the identified buoy sign. good. Specifically, the route calculation unit 16 is not only between the port marker LL and the starboard marker LR identified in the first image P1 when the data of the virtual port marker VL and the virtual starboard marker VR are acquired. , The planned route RT of the own ship may be set so as to pass between the virtual port sign VL and the virtual starboard sign VR.
  • the matching determination unit 18 determines the content of the buoy sign and the route recorded on the electronic chart based on the identified buoy sign content, the position of the buoy in the first image P1, the image pickup direction of the camera 2, and the position of the own ship. Judge the consistency with the content of the sign represented by the sign data. Specifically, the matching determination unit 18 calculates the actual position of the buoy from the position of the buoy in the first image P1, the image pickup direction of the camera 2, and the position of the own ship, and the sea mark data recorded on the electronic chart. The route marking data corresponding to the actual position of the buoy is extracted from the buoy, and it is determined whether or not the labeled content of the identified buoy matches the marking content represented by the extracted route marking data.
  • the display control unit 15 displays the determination result by the matching determination unit 18 on the first image P1, an electronic chart, a radar image, or the like. For example, the display control unit 15 displays a symbol indicating the presence or absence of matching on the first image P1 (see FIG. 10) or the composite image CP (see FIG. 11) displayed on the display unit 6 in association with the buoy. Alternatively, the display control unit 15 may display a symbol representing the content of the sign (symbol ML, MR in FIG. 10, symbols TL, TR, etc. in FIG. 11) only on the matched buoy.
  • the second acquisition unit 13A may be an image processing unit that acquires a second image by increasing the resolution of a partial region of the first image. By increasing the resolution in this way, a second image having a higher resolution than the first image is acquired.
  • the first acquisition unit 11 acquires the first image by thinning out or averaging the original image generated by the camera 2, and the second acquisition unit 13 covers the partial area of the first image.
  • the second image may be acquired by cutting out the corresponding area from the original image. This also obtains a second image having a higher resolution than the first image.
  • the second acquisition unit 13B causes the auxiliary camera 3, which has a higher resolution than the camera 2, to capture a range of the real space corresponding to the partial region of the first image, thereby capturing the second image. It may be a camera control unit to acquire. By using the auxiliary camera 3 in this way, a second image having a higher resolution than the first image is acquired.
  • the auxiliary camera 3 includes a lens unit 31 that realizes an optical zoom function and a pan / tilt mechanism 32 that realizes a pan / tilt function.
  • the lens unit 31 of the auxiliary camera 3 has a higher magnification than the lens unit 21 of the camera 2.
  • port sign and starboard signs may be opposite depending on the country. Therefore, in this modification, as described below, the port sign and the starboard sign are discriminated regardless of the position of the own ship.
  • FIG. 14 is a block diagram showing a configuration example of the second identification unit 14A according to the first modification. The figure mainly shows the functional part for identifying the sign content of the side buoy among the functional parts realized in the second identification unit 14A.
  • the second identification unit 14A includes a color identification unit 31, a shape identification unit 32, a country determination unit 33, and a port side determination unit 34.
  • the color identification unit 31 and the shape identification unit 32 are examples of the mode identification unit.
  • the functional unit of the second identification unit 14A is the second image P2 (see FIG. 6). Identify the marking content of the side buoy included in.
  • FIG. 15 is a flow chart showing a procedure example of the port sign identification process S22 according to the first modification, which is realized by the second identification unit 14A.
  • the navigation sign identification device 1 executes the information processing shown in the figure according to a program.
  • the port sign identification process S22 corresponds to S22 shown in FIG. 8 above. That is, the route sign identification device 1 executes the port sign identification process S22 when the type of the buoy identified in S12 shown in FIG. 7 is a side buoy.
  • the navigation sign identification device 1 identifies whether the color of the side buoy included in the second image P2 is green or red (S31: processing as the color identification unit 31). Green and red are examples of the first and second aspects.
  • the route sign identification device 1 identifies whether the top mark of the side buoy included in the second image P2 is cylindrical or conical (S32: processing as the shape identification unit 32). Cylindrical and conical are examples of the first and second aspects.
  • Color identification and top mark shape identification are performed using a trained model as in the above embodiment.
  • a trained model that identifies both the color and the shape of the top mark may be used, or a trained model that identifies the color and a trained model that identifies the shape of the top mark may be used separately. ..
  • the route sign identification device 1 determines the country to which the detection position of the own ship detected by the GNSS receiver 7 (see FIG. 1) belongs (S33: processing as the country determination unit 33). For example, the sea mark identification device 1 determines in which country the territorial waters the coordinates of the detection position of the own ship are included based on the nautical chart data.
  • the navigation sign identification device 1 refers to the country-specific port side mode table, and from the color identified in S31, the shape of the top mark identified in S32, and the country determined in S33, the side floating sign It is determined whether the content of the sign is a port sign or a starboard sign (S34: processing as the port determination unit 34).
  • FIG. 16 is a diagram showing an example of a country-specific port side table.
  • the country-specific starboard mode table is a table showing the correspondence between the mode of the buoy and the content of the sign, and is provided in the non-volatile memory of the route sign identification device 1.
  • the country-specific starboard mode table shows whether the green and red colors of the side floats correspond to the port sign or the starboard sign in each country.
  • the country-specific port side table also shows whether the cylindrical and conical shapes in the shape of the top mark correspond to either port or starboard markers in each country.
  • the type of buoy and the content of the sign can be identified by factors such as the color of the buoy, the shape of the top mark, and the way it shines.
  • the accuracy may not be sufficient. Therefore, in this modification, the accuracy of identifying the content of the sign is improved as described below.
  • FIG. 17 is a block diagram showing a configuration example of the second identification unit 14B according to the second modification.
  • the second identification unit 14B includes a color identification unit 41, a first candidate determination unit 42, a shape identification unit 43, a second candidate determination unit 44, a shining method identification unit 45, a third candidate determination unit 46, and a sign content determination unit 47. It is equipped with.
  • FIG. 18 is a flow chart showing a procedure example of the sign content identification process S15 according to the second modification, which is realized by the second identification unit 14B.
  • the navigation sign identification device 1 executes the information processing shown in the figure according to a program.
  • the sign content identification process S15 corresponds to S15 shown in FIG. 7 above.
  • FIG. 19 is a diagram showing the color corresponding to the sign content of the buoy, the shape of the top mark, and the way of shining.
  • the contents of the buoy sign are classified according to the color of the buoy, the shape of the top mark, and the way it shines.
  • the way of shining is a time pattern of turning on and off.
  • the navigation sign identification device 1 identifies the color candidate of the buoy included in the second image P2 (S41: processing as the color identification unit 41). Specifically, the navigation sign identification device 1 identifies the color candidate of the buoy in the second image P2 by using the trained model. Further, the navigation sign identification device 1 calculates the first accuracy indicating the certainty of the color candidate together with the color candidate.
  • the route sign identification device 1 determines the first candidate of the sign content of the buoy corresponding to the identified color candidate (S42: processing as the first candidate determination unit 42). Specifically, the route sign identification device 1 refers to a table showing the correspondence between the color and the sign content, and determines the sign content corresponding to the color candidate as the first candidate.
  • the route sign identification device 1 identifies the shape candidate of the top mark of the buoy included in the second image P2 (S43: processing as the shape identification unit 43). Specifically, the navigation sign identification device 1 identifies the shape candidate of the top mark of the buoy in the second image P2 by using the trained model. Further, the navigation sign identification device 1 calculates the second accuracy indicating the certainty of the shape candidate together with the shape candidate.
  • the route sign identification device 1 determines the second candidate of the sign content of the buoy corresponding to the identified shape candidate (S44: processing as the second candidate determination unit 44). Specifically, the route sign identification device 1 refers to a table showing the correspondence relationship between the shape and the sign content, and determines the sign content corresponding to the shape candidate as the second candidate.
  • the navigation sign identification device 1 identifies the buoy shining candidate from the plurality of second images P2 in the time series (S45: processing as the shining identification unit 45).
  • the navigation sign identification device 1 identifies the buoy shining candidate according to a predetermined rule.
  • the navigation sign identification device 1 extracts a time pattern for turning on and off the buoy from a plurality of second images P2 in a time series, and extracts a time from a plurality of standard time patterns stored in advance.
  • the standard time pattern that most closely resembles the pattern is used as a shining candidate.
  • the standard time pattern is created based on how each sign content shines (see FIG. 19).
  • the navigation sign identification device 1 calculates the third accuracy indicating the certainty of the shining candidate together with the shining candidate. Specifically, the navigation sign identification device 1 calculates the similarity between the extracted time pattern and the standard time pattern as a shining candidate as the third accuracy.
  • the route sign identification device 1 determines the third candidate of the sign content of the buoy corresponding to the identified shining candidate (S46: processing as the third candidate determination unit 46). Specifically, the navigation sign identification device 1 determines the sign content corresponding to the standard time pattern as the shining candidate as the third candidate.
  • the navigation sign identification device 1 determines whether the current time is daytime or nighttime (S47), applies the daytime determination criterion if it is daytime (S48), and applies the daytime determination criterion if it is nighttime (S48).
  • the nighttime criterion is applied (S49).
  • the current time is the time when the image is generated by the camera 2.
  • the judgment standard is a judgment standard for determining the content of the sign of the buoy.
  • the route sign identification device 1 is based on the first candidate of the sign content determined in S42, the second candidate of the sign content determined in S44, and the third candidate of the sign content determined in S46.
  • the sign content of the buoy is determined (S50: processing as the sign content determination unit 47).
  • the route sign identification device 1 uses the same sign content as the buoy sign content. decide. For example, when two of the first candidate, the second candidate, and the third candidate are port signs and the remaining one is a starboard sign, the port sign is determined as the sign content.
  • the route sign identification device 1 may determine the sign content of the buoy based on the first accuracy, the second accuracy, and the third accuracy. For example, the candidate corresponding to the highest accuracy among the first accuracy, the second accuracy, and the third accuracy is determined as the marking content. Further, when a plurality of candidates represent the same marking content, the accuracy corresponding to them may be added.
  • the navigation sign identification device 1 changes the weighting given to each of the first accuracy, the second accuracy, and the third accuracy between the daytime determination standard and the nighttime determination standard. For example, priority is given to candidates related to the color of the buoy and the shape of the top mark that are easy to see in a bright environment during the daytime, and priority is given to candidates related to how the buoy is easily visible even in a dark environment at night.
  • the weighting of the first and second accuracy related to the color of the buoy and the shape of the top mark is higher than the weighting of the third accuracy related to the way the buoy shines.
  • the weighting of the third accuracy related to the way the buoy shines is higher than the weighting of the first and second accuracy related to the color of the buoy and the shape of the top mark.
  • the method for determining the content of the sign according to this modification may be applied not only to the side sign and the direction sign, but also to the isolated obstacle sign, the safe water area sign, and the special sign.
  • 1 Sea mark identification system 2 Camera, 3 Radar, 4 AIS, 5 Wireless communication unit, 6 Display unit, 7 GNSS receiver, 8 Gyro compass, 9 ECDIS, 10 Automatic steering device, 11 1st acquisition unit, 12 1st Identification unit, 13 2nd acquisition unit, 14 2nd identification unit, 15 display control unit, 16 route calculation unit, 17 model storage unit, 21 lens unit, 22 pan / tilt mechanism, 31 color identification unit, 32 shape identification unit, 33 Country Judgment Unit, 34 Starboard Judgment Unit, 41 Color Identification Unit, 42 1st Candidate Judgment Unit, 43 Shape Identification Unit, 44 2nd Candidate Judgment Unit, 45 Shining Method Identification Unit, 46 3rd Candidate Judgment Unit, 47 Marker Content determination department, 100 autonomous navigation system

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】標識内容の識別精度の向上を図ることが可能な航路標識識別装置を提供する。 【解決手段】航路標識識別装置は、船舶に設置されるカメラにより生成された画像を取得する取得部と、画像に含まれる浮標の色候補を識別する色識別部と、浮標のトップマークの形状候補を識別する形状識別部と、時系列の複数の画像から浮標の光り方候補を識別する光り方識別部と、色候補に対応する浮標の標識内容の第１候補、形状候補に対応する浮標の標識内容の第２候補、及び光り方候補に対応する浮標の標識内容の第３候補に基づいて、浮標の標識内容を決定する標識内容決定部と、を備える。

Description

航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
　本発明は、航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラムに関する。
　特許文献１には、航路標識を自動的に識別する自動視認装置が開示されている。同文献には、航路標識の色、形および発光時間の抽出情報が所定のデータと一致すれば、航路標識を確定することが記載されている。
特公平４－７６５６２号公報
　しかしながら、色、形および発光時間の抽出精度が十分でない場合には、一致を条件とすると、標識内容を識別できないおそれがある。
　本発明は、上記課題に鑑みてなされたものであり、その主な目的は、標識内容の識別精度の向上を図ることが可能な航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラムを提供することにある。
　上記課題を解決するため、本発明の一の態様の航路標識識別装置は、船舶に設置されるカメラにより生成された画像を取得する取得部と、前記画像に含まれる浮標の色候補を識別する色識別部と、前記浮標のトップマークの形状候補を識別する形状識別部と、時系列の複数の前記画像から前記浮標の光り方候補を識別する光り方識別部と、前記色候補に対応する前記浮標の標識内容の第１候補、前記形状候補に対応する前記浮標の標識内容の第２候補、及び前記光り方候補に対応する前記浮標の標識内容の第３候補に基づいて、前記浮標の標識内容を決定する標識内容決定部と、を備える。
　上記態様において、前記標識内容決定部は、前記第１候補、前記第２候補、及び前記第３候補のうちの少なくとも２つが同一の標識内容である場合に、当該同一の標識内容を前記浮標の標識内容として決定してもよい。
　上記態様において、前記色識別部は、前記色候補とともに、前記色候補の確からしさを表す第１確度を算出し、前記形状識別部は、前記形状候補とともに、前記形状候補の確からしさを表す第２確度を算出し、前記光り方識別部は、前記光り方候補とともに、前記光り方候補の確からしさを表す第３確度を算出し、前記標識内容決定部は、前記第１確度、前記第２確度、及び前記第３確度の和に基づいて、前記浮標の標識内容を決定してもよい。
　上記態様において、前記標識内容決定部は、前記画像が生成された時刻に応じて、前記浮標の標識内容を決定するための判定基準を変更してもよい。
　上記態様において、前記標識内容決定部は、前記画像が生成された時刻に応じて、前記第１確度、前記第２確度、及び前記第３確度のそれぞれに付与する重み付けを変更してもよい。
　上記態様において、前記色識別部は、学習済みモデルを用いて前記画像内の前記浮標の色候補を識別してもよい。
　上記態様において、前記形状識別部は、学習済みモデルを用いて前記画像内の前記浮標のトップマークの形状候補を識別してもよい。
　上記態様において、前記光り方識別部は、所定のルールに従って前記浮標の光り方候補を識別してもよい。
　上記態様において、前記浮標の標識内容、前記第１画像内の前記浮標の位置、及び前記カメラの撮像方向に基づいて、前記第１画像、電子海図、又はレーダー画像上に前記浮標の標識内容を表すシンボルを表示する表示制御部をさらに備えてもよい。
　上記態様において、前記浮標の標識内容、前記第１画像内の前記浮標の位置、前記カメラの撮像方向、及び前記船舶の位置に基づいて、前記浮標の標識内容と電子海図に記録された航路標識データが表す標識内容との整合性を判定する整合判定部をさらに備えてもよい。
　上記態様において、前記整合性の判定結果を、前記第１画像、前記電子海図、又はレーダー画像上に表示する表示制御部をさらに備えてもよい。
　また、本発明の他の態様の自律航行システムは、上記の航路標識識別装置と、複数の前記浮標の標識内容が、左舷標識、右舷標識、及び安全水域標識のうちの少なくとも２つを含む場合に、前記第１画像内の前記浮標の位置及び前記カメラの撮像方向に基づいて、前記船舶の航路または航路幅を算出する航路算出部と、を備えてもよい。
　また、本発明の他の態様の自律航行システムは、上記の航路標識識別装置と、仮想標識の位置及び標識内容を表すデータを取得する仮想標識取得部と、前記浮標の標識内容、前記仮想標識の位置、及び前記仮想標識の標識内容に基づいて前記船舶の航路または航路幅を算出する航路算出部と、を備えてもよい。
　また、本発明の他の態様の自律航行システムは、上記の航路標識識別装置と、前記船舶の位置を検出する位置検出部と、前記浮標の標識内容、前記第１画像内の前記浮標の位置、前記カメラの撮像方向、及び前記船舶の位置に基づいて、前記船舶が経由すべき変針点を設定する航路算出部と、を備えてもよい。
　また、本発明の他の態様の自律航行システムは、上記の航路標識識別装置と、前記船舶の船首方位を検出する方位検出部と、前記浮標の標識内容、前記カメラの撮像方向、及び前記船舶の船首方位に基づいて、前記船舶が航行すべき方位を設定する航路算出部と、を備えてもよい。
　また、上記態様において、前記浮標の標識内容に基づいて自律航行制御を行う自動操舵装置をさらに備えてもよい。
　また、本発明の他の態様の航路標識識別方法は、船舶に設置されるカメラにより生成された画像を取得し、前記画像に含まれる浮標の色候補を識別し、前記浮標のトップマークの形状候補を識別し、時系列の複数の前記画像から前記浮標の光り方候補を識別し、前記色候補に対応する前記浮標の標識内容の第１候補、前記形状候補に対応する前記浮標の標識内容の第２候補、及び前記光り方候補に対応する前記浮標の標識内容の第３候補に基づいて、前記浮標の標識内容を決定する。
　また、本発明の他の態様のプログラムは、船舶に設置されるカメラにより生成された画像を取得すること、前記画像に含まれる浮標の色候補を識別すること、前記浮標のトップマークの形状候補を識別すること、時系列の複数の前記画像から前記浮標の光り方候補を識別すること、及び、前記色候補に対応する前記浮標の標識内容の第１候補、前記形状候補に対応する前記浮標の標識内容の第２候補、及び前記光り方候補に対応する前記浮標の標識内容の第３候補に基づいて、前記浮標の標識内容を決定すること、をコンピュータに実行させる。
　本発明によれば、標識内容の識別精度の向上を図ることが可能となる。
船載システムの構成例を示すブロック図である。 浮標の標識内容などを説明するための図である。 航路標識識別装置の機能構成例を示すブロック図である。 第１画像の例を示す図である。 第１識別部による識別例を示す図である。 第２画像の例を示す図である。 航路標識識別方法の手順例を示すフロー図である。 標識内容識別処理の手順例を示すフロー図である。 浮標管理データベースの例を示す図である。 表示部による表示例を示す図である。 表示部による別の表示例を示す図である。 航路標識識別装置の別の構成例を示すブロック図である。 航路標識識別装置のさらに別の構成例を示すブロック図である。 第１変形例に係る第２識別部の構成例を示すブロック図である。 左右舷標識識別処理の手順例を示すフロー図である。 国別左右舷態様テーブルの例を示す図である。 第２変形例に係る第２識別部の構成例を示すブロック図である。 標識内容識別処理の手順例を示すフロー図である。 浮標の光り方などを説明するための図である。
　以下、本発明の実施形態について、図面を参照しながら説明する。
　図１は、自律航行システム１００の構成例を示すブロック図である。自律航行システム１００は、船舶に搭載されるＩＣＴシステムである。以下、自律航行システム１００が搭載された船舶を「自船」という。
　自律航行システム１００は、航路標識識別装置１、カメラ２、レーダー３、ＡＩＳ４、無線通信部５、表示部６、ＧＮＳＳ受信機７、ジャイロコンパス８、ＥＣＤＩＳ９、及び自動操舵装置１０を備えている。これらの機器は、例えばＬＡＮ等のネットワークＮに接続されており、相互にネットワーク通信が可能である。
　航路標識識別装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。航路標識識別装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。
　プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。
　カメラ２は、自船の外部を撮像して画像データを生成するデジタルカメラである。カメラ２は、例えば自船のブリッジに船首方位を向いて設置される。カメラ２は、少なくとも可視域の撮像が可能な可視光カメラである。可視域だけでなく、赤外域の撮像が可能であってもよい。
　本実施形態では、カメラ２は、パン・チルト機能及び光学ズーム機能を有するカメラ、いわゆるＰＴＺカメラである。カメラ２は、航路標識識別装置１からの指令に応じて、パン、チルト、又はズームを行う。
　レーダー３は、自船の周囲に電波を発するとともにその反射波を受信し、受信信号に基づいてエコーデータを生成する。また、レーダー３は、エコーデータから物標を識別し、物標の位置及び速度を表す物標追跡データ（ＴＴデータ）を生成する。
　ＡＩＳ（Automatic Identification System）４は、自船の周囲に存在する他船又は陸上の管制からＡＩＳデータを受信する。ＡＩＳに限らず、ＶＤＥＳ（VHF Data Exchange System）が用いられてもよい。ＡＩＳデータは、他船の位置及び速度等を含んでいる。
　また、ＡＩＳ４は、仮想標識の位置及び標識内容を表すＡＩＳデータを取得してもよい。ＡＩＳ４は、仮想標識取得部の例である。ＡＩＳを利用した仮想標識は、いわゆる仮想ＡＩＳ航路標識である。
　無線通信部５は、例えば超短波帯、中短波帯、短波帯の無線設備など、他船又は陸上の管制との通信を実現するための種々の無線設備を含んでいる。
　表示部６は、例えばタッチセンサ付き表示装置、いわゆるタッチパネルである。表示部装置には、例えば液晶表示装置又は有機ＥＬ表示装置等が用いられる。タッチセンサに限らず、トラックボール又はマウス等の他のポインティングデバイスが用いられてもよい。
　表示部６には、カメラ２により撮像された画像、レーダー３により生成されたレーダー画像、電子海図、又はレーダー画像と電子海図を合成した合成画像などが表示される。
　ＧＮＳＳ受信機７は、ＧＮＳＳ（Global Navigation Satellite System）から受信した電波に基づいて自船位置を検出する。ＧＮＳＳ受信機７は、自船位置を検出する位置検出部の例である。
　ジャイロコンパス８は、自船の船首方位を検出する。ジャイロコンパス８は、自船の船首方位を検出する方位検出部の例である。ジャイロコンパスに限らず、ＧＰＳコンパス等の他方式の方位計が用いられてもよい。
　ＥＣＤＩＳ（Electronic Chart Display and Information System）９は、ＧＮＳＳ受信機７から自船位置を取得して、電子海図上に自船位置を表示する。また、ＥＣＤＩＳ９は、電子海図上に自船の予定航路も表示する。ＥＣＤＩＳに限らず、ＧＮＳＳプロッタが用いられてもよい。
　自動操舵装置１０は、航路標識識別装置１等から取得した目標針路と、ジャイロコンパス８から取得した船首方位とに基づき、目標針路に船首を向けるための目標舵角を算出し、操舵機の舵角が目標舵角に近付くよう操舵機を駆動する。また、自動操舵装置１０は、エンジンを制御してもよい。
　本実施形態では、航路標識識別装置１は独立した装置であるが、これに限らず、ＥＣＤＩＳ９等の他の装置と一体であってもよい。すなわち、航路標識識別装置１の機能がＥＣＤＩＳ１０等の他の装置で実現されてもよい。
　また、本実施形態では、表示部２も独立した装置であるが、これに限らず、ＥＣＤＩＳ９等の他の装置が備える表示部が、航路標識識別装置１により生成された画像を表示する表示部２として用いられてもよい。
　図２は、浮標の標識内容などを説明するための図である。浮標とは、海面に浮かんだ航路標識であり、ブイとも呼ばれる。浮標の種別及び標識内容は、浮標の色及びトップマークの形状等によって分類される。
　浮標の種別には、側面標識、方位標識、孤立障害標識、安全水域標識、及び特殊標識がある。側面標識の標識内容には、左舷標識及び右舷標識がある。左右舷は、水源に向かったときの左右を表す。方位標識の標識内容には、北方位標識、東方位標識、南方位標識、及び西方位標識がある。
　孤立障害標識、安全水域標識、及び特殊標識については、それ以上標識内容が細分化されていない。すなわち、浮標の種別自体が標識内容を表していると言える。
　ところで、海面に浮かぶ浮標は、船舶と比べて小さく、船舶から遠く離れた浮標の標識内容を識別することは困難である。そこで、本実施形態では、以下に説明するように段階的に画像を取得することで、標識内容の識別精度の向上を図っている。
　図３は、実施形態に係る航路標識識別装置１の機能構成例を示すブロック図である。航路標識識別装置１は、第１取得部１１、第１識別部１２、第２取得部１３、第２識別部１４、表示制御部１５、航路算出部１６、及び整合判定部１８を備えている。
　これらの機能部は、航路標識識別装置１のＣＰＵがプログラムに従って情報処理を実行することによって実現される。なお、表示制御部１５又は航路算出部１６等の一部の機能部は、ＥＣＤＩＳ９又は自動操舵装置１０等に含まれる、航路標識識別装置１とは別のコンピュータで実現されてもよい。
　また、航路標識識別装置１は、学習済みモデルを記憶するモデル記憶部１７を備えている。この記憶部は、航路標識識別装置１の不揮発性メモリに設けられる。これに限らず、モデル記憶部１７は、航路標識識別装置１の外部に設けられてもよい。
　第１取得部１１は、カメラ２により生成された第１画像を取得する。具体的には、第１取得部１１は、カメラ２により生成された時系列の複数の第１画像を順次取得し、第１識別部１２に順次提供する。
　第１画像は、カメラ２が標準状態にあるときに撮像された画像である。標準状態は、例えば光学ズームの倍率が最小で、撮像方向が船首方位を向いた状態である。カメラ２は、第２取得部１３によって制御される期間以外は、標準状態で第１画像の生成を繰り返す。
　時系列の複数の第１画像は、例えば動画像に含まれる複数の静止画像（フレーム）であってもよいし、所定の時間間隔での撮像により個別に生成された複数の静止画像であってもよい。
　図４は、第１取得部１１により取得される第１画像Ｐ１の例を示す図である。同図は、第１画像Ｐ１が、自船の船体ＳＰとともに、自船の前方の海面に浮かんだ左舷標識ＬＬ及び右舷標識ＬＲを含んだ例を示している。
　第１識別部１２は、第１画像Ｐ１内の浮標の位置を識別する。具体的には、第１識別部１２は、モデル記憶部１７に記憶された第１学習済みモデルを用いて、第１画像Ｐ１内の浮標の位置を識別する。また、第１識別部１２は、第１画像Ｐ１内の浮標の位置とともに、当該浮標の種別をさらに識別してもよい。
　第１学習済みモデルは、学習用画像を入力データとし、学習用画像内の浮標のラベル（又は、浮標の種別のラベル）及び位置を教師データとして、機械学習により生成される。このように生成された第１学習済みモデルは、第１画像Ｐ１内の浮標のラベル（又は、浮標の種別のラベル）、位置、及び確度を推定する。浮標の位置は、例えば浮標を囲む境界ボックスの座標で表される。
　第１学習済みモデルには、例えば SSD（Single Shot MultiBox Detector）、YOLO（You Only Look Once）、又は Mask R-CNN 等の物体検出モデルが用いられる。これに限らず、第１学習済みモデルには、Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルが用いられてもよいし、Keypoint Detection 等の特徴点検出モデルが用いられてもよい。
　図５は、第１識別部１２による第１画像Ｐ１の識別例を示す図である。同図は、左舷標識ＬＬ及び右舷標識ＬＲのそれぞれが浮標（又は、側面浮標）として識別され、境界ボックスＢＢにより囲まれた例を示している。
　第２取得部１３は、第１画像Ｐ１のうちの浮標の位置を含む部分領域に対応する、第１画像Ｐ１よりも分解能が高い第２画像を取得する。部分領域は、例えば第１識別部１２により識別された境界ボックスＢＢ（図５参照）である。
　カメラ２は、光学ズーム機能を実現するレンズ部２１と、パン・チルト機能を実現するパン・チルト機構２２とを備えており、第２取得部１３は、カメラ２のレンズ部２１及びパン・チルト機構２２を制御することで、第２画像を取得する。
　具体的には、第２取得部１３は、レンズ部２１を制御して、カメラ２に第１画像Ｐ１の部分領域に対応する実空間の範囲を拡大して撮像させることで、第２画像を取得する。このように光学ズーム機能を利用することで、第１画像Ｐ１よりも分解能が高い第２画像が取得される。
　また、第２取得部１３は、パン・チルト機構２２を制御して、カメラ２の撮像方向を第１画像Ｐ１の部分領域に対応する実空間の範囲に向けさせる。第２取得部１３は、第１識別部１２により識別された第１画像Ｐ１内の浮標の位置に応じて、カメラ２の撮像方向の目標値を設定する。
　図６は、第２取得部１３により取得される第２画像Ｐ２の例を示す図である。同図では、第２画像Ｐ２に左舷標識ＬＬが含まれる例を示している。第２画像Ｐ２では、左舷標識ＬＬの色やトップマークＴＭの形状等が、第１画像Ｐ１（図４参照）よりも識別し易くなっている。
　なお、上記図５に示すように、第１画像Ｐ１内に複数の浮標（図示の例では、左舷標識ＬＬと右舷標識ＬＲ）が識別された場合には、第２取得部１３は、カメラ２に複数の浮標のそれぞれを順次撮像させることで、複数の浮標のそれぞれについて第２画像Ｐ２を取得する。
　第２識別部１４は、第２画像Ｐ２から浮標の標識内容を識別する。具体的には、第２識別部１４は、モデル記憶部１７に記憶された第２学習済みモデルを用いて、第２画像Ｐ２から浮標の標識内容を識別する。
　第２学習済みモデルは、学習用画像を入力データとし、学習用画像内の浮標の標識内容のラベルを教師データとして、機械学習により生成される。このように生成された第２学習済みモデルは、第２画像Ｐ２内の浮標の標識内容のラベル及び確度を推定する。
　第２学習済みモデルには、例えば上記第１学習済みモデルと同種のモデルが用いられる。その場合、第１学習済みモデル及び第２学習済みモデルは、互いに異なる第１学習済みパラメータ及び第２学習済みパラメータが共通の推論プログラムにそれぞれ組み込まれたものとなる。
　これに限らず、第２学習済みモデルには、物体の識別のみを行い、物体の位置の検出を行わない物体識別モデルが用いられてもよい。
　また、第２学習済みモデルは、側面標識の標識内容の識別に特化した側面標識用の学習済みモデルと、方位標識の標識内容の識別に特化した方位標識用の学習済みモデルとを含んでもよい。
　図７及び図８は、航路標識識別装置１により実現される航路標識識別方法の手順例を示すフロー図である。同図では、航路標識識別装置１が実行する処理のうち、画像の取得及び標識内容の識別に係る処理を主に示している。
　航路標識識別装置１のＣＰＵは、これらの図に示す情報処理をプログラムに従って実行することで、第１取得部１１、第１識別部１２、第２取得部１３、及び第２識別部１４として機能する。
　図７に示すように、まず、航路標識識別装置１は、カメラ２から第１画像Ｐ１（図４参照）を取得する（Ｓ１１：第１取得部１１としての処理）。
　次に、航路標識識別装置１は、第１学習済みモデルを用いて、第１画像Ｐ１内の浮標の位置及び種別を識別する（Ｓ１２：第１識別部１２としての処理）。
　次に、航路標識識別装置１は、第１画像Ｐ１で識別された浮標の種別が側面浮標又は方位浮標であるか否か判定する（Ｓ１３）。
　浮標の種別が側面浮標又は方位浮標である場合には（Ｓ１３→ＹＥＳ）、航路標識識別装置１は、カメラ２を制御して、浮標を拡大して撮像した第２画像Ｐ２（図６参照）を取得する（Ｓ１４：第２取得部１３としての処理）。
　次に、航路標識識別装置１は、第２画像Ｐ２から浮標の標識内容を識別するための標識内容識別処理を実行する（Ｓ１５：第２識別部１４としての処理）。
　図８に示すように、標識内容識別処理Ｓ１５において、航路標識識別装置１は、浮標の種別が側面浮標である場合には（Ｓ２１→側面浮標）、第２学習済みモデルとしての側面標識用の学習済みモデルを用いて、標識内容が左舷標識及び右舷標識の何れであるか識別する（Ｓ２２）。
　一方で、航路標識識別装置１は、浮標の種別が方位浮標である場合には（Ｓ２１→方位浮標）、第２学習済みモデルとしての方位標識用の学習済みモデルを用いて、標識内容が北方位標識、東方位標識、南方位標識、及び西方位標識の何れであるか識別する（Ｓ２３）。
　なお、浮標の種別が側面浮標又は方位浮標でない場合（Ｓ１３→ＮＯ）、すなわち浮標の種別が孤立障害標識、安全水域標識、又は特殊標識である場合には、航路標識識別装置１は第２画像Ｐ２を取得しない。それらの浮標においては、種別自体が標識内容を表すからである。
　航路標識識別装置１は、Ｓ１２において第１画像Ｐ１内に複数の浮標が識別された場合には、識別された全ての浮標についてＳ１３～Ｓ１５を実行する（Ｓ１６）。すなわち、側面浮標又は方位浮標である全ての浮標について、第２画像Ｐ２の取得と標識内容の識別を行う。
　以上に説明した実施形態によれば、第１画像Ｐ１で識別された浮標の位置に基づいて拡大して撮像された、第１画像Ｐ１よりも分解能が高い第２画像Ｐ２から標識内容を識別するので、標識内容の識別精度の向上を図ることが可能となる。
　また、実施形態によれば、第１画像Ｐ１で浮標の種別を識別した上で第２画像Ｐ２から標識内容を識別するので、浮標の種別に応じて標識内容を絞り込むことができ、標識内容の識別精度のさらなる向上を図ることが可能となる。
　これに限らず、第１画像Ｐ１から浮標及びその位置を識別し、第２画像Ｐ２から浮標の種別及び標識内容を識別してもよい。
　図９は、浮標管理ＤＢ（データベース）の例を示す図である。浮標管理ＤＢは、識別ないし取得された浮標の情報を管理するためのデータベースであり、航路標識識別装置１の不揮発性メモリに設けられる。浮標管理ＤＢには、カメラ２の画像から識別された浮標の情報だけでなく、ＡＩＳ４により取得された仮想標識の情報も含まれる。
　浮標管理ＤＢは、例えば「識別子」、「種別」、「標識内容」、「画像内位置」、「実位置」、及び「仮想浮標」等のフィールドを含んでいる。「識別子」は、浮標を識別するための識別子である。「仮想浮標」は、仮想浮標であるか否かを表す。
　「種別」は、浮標の種別を表す。「標識内容」は、浮標の標識内容を表す。「種別」が側面標識又は方位標識である場合には、「標識内容」に左舷標識又は北方位標識等が入力される。一方、「種別」が孤立障害標識、安全水域標識、又は特殊標識である場合には、「標識内容」にデータが入力されない。
　「画像内位置」は、第１画像Ｐ１（図４参照）内における浮標の位置を表す。なお、仮想浮標の場合は、「画像内位置」にデータが入力されない。「実位置」は、浮標の実位置を表す。カメラ２の画像から識別された浮標の実位置は、浮標の画像内位置及びカメラ２の撮像方向に基づいて算出される。
　図３の説明に戻る。表示制御部１５は、浮標に係る表示データを生成し、表示部６に出力する。具体的には、表示制御部１５は、識別された浮標の標識内容、第１画像Ｐ１内の浮標の位置、及びカメラ２の撮像方向等に基づいて、第１画像Ｐ１、電子海図、又はレーダー画像等に浮標の標識内容を表すシンボルを表示する。
　例えば、図１０に示すように、表示制御部１５は、第１画像Ｐ１内の左舷標識ＬＬ及び右舷標識ＬＲの位置に関連付けてそれらの標識内容を表すシンボルＭＬ，ＭＲを付した画像を、表示部６に表示する。シンボルＭＬ，ＭＲには、例えば標識内容を表す文字列が含まれる。
　また、図１１に示すように、表示制御部１５は、電子海図とレーダー画像を合成した合成画像ＣＰ内の左舷標識ＬＬ及び右舷標識ＬＲの実位置に対応する位置にそれらの標識内容を表すシンボルＴＬ，ＴＲを付した画像を、表示部６に表示する。シンボルＴＬ，ＴＲは、例えば標識内容を表す形状を有する。
　合成画像ＣＰには、自船のシンボルＳＦ、自船の予定航路ＲＴ、予定航路ＲＴ上の変針点ＤＦ、及び他船のシンボルＥＬ等が表示される。
　また、合成画像ＣＰには、仮想標識の標識内容を表すシンボルＶＬ，ＶＲが表示されてもよい。シンボルＶＬ，ＶＲは、シンボルＴＬ，ＴＲと同種の形状を有する。シンボルＶＬ，ＶＲは、例えば透明度を変える等、シンボルＴＬ，ＴＲと識別可能に表示されることが好ましい。
　航路算出部１６は、識別された浮標の標識内容に基づいて自律航行制御を行うための目標針路、つまり方位や変針点、航路を算出する。算出される目標針路は、自律航行制御を行う自動操舵装置１０に提供される。ここで、自律航行制御を行う上で航路標識識別内容の誤認識は重大な事故を引き起こす原因となる。そのため、本発明により精度を向上させた航路標識内容の識別により自律航行制御を行うことで、実環境での操船に耐えうる自律航行システムを実現することができる。
　航路算出部１６は、図５に示すように第１画像Ｐ１内で識別された浮標が左舷標識ＬＬ及び右舷標識ＬＲを含む場合に、第１画像Ｐ１内の左舷標識ＬＬ及び右舷標識ＬＲの位置及びカメラ２の撮像方向に基づいて、自船の予定航路又は航路幅を算出する。具体的には、航路算出部１６は、第１画像Ｐ１内の左舷標識ＬＬ及び右舷標識ＬＲの位置及びカメラ２の撮像方向から算出される左舷標識ＬＬ及び右舷標識ＬＲの実位置に基づいて、自船位置から左舷標識ＬＬと右舷標識ＬＲの間を通るように自船の予定航路ＲＴを設定する（図１１参照）。これに限らず、航路算出部１６は、第１画像Ｐ１内で識別された浮標が左舷標識ＬＬ又は右舷標識ＬＲと安全水域標識とを含む場合には、左舷標識ＬＬ又は右舷標識ＬＲと安全水域標識との間に自船の予定航路ＲＴを設定してもよい。
　また、航路算出部１６は、第１画像Ｐ１内の左舷標識ＬＬ及び右舷標識ＬＲの位置及びカメラ２の撮像方向から算出される左舷標識ＬＬ及び右舷標識ＬＲの実位置に基づいて、左舷標識ＬＬと右舷標識ＬＲの距離を航路幅Ｗとして算出してもよい。算出された航路幅Ｗは、表示部６に表示される第１画像Ｐ１内に表示されてもよいし、電子海図とレーダー画像を合成した合成画像ＣＰ内に表示されてもよい（図１１参照）。
　航路算出部１６は、識別された浮標の標識内容、第１画像Ｐ１内の浮標の位置、カメラ２の撮像方向、及び自船位置に基づいて、自船が経由すべき変針点を設定してもよい。具体的には、航路算出部１６は、識別された側面標識及び方位浮標などの標識内容、第１画像Ｐ１内のそれらの浮標の位置及びカメラ２の撮像方向から算出されるそれらの浮標の実位置、並びに自船位置に基づいて、港に入港する又は港から出港する自船の予定航路ＲＴを設定するための１又は複数の変針点ＤＦを設定する（図１１参照）。これに限らず、航路算出部１６は、識別された孤立障害標識又は特殊標識などの標識内容、第１画像Ｐ１内のそれらの浮標の位置及びカメラ２の撮像方向から算出されるそれらの浮標の実位置、並びに自船位置に基づいて、障害物又は特別区域を避ける避航航路を設定するための１又は複数の変針点を設定してもよい。
　航路算出部１６は、識別された浮標の標識内容、カメラ２の撮像方向、及び自船の船首方位に基づいて、自船が航行すべき方位を設定してもよい。例えば、航路算出部１６は、時系列の複数の第１画像Ｐ１内に側面浮標などの浮標が含まれ続けるように、自船が航行すべき方位を維持ないし調整する。また、航路算出部１６は、第１画像Ｐ１内の浮標の位置もさらに用いて、左舷標識と右舷標識の間に向かうように、又は複数の左舷標識又は右舷標識に沿った方向に向かうように、自船が航行すべき方位を設定してもよい。
　航路算出部１６は、識別された浮標の標識内容に加えて、さらに仮想標識の位置及び標識内容に基づいて自律航行制御を行うための目標針路、つまり方位や変針点、航路を算出してもよい。具体的には、航路算出部１６は、仮想左舷標識ＶＬ及び仮想右舷標識ＶＲのデータが取得された場合に、第１画像Ｐ１内で識別された左舷標識ＬＬと右舷標識ＬＲの間だけでなく、仮想左舷標識ＶＬと仮想右舷標識ＶＲの間も通るように自船の予定航路ＲＴを設定してもよい。
　整合判定部１８は、識別された浮標の標識内容、第１画像Ｐ１内の浮標の位置、カメラ２の撮像方向、及び自船位置に基づいて、浮標の標識内容と電子海図に記録された航路標識データが表す標識内容との整合性を判定する。具体的には、整合判定部１８は、第１画像Ｐ１内の浮標の位置、カメラ２の撮像方向、及び自船位置から浮標の実位置を算出するとともに、電子海図に記録された航路標識データから浮標の実位置に対応する航路標識データを抽出し、識別された浮標の標識内容と抽出された航路標識データが表す標識内容とが一致するか否か判定する。
　表示制御部１５は、整合判定部１８による判定結果を、第１画像Ｐ１、電子海図、又はレーダー画像等に表示する。例えば、表示制御部１５は、表示部６に表示する第１画像Ｐ１（図１０参照）又は合成画像ＣＰ（図１１参照）等に、整合の有無を表すシンボルを浮標と関連付けて表示する。又は、表示制御部１５は、整合が取れた浮標にのみ、標識内容を表すシンボル（図１０のシンボルＭＬ，ＭＲ又は図１１のシンボルＴＬ，ＴＲ等）を表示してもよい。
　航路標識識別装置１の構成は、上記図３に示した例に限られない。例えば図１２に示すように、第２取得部１３Ａは、第１画像の部分領域を高解像度化することで第２画像を取得する画像処理部であってもよい。このように高解像度化を行うことによって、第１画像よりも分解能が高い第２画像が取得される。
　これに限らず、第１取得部１１が、カメラ２により生成された原画像を間引き処理又は平均処理することで第１画像を取得し、第２取得部１３が、第１画像の部分領域に対応する領域を原画像から切り出すことで第２画像を取得してもよい。これによっても、第１画像よりも分解能が高い第２画像が取得される。
　また、図１３に示すように、第２取得部１３Ｂは、カメラ２よりも分解能が高い補助カメラ３に第１画像の部分領域に対応する実空間の範囲を撮像させることで、第２画像を取得するカメラ制御部であってもよい。このように補助カメラ３を利用することで、第１画像よりも分解能が高い第２画像が取得される。
　補助カメラ３は、上記図３に示したカメラ２と同様に、光学ズーム機能を実現するレンズ部３１と、パン・チルト機能を実現するパン・チルト機構３２とを備えている。補助カメラ３のレンズ部３１は、カメラ２のレンズ部２１よりも倍率が高い。
［第１変形例］
　以下、第１変形例について説明する。上記実施形態と重複する構成ないし処理については、同符号を付すことで詳細な説明を省略することがある。
　側面浮標は、国によって左舷標識と右舷標識の解釈が反対となる場合がある。そこで、本変形例では、以下に説明するようにして、自船位置に依らずに左舷標識と右舷標識を判別している。
　図１４は、第１変形例に係る第２識別部１４Ａの構成例を示すブロック図である。同図は、第２識別部１４Ａにおいて実現される機能部のうちの、側面浮標の標識内容を識別するための機能部を主に示している。
　第２識別部１４Ａは、色識別部３１、形状識別部３２、国判定部３３、及び左右舷判定部３４を備えている。色識別部３１及び形状識別部３２は、態様識別部の例である。
　上記図３に示した第１識別部１２（種別識別部）により識別された浮標の種別が側面浮標である場合に、第２識別部１４Ａの機能部が、第２画像Ｐ２（図６参照）に含まれる側面浮標の標識内容を識別する。
　図１５は、第２識別部１４Ａにより実現される、第１変形例に係る左右舷標識識別処理Ｓ２２の手順例を示すフロー図である。航路標識識別装置１は、同図に示す情報処理をプログラムに従って実行する。
　左右舷標識識別処理Ｓ２２は、上記図８に示したＳ２２に対応する。すなわち、航路標識識別装置１は、上記図７に示したＳ１２において識別された浮標の種別が側面浮標である場合に、左右舷標識識別処理Ｓ２２を実行する。
　まず、航路標識識別装置１は、第２画像Ｐ２に含まれる側面浮標の色が緑色及び赤色の何れであるか識別する（Ｓ３１：色識別部３１としての処理）。緑色及び赤色は、第１態様及び第２態様の例である。
　次に、航路標識識別装置１は、第２画像Ｐ２に含まれる側面浮標のトップマークが円筒形及び円錐形の何れであるか識別する（Ｓ３２：形状識別部３２としての処理）。円筒形及び円錐形は、第１態様及び第２態様の例である。
　色の識別及びトップマークの形状の識別は、上記実施形態と同様に、学習済みモデルを用いて行われる。例えば、色及びトップマークの形状の両方を識別する学習済みモデルが用いてもよいし、色を識別する学習済みモデルとトップマークの形状を識別する学習済みモデルとが個別に用いられてもよい。
　次に、航路標識識別装置１は、ＧＮＳＳ受信機７（図１参照）により検出された自船の検出位置が属する国を判定する（Ｓ３３：国判定部３３としての処理）。例えば、航路標識識別装置１は、自船の検出位置の座標がどの国の領海内に含まれるか、海図データに基づいて判定する。
　次に、航路標識識別装置１は、国別左右舷態様テーブルを参照して、Ｓ３１で識別された色、Ｓ３２で識別されたトップマークの形状、及びＳ３３で判定された国から、側面浮標の標識内容が左舷標識及び右舷標識の何れであるか判定する（Ｓ３４：左右舷判定部３４としての処理）。
　図１６は、国別左右舷態様テーブルの例を示す図である。国別左右舷態様テーブルは、浮標の態様と標識内容との対応関係を表すテーブルであり、航路標識識別装置１の不揮発性メモリに設けられる。
　具体的には、国別左右舷態様テーブルは、側面浮標の色における緑色及び赤色が各国において左舷標識及び右舷標識の何れに対応するかを表す。また、国別左右舷態様テーブルは、トップマークの形状における円筒形及び円錐形が各国において左舷標識及び右舷標識の何れに対応するかも表す。
　以上に説明した第１変形例によれば、側面浮標の標識内容について、自船位置に依らずに左舷標識と右舷標識を判別することが可能となる。
［第２変形例］
　以下、第２変形例について説明する。上記実施形態と重複する構成ないし処理については、同符号を付すことで詳細な説明を省略することがある。
　浮標の種別及び標識内容は、浮標の色、トップマークの形状、及び光り方等の要素によって識別が可能であるが、画像から標識内容を直接識別する場合、各要素の寄与が分からず、識別精度が十分でない場合がある。そこで、本変形例では、以下に説明するようにして、標識内容の識別精度の向上を図っている。
　図１７は、第２変形例に係る第２識別部１４Ｂの構成例を示すブロック図である。第２識別部１４Ｂは、色識別部４１、第１候補判定部４２、形状識別部４３、第２候補判定部４４、光り方識別部４５、第３候補判定部４６、及び標識内容決定部４７を備えている。
　図１８は、第２識別部１４Ｂにより実現される、第２変形例に係る標識内容識別処理Ｓ１５の手順例を示すフロー図である。航路標識識別装置１は、同図に示す情報処理をプログラムに従って実行する。標識内容識別処理Ｓ１５は、上記図７に示したＳ１５に対応する。
　図１９は、浮標の標識内容に対応する色、トップマークの形状、及び光り方を表す図である。浮標の標識内容は、浮標の色、トップマークの形状、及び光り方によって分類される。光り方とは、点灯と消灯の時間パターンである。
　図１８に示すように、まず、航路標識識別装置１は、第２画像Ｐ２に含まれる浮標の色候補を識別する（Ｓ４１：色識別部４１としての処理）。具体的には、航路標識識別装置１は、学習済みモデルを用いて、第２画像Ｐ２内の浮標の色候補を識別する。また、航路標識識別装置１は、色候補とともに、色候補の確からしさを表す第１確度を算出する。
　次に、航路標識識別装置１は、識別された色候補に対応する浮標の標識内容の第１候補を判定する（Ｓ４２：第１候補判定部４２としての処理）。具体的には、航路標識識別装置１は、色と標識内容との対応関係を表すテーブルを参照して、色候補に対応する標識内容を第１候補として判定する。
　次に、航路標識識別装置１は、第２画像Ｐ２に含まれる浮標のトップマークの形状候補を識別する（Ｓ４３：形状識別部４３としての処理）。具体的には、航路標識識別装置１は、学習済みモデルを用いて、第２画像Ｐ２内の浮標のトップマークの形状候補を識別する。また、航路標識識別装置１は、形状候補とともに、形状候補の確からしさを表す第２確度を算出する。
　次に、航路標識識別装置１は、識別された形状候補に対応する浮標の標識内容の第２候補を判定する（Ｓ４４：第２候補判定部４４としての処理）。具体的には、航路標識識別装置１は、形状と標識内容との対応関係を表すテーブルを参照して、形状候補に対応する標識内容を第２候補として判定する。
　次に、航路標識識別装置１は、時系列の複数の第２画像Ｐ２から浮標の光り方候補を識別する（Ｓ４５：光り方識別部４５としての処理）。航路標識識別装置１は、所定のルールに従って浮標の光り方候補を識別する。
　具体的には、航路標識識別装置１は、時系列の複数の第２画像Ｐ２から浮標の点灯と消灯の時間パターンを抽出し、予め記憶された複数の標準時間パターンの中から、抽出した時間パターンと最も類似する標準時間パターンを光り方候補とする。標準時間パターンは、各標識内容の光り方（図１９参照）に基づいて作成される。
　また、航路標識識別装置１は、光り方候補とともに、光り方候補の確からしさを表す第３確度を算出する。具体的には、航路標識識別装置１は、抽出した時間パターンと光り方候補とされた標準時間パターンとの類似度を、第３確度として算出する。
　次に、航路標識識別装置１は、識別された光り方候補に対応する浮標の標識内容の第３候補を判定する（Ｓ４６：第３候補判定部４６としての処理）。具体的には、航路標識識別装置１は、光り方候補とされた標準時間パターンに対応する標識内容を、第３候補として判定する。
　次に、航路標識識別装置１は、現在時刻が昼間であるか夜間であるか判定し（Ｓ４７）、昼間である場合には昼間用判定基準を適用し（Ｓ４８）、夜間である場合には夜間用判定基準を適用する（Ｓ４９）。現在時刻は、カメラ２により画像が生成された時刻である。判定基準は、浮標の標識内容を決定するための判定基準である。
　次に、航路標識識別装置１は、Ｓ４２で判定された標識内容の第１候補、Ｓ４４で判定された標識内容の第２候補、及びＳ４６で判定された標識内容の第３候補に基づいて、浮標の標識内容を決定する（Ｓ５０：標識内容決定部４７としての処理）。
　具体的には、航路標識識別装置１は、第１候補、第２候補、及び第３候補のうちの少なくとも２つが同一の標識内容である場合に、当該同一の標識内容を浮標の標識内容として決定する。例えば、第１候補、第２候補、及び第３候補の２つが左舷標識であり、残り１つが右舷標識である場合には、左舷標識が標識内容として決定される。
　また、航路標識識別装置１は、第１確度、第２確度、及び第３確度に基づいて、浮標の標識内容を決定してもよい。例えば、第１確度、第２確度、及び第３確度のうちの最も高い確度に対応する候補が、標識内容として決定される。また、複数の候補が同一の標識内容を表す場合、それらに対応する確度が足し合わされてもよい。
　航路標識識別装置１は、昼間用判定基準と夜間用判定基準とで、第１確度、第２確度、及び第３確度のそれぞれに付与する重み付けを変更する。例えば、昼間には明るい環境で見え易い浮標の色及びトップマークの形状に係る候補を優先し、夜間には暗い環境でも見え易い浮標の光り方に係る候補を優先する。
　すなわち、昼間用判定基準では、浮標の色及びトップマークの形状に係る第１及び第２確度の重み付けを、浮標の光り方に係る第３確度の重み付けよりも高くする。反対に、夜間用判定基準では、浮標の光り方に係る第３確度の重み付けを、浮標の色及びトップマークの形状に係る第１及び第２確度の重み付けよりも高くする。
　なお、本変形例に係る標識内容の決定手法は、側面標識及び方位標識だけでなく、孤立障害標識、安全水域標識、及び特殊標識にも適用されてよい。
　以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。
１　航路標識識別装置、２　カメラ、３　レーダー、４　ＡＩＳ、５　無線通信部、６　表示部、７　ＧＮＳＳ受信機、８　ジャイロコンパス、９　ＥＣＤＩＳ、１０　自動操舵装置、１１　第１取得部、１２　第１識別部、１３　第２取得部、１４　第２識別部、１５　表示制御部、１６　航路算出部、１７　モデル記憶部、２１　レンズ部、２２　パン・チルト機構、３１　色識別部、３２　形状識別部、３３　国判定部、３４　左右舷判定部、４１　色識別部、４２　第１候補判定部、４３　形状識別部、４４　第２候補判定部、４５　光り方識別部、４６　第３候補判定部、４７　標識内容決定部、１００　自律航行システム 

Claims (18)

  1. 　船舶に設置されるカメラにより生成された画像を取得する取得部と、
    　前記画像に含まれる浮標の色候補を識別する色識別部と、
    　前記浮標のトップマークの形状候補を識別する形状識別部と、
    　時系列の複数の前記画像から前記浮標の光り方候補を識別する光り方識別部と、
    　前記色候補に対応する前記浮標の標識内容の第１候補、前記形状候補に対応する前記浮標の標識内容の第２候補、及び前記光り方候補に対応する前記浮標の標識内容の第３候補に基づいて、前記浮標の標識内容を決定する標識内容決定部と、
    　を備える、航路標識識別装置。
  2. 　前記標識内容決定部は、前記第１候補、前記第２候補、及び前記第３候補のうちの少なくとも２つが同一の標識内容である場合に、当該同一の標識内容を前記浮標の標識内容として決定する、
    　請求項１に記載の航路標識識別装置。
  3. 　前記色識別部は、前記色候補とともに、前記色候補の確からしさを表す第１確度を算出し、
    　前記形状識別部は、前記形状候補とともに、前記形状候補の確からしさを表す第２確度を算出し、
    　前記光り方識別部は、前記光り方候補とともに、前記光り方候補の確からしさを表す第３確度を算出し、
    　前記標識内容決定部は、前記第１確度、前記第２確度、及び前記第３確度の和に基づいて、前記浮標の標識内容を決定する、
    　請求項１または２に記載の航路標識識別装置。
  4. 　前記標識内容決定部は、前記画像が生成された時刻に応じて、前記浮標の標識内容を決定するための判定基準を変更する、
    　請求項１ないし３の何れかに記載の航路標識識別装置。
  5. 　前記標識内容決定部は、前記画像が生成された時刻に応じて、前記第１確度、前記第２確度、及び前記第３確度のそれぞれに付与する重み付けを変更する、
    　請求項３に記載の航路標識識別装置。
  6. 　前記色識別部は、学習済みモデルを用いて前記画像内の前記浮標の色候補を識別する、
    　請求項１ないし５の何れかに記載の航路標識識別装置。
  7. 　前記形状識別部は、学習済みモデルを用いて前記画像内の前記浮標のトップマークの形状候補を識別する、
    　請求項１ないし６の何れかに記載の航路標識識別装置。
  8. 　前記光り方識別部は、所定のルールに従って前記浮標の光り方候補を識別する、
    　請求項１ないし７の何れかに記載の航路標識識別装置。
  9. 　前記浮標の標識内容、前記第１画像内の前記浮標の位置、及び前記カメラの撮像方向に基づいて、前記第１画像、電子海図、又はレーダー画像上に前記浮標の標識内容を表すシンボルを表示する表示制御部をさらに備える、
    　請求項１ないし８の何れかに記載の航路標識識別装置。
  10. 　前記浮標の標識内容、前記第１画像内の前記浮標の位置、前記カメラの撮像方向、及び前記船舶の位置に基づいて、前記浮標の標識内容と電子海図に記録された航路標識データが表す標識内容との整合性を判定する整合判定部をさらに備える、
    　請求項１ないし９の何れかに記載の航路標識識別装置。
  11. 　前記整合性の判定結果を、前記第１画像、前記電子海図、又はレーダー画像上に表示する表示制御部をさらに備える、
    　請求項１０に記載の航路標識識別装置。
  12. 　請求項１ないし１１の何れかに記載の航路標識識別装置と、
    　複数の前記浮標の標識内容が、左舷標識、右舷標識、及び安全水域標識のうちの少なくとも２つを含む場合に、前記第１画像内の前記浮標の位置及び前記カメラの撮像方向に基づいて、前記船舶の航路または航路幅を算出する航路算出部と、
    　を備える、自律航行システム。
  13. 　請求項１ないし１１の何れかに記載の航路標識識別装置と、
    　仮想標識の位置及び標識内容を表すデータを取得する仮想標識取得部と、
    　前記浮標の標識内容、前記仮想標識の位置、及び前記仮想標識の標識内容に基づいて前記船舶の航路または航路幅を算出する航路算出部と、
    　を備える、自律航行システム。
  14. 　請求項１ないし１１の何れかに記載の航路標識識別装置と、
    　前記船舶の位置を検出する位置検出部と、
    　前記浮標の標識内容、前記第１画像内の前記浮標の位置、前記カメラの撮像方向、及び前記船舶の位置に基づいて、前記船舶が経由すべき変針点を設定する航路算出部と、
    　を備える、自律航行システム。
  15. 　請求項１ないし１１の何れかに記載の航路標識識別装置と、
    　前記船舶の船首方位を検出する方位検出部と、
    　前記浮標の標識内容、前記カメラの撮像方向、及び前記船舶の船首方位に基づいて、前記船舶が航行すべき方位を設定する航路算出部と、
    　を備える、自律航行システム。
  16. 　前記浮標の標識内容に基づいて自律航行制御を行う自動操舵装置をさらに備える、
    　請求項１２ないし１５の何れかに記載の自律航行システム。
  17. 　船舶に設置されるカメラにより生成された画像を取得し、
    　前記画像に含まれる浮標の色候補を識別し、
    　前記浮標のトップマークの形状候補を識別し、
    　時系列の複数の前記画像から前記浮標の光り方候補を識別し、
    　前記色候補に対応する前記浮標の標識内容の第１候補、前記形状候補に対応する前記浮標の標識内容の第２候補、及び前記光り方候補に対応する前記浮標の標識内容の第３候補に基づいて、前記浮標の標識内容を決定する、
    　航路標識識別方法。
  18. 　船舶に設置されるカメラにより生成された画像を取得すること、
    　前記画像に含まれる浮標の色候補を識別すること、
    　前記浮標のトップマークの形状候補を識別すること、
    　時系列の複数の前記画像から前記浮標の光り方候補を識別すること、及び、
    　前記色候補に対応する前記浮標の標識内容の第１候補、前記形状候補に対応する前記浮標の標識内容の第２候補、及び前記光り方候補に対応する前記浮標の標識内容の第３候補に基づいて、前記浮標の標識内容を決定すること、
    　をコンピュータに実行させるためのプログラム。 
PCT/JP2021/042928 2020-12-24 2021-11-24 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム WO2022137953A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022571989A JPWO2022137953A1 (ja) 2020-12-24 2021-11-24

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020215315 2020-12-24
JP2020-215315 2020-12-24

Publications (1)

Publication Number Publication Date
WO2022137953A1 true WO2022137953A1 (ja) 2022-06-30

Family

ID=82159396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042928 WO2022137953A1 (ja) 2020-12-24 2021-11-24 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022137953A1 (ja)
WO (1) WO2022137953A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0476562B2 (ja) * 1986-06-17 1992-12-04 Nippon Zosen Kenkyu Kyokai
US6664916B1 (en) * 2002-08-09 2003-12-16 Todd R. Stafford System and method for identifying navigational markers using radar
WO2010117278A1 (en) * 2009-04-08 2010-10-14 Aptomar As Improved integrated marine search system
JP2014206452A (ja) * 2013-04-12 2014-10-30 古野電気株式会社 ルート表示装置及びルート表示方法
US20150350552A1 (en) * 2014-05-30 2015-12-03 Furuno Electric Co., Ltd. Marine environment display device
JP2015215532A (ja) * 2014-05-13 2015-12-03 古野電気株式会社 情報表示装置
WO2017138126A1 (ja) * 2016-02-10 2017-08-17 富士通株式会社 船舶の逆走検出に関するコンピュータシステム、逆走検出方法及び逆走検出プログラム
JP6236549B1 (ja) * 2016-06-02 2017-11-22 日本郵船株式会社 船舶航行支援装置
JP2018097574A (ja) * 2016-12-13 2018-06-21 株式会社Ｓｏｋｅｎ 認識装置及び自己位置推定装置
JP2020036202A (ja) * 2018-08-30 2020-03-05 株式会社 商船三井 映像生成装置及び映像生成方法
WO2020099015A1 (en) * 2018-11-15 2020-05-22 BSB Artificial Intelligence GmbH System and method for identifying an object in water

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0476562B2 (ja) * 1986-06-17 1992-12-04 Nippon Zosen Kenkyu Kyokai
US6664916B1 (en) * 2002-08-09 2003-12-16 Todd R. Stafford System and method for identifying navigational markers using radar
WO2010117278A1 (en) * 2009-04-08 2010-10-14 Aptomar As Improved integrated marine search system
JP2014206452A (ja) * 2013-04-12 2014-10-30 古野電気株式会社 ルート表示装置及びルート表示方法
JP2015215532A (ja) * 2014-05-13 2015-12-03 古野電気株式会社 情報表示装置
US20150350552A1 (en) * 2014-05-30 2015-12-03 Furuno Electric Co., Ltd. Marine environment display device
WO2017138126A1 (ja) * 2016-02-10 2017-08-17 富士通株式会社 船舶の逆走検出に関するコンピュータシステム、逆走検出方法及び逆走検出プログラム
JP6236549B1 (ja) * 2016-06-02 2017-11-22 日本郵船株式会社 船舶航行支援装置
JP2018097574A (ja) * 2016-12-13 2018-06-21 株式会社Ｓｏｋｅｎ 認識装置及び自己位置推定装置
JP2020036202A (ja) * 2018-08-30 2020-03-05 株式会社 商船三井 映像生成装置及び映像生成方法
WO2020099015A1 (en) * 2018-11-15 2020-05-22 BSB Artificial Intelligence GmbH System and method for identifying an object in water

Also Published As

Publication number Publication date
JPWO2022137953A1 (ja) 2022-06-30

Similar Documents

Publication Publication Date Title
US11333506B2 (en) Computer-vision based positioning for augmented reality navigation
CN102589542A (zh) 用于增强导航的方法和系统
KR20200027871A (ko) 장애물 지도를 이용한 경로 생성 방법
CN111968128B (zh) 一种基于图像标记的无人机视觉姿态和位置解算方法
US20200369351A1 (en) Marine docking and object awareness system
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN109911140A (zh) 一种水域航行信息增强装置、系统及方法
GB2611003A (en) Video sensor fusion and model based virtual and augmented reality systems and methods
KR20220117241A (ko) 선박의 항행 지원 시스템에 있어서의 관리 서버, 선박의 항행 지원 방법, 및 선박의 항행 지원 프로그램
GB2612151A (en) Water Non-Water Segmentation Systems And Methods
US20230195118A1 (en) Autonomous marine autopilot system
WO2022137952A1 (ja) 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
JP3777411B2 (ja) 船舶航行支援装置
JP4445313B2 (ja) 船舶航行支援装置
KR20220128141A (ko) 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법
WO2022137953A1 (ja) 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
WO2022137931A1 (ja) 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
WO2021192796A1 (ja) 航海情報装置、航海情報処理方法および航海情報処理プログラム
CN113450598A (zh) 基于红外视频的船舶辅助航行方法及系统
WO2023286360A1 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
KR102249156B1 (ko) 증강현실 이미지를 이용한 항해 보조장치
CN209641094U (zh) 水域航行信息增强眼镜
WO2023162562A1 (ja) 物標監視システム、物標監視方法、及びプログラム
CN118159873A (zh) 持续更新ml的导航系统和方法
KR20240108298A (ko) 복수의 센서들을 이용하여 허상 객체를 필터링하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21910106

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022571989

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21910106

Country of ref document: EP

Kind code of ref document: A1