WO2020075393A1 - 自動着岸装置 - Google Patents

自動着岸装置 Download PDF

Info

Publication number
WO2020075393A1
WO2020075393A1 PCT/JP2019/032445 JP2019032445W WO2020075393A1 WO 2020075393 A1 WO2020075393 A1 WO 2020075393A1 JP 2019032445 W JP2019032445 W JP 2019032445W WO 2020075393 A1 WO2020075393 A1 WO 2020075393A1
Authority
WO
WIPO (PCT)
Prior art keywords
ship
automatic
control unit
data
docking
Prior art date
Application number
PCT/JP2019/032445
Other languages
English (en)
French (fr)
Inventor
裕一郎 嵩
直裕 原
智哉 福川
利之 横上
泰弘 上田
Original Assignee
ヤンマー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンマー株式会社 filed Critical ヤンマー株式会社
Priority to EP19870217.7A priority Critical patent/EP3865395B1/en
Priority to US17/284,426 priority patent/US20210347449A1/en
Publication of WO2020075393A1 publication Critical patent/WO2020075393A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00Arrangements of nautical instruments or navigational aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B69/00Equipment for shipping not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/10Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/40Monitoring properties or operating parameters of vessels in operation for controlling the operation of vessels, e.g. monitoring their speed, routing or maintenance schedules
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63HMARINE PROPULSION OR STEERING
    • B63H25/00Steering; Slowing-down otherwise than by use of propulsive elements; Dynamic anchoring, i.e. positioning vessels by means of main or auxiliary propulsive elements
    • B63H25/02Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring
    • B63H25/04Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring automatic, e.g. reacting to compass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0206Control of position or course in two dimensions specially adapted to water vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2213/00Navigational aids and use thereof, not otherwise provided for in this class

Definitions

  • the present invention relates to an automatic docking device.
  • Patent Document 1 discloses an automatic docking device of this type.
  • the docking support device of Patent Document 1 includes a distance sensor, a GPS device, and a controller realized as a function of the cruise control device.
  • the distance sensor measures the distance from the ship to the measurement point including the target position.
  • the GPS device detects the current position of the ship and generates position data representing it.
  • Distance data from a distance sensor and position data from a GPS device are input to the controller.
  • the controller functions as a plurality of function processing units by executing a predetermined program, and performs calculation for setting the target berthing position. Further, the controller causes the map and the set target berthing position to be displayed on the monitor.
  • the crew member in charge of maneuvering can guide the ship to the target berth position by operating the operation console while looking at the screen of the monitor. Further, when the vessel approaches the target anchoring position to some extent (when it reaches 20 m or less), the vessel can be guided to the target anchoring position by automatic marine vessel maneuvering.
  • Patent Document 1 when the distance between the ship and the berth position is long, there are cases where the distance cannot be accurately measured using the distance sensor, which reduces the accuracy of automatic marine vessel maneuvering. There was a possibility.
  • the present invention has been made in view of the above circumstances, and an object thereof is to accurately measure a distance to an object around a docking position from a long distance using an optical sensor, and use the measured data. Another object of the present invention is to provide an automatic berthing device that can smoothly perform automatic berthing.
  • an automatic docking device having the following configuration. That is, this automatic berthing device includes an optical sensor, a position information input unit, and a control unit.
  • the optical sensor has a light emitting unit and a light receiving unit, and the light receiving unit receives the reflected light, which is the light from the light emitting unit reflected by an object, to measure the distance to a surrounding object at predetermined angles.
  • Position data of the ship based on satellite positioning information is input to the position information input unit.
  • the control unit performs control to automatically sail and berth the ship to the berthing position based on the data acquired by the optical sensor and the position information input unit.
  • the control unit performs preparatory measurement for measuring a distance to an object around the docking position before the position of the ship acquired based on the measurement result of the optical sensor is used for automatic navigation. Control as the sensor does.
  • the control unit so that the light emitted from the light emitting unit of the optical sensor is reflected by an object around the docking position and can be received by the light receiving unit, At least one of control for changing the attitude of the ship and control for moving the ship is performed.
  • the above-mentioned automatic docking device preferably has the following configuration. That is, this automatic docking device is provided with an attitude information input unit for inputting data relating to the attitude of the ship. When the optical sensor performs the preliminary measurement, the control unit controls the attitude of the boat based on the data regarding the attitude.
  • the above-mentioned automatic docking device preferably has the following configuration. That is, the optical sensor is rotatably provided with respect to the hull of the ship.
  • the control unit so that the light emitted from the light emitting unit of the optical sensor is reflected by an object around the docking position and can be received by the light receiving unit, Control is performed to rotate the optical sensor with respect to the hull.
  • the above-mentioned automatic docking device preferably has the following configuration. That is, before the preparatory measurement is performed, the control unit causes the ship to automatically navigate based on the position data of the ship acquired by the position information input unit. Before the preliminary measurement is performed, the optical sensor stops measuring the distance to the surrounding object, or measures the distance to the surrounding object in a cycle longer than the measurement cycle in the preliminary measurement.
  • the decrease in spatial resolution due to the measurement of the object around the berth position that is relatively far away by the optical sensor is compensated by performing the measurement in a relatively short cycle. be able to. Power consumption can be reduced by stopping the measurement by the optical sensor or lengthening the measurement cycle before the preparatory measurement.
  • the above-mentioned automatic docking device preferably has the following configuration. That is, this automatic docking device includes a camera and an interface unit.
  • the camera takes an image and generates image data.
  • the control unit obtains a docking position candidate that is a candidate for the docking position by performing image recognition using the imaged data.
  • the interface unit generates data for displaying one or more of the docking position candidates together with a captured image of the camera.
  • the interface unit outputs data regarding the berth position selected by the user from the displayed berth position candidates to the control unit.
  • the user can easily specify the berthing position from the presented candidates by referring to the image taken by the camera.
  • the above-mentioned automatic docking device preferably has the following configuration. That is, the control unit generates map data indicating a situation around the docking position. The control unit uses the map data to generate a route for automatically sailing and docking the ship.
  • the above-mentioned automatic docking device preferably has the following configuration. That is, this automatic docking device includes a storage unit that can store data relating to the nautical chart. The control unit generates the map data based on the data relating to the nautical chart stored in the storage unit.
  • control unit generate the map data based on data about a distance to a surrounding object acquired by the optical sensor.
  • the above-mentioned automatic docking device preferably has the following configuration. That is, this automatic berthing device is equipped with a camera that captures images and generates image capture data. The control unit generates the map data based on the imaged data.
  • the above-mentioned automatic docking device preferably has the following configuration. That is, the map data is map data that defines whether the area including the berthing position is a navigable area or a non-navigable area.
  • the control unit generates a route for automatically sailing and docking the ship so as to pass through the navigable area.
  • this automatic docking device preferably has the following configuration. That is, this automatic berthing device includes an interface unit.
  • the interface unit outputs an emergency stop signal to the control unit when an operation of emergency stopping the ship is performed on a wireless device that is portable and capable of wireless communication.
  • the control unit controls the ship to make an emergency stop.
  • the user when the user recognizes the possibility of the ship colliding with an obstacle or the like while the ship is automatically sailing and docking, the user can immediately stop the ship by using a wireless device carried by the user. .
  • the flowchart which shows an example of the processing flow of the automatic berthing apparatus which concerns on 1st Embodiment.
  • the flowchart which shows the processing flow of the automatic berthing apparatus of 3rd Embodiment.
  • the flowchart which shows the processing flow of the automatic berthing apparatus which concerns on 4th Embodiment.
  • FIG. 1 is a block diagram showing an electrical configuration of an automatic docking device 1 according to an embodiment of the present invention.
  • the automatic docking device 1 of this embodiment shown in FIG. 1 is used by being mounted on a ship 80.
  • the term "berthing" as used in this specification includes the case where the vessel 80 is put on the quay and the case where the vessel 80 is put on a structure such as a jetty.
  • the structure of the vessel 80 to which the automatic berthing device 1 is applied is not particularly limited, and may be, for example, a pleasure boat, a fishing boat, a water jet boat, an electric propulsion boat, a hybrid boat, or the like.
  • the ship 80 includes a screw 11, a thruster 12, and a rudder 13.
  • the screw 11 is provided at the stern of the ship 80.
  • the screw 11 is rotated by the driving force of a drive source (engine or electric motor) to propel the ship 80.
  • the thruster 12 is, for example, a horizontal screw provided on the side surface of the bow 80 or the stern of the ship 80.
  • the thruster 12 is rotated by the driving force of a driving source (for example, an electric motor) to give a lateral propulsive force to the ship 80.
  • a driving source for example, an electric motor
  • the rudder 13 is provided immediately behind the screw 11, for example. By driving the screw 11 with the direction of the rudder 13 changed from neutral, the course of the vessel 80 can be changed.
  • the automatic berthing device 1 includes a LiDAR (optical sensor, distance measuring sensor) 21, a camera 22, a position information input unit 31, a posture information input unit 32, an interface unit 41, and a control unit 43.
  • LiDAR optical sensor, distance measuring sensor
  • the LiDAR 21 is arranged at an appropriate position on the ship 80 (for example, the bow).
  • the LiDAR 21 has a light emitting unit and a light receiving unit.
  • the light emitting unit emits pulsed light (laser light) outside the visible spectrum range, and the light receiving unit receives reflected light obtained by reflecting the pulsed light by an object.
  • the LiDAR 21 detects the presence / absence of a surrounding object and, if there is an object, the distance to the object based on the time from the irradiation of the pulsed light to the reception of the reflected light.
  • the LiDAR21 repeats light emission and light reception while changing (substantially) the direction of pulsed light at a predetermined angular interval. Thereby, the distance to the surrounding object can be measured at each predetermined angle.
  • This angular scanning may be realized, for example, by mechanically adjusting the directions of the light emitting unit and the light receiving unit, may be realized by a MEMS (micro electro mechanical system), or by a known phased array method. May be realized.
  • the LiDAR 21 is configured as a three-dimensional LiDAR that performs angular scanning in the yaw direction and the pitch direction. Therefore, the LiDAR 21 can output three-dimensional point cloud data representing an object existing around the LiDAR 21. It should be noted that the LiDAR 21 may output not only the position of the point but also data regarding the intensity of the reflected light at the position.
  • the camera 22 is arranged at an appropriate position on the ship 80 (for example, the bow).
  • the camera 22 can generate imaging data by capturing an image of the surroundings of the ship 80, and can output the imaging data. It is preferable to provide the camera 22 in the vicinity of the LiDAR 21 so that the shooting direction thereof coincides with the center of the angular scanning range of the LiDAR 21 because the point cloud data of the LiDAR 21 and the imaging data of the camera 22 can be easily associated with each other.
  • the position information input unit 31 receives the position data of the ship 80 acquired by the GNSS device 51 of the ship 80.
  • the position information input unit 31 is specifically configured as a CAN communication connector described later.
  • the GNSS device 51 receives the GNSS radio wave from the satellite and performs a known positioning calculation to acquire the current position of the ship 80.
  • the GNSS positioning may be independent positioning, but it is preferable to use known DGNSS positioning or RTK (real time kinematic) positioning because the position of the ship 80 can be acquired with high accuracy.
  • the attitude information input unit 32 receives data output by the IMU 52 of the ship 80.
  • IMU is an abbreviation for inertial measurement device.
  • the posture information input unit 32 is also configured as a CAN communication connector, like the position information input unit 31.
  • the IMU 52 is equipped with an acceleration sensor and can acquire three-dimensional acceleration. Further, the IMU 52 is equipped with a gyro sensor and can calculate a three-dimensional angular velocity. Thereby, the attitude (roll angle, pitch angle, and yaw angle) of the ship can be acquired. Data regarding the acceleration and the attitude of the watercraft 80 is output to the control unit 43 via the attitude information input unit 32.
  • the gyro sensor of the IMU 52 can have various known configurations. However, it is preferable to use a ring laser gyro as the gyro sensor. Since the ring laser gyro calculates the angular velocity by using the optical path difference of the laser light generated in the optical ring, the attitude of the ship 80 can be accurately detected. Further, when it is desired to have an inexpensive structure, it may be realized by a MEMS (micro electro mechanical system).
  • MEMS micro electro mechanical system
  • the interface unit 41 is configured as a known computer and includes a CPU, ROM, RAM and the like.
  • the interface unit 41 provides a user interface function.
  • the interface unit 41 is configured to be capable of wireless communication with a terminal device (wireless device) 42 described later.
  • the interface unit 41 can wirelessly transmit data to the terminal device 42 to display various information, and can receive data regarding an instruction given by the user to the terminal device 42.
  • the terminal device 42 is configured as, for example, a tablet computer that can be carried by a user.
  • the terminal device 42 includes a display (display unit) capable of displaying various types of information and a touch panel (operation unit) that can be operated by a user touching it with a finger.
  • a display display unit
  • a touch panel operation unit
  • the user can obtain various information output by the control unit 43 regarding, for example, automatic berthing. Further, the user can give various instructions to the control unit 43 by operating the touch panel.
  • the control unit 43 is configured as a known computer and includes a CPU, ROM, RAM and the like.
  • the ROM stores a program for recognizing the surrounding situation and automatically controlling the ship 80 to sail to the destination and berth.
  • the control unit 43 includes a storage unit 44 capable of storing a map around the destination to be docked.
  • the function of the storage unit 44 is mainly realized by a large scale storage device (for example, a flash memory drive) included in the control unit 43.
  • the control unit 43 is configured to be able to switch between a manual navigation mode and an automatic navigation mode. This mode switching can be performed by the user operating the interface unit 41 (specifically, the terminal device 42).
  • the control unit 43 changes the rotation speed of the screw 11 or moves the boat 80 forward / backward in response to a user operating an unillustrated propulsion operation unit (for example, an accelerator lever and a clutch lever). Performs control such as switching between reverse.
  • the control unit 43 operates the thruster 12 in response to a user operating a thruster operation unit (not shown) (for example, a joystick or an operation dial) not shown.
  • the control unit 43 changes the direction of the rudder 13 in response to a user operating a steering operation unit (for example, a steering wheel) (not shown). As described above, it is possible to realize the navigation by manual control to the destination.
  • the control unit 43 changes the rotation speed of the screw 11 based on various data input from the LiDAR 21, the camera 22, the position information input unit 31, the attitude information input unit 32, and the interface unit 41.
  • the thruster 12 is operated, and the direction of the rudder 13 is changed. As a result, it is possible to realize automatic navigation to the destination.
  • the vessel 80 is constructed with two types of networks using an Ethernet bus (Ethernet is a registered trademark) and a CAN bus.
  • CAN is an abbreviation for Controller Area Network.
  • the LiDAR 21 and the camera 22 are connected to the Ethernet bus.
  • a GNSS device 51 is connected to the CAN bus via a position information input unit 31, and an IMU 52 is connected to the CAN bus via an attitude information input unit 32.
  • the screw 11, the thruster 12, and the rudder 13 are connected to the CAN bus, respectively.
  • the control unit 43 is connected to both the Ethernet bus and the CAN bus.
  • the control unit 43 acquires the point cloud data and the imaging data from the LiDAR 21 and the camera 22 via the Ethernet bus. Although the data size of the point cloud data and the imaging data tends to be large, the control unit 43 can appropriately acquire the data necessary for the processing by using the relatively high speed Ethernet communication.
  • the control unit 43 inputs data regarding the position and attitude of the vessel 80 via the CAN bus, and outputs control data to the screw 11 and the like. By exchanging these small-sized data by CAN communication, real-time control can be easily ensured.
  • FIG. 2 is a flowchart showing an example of a processing flow of the automatic docking device 1.
  • FIG. 3 is a schematic diagram illustrating an example of automatic berthing.
  • the user instructs the control section 43 via the interface section 41 to automatically berth (step S101 in FIG. 2).
  • the position to finally move the ship 80 is preset by the user in the form of latitude and longitude, for example.
  • the instruction of automatic navigation and berthing is performed by the user speaking to the microphone provided in the terminal device 42 and voice recognition of the content.
  • the instruction may be performed by, for example, a method in which the user operates the touch panel, or may be performed by a method in which the camera of the terminal device 42 is used to recognize the gesture of the hand or the like.
  • control unit 43 switches from the manual navigation mode to the automatic navigation mode and causes the vessel 80 to automatically travel to a predetermined position (step S102).
  • the target position when the vessel 80 is automatically sailed in step S102 is not the final target position, which is the shore position P1, but an appropriate position before this (a long-distance measurement trigger position P2 described later). Is set.
  • the long distance measurement trigger position P2 corresponds to the intermediate target position.
  • the long-distance measurement trigger position P2 is appropriately set as a position where the distance to an object around the docking position P1 can be measured using the LiDAR 21 when the ship is located at the position.
  • the long distance measurement trigger position P2 is distant from the berth position P1 to some extent, and an object around the shore position P1 is included in the range that can be measured by the LiDAR 21 on the basis of the long distance measurement trigger position P2. Determined.
  • the distance between the docking position P1 and the long-distance measurement trigger position P2 may be about 50 meters, for example, though it depends on the performance of the LiDAR 21.
  • a specific method for determining the long-distance measurement trigger position P2 is arbitrary, but for example, when departing from a certain pier and landing on the same pier, the position of the position by GNSS positioning when the ship 80 goes offshore on the outward route is used.
  • the point at which the route obtained by the transition and the virtual circle with a radius of 50 meters centered on the berth position P1 intersect is previously obtained and stored, and the point may be set as the long-distance measurement trigger position P2.
  • the long distance measurement trigger position P2 may be configured to be instructable by the user.
  • step S102 the control unit 43 uses the position data of the ship 80 acquired by the position information input unit 31 to cause the ship 80 to navigate. In other words, the automatic navigation based on the GNSS positioning result output by the GNSS device 51 is performed.
  • the control unit 43 monitors the surroundings of the ship 80 by using the data acquired by the LiDAR 21 and the camera 22 in the process of moving the ship 80 to the long distance measurement trigger position P2 in step S102.
  • the boat speed at this time may be an appropriate speed of 10 knots or more, for example. It is preferable that the boat speed is set so as not to be too high so that the LiDAR 21 or the camera 22 can avoid the obstacle with a margin when the obstacle is detected.
  • the long distance measurement trigger position P2 is set at a position slightly inside from the entrance of the port 81.
  • the control unit 43 automatically detects the ship speed when detecting that the ship 80 has entered the harbor 81 by an appropriate method (for example, by GNSS positioning). Slow down. As a result, automatic navigation can be appropriately performed inside the harbor 81 which is often congested.
  • the boat speed at this time can be set to about 7 knots, for example.
  • the vessel 80 reaches the long distance measurement trigger position P2 (step S103).
  • the control unit 43 enters the automatic berthing mode which is a special case of the automatic navigation mode.
  • the control unit 43 first measures the distance to an object around the ship 80 using the LiDAR 21 (step S104). At this time, it is important for the subsequent berthing operation that the LiDAR 21 measures the distance to the object around the berthing position P1.
  • the LiDAR 21 is used to detect an obstacle near the ship 80 and avoid a collision.
  • the LiDAR 21 detects an object around the docking position P1 from a position that is somewhat far from the docking position P1. Therefore, in the following description, the measurement at this time may be called "long-distance measurement”.
  • This long-distance measurement prepares the data necessary for automatically sailing and docking the ship 80 to the docking position P1 using the LiDAR 21. Therefore, this long-distance measurement can also be called preparatory measurement.
  • the control unit 43 decelerates the boat 80 to swing the bow in the vertical direction before performing the detection in step S104.
  • the object around the docking position P1 is included in the vertical scanning range of the LiDAR 21. This deceleration may be performed while monitoring the attitude of the ship 80 output by the IMU 52, or may be simply decelerated without monitoring the attitude.
  • the LiDAR21 scans surrounding objects by changing the angle of the pulsed light at a predetermined angle interval. Therefore, when the LiDAR 21 detects an object around the berthing position P1 in the state where the vessel 80 is located at or near the long distance measuring trigger position P2, the long distance measuring trigger position P2 and the berthing position P1 are Since the distance is long, the spatial detection resolution decreases. Further, a slight change in the attitude of the boat 80 in the pitch direction makes it easier for an object around the docking position P1 to be removed from the detection angle range of the LiDAR 21. In this regard, in the present embodiment, since the long distance measurement is performed with the LiDAR 21 as an appropriate posture, it is possible to satisfactorily detect an object around the docking position P1.
  • the LiDAR 21 may not be able to satisfactorily detect an object around the berth position P1. is there. For example, when the pulsed light emitted from the light emitting portion of the LiDAR 21 does not strike the surface of the jetty (specifically, the surface on the side where the ship 80 is moored) corresponding to the docking position P1 substantially perpendicularly, the light receiving portion of the LiDAR 21 Cannot receive reflected light well.
  • the control unit 43 causes the light emitting unit of the LiDAR 21 to cause the light emitting unit of the LiDAR 21 to face the pier (the surface on which the ship 80 is moored) when the point cloud data regarding the object around the docking position P1 cannot be acquired well.
  • the vessel 80 is moved from the long-distance measurement trigger position P2 to a position substantially opposite to.
  • the control unit 43 causes the LiDAR 21 to perform long-distance measurement again.
  • the long-distance measurement is performed after moving the LiDAR 21 to a favorable position, it is possible to favorably detect the object around the docking position P1.
  • the control unit 43 based on the longitude and latitude of the berthing position P1, the GNSS positioning result of the ship 80, the geometrical characteristics of the point cloud data acquired by the LiDAR 21, and the like, the berthing position in the space where the point cloud data is arranged. Detect P1. Accordingly, the position of the ship can be measured with the LiDAR 21 with an error of several centimeters or less in the form of a relative position with respect to the docking position P1 (pier).
  • control unit 43 calculates the route that the ship 80 takes from the current position of the ship to the docking position P1 (step S105). In other words, the route plan of the ship 80 is drafted. At this time, the route of the vessel 80 is generated using the result of the long distance measurement by the LiDAR 21 acquired in step S104.
  • the control unit 43 generates a route so as to avoid the point cloud.
  • the route created by the control unit 43 is preferably, for example, a route such that the boat 80 approaches the pier at an angle of 30 ° with respect to the longitudinal direction of the pier, because berthing is easy.
  • control unit 43 causes the vessel 80 to automatically sail to a predetermined position on the route obtained in step S105 (step S106).
  • the control unit 43 first appropriately sets the docking operation trigger position P3 in the middle of the above route.
  • the berthing operation trigger position P3 is located before the berth position P1, but is set to an appropriate position sufficiently close to the berth position P1.
  • the control unit 43 moves the ship 80 to the docking operation trigger position P3 according to the route obtained in step S105.
  • the boat speed at this time is, for example, 7 knots.
  • step S107 the position of the ship 80 reaches the docking operation trigger position P3 (step S107).
  • the control unit 43 adjusts the ship speed to about 2 knots and approaches the ship 80 to the pier according to the above-described route.
  • Step S108 the control unit 43 controls the ship 80 so that the orientation of the hull follows the longitudinal direction of the pier as the ship 80 approaches the pier.
  • the vessel 80 slowly approaches the pier and reaches the berthing position P1.
  • the control unit 43 gives a small amount of propulsive force in the direction of canceling the inertia of the ship 80 and stops the ship 80.
  • the control unit 43 controls the ship 80 to return to the original route based on the current position of the ship 80 acquired using the LiDAR 21.
  • the LiDAR 21 can acquire the position of the ship 80 at short time intervals as compared with the GNSS positioning. Therefore, the position of the vessel 80 can be corrected before the vessel 80 greatly deviates from the route. Since the control characteristic of the hull is a second-order lag system and it is difficult to rebuild once the ship 80 has been swept, it is particularly advantageous to be able to deal with it early as described above.
  • the position of the ship 80 is corrected based on the data obtained by the LiDAR 21. Therefore, the positional accuracy of the ship 80 can be kept high in relation to the surrounding piers and obstacles.
  • steps S102 to S108 it is preferable that the user can issue an emergency stop instruction to immediately stop the automatic navigation or berthing operation of the ship 80 by operating the terminal device 42, for example. As a result, an emergency stop can be realized.
  • the configuration of the interface unit 41 is not particularly limited as long as it can output a signal according to the input user instruction to the control unit 43.
  • the interface unit 41 can be, for example, a mouse, a keyboard, a touch panel, a gesture recognition device, a voice recognition device, a remote controller, a mobile phone, a smartphone, or the like.
  • the interface unit 41 can also be configured to output a signal according to an operation performed on a wireless device other than a tablet computer (for example, a mobile phone, a smartphone, a remote controller, etc.). Further, remote operation may be performed by wire instead of wireless.
  • the control unit 43 controls the LiDAR 21 to measure surrounding objects at a frequency of, for example, 1 to 5 times per second. To do. It is considered that such a detection frequency is sufficient to detect and avoid obstacles around the ship 80. However, the measurement by the LiDAR 21 may be stopped and the monitoring by the camera 22 alone may be performed. The power consumption of the LiDAR 21 can be reduced by lengthening the measurement cycle or stopping the measurement itself.
  • the LiDAR 21 is controlled so that the measurement is performed at a relatively high frequency (for example, 20 to 30 times per second). It is preferable. This makes it possible to compensate for the decrease in spatial detection resolution when the LiDAR 21 detects a distant object.
  • the automatic docking device 1 of this embodiment includes the LiDAR 21, the position information input unit 31, and the control unit 43.
  • the LiDAR 21 has a light emitting unit and a light receiving unit, and receives reflected light, which is light from the light emitting unit reflected by an object, at the light receiving unit, thereby measuring a distance to a surrounding object at each predetermined angle.
  • Positional data of the vessel 80 based on satellite positioning information is input to the positional information input unit 31.
  • the control unit 43 automatically controls the vessel 80 to sail and berth to the berthing position P1 based on the data acquired by the LiDAR 21 and the position information input unit 31.
  • the control unit 43 causes the LiDAR 21 to perform preparatory measurement for measuring the distance to the object around the docking position P1 before the position of the ship 80 acquired based on the measurement result of the LiDAR 21 is used for automatic navigation. To control. When the LiDAR 21 performs the preparatory measurement, the control unit 43 changes the attitude of the ship 80 so that the light emitted from the light emitting unit of the LiDAR 21 is reflected by an object around the docking position P1 and can be received by the light receiving unit. At least one of the control and the control for moving the ship 80 is performed.
  • the LiDAR 21 can satisfactorily measure the distance to an object around the berthing position P1 located at a relatively long distance. Therefore, the position of the ship 80 in relation to the berthing position P1 can be acquired accurately and quickly, and the subsequent automatic navigation and berthing control can be smoothly performed.
  • the automatic berthing device 1 of the present embodiment includes an attitude information input unit 32 to which data regarding the attitude of the ship 80 is input.
  • the control unit 43 controls the attitude of the boat 80 based on the attitude data.
  • the control unit 43 causes the ship 80 to automatically sail based on the position data of the ship 80 acquired by the position information input unit 31.
  • the LiDAR 21 measures the distance to the surrounding object in a cycle longer than the measurement cycle in the long distance measurement.
  • the automatic berthing device 1 of this embodiment includes an interface unit 41.
  • the interface unit 41 outputs an emergency stop signal to the control unit 43 when an operation of emergency stopping the ship 80 is performed on the portable and wirelessly communicable terminal device 42.
  • the control unit 43 controls to stop the ship 80 in an emergency based on the input of the emergency stop signal.
  • FIG. 4 is a schematic diagram showing the LiDAR 21 and the rotation mechanism 61 included in the automatic docking device of the second embodiment.
  • the same or similar members as those in the above-described embodiment are denoted by the same reference numerals in the drawings, and the description may be omitted.
  • the LiDAR 21 is attached to the ship 80 via the rotating mechanism 61.
  • the rotation mechanism 61 can change the orientation of the LiDAR 21 with respect to the ship 80 by rotating the LiDAR 21 in the yaw direction and the pitch direction by using an appropriate drive source.
  • the control unit 43 uses the data relating to the attitude of the ship 80 input from the IMU 52 via the attitude information input unit 32, and controls the rotation mechanism 61 so as to cancel the shaking of the ship 80 that affects the measurement of the LiDAR 21. Control. This allows the LiDAR 21 to be stably oriented toward the vicinity of the docking position P1 even when the hull is shaken due to the influence of waves or wind, so that the long-distance measurement by the LiDAR 21 can be performed favorably. it can.
  • control unit 43 may control the rotation mechanism 61 so that the LiDAR 21 faces the direction corresponding to the docking position P1.
  • the LiDAR 21 is rotatably provided with respect to the hull of the ship 80.
  • the control unit 43 rotates the LiDAR 21 with respect to the hull so that the light emitted from the light emitting unit of the LiDAR 21 is reflected by an object around the docking position P1 and can be received by the light receiving unit. Control.
  • FIG. 5 is a flowchart showing an example of a processing flow of the automatic docking device according to the third embodiment.
  • FIG. 6 is a diagram showing a display example of the terminal device 42 when the user selects the docking position P1 from the docking position candidates P1C.
  • steps S201 to S203 are the same as the steps S101 to S103 in the above-described first embodiment (FIG. 2), and therefore the description thereof is omitted. .
  • the control unit 43 controls the camera 22 to capture an image of the inside of the harbor 81. After that, the control unit 43 detects the jetty by performing a known image recognition process on the imaged data obtained by the camera 22 capturing the inside of the harbor 81.
  • a specific method for performing image recognition is arbitrary, but it is conceivable to use a known RCNN which is a kind of deep learning, for example.
  • a known RCNN which is a kind of deep learning, for example.
  • the positions on the image of one or more piers included in the image captured by the camera 22 can be obtained.
  • the position of the jetty in the image may be obtained by a so-called semantic segmentation method.
  • Each of the obtained one or more pier positions is substantially a candidate for the berthing position P1 of the vessel 80 (berthing position candidate P1C).
  • the control unit 43 When one or more docking position candidates P1C are obtained, the control unit 43 outputs the imaged data of the camera 22 and the data of each docking position candidate P1C to the interface unit 41.
  • the interface unit 41 causes the display of the terminal device 42 to display a graphic showing the docking position candidate P1C by combining it with the captured image.
  • a display example on the terminal device 42 is shown in FIG. 6, and the figure showing the docking position candidate P1C can be, for example, a rectangle (bounding box) surrounding the corresponding jetty. In FIG. 6, the rectangle is indicated by a thick line.
  • the user selects the figure (bounding box) of the position where the vessel 80 is desired to dock from the docking position candidate P1C displayed on the terminal device 42 by touching the touch panel with a finger (step S204).
  • This allows the user to intuitively specify the berthing position P1 at which the ship 80 will actually berth.
  • Information indicating the berthing position P1 selected by the user is output from the interface unit 41 to the control unit 43.
  • step S205 to S209 Since the subsequent processing (steps S205 to S209) is the same as the flow (steps S104 to S108) of the first embodiment, the description thereof will be omitted.
  • the automatic docking device of this embodiment includes the camera 22 and the interface unit 41.
  • the camera 22 takes an image and generates imaging data.
  • the control unit 43 acquires a docking position candidate P1C that is a candidate for the docking position P1 by performing image recognition using the captured image data.
  • the interface unit 41 generates data for displaying one or more docking position candidates P1C together with the captured image of the camera 22.
  • the interface unit 41 outputs to the control unit 43 data regarding the berthing position P1 selected by the user from the displayed berthing position candidates P1C.
  • the user can easily designate the berthing position P1 from the presented berthing position candidates P1C with reference to the shooting result by the camera 22.
  • FIG. 7 is a flowchart showing a processing flow of the automatic docking device according to the fourth embodiment.
  • FIG. 8 is a figure which shows the example of the map data and the route
  • control unit 43 differs from the above-described first embodiment in that the route to the berthing position is considered in consideration of the map data indicating the situation around the berthing position. Is generating.
  • the map data is generated in advance by the control unit 43 before the user instructs the automatic berthing (step S301).
  • control unit 43 stores the chart data in advance in the storage unit 44 included in the control unit 43, and creates map data by using the information of the chart data (for example, the position of the reef or the inaccessible area). be able to.
  • control unit 43 acquires the position of the obstacle or the like by measuring the distance to the object located inside the harbor 81 by the LiDAR 21 in advance and stores it in the storage unit 44, and uses this information to map the map. You can also create data.
  • control unit 43 estimates and stores the position of an obstacle (for example, a buoy, a rock, a pier, etc.) by performing image recognition from an image captured in advance by the camera 22 inside the harbor 81. You can also use the information to create map data. As a method of image recognition, it can be considered to use RCNN as described above. For obstacles near the water surface, such as buoys and rocks, the direction and distance can be roughly estimated from the position and size of the region where the buoy or the like is detected in the image.
  • an obstacle for example, a buoy, a rock, a pier, etc.
  • the distance of obstacles taken by the camera 22 can also be estimated by deep learning. Specifically, using a stereo camera or a combination of a LiDAR and a camera, etc., a data set including a combination of an image and a distance from an image capturing point of an object corresponding to the image is prepared. Train a predictive model. After that, when the camera 22 inputs an image obtained by shooting an obstacle into the prediction model, the prediction model outputs the distance from the shooting point of the obstacle.
  • the control unit 43 reads out the data obtained from various information sources from the storage unit 44 and collects the data to generate one map data.
  • the map data is configured to be divided into "navigable area” and "navigable area” from various information sources.
  • steps S302 to S305 are the same as steps S101 to S104 in the above-described first embodiment (FIG. 2), and thus the description thereof will be omitted.
  • control unit 43 matches the point cloud data obtained from the LiDAR21 by the long distance measurement with the map data generated in step S301. As a result, the control unit 43 can determine which position in the map data the current position of the ship 80 and the berth position P1 correspond to.
  • the control unit 43 uses the map data to determine the route from the current position of the vessel 80 to the berthing position P1 (step S306). Specifically, the control unit 43 uses an appropriate route search algorithm to obtain a route through which the ship 80 passes within the navigable area.
  • FIG. 8 shows an example of the generated route.
  • the control unit 43 may request a plurality of different routes. In this case, the user selects, via the interface unit 41, the route on which the ship 80 is actually desired to travel.
  • step S307 to S309 Since the subsequent processing (steps S307 to S309) is the same as the flow (steps S106 to S108) of the first embodiment, the description is omitted.
  • the control unit 43 generates map data indicating the situation around the docking position P1.
  • the control unit 43 uses the map data to generate a route for automatically sailing and docking the ship 80.
  • the automatic docking device of the present embodiment includes a storage unit 44 capable of storing data regarding a nautical chart.
  • the control unit 43 generates map data based on the data relating to the nautical chart stored in the storage unit 44.
  • control unit 43 generates map data based on the data regarding the distance to the surrounding object acquired by the LiDAR 21.
  • the automatic berthing device of the present embodiment includes a camera 22 that performs image capturing and generates image capturing data.
  • the control unit 43 generates map data based on the imaged data.
  • the map data is map data that defines whether the area including the berthing position P1 is a navigable area or a non-navigable area.
  • the control unit 43 automatically generates a route for the vessel 80 to sail and dock so as to pass through the navigable area.
  • the vessel on which the automatic berthing device 1 of the present invention is mounted may be, for example, a vessel 80 with one axis and one rudder or a vessel 80 with one axis and two rudders.
  • the configuration of the LiDAR 21 is arbitrary, but for example, it may be configured to scan a range of 60 ° or more in the horizontal direction (yaw direction) at an angular interval of 5 ° or less.
  • the LiDAR 21 can be attached to the vessel 80 at any position, and can be attached to the bow, the stern, the side of the hull, the upper part of the wheelhouse, etc.

Abstract

自動着岸装置(1)が備えるLiDAR(21)は、光を照射し、物体で反射した反射光を受光することで、周囲の物体までの距離を所定角度毎に計測する。沖にある船舶(80)に自動着岸指示がされた場合、船舶(80)は、衛星測位に基づく自動航行によりある程度航行してから、LiDAR(21)に基づく自動航行に切り換わる。LiDAR(21)に基づく自動航行に切り換わる前に、LiDAR(21)は、着岸位置の周囲の物体までの距離を計測する準備計測を行う。この準備計測において、制御部(43)は、LiDAR(21)から照射される光が着岸位置の周囲の物体に反射してLiDAR(21)により受光できるように、例えば船舶(80)の姿勢を変化させる制御を行う。

Description

自動着岸装置
 本発明は、自動着岸装置に関する。
 従来から、船舶を自動航行させ、桟橋等に船舶を自動的に着岸させる自動着岸装置が知られている。特許文献1は、この種の自動着岸装置を開示する。
 特許文献1の着岸支援装置は、距離センサと、GPS装置と、航走制御装置の機能として実現されるコントローラと、を備える。距離センサは、船舶から目標位置を含む測定点までの距離を測定する。GPS装置は、船舶の現在位置を検出し、それを表す位置データを生成する。コントローラには、距離センサからの距離データとGPS装置からの位置データが入力される。コントローラは、所定のプログラムを実行することによって、複数の機能処理部として機能し、停泊目標位置設定のための演算を行う。また、コントローラは、地図や設定された停泊目標位置をモニタ上に表示させる。
 特許文献1の構成では、操船担当の乗員が、モニタの画面を見ながら操作卓を操作することによって、船舶を停泊目標位置に導くことができる。また、停泊目標位置に船舶がある程度接近した時点(20m以下となった時点)で、自動操船によって船舶を停泊目標位置に導くことができる。
特許第5000244号公報
 しかし、上記特許文献1の構成は、船舶と着岸位置までの距離が長い場合、距離センサを用いて当該距離を精度良く計測することができない場合があり、これにより、自動操船の精度が低下する可能性があった。
 本発明は以上の事情に鑑みてされたものであり、その目的は、光学センサを用いて着岸位置の周囲の物体までの距離を遠距離から精度良く計測することができ、計測したデータを利用して自動着岸を円滑に行うことができる自動着岸装置を提供することにある。
課題を解決するための手段及び効果
 本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
 本発明の観点によれば、以下の構成の自動着岸装置が提供される。即ち、この自動着岸装置は、光学センサと、位置情報入力部と、制御部と、を備える。前記光学センサは、発光部及び受光部を有し、前記発光部からの光が物体によって反射した反射光を前記受光部で受信することにより、周囲の物体までの距離を所定角度毎に計測する。前記位置情報入力部には、衛星測位情報に基づく船舶の位置データが入力される。前記制御部は、前記光学センサ及び前記位置情報入力部が取得するデータに基づいて、着岸位置まで前記船舶を自動で航行及び着岸させる制御を行う。前記制御部は、前記光学センサの計測結果に基づいて取得された前記船舶の位置が自動航行に用いられる前の段階で、前記着岸位置の周囲の物体までの距離を計測する準備計測を前記光学センサが行うように制御する。前記光学センサが前記準備計測を行う場合に、前記制御部は、前記光学センサの前記発光部から照射された光が前記着岸位置の周囲の物体で反射して前記受光部で受光できるように、前記船舶の姿勢を変化させる制御及び前記船舶を移動させる制御のうち少なくとも何れかを行う。
 これにより、船舶の姿勢を変化させたり船舶を移動させたりすることで、光学センサにより、比較的遠距離に位置する着岸位置の周囲の物体までの距離を良好に計測することができる。従って、着岸位置との関係での船舶の位置を精度良くかつ素早く取得することができるので、以後の自動航行及び着岸のための制御を円滑に行うことができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、この自動着岸装置は、前記船舶の姿勢に関するデータが入力される姿勢情報入力部を備える。前記光学センサが前記準備計測を行う場合に、前記制御部は、前記姿勢に関するデータに基づいて前記船舶の姿勢を制御する。
 これにより、光学センサによる準備計測に適した船舶の姿勢を確実に実現することができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、前記光学センサは、前記船舶の船体に対して回転可能に設けられる。前記光学センサが前記準備計測を行う場合に、前記制御部は、当該光学センサの前記発光部から照射された光が前記着岸位置の周囲の物体で反射して前記受光部で受光できるように、前記船体に対して前記光学センサを回転させる制御を行う。
 これにより、船体の姿勢にかかわらず、準備計測に適した光学センサの向きを実現することができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、前記準備計測が行われる前において、前記制御部は、前記位置情報入力部が取得する前記船舶の位置データに基づいて当該船舶を自動航行させる。前記準備計測が行われる前は、前記光学センサは、周囲の物体までの距離の計測を停止するか、前記準備計測における計測周期よりも長い周期で周囲の物体までの距離を計測する。
 これにより、準備計測を行うときに、比較的遠方にある着岸位置の周囲の物体を光学センサで計測することを原因とする空間的分解能の低下を、比較的短い周期で計測を行うことで補うことができる。準備計測の前の段階で光学センサによる計測を停止させたり、計測周期を長くすることで、消費電力を低減することができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、この自動着岸装置は、カメラと、インタフェース部と、を備える。前記カメラは、撮影を行って撮像データを生成する。前記制御部は、前記撮像データを用いた画像認識により、前記着岸位置の候補となる着岸位置候補を取得する。前記インタフェース部は、1つ以上の前記着岸位置候補を前記カメラの撮影画像とともに表示させるためのデータを生成する。前記インタフェース部は、表示された前記着岸位置候補からユーザが選択した前記着岸位置に関するデータを前記制御部に出力する。
 これにより、ユーザは、カメラによる撮影画像を参考にして、提示された候補の中から着岸位置を簡単に指示することができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、前記制御部は、前記着岸位置の周囲の状況を示す地図データを生成する。前記制御部は、前記船舶を自動で航行及び着岸させる経路を、前記地図データを用いて生成する。
 これにより、例えば着岸位置の周囲に存在する障害物を考慮して、船舶を自動で航行及び着岸させる経路を生成することができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、この自動着岸装置は、海図に関するデータを記憶可能な記憶部を備える。前記制御部は、前記記憶部に記憶されている海図に関するデータに基づいて前記地図データを生成する。
 これにより、海図が有する情報を考慮して、船舶を自動的に航行及び着岸させる経路を生成することができる。
 前記の自動着岸装置においては、前記制御部は、前記光学センサが取得した周囲の物体までの距離に関するデータに基づいて前記地図データを生成することが好ましい。
 これにより、光学センサが実際に計測した障害物の位置等を考慮して、船舶を自動的に航行及び着岸させるときの経路を生成することができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、この自動着岸装置は、撮影を行って撮像データを生成するカメラを備える。前記制御部は、前記撮像データに基づいて前記地図データを生成する。
 これにより、周囲をカメラで実際に撮影して得られた障害物の位置等を考慮して、船舶を自動的に航行及び着岸させる経路を生成することができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、前記地図データは、前記着岸位置を含む領域を航行可能領域であるか航行不可能領域であるかを定めた地図データである。前記制御部は、前記航行可能領域を通過するように、前記船舶を自動で航行及び着岸させる経路を生成する。
 これにより、着岸位置の周囲の状況を整理して把握することができるので、船舶を自動で航行及び着岸させる経路を容易に生成することができる。
 前記の自動着岸装置においては、以下の構成とすることが好ましい。即ち、この自動着岸装置は、インタフェース部を備える。携帯可能かつ無線通信可能な無線機器に対して、前記船舶を緊急停止させる操作がされた場合に、前記インタフェース部は緊急停止信号を制御部に出力する。前記制御部は、前記緊急停止信号が入力されると、前記船舶を緊急停止させる制御を行う。
 これにより、船舶を自動で航行及び着岸させる途中で、例えば障害物等に船舶が衝突する可能性をユーザが認識した場合、ユーザは、携帯する無線機器を用いて船舶を直ちに停止させることができる。
本発明の第1実施形態に係る自動着岸装置の電気的な構成を示す図。 第1実施形態に係る自動着岸装置の処理フローの一例を示すフローチャート。 自動着岸の一例について説明するための図。 第2実施形態の自動着岸装置において、LiDARと回転機構について示した概略図。 第3実施形態の自動着岸装置の処理フローを示すフローチャート。 第3実施形態の自動着岸装置において、着岸位置をユーザに選択させる場合の端末装置の表示例を示す図。 第4実施形態に係る自動着岸装置の処理フローを示すフローチャート。 第4実施形態の自動着岸装置において、生成される地図データ及び経路の例を示す図。
 次に、図面を参照して本発明の実施の形態を説明する。図1は、本発明の一実施形態に係る自動着岸装置1の電気的な構成を示すブロック図である。
 図1に示す本実施形態の自動着岸装置1は、船舶80に搭載して使用される。本明細書でいう「着岸」には、岸壁に船舶80を着ける場合と、桟橋等の構造体に船舶80を着ける場合と、が含まれる。
 自動着岸装置1が適用される船舶80の構成は特に限定されず、例えば、プレジャーボート、漁船、ウォータジェット船、電気推進船、ハイブリッド船等とすることができる。
 船舶80は、スクリュー11と、スラスター12と、舵13と、を備える。
 スクリュー11は、船舶80の船尾に設けられる。スクリュー11は、駆動源(エンジンや電動モータ)の駆動力により回転して、船舶80を推進させる。
 スラスター12は、例えば、船舶80の船首側や船尾側の側面部に設けられた横向きのスクリューである。スラスター12は、駆動源(例えば、電動モータ)の駆動力により回転して、船舶80に横方向の推進力を与える。
 舵13は、例えば、スクリュー11のすぐ後方に設けられる。舵13の向きを中立から変更した状態でスクリュー11を駆動することによって、船舶80の針路を変化させることができる。
 自動着岸装置1は、LiDAR(光学センサ、測距センサ)21と、カメラ22と、位置情報入力部31と、姿勢情報入力部32と、インタフェース部41と、制御部43と、を備える。
 LiDAR21は、船舶80の適宜の位置(例えば、船首)に配置される。LiDAR21は、発光部と、受光部と、を有する。発光部は、可視スペクトル範囲外のパルス光(レーザ光)を照射し、受光部は、当該パルス光が物体によって反射した反射光を受光する。LiDAR21は、パルス光を照射してから反射光を受光するまでの時間に基づいて、周囲の物体の有無と、物体がある場合は当該物体までの距離を検出する。
 LiDAR21は、パルス光の向きを所定の角度間隔で(実質的に)変化させながら、発光と受光を反復する。これにより、周囲の物体までの距離を、所定の角度毎に計測することができる。この角度走査は、例えば、発光部及び受光部の向きを機械的に調整することで実現されても良いし、MEMS(微小電気機械システム)によって実現されても良いし、公知のフェイズドアレイ方式によって実現されても良い。
 本実施形態では、LiDAR21は、ヨー方向及びピッチ方向で角度走査を行う3次元LiDARとして構成されている。従って、LiDAR21は、LiDAR21の周囲に存在する物体を表す3次元の点群データを出力することができる。なお、LiDAR21は、点の位置だけでなく、当該位置での反射光の強さに関するデータを併せて出力しても良い。
 カメラ22は、船舶80の適宜位置(例えば、船首)に配置される。カメラ22は、船舶80の周囲を対象として撮影を行うことで撮像データを生成し、この撮像データを出力することができる。カメラ22は、LiDAR21の近傍に、かつ、その撮影方向がLiDAR21の角度走査範囲の中心と一致するように設けると、LiDAR21の点群データとカメラ22の撮像データとを対応させ易くなるため好ましい。
 位置情報入力部31には、船舶80が備えるGNSS装置51が取得した船舶80の位置データが入力される。位置情報入力部31は、具体的には、後述するCAN通信のコネクタとして構成されている。
 GNSS装置51は、衛星からGNSS電波を受信し、公知の測位計算を行うことによって、船舶80の現在位置を取得する。GNSS測位は単独測位でも良いが、公知のDGNSS測位やRTK(リアルタイムキネマティック)測位を用いると、船舶80の位置を高精度で取得できる点で好ましい。
 姿勢情報入力部32には、船舶80が備えるIMU52が出力するデータが入力される。IMUは、慣性計測装置の略称である。姿勢情報入力部32も位置情報入力部31と同様に、CAN通信のコネクタとして構成されている。
 IMU52は加速度センサを備えており、3次元の加速度を取得することができる。また、IMU52はジャイロセンサを備えており、3次元の角速度を算出することができる。これにより、船舶の姿勢(ロール角、ピッチ角、及びヨー角)を取得することができる。船舶80の加速度及び姿勢に関するデータは、姿勢情報入力部32を介して制御部43に出力される。
 IMU52のジャイロセンサは、各種の公知の構成とすることができる。ただし、ジャイロセンサとしてリングレーザジャイロを用いることが好ましい。リングレーザジャイロは、光学リング内で発生するレーザ光の光路差を利用して角速度を算出するので、船舶80の姿勢を精度良く検出することができる。また、安価な構成としたい場合は、MEMS(微小電気機械システム)によって実現されても良い。
 インタフェース部41は、公知のコンピュータとして構成されており、CPU、ROM、RAM等を備える。インタフェース部41は、ユーザインタフェース機能を提供する。インタフェース部41は、後述の端末装置(無線機器)42と無線通信可能に構成されている。インタフェース部41は、無線により端末装置42にデータを送信して様々な情報を表示させたり、端末装置42に対してユーザが行った指示に関するデータを受信したりすることができる。
 端末装置42は、例えば、ユーザが携帯可能なタブレット型のコンピュータとして構成されている。端末装置42は、各種の情報を表示可能なディスプレイ(表示部)と、ユーザが指で触れて操作することが可能なタッチパネル(操作部)と、を備える。ユーザは、ディスプレイの表示を見ることで、例えば自動着岸に関して制御部43が出力した各種の情報を得ることができる。また、ユーザは、タッチパネルを操作することにより、制御部43に対して各種の指示を与えることができる。
 制御部43は公知のコンピュータとして構成されており、CPU、ROM、RAM等を備える。ROMには、周辺の状況を認識して船舶80を目的地まで自動的に航行して着岸させる制御を行うためのプログラムが記憶されている。また、制御部43は、着岸する目的地の周囲の地図等を記憶可能な記憶部44を備えている。記憶部44の機能は、主として、制御部43が備える大規模記憶装置(例えば、フラッシュメモリドライブ)等により実現される。
 制御部43は、手動航行モードと、自動航行モードと、を切換可能に構成されている。このモードの切換は、ユーザがインタフェース部41(具体的には、端末装置42)を操作することにより行うことができる。
 手動航行モードでは、制御部43は、図略の推進操作部(例えば、アクセルレバー及びクラッチレバー)をユーザが操作するのに応じて、スクリュー11の回転数を変更したり、船舶80の前進/後進を切り換えたりする制御を行う。また、制御部43は、図略のスラスター操作部(例えば、ジョイスティック又は操作ダイヤル)をユーザが操作するのに応じて、スラスター12を作動させる。更に、制御部43は、図略の操向操作部(例えば、ステアリングホイール)をユーザが操作するのに応じて、舵13の向きを変更する。以上により、目的地までの手動操縦による航行を実現することができる。
 自動航行モードでは、制御部43は、LiDAR21、カメラ22、位置情報入力部31、姿勢情報入力部32、及びインタフェース部41から入力される様々なデータに基づいて、スクリュー11の回転数を変更したり、スラスター12を作動させたり、舵13の向きを変更したりする。これにより、目的地までの自動操縦による航行を実現することができる。
 図1に示すように、船舶80には、イーサネットバス(イーサネットは登録商標)と、CANバスと、を用いた2種類のネットワークが構築されている。CANは、Controller Area Networkの略称である。イーサネットバスには、LiDAR21及びカメラ22が接続される。CANバスには、位置情報入力部31を介してGNSS装置51が接続されるとともに、姿勢情報入力部32を介してIMU52が接続される。更に、CANバスには、スクリュー11、スラスター12、及び、舵13がそれぞれ接続される。
 制御部43は、イーサネットバス及びCANバスの両方に接続されている。制御部43は、LiDAR21及びカメラ22から、イーサネットバスを介して、点群データ及び撮像データを取得する。点群データ及び撮像データはデータサイズが大きくなり易いが、比較的高速なイーサネット通信を用いることで、処理に必要なデータを制御部43が適切に取得することができる。
 制御部43は、CANバスを介して、船舶80の位置及び姿勢に関するデータを入力するとともに、スクリュー11等への制御データを出力する。これらの小さなサイズのデータのやり取りをCAN通信で行うことで、制御のリアルタイム性を容易に確保することができる。
 次に、船舶80の自動着岸に関する制御について詳細に説明する。図2は、自動着岸装置1の処理フローの一例を示すフローチャートである。図3は、自動着岸の例を説明する概略図である。
 船舶80が沖に出て手動で航行している状態で、ユーザは、インタフェース部41を介して、制御部43に対して自動航行により着岸するように指示する(図2のステップS101)。なお、本実施形態では、最終的に船舶80を移動させるべき位置(着岸位置P1)は、例えば緯度及び経度の形でユーザにより予め設定されている。
 自動航行及び着岸の指示は、本実施形態では、端末装置42が備えるマイクにユーザが喋り、その内容を音声認識することで行われている。ただし、当該指示は、例えばタッチパネルをユーザが操作する等の方法で行われても良いし、手の動き等を端末装置42のカメラを用いてジェスチャー認識させる方法で行われても良い。
 この指示に応じて、制御部43は手動航行モードから自動航行モードに切り換わり、船舶80を所定の位置まで自動航行させる(ステップS102)。
 例えば港湾81において桟橋が入り組んで配置されている場合は、船舶を着岸位置P1に到達させるためには複雑な経路を通過しなければならない。このことを考慮して、ステップS102で船舶80を自動航行させるときの目標位置は、最終目標位置である着岸位置P1ではなく、その手前の適宜の位置(後述の遠距離計測トリガ位置P2)に設定される。この遠距離計測トリガ位置P2は、中間目標位置に相当する。
 遠距離計測トリガ位置P2は、当該位置に船舶があるときに、LiDAR21を利用して着岸位置P1の周囲の物体までの距離を計測できるような位置として適宜定められる。遠距離計測トリガ位置P2は、着岸位置P1からある程度離れており、かつ、着岸位置P1の周囲の物体が、遠距離計測トリガ位置P2を基準としてLiDAR21による測距可能な範囲内に含まれるように定められる。着岸位置P1と遠距離計測トリガ位置P2との距離は、LiDAR21の性能にもよるが、例えば50メートル程度とすることが考えられる。
 遠距離計測トリガ位置P2を定める具体的な方法は任意であるが、例えば、ある桟橋から離岸して同じ桟橋に着岸するときは、往路で船舶80が沖に出るときのGNSS測位による位置の推移により得られた経路と、着岸位置P1を中心とする半径50メートルの仮想円と、が交わる点を予め求めて記憶しておき、当該点を遠距離計測トリガ位置P2とすれば良い。また、遠距離計測トリガ位置P2をユーザが指示できるように構成しても良い。
 ステップS102において、制御部43は、位置情報入力部31が取得する船舶80の位置データを利用して、船舶80を航行させる。言い換えれば、GNSS装置51が出力するGNSS測位結果をベースとした自動航行が行われる。
 制御部43は、ステップS102で船舶80を遠距離計測トリガ位置P2まで移動させる過程で、LiDAR21及びカメラ22が取得するデータを利用して、船舶80の周囲を監視する。このときの船速は、例えば、10ノット以上の適宜の速度とすることができる。当該船速は、LiDAR21やカメラ22により障害物が検出された場合に余裕を持って当該障害物を回避できるように、あまり高速とならないように設定されることが好ましい。
 本実施形態において、遠距離計測トリガ位置P2は、港湾81の入口から内部に少し入った位置に定められている。ステップS102において船舶80を航行させているときに、制御部43は、船舶80が港湾81の内部に入ったことを適宜の方法で(例えば、GNSS測位により)検知すると、船速を自動的に減速させる。これにより、混雑することが多い港湾81の内部において、自動航行を適切に行うことができる。このときの船速は、例えば7ノット程度とすることができる。
 やがて、遠距離計測トリガ位置P2に船舶80が到達する(ステップS103)。現在の船舶80の位置が遠距離計測トリガ位置P2又はその近傍にあることをGNSS測位により検出すると、制御部43は、自動航行モードの特別な場合である自動着岸モードとなる。
 自動着岸モードでは、制御部43は先ず、LiDAR21を用いて船舶80の周囲の物体までの距離を計測する(ステップS104)。このとき、着岸位置P1の周囲の物体までの距離がLiDAR21によって計測されることが、以後に行われる着岸動作のために重要である。
 LiDAR21は、本来、船舶80の近傍の障害物を検出して衝突を回避するために用いられる。しかしながら、ステップS104においてLiDAR21は、着岸位置P1からある程度遠く離れた位置から、着岸位置P1の周囲の物体を検出することになる。従って、以下の説明では、このときの計測を「遠距離計測」と呼ぶことがある。この遠距離計測は、LiDAR21を用いて船舶80を着岸位置P1へ自動的に航行及び着岸させるために必要なデータを準備するものである。従って、この遠距離計測は、準備計測と呼ぶこともできる。
 遠距離計測トリガ位置P2において船舶80は航行中であるので、当該船舶80が前上がり姿勢となり、LiDAR21が例えば斜め上方を向いている可能性がある。そこで、制御部43は、ステップS104の検出を行う前に、船舶80を減速させることによって、船首を上下方向に揺動させる。これにより、LiDAR21による上下方向の走査範囲に、着岸位置P1の周囲の物体が含まれるようになる。この減速は、IMU52が出力する船舶80の姿勢を監視しながら行っても良いし、姿勢の監視なしで単純に減速させても良い。
 LiDAR21は、パルス光の角度を所定の角度間隔で変化させることで周囲の物体を走査する。従って、遠距離計測トリガ位置P2又はその付近に船舶80が位置している状態で、LiDAR21により着岸位置P1の周囲の物体を検出しようとする場合、遠距離計測トリガ位置P2と着岸位置P1との間が遠いので、空間的な検出分解能が低下する。また、船舶80の姿勢がピッチ方向で少し変化しただけで、LiDAR21の検出角度範囲から着岸位置P1の周囲の物体が外れ易くなる。この点、本実施形態では、LiDAR21を適切な姿勢として遠距離計測を行うので、着岸位置P1の周囲の物体を良好に検知することができる。
 また、遠距離計測トリガ位置P2と着岸位置P1との位置関係によっては、船舶80が遠距離計測トリガ位置P2にあるときに、LiDAR21が着岸位置P1の周囲の物体を良好に検出できない可能性がある。例えば、LiDAR21の発光部から照射するパルス光が、着岸位置P1に対応する桟橋の面(詳細には、船舶80を係留する側の面)に対して略垂直に当たらない場合、LiDAR21の受光部が反射光を良好に受光できない。そこで、制御部43は、着岸位置P1の周囲の物体に関する点群データをLiDAR21が良好に取得できなかった場合には、LiDAR21の発光部が、桟橋の面(船舶80を係留する側の面)に概ね対向する位置まで、船舶80を遠距離計測トリガ位置P2から移動させる。これにより、LiDAR21において、パルス光が桟橋に反射する反射光を良好に受光することができるようになる。制御部43は、この状態で、LiDAR21による遠距離計測を再び行わせる。このように、本実施形態では、LiDAR21を良好な位置へ移動させてから遠距離計測を行うので、着岸位置P1の周囲の物体を良好に検知することができる。
 制御部43は、着岸位置P1の経度及び緯度、船舶80のGNSS測位結果、及び、LiDAR21が取得した点群データの形状的特徴等に基づいて、点群データが配置される空間での着岸位置P1を検出する。これにより、船舶の位置を、着岸位置P1(桟橋)に対する相対位置の形で、LiDAR21を用いて数センチメートル以下の誤差で計測することができる。
 その後、制御部43は、現在の船舶の位置から着岸位置P1まで船舶80が通る経路を計算する(ステップS105)。言い換えれば、船舶80の航路計画を立案する。このとき、船舶80の経路は、ステップS104で取得したLiDAR21による遠距離計測の結果を利用して生成される。
 遠距離計測により得られた点群は、殆どの場合、水面上に出ている障害物を意味する。従って、制御部43は、当該点群を回避するように経路を生成する。制御部43が作成する経路は、例えば、桟橋の長手方向に対して30°の角度をなして船舶80が桟橋に接近するような経路とすると、着岸が容易であるので好ましい。
 次に、制御部43は、ステップS105で求めた経路の途中の所定位置まで、船舶80を自動航行させる(ステップS106)。
 具体的には、制御部43は先ず、図3に示すように、上記の経路の途中に着岸動作トリガ位置P3を適宜定める。この着岸動作トリガ位置P3は、着岸位置P1よりは手前であるが、着岸位置P1に十分に近づいた適宜の位置に設定される。
 上記のようにして着岸動作トリガ位置P3を定めた後、制御部43は、当該着岸動作トリガ位置P3まで、ステップS105で求めた経路に従って船舶80を移動させる。このときの船速は、例えば7ノットである。
 やがて、船舶80の位置が着岸動作トリガ位置P3に到達する(ステップS107)。LiDAR21により取得した船舶80の位置が着岸動作トリガ位置P3又はその近傍にあることを検出すると、制御部43は、船速を2ノット程度に調整して、上述の経路に従って船舶80を桟橋に接近させる(ステップS108)。このとき、制御部43は、船舶80が桟橋に接近するに従って船体の向きが桟橋の長手方向に沿うように、船舶80を制御する。
 船舶80は桟橋にゆっくり近づき、着岸位置P1に到達する。LiDAR21により取得した船舶80の位置が着岸位置P1と一致したことを検出すると、制御部43は、船舶80の慣性をキャンセルする方向の推進力を少しだけ付与して、船舶80を停止させる。
 なお、ステップS106の自動航行、又はステップS108の着岸動作の過程で、波及び風等の何らかの理由で、経路から船舶80が外れる場合が考えられる。この場合、制御部43は、LiDAR21を用いて取得した船舶80の現在位置に基づいて、船舶80を元の経路に戻すように制御する。LiDAR21は、GNSS測位と比較して、短い時間間隔で船舶80の位置を取得することができる。従って、経路から船舶80が大きく外れる前に、船舶80の位置を修正することができる。船体の制御特性は2次遅れ系であり、いったん船舶80が流されてしまうと立て直すことが難しいので、上記のように早期に対処できることは特に有利である。また、船舶80の位置の修正は、LiDAR21により得られたデータに基づいて行われる。従って、周囲の桟橋及び障害物等との関係で船舶80の位置精度を高く保つことができる。
 以上により、自動着岸が完了する。ユーザは、ロープを用いて、着岸した船舶80を桟橋に係留する。
 ステップS102~S108の処理において、ユーザは、例えば端末装置42を操作することで、船舶80の自動航行又は着岸動作を直ちに停止させる緊急停止指示が可能であることが好ましい。これにより、非常停止を実現することができる。
 インタフェース部41の構成は、入力されたユーザの指示に応じた信号を制御部43に出力することができれば、特に限定されない。インタフェース部41は、例えば、マウス、キーボード、タッチパネル、ジェスチャー認識装置、音声認識装置、リモコン、携帯電話、スマートフォン等とすることができる。また、インタフェース部41は、タブレット型のコンピュータ以外の無線機器(例えば、携帯電話、スマートフォン、リモートコントローラ等)に対してされた操作に応じた信号を出力するように構成することもできる。また、無線でなく有線での遠隔操作が行われても良い。
 遠距離計測トリガ位置P2に船舶80が到達する前(図2のステップS102)では、制御部43は、LiDAR21が、例えば1秒間に1~5回の頻度で周囲の物体を計測するように制御する。この程度の検出頻度でも、船舶80の周囲の障害物を検知して回避するには十分であると考えられる。ただし、LiDAR21による計測を停止して、カメラ22だけによる監視を行わせても良い。計測周期を長くしたり計測自体を停止することで、LiDAR21の消費電力を減らすことができる。
 一方、遠距離計測トリガ位置P2に船舶が到達したときに行われるステップS104の遠距離計測では、比較的に高い頻度(例えば1秒間に20~30回)で計測を行うようにLiDAR21を制御することが好ましい。これにより、遠方の物体をLiDAR21が検出するときの空間的な検出分解能の低下を補うことができる。
 以上に説明したように、本実施形態の自動着岸装置1は、LiDAR21と、位置情報入力部31と、制御部43と、を備える。LiDAR21は、発光部及び受光部を有し、発光部からの光が物体によって反射した反射光を受光部で受信することにより、周囲の物体までの距離を所定角度毎に計測する。位置情報入力部31には、衛星測位情報に基づく船舶80の位置データが入力される。制御部43は、LiDAR21及び位置情報入力部31が取得するデータに基づいて、着岸位置P1まで船舶80を自動で航行及び着岸させる制御を行う。制御部43は、LiDAR21の計測結果に基づいて取得された船舶80の位置が自動航行に用いられる前の段階で、着岸位置P1の周囲の物体までの距離を計測する準備計測をLiDAR21が行うように制御する。LiDAR21が準備計測を行う場合に、制御部43は、LiDAR21の発光部から照射された光が着岸位置P1の周囲の物体で反射して受光部で受光できるように、船舶80の姿勢を変化させる制御及び船舶80を移動させる制御のうち少なくとも何れかを行う。
 これにより、船舶80の姿勢を変化させたり船舶80を移動させたりすることで、LiDAR21により、比較的遠距離に位置する着岸位置P1の周囲の物体までの距離を良好に計測することができる。従って、着岸位置P1との関係での船舶80の位置を精度良くかつ素早く取得することができるので、以後の自動航行及び着岸のための制御を円滑に行うことができる。
 また、本実施形態の自動着岸装置1は、船舶80の姿勢に関するデータが入力される姿勢情報入力部32を備える。LiDAR21が準備計測を行う場合に、制御部43は、姿勢に関するデータに基づいて船舶80の姿勢を制御する。
 これにより、LiDAR21による遠距離計測に適した船舶80の姿勢を確実に実現することができる。
 また、本実施形態の自動着岸装置1において、遠距離計測が行われる前は、制御部43は、位置情報入力部31が取得する船舶80の位置データに基づいて船舶80を自動航行させる。遠距離計測が行われる前は、LiDAR21は、遠距離計測における計測周期よりも長い周期で周囲の物体までの距離を計測する。
 これにより、遠距離計測を行うときに、比較的遠方にある着岸位置P1の周囲の物体をLiDAR21で計測することを原因とする空間的分解能の低下を、比較的短い周期で計測を行うことで補うことができる。遠距離計測が行われる前は、計測周期を長くすることで、LiDAR21の省電力を実現できる。
 また、本実施形態の自動着岸装置1は、インタフェース部41を備える。携帯可能かつ無線通信可能な端末装置42に対して、船舶80を緊急停止させる操作がされた場合に、インタフェース部41は緊急停止信号を制御部43に出力する。制御部43は、緊急停止信号の入力に基づいて、船舶80を緊急停止させる制御を行う。
 これにより、船舶80を自動で航行及び着岸させる途中で、例えば障害物等に船舶80が衝突する可能性をユーザが認識した場合、ユーザは、携帯する端末装置42を用いて船舶80を直ちに停止させることができる。
 次に、第2実施形態を説明する。図4は、第2実施形態の自動着岸装置が備えるLiDAR21と回転機構61について示した概略図である。なお、本実施形態以降の説明においては、前述の実施形態と同一又は類似の部材には図面に同一の符号を付し、説明を省略する場合がある。
 図4に示す第2実施形態の自動着岸装置では、LiDAR21が、回転機構61を介して、船舶80に取り付けられている。回転機構61は、適宜の駆動源を利用して、ヨー方向及びピッチ方向にLiDAR21を回転させ、船舶80に対するLiDAR21の向きを変更することができる。
 制御部43は、姿勢情報入力部32を介してIMU52から入力される船舶80の姿勢に関するデータを利用して、LiDAR21の計測に影響を与える船舶80の揺れをキャンセルするように、回転機構61を制御する。これにより、例えば波や風の影響によって船体が動揺する場合であっても、着岸位置P1の近傍に対してLiDAR21を安定して向けることができるので、LiDAR21による遠距離計測を良好に行うことができる。
 遠距離計測において、制御部43は、着岸位置P1に相当する方位をLiDAR21が向くように回転機構61を制御しても良い。
 以上に説明したように、本実施形態の自動着岸装置において、LiDAR21は、船舶80の船体に対して回転可能に設けられる。LiDAR21が準備計測を行う場合に、制御部43は、LiDAR21の発光部から照射された光が着岸位置P1の周囲の物体で反射して受光部で受光できるように、船体に対してLiDAR21を回転させる制御を行う。
 これにより、船体の姿勢にかかわらず、遠距離計測に適したLiDAR21の向きを実現することができる。
 次に、第3実施形態を説明する。図5は、第3実施形態に係る自動着岸装置の処理フローの一例を示すフローチャートである。図6は、ユーザが着岸位置候補P1Cから着岸位置P1を選択する場合の端末装置42の表示例を示す図である。
 図5に示す第3実施形態の自動着岸装置のフローのうち、ステップS201~S203の処理は、上述の第1実施形態(図2)におけるステップS101~S103と同一であるので、説明を省略する。
 ステップS203で船舶80が遠距離計測トリガ位置P2に到達した後、制御部43は、カメラ22によって港湾81内を撮影するように制御する。その後、制御部43は、港湾81内をカメラ22が撮影して得られる撮像データに対して公知の画像認識処理を行うことにより、桟橋を検出する。
 画像認識を行う具体的な方法は任意であるが、例えば、深層学習の一種である公知のRCNNを用いたものとすることが考えられる。これにより、カメラ22の撮影画像に含まれる1以上の桟橋の画像上の位置をそれぞれ求めることができる。また、いわゆるセマンティックセグメンテーション手法により、画像における桟橋の位置を求めても良い。
 得られた1以上の桟橋の位置のそれぞれは、実質的には、船舶80の着岸位置P1の候補(着岸位置候補P1C)となる。
 制御部43は、1以上の着岸位置候補P1Cが得られると、カメラ22による撮像データ、及び、それぞれの着岸位置候補P1Cのデータを、インタフェース部41に出力する。インタフェース部41は、端末装置42のディスプレイに、着岸位置候補P1Cを示す図形を撮影画像に合成して表示させる。端末装置42における表示例が図6に示され、着岸位置候補P1Cを示す図形は、例えば、対応する桟橋を囲む矩形(バウンディングボックス)とすることができる。図6には、当該矩形が太線で示されている。
 ユーザは、端末装置42に表示される着岸位置候補P1Cの図形のうち、船舶80を着岸させたい位置の図形(バウンディングボックス)を、タッチパネルに指で触れることで選択する(ステップS204)。これにより、ユーザは、実際に船舶80を着岸させる着岸位置P1を直感的に指定することができる。ユーザが選択した着岸位置P1を示す情報は、インタフェース部41から制御部43に出力される。
 その後の処理(ステップS205~S209)は、第1実施形態のフロー(ステップS104~S108)と同様であるので、説明を省略する。
 以上に説明したように、本実施形態の自動着岸装置は、カメラ22と、インタフェース部41と、を備える。カメラ22は、撮影を行って撮像データを生成する。制御部43は、撮像データを用いた画像認識により、着岸位置P1の候補となる着岸位置候補P1Cを取得する。インタフェース部41は、1つ以上の着岸位置候補P1Cをカメラ22の撮影画像とともに表示させるためのデータを生成する。インタフェース部41は、表示された着岸位置候補P1Cからユーザが選択した着岸位置P1に関するデータを制御部43に出力する。
 これにより、ユーザは、カメラ22による撮影結果を参考にして、提示された着岸位置候補P1Cの中から着岸位置P1を簡単に指示することができる。
 次に、第4実施形態を説明する。図7は、第4実施形態に係る自動着岸装置の処理フローを示すフローチャートである。図8は、第4実施形態の自動着岸装置において、生成される地図データ及び経路の例を示す図である。
 図7にフローを示す第4実施形態の自動着岸装置において、制御部43は上述の第1実施形態と異なり、着岸位置までの経路を、着岸位置の周囲の状況を表す地図データを考慮して生成している。
 地図データは、ユーザが自動着岸を指示する前に、制御部43によって予め生成される(ステップS301)。
 地図データを具体的にどのように生成するかは様々に考えられる。例えば、制御部43は、当該制御部43が備える記憶部44に海図データを予め記憶させ、この海図データの情報(例えば、岩礁又は進入禁止領域等の位置)を利用して地図データを作成することができる。
 また、制御部43は、港湾81の内部に位置する物体までの距離をLiDAR21によって予め計測することにより、障害物等の位置を取得して記憶部44に記憶し、この情報を利用して地図データを作成することもできる。
 更に、制御部43は、港湾81の内部をカメラ22で事前に撮影した画像から画像認識を行うことで、障害物(例えば、ブイ、岩、桟橋等)の位置を推定して記憶し、この情報を利用して地図データを作成することもできる。画像認識の方法としては、上記と同様にRCNNを用いることが考えられる。ブイ及び岩等の水面付近の障害物に関しては、画像において当該ブイ等が検出された領域の位置及び大きさから、方角及び距離を大まかに推定することができる。
 カメラ22で撮影した障害物の距離を、深層学習により推定することもできる。具体的には、ステレオカメラ、又はLiDARとカメラの組合せ等を用いて、画像と、当該画像に対応する物体の撮影地点からの距離と、の組合せからなるデータセットを用意し、このデータセットを予測モデルに学習させる。その後、カメラ22が障害物を撮影した画像を予測モデルに入力すると、当該予測モデルは、当該障害物の撮影地点からの距離を出力する。
 基礎データの収集が終わると、制御部43は、様々な情報源から得られたデータを記憶部44から読み出して、とりまとめて1つの地図データを生成する。本実施形態において、地図データは、図8に示すように、様々な情報源から「航行可能領域」と「航行不能領域」とに区分される形で、構成されている。
 ステップS302~S305の処理は、上述の第1実施形態(図2)におけるステップS101~S104と同一であるので、説明を省略する。
 ステップS305の遠距離計測が終わると、制御部43は、ステップS301で生成した地図データに対し、遠距離計測によりLiDAR21から得られた点群データをマッチングする。これにより、制御部43は、現在の船舶80の位置及び着岸位置P1が地図データのどの位置に対応するかを求めることができる。
 制御部43は、地図データを利用して、現在の船舶80の位置から着岸位置P1までの経路を求める(ステップS306)。具体的には、制御部43は、適宜の経路探索アルゴリズムを用いて、航行可能領域内を船舶80が通る経路を求める。図8には、生成された経路の例が示されている。
 制御部43は、互いに異なる複数の経路を求めても良い。この場合、ユーザは、実際に船舶80を航行させたい経路を、インタフェース部41を介して選択する。
 その後の処理(ステップS307~S309)は、第1実施形態のフロー(ステップS106~S108)と同様であるので、説明を省略する。
 以上に説明したように、本実施形態の自動着岸装置において、制御部43は、着岸位置P1の周囲の状況を示す地図データを生成する。制御部43は、船舶80を自動で航行及び着岸させる経路を、地図データを用いて生成する。
 これにより、例えば着岸位置P1の周囲に存在する障害物を考慮して、船舶を自動で航行及び着岸させる経路を生成することができる。
 また、本実施形態の自動着岸装置は、海図に関するデータを記憶することができる記憶部44を備える。制御部43は、記憶部44に記憶されている海図に関するデータに基づいて地図データを生成する。
 これにより、海図が有する情報(特に、規則等により航行できない領域等)を考慮して、船舶を自動的に航行及び着岸させる経路を生成することができる。
 また、本実施形態の自動着岸装置において、制御部43は、LiDAR21が取得した周囲の物体までの距離に関するデータに基づいて地図データを生成する。
 これにより、LiDAR21が実際に計測した障害物の位置等を考慮して、船舶を自動的に航行及び着岸させるときの経路を生成することができる。
 また、本実施形態の自動着岸装置は、撮影を行って撮像データを生成するカメラ22を備える。制御部43は、撮像データに基づいて地図データを生成する。
 これにより、周囲をカメラ22で実際に撮影して得られた障害物の位置等を考慮して、船舶80を自動的に航行及び着岸させる経路を生成することができる。
 また、本実施形態の自動着岸装置において、地図データは、着岸位置P1を含む領域を航行可能領域であるか航行不可能領域であるかを定めた地図データである。制御部43は、航行可能領域を通過するように、船舶80を自動で航行及び着岸させる経路を生成する。
 これにより、着岸位置P1の周囲の状況を整理して把握することができるので、船舶を自動で航行及び着岸させる経路を容易に生成することができる。
 以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
 本発明の自動着岸装置1が搭載される船舶は、例えば、1軸1舵の船舶80や1軸2舵の船舶80とすることができる。
 LiDAR21の構成は任意であるが、例えば、水平方向(ヨー方向)で、60°以上の範囲を5°以下の角度間隔で走査する構成とすることができる。
 LiDAR21を船舶80に取り付ける位置は任意であり、船首のほか、船尾、船体の側面、操舵室の上部等に取り付けることもできる。
 1 自動着岸装置
 21 LiDAR(光学センサ)
 22 カメラ
 31 位置情報入力部
 32 姿勢情報入力部
 41 インタフェース部
 42 端末装置(無線機器)
 43 制御部
 44 記憶部
 80 船舶
 P1 着岸位置
 P1C 着岸位置候補

Claims (11)

  1.  発光部及び受光部を有し、前記発光部からの光が物体によって反射した反射光を前記受光部で受信することにより、周囲の物体までの距離を所定角度毎に計測する光学センサと、
     衛星測位情報に基づく船舶の位置データが入力される位置情報入力部と、
     前記光学センサ及び前記位置情報入力部が取得するデータに基づいて、着岸位置まで前記船舶を自動で航行及び着岸させる制御を行う制御部と、
    を備え、
     前記制御部は、前記光学センサの計測結果に基づいて取得された前記船舶の位置が自動航行に用いられる前の段階で、前記着岸位置の周囲の物体までの距離を計測する準備計測を前記光学センサが行うように制御し、
     前記光学センサが前記準備計測を行う場合に、前記制御部は、前記光学センサの前記発光部から照射された光が前記着岸位置の周囲の物体で反射して前記受光部で受光できるように、前記船舶の姿勢を変化させる制御及び前記船舶を移動させる制御のうち少なくとも何れかを行うことを特徴とする自動着岸装置。
  2.  請求項1に記載の自動着岸装置であって、
     前記船舶の姿勢に関するデータが入力される姿勢情報入力部を備え、
     前記光学センサが前記準備計測を行う場合に、前記制御部は、前記姿勢に関するデータに基づいて前記船舶の姿勢を制御することを特徴とする自動着岸装置。
  3.  請求項1に記載の自動着岸装置であって、
     前記光学センサは、前記船舶の船体に対して回転可能に設けられ、
     前記光学センサが前記準備計測を行う場合に、前記制御部は、当該光学センサの前記発光部から照射された光が前記着岸位置の周囲の物体で反射して前記受光部で受光できるように、前記船体に対して前記光学センサを回転させる制御を行うことを特徴とする自動着岸装置。
  4.  請求項1に記載の自動着岸装置であって、
     前記準備計測が行われる前において、前記制御部は、前記位置情報入力部が取得する前記船舶の位置データに基づいて当該船舶を自動航行させ、
     前記準備計測が行われる前は、前記光学センサは、周囲の物体までの距離の計測を停止するか、前記準備計測における計測周期よりも長い周期で周囲の物体までの距離を計測することを特徴とする自動着岸装置。
  5.  請求項1に記載の自動着岸装置であって、
     撮影を行って撮像データを生成するカメラと、
     インタフェース部と、
    を備え、
     前記制御部は、前記撮像データを用いた画像認識により、前記着岸位置の候補となる着岸位置候補を取得し、
     前記インタフェース部は、1つ以上の前記着岸位置候補を前記カメラの撮影画像とともに表示させるためのデータを生成し、
     前記インタフェース部は、表示された前記着岸位置候補からユーザが選択した前記着岸位置に関するデータを前記制御部に出力することを特徴とする自動着岸装置。
  6.  請求項1に記載の自動着岸装置であって、
     前記制御部は、前記着岸位置の周囲の状況を示す地図データを生成し、
     前記制御部は、前記船舶を自動で航行及び着岸させる経路を、前記地図データを用いて生成することを特徴とする自動着岸装置。
  7.  請求項6に記載の自動着岸装置であって、
     海図に関するデータを記憶可能な記憶部を備え、
     前記制御部は、前記記憶部に記憶されている海図に関するデータに基づいて前記地図データを生成することを特徴とする自動着岸装置。
  8.  請求項6に記載の自動着岸装置であって、
     前記制御部は、前記光学センサが取得した周囲の物体までの距離に関するデータに基づいて前記地図データを生成することを特徴とする自動着岸装置。
  9.  請求項6に記載の自動着岸装置であって、
     撮影を行って撮像データを生成するカメラを備え、
     前記制御部は、前記撮像データに基づいて前記地図データを生成することを特徴とする自動着岸装置。
  10.  請求項6に記載の自動着岸装置であって、
     前記地図データは、前記着岸位置を含む領域を航行可能領域であるか航行不可能領域であるかを定めた地図データであり、前記制御部は、前記航行可能領域を通過するように、前記船舶を自動で航行及び着岸させる経路を生成することを特徴とする自動着岸装置。
  11.  請求項1に記載の自動着岸装置であって、
     インタフェース部を備え、
     携帯可能かつ無線通信可能な無線機器に対して、前記船舶を緊急停止させる操作がされた場合に、前記インタフェース部は緊急停止信号を制御部に出力し、
     前記制御部は、前記緊急停止信号が入力されると、前記船舶を緊急停止させる制御を行うことを特徴とする自動着岸装置。
PCT/JP2019/032445 2018-10-10 2019-08-20 自動着岸装置 WO2020075393A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19870217.7A EP3865395B1 (en) 2018-10-10 2019-08-20 Automatic docking device
US17/284,426 US20210347449A1 (en) 2018-10-10 2019-08-20 Automatic Docking Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-192126 2018-10-10
JP2018192126A JP7083081B2 (ja) 2018-10-10 2018-10-10 自動着岸装置

Publications (1)

Publication Number Publication Date
WO2020075393A1 true WO2020075393A1 (ja) 2020-04-16

Family

ID=70164492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032445 WO2020075393A1 (ja) 2018-10-10 2019-08-20 自動着岸装置

Country Status (4)

Country Link
US (1) US20210347449A1 (ja)
EP (1) EP3865395B1 (ja)
JP (2) JP7083081B2 (ja)
WO (1) WO2020075393A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210295709A1 (en) * 2020-03-20 2021-09-23 Cashman Dredging And Marine Contracting, Co., Llc Lidar vessel-to-vessel docking system and method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7083081B2 (ja) * 2018-10-10 2022-06-10 ヤンマーパワーテクノロジー株式会社 自動着岸装置
JP2021136466A (ja) * 2020-02-21 2021-09-13 ヤマハ発動機株式会社 船舶の操船のためのシステム、方法、および船舶
JP7294255B2 (ja) * 2020-07-01 2023-06-20 トヨタ自動車株式会社 着岸航路生成方法
EP4292033A1 (en) * 2021-02-10 2023-12-20 Stoneridge Electronics AB Camera assisted docking system for commercial shipping assets in a dynamic information discovery protocol environment
JPWO2022195670A1 (ja) 2021-03-15 2022-09-22
WO2022208617A1 (ja) 2021-03-29 2022-10-06 パイオニア株式会社 地図データ構造、記憶装置、情報処理装置、制御方法、プログラム及び記憶媒体
WO2023037499A1 (ja) 2021-09-10 2023-03-16 パイオニア株式会社 情報処理装置、判定方法、プログラム及び記憶媒体
WO2023037502A1 (ja) 2021-09-10 2023-03-16 パイオニア株式会社 サーバ装置、制御方法、プログラム及び記憶媒体
WO2023037500A1 (ja) 2021-09-10 2023-03-16 パイオニア株式会社 情報処理装置、判定方法、プログラム及び記憶媒体
KR102495879B1 (ko) * 2021-10-08 2023-02-06 재단법인한국조선해양기자재연구원 라이다를 이용한 선박 제어 시스템
WO2023176639A1 (ja) * 2022-03-15 2023-09-21 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
CN115675784B (zh) * 2022-10-28 2023-05-26 天津大学 一种基于数字化测量场的船舶总段对接系统和对接方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS50244B1 (ja) 1970-08-04 1975-01-07
JP2003212187A (ja) * 2002-01-28 2003-07-30 Hitachi Ltd 船舶用送受信装置およびそれが備える動揺修正装置
JP2013079816A (ja) * 2011-09-30 2013-05-02 Furuno Electric Co Ltd レーダ基準方位補正装置、レーダ装置、レーダ基準方位補正プログラム、及びレーダ基準方位補正方法
WO2018100751A1 (ja) * 2016-12-02 2018-06-07 ヤマハ発動機株式会社 ナビゲーションシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181302B1 (en) 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
JP2003276677A (ja) * 2002-03-27 2003-10-02 Mitsui Eng & Shipbuild Co Ltd 船舶の離着桟支援装置
US7389735B2 (en) * 2005-09-15 2008-06-24 Yamaha Hatsudoki Kubushiki Kaisha Docking supporting apparatus, and marine vessel including the apparatus
DE602007001263D1 (de) * 2006-06-22 2009-07-23 Food & Food Di Morelli Stefano Automatisches Vertäuungssystem
KR20240006697A (ko) * 2016-03-29 2024-01-15 메이드 아이피 홀딩스 피티와이/엘티디 자동 위치 배치 시스템
JP6661708B2 (ja) * 2018-08-01 2020-03-11 三菱電機株式会社 船舶の着岸支援装置
JP7083081B2 (ja) * 2018-10-10 2022-06-10 ヤンマーパワーテクノロジー株式会社 自動着岸装置
KR102465191B1 (ko) * 2021-11-17 2022-11-09 주식회사 에스씨 선박의 입항 및 접안을 어시스트하는 어라운드뷰 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS50244B1 (ja) 1970-08-04 1975-01-07
JP2003212187A (ja) * 2002-01-28 2003-07-30 Hitachi Ltd 船舶用送受信装置およびそれが備える動揺修正装置
JP2013079816A (ja) * 2011-09-30 2013-05-02 Furuno Electric Co Ltd レーダ基準方位補正装置、レーダ装置、レーダ基準方位補正プログラム、及びレーダ基準方位補正方法
WO2018100751A1 (ja) * 2016-12-02 2018-06-07 ヤマハ発動機株式会社 ナビゲーションシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210295709A1 (en) * 2020-03-20 2021-09-23 Cashman Dredging And Marine Contracting, Co., Llc Lidar vessel-to-vessel docking system and method
US11955011B2 (en) * 2020-03-20 2024-04-09 Cashman Dredging And Marine Contracting, Co., Llc LiDAR vessel-to-vessel docking system and method

Also Published As

Publication number Publication date
US20210347449A1 (en) 2021-11-11
EP3865395B1 (en) 2023-05-31
EP3865395A1 (en) 2021-08-18
EP3865395A4 (en) 2022-07-27
JP2020059403A (ja) 2020-04-16
JP7336565B2 (ja) 2023-08-31
JP2022106753A (ja) 2022-07-20
JP7083081B2 (ja) 2022-06-10

Similar Documents

Publication Publication Date Title
JP7083081B2 (ja) 自動着岸装置
EP3639104B1 (en) Perimeter ranging sensor systems and methods
US11505292B2 (en) Perimeter ranging sensor systems and methods
US11899465B2 (en) Autonomous and assisted docking systems and methods
JP7258062B2 (ja) 自動位置配置システム
JP5000244B2 (ja) 着岸支援装置およびそれを備えた船舶
AU2022263451B2 (en) Systems and methods for controlling operations of marine vessels
JP7386041B2 (ja) 操船支援システム及び方法
US11853064B2 (en) Automatic location placement system
WO2021085274A1 (ja) 船舶の着岸支援装置
JP7417538B2 (ja) 制御目標生成装置及び操船制御装置
JP7083049B1 (ja) 接舷支援システムおよび接舷支援方法
KR102542896B1 (ko) 자율 주행 보트, 자율 주행 시스템 및 자율 주행 시스템의 제어 방법
US20240116608A1 (en) System for determining automatic docking is complete by collision
JP2023041501A (ja) 着岸支援装置、着岸支援方法、及び着岸支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19870217

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019870217

Country of ref document: EP

Effective date: 20210510