WO2025258218A1 - 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム

Info

Publication number
WO2025258218A1
WO2025258218A1 PCT/JP2025/015012 JP2025015012W WO2025258218A1 WO 2025258218 A1 WO2025258218 A1 WO 2025258218A1 JP 2025015012 W JP2025015012 W JP 2025015012W WO 2025258218 A1 WO2025258218 A1 WO 2025258218A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
cargo
unit
images
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/015012
Other languages
English (en)
French (fr)
Inventor
雄登 三宅
考伸 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of WO2025258218A1 publication Critical patent/WO2025258218A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to an information processing device, information processing system, information processing method, and computer program that output information related to cargo handling based on images.
  • Patent Document 1 discloses a control device that controls a crane using a state determination model that has been trained to output the state of the crane when an image of the crane's movement transporting garbage is input.
  • the present disclosure aims to provide an information processing device, information processing system, information processing method, and computer program that output information related to cargo handling based on images.
  • An information processing device includes an acquisition unit that acquires multiple images in chronological order, including the hull of a cargo ship and the surrounding environment; a detection unit that detects objects related to cargo handling from each of the multiple images; a tracking unit that tracks the movement of the objects across the multiple images; and a determination unit that determines whether the movement of the objects based on the tracking results satisfies predetermined operating conditions for assessing whether cargo handling is occurring.
  • whether or not loading and unloading work is taking place is automatically determined by tracking the movement of objects related to loading and unloading from an image that includes the cargo ship's hull and the wharf within its capture range. This allows the operator to recognize the progress of loading and unloading work without having to rely on visual inspection.
  • An information processing device includes a measurement unit that measures the progress of cargo handling based on the determination result of the determination unit, and an output unit that outputs data related to the progress of cargo handling on the cargo ship measured by the measurement unit.
  • the progress of loading and unloading is measured based on the results of a determination of whether loading and unloading work is being performed, and the automatically measured progress of loading and unloading is output so that it can be confirmed visually using graphics such as graphs, or audibly, such as by reading out numbers. This makes it possible for an operator to quantitatively grasp the progress of loading and unloading, rather than directly checking the loading and unloading work visually.
  • the detection unit determines whether an object related to loading and unloading is captured in the image, and if the object is captured, detects the object using a learning model that has been trained to output the position of the object within the image.
  • image recognition using a learning model that employs neural networks, support vector machines, etc. is used as a method for detecting objects related to cargo handling from images. This makes it possible to grasp the progress of cargo handling with a good balance between accuracy and processing speed.
  • the object related to loading and unloading is part of a crane or cargo.
  • the object detected as appearing in the image is a part of a crane related to loading and unloading or cargo. Detecting the movement of the crane makes it possible to measure the progress of loading and unloading. Detecting cargo makes it possible to determine whether loading and unloading equipment, such as a crane, is actually carrying cargo, allowing the operator to accurately recognize the progress of loading and unloading.
  • the determination unit determines whether the predetermined operating condition is satisfied, that is, whether the object has crossed a predetermined boundary between the hull and the outside of the ship, which is set for the image.
  • whether or not cargo handling work is taking place is determined based on whether a specific object related to cargo handling that appears in the image straddles the boundary between the hull and the outside of the ship.
  • an easily recognizable object such as a crane hook moves back and forth between the hull and the shore side, and the presence or absence of cargo handling work can be determined by counting the number of times this object straddles the boundary.
  • the determination unit determines whether the predetermined operating condition is satisfied, that is, whether the object's movement speed is equal to or greater than a predetermined value.
  • whether or not cargo handling is taking place is determined based on whether a specific object related to cargo handling that appears in an image is moving at a predetermined speed or greater. This can be determined by whether or not a predetermined boundary is repeated in a similar pattern, without the need to set a specific boundary for each ship.
  • the determination unit determines whether the predetermined operating condition is satisfied, that is, whether the amount of rotation of the crane is equal to or greater than a predetermined amount.
  • whether or not loading and unloading work is being performed is determined based on whether the amount of rotation of the crane related to loading and unloading shown in the image is greater than or equal to a predetermined amount.
  • the crane rotates by more than a predetermined amount, and by recognizing this, it is possible to determine whether or not loading and unloading work is being performed. Even if it is difficult to recognize the crane hook, other methods of detection can be selected as appropriate as long as they are possible.
  • the determination unit determines whether the predetermined operating condition is satisfied, that is, whether the pattern of change in the crane's skeleton is a predetermined pattern.
  • whether or not loading and unloading work is taking place is determined based on whether the pattern of changes in the crane's skeleton related to loading and unloading shown in the image matches a predetermined pattern.
  • the crane's joints and other parts move in a specific pattern, and by recognizing this, it is possible to determine whether or not loading and unloading work is taking place. Even if it is difficult to recognize the crane hook, other methods of detection can be selected as appropriate as long as they are possible.
  • the determination unit determines whether the predetermined operating condition is further satisfied, that is, whether it is recognized that cargo is being transported by a crane.
  • a determination of whether or not cargo is actually being transported by a crane is added to the pattern for determining whether or not cargo handling work is being performed as described above. This allows counting when cargo handling work is being performed reliably.
  • the measurement unit measures the number of times cargo is loaded onto or unloaded from the cargo ship as the progress of cargo handling.
  • the number of times loading or unloading is measured as the progress of cargo handling.
  • One movement of the crane hook or one rotation of the crane corresponds to one loading or unloading (of a given unit of cargo), so by tracking this, progress can be measured with high accuracy.
  • the measurement unit measures the progress of cargo handling by measuring the ratio of the number of times the cargo has been loaded or unloaded to the planned number of times cargo handling operations have been performed on the cargo ship.
  • the progress can be measured as a percentage using the measured number of operations. This makes it possible to grasp the progress of the entire loading and unloading process.
  • the measurement unit estimates the completion time of cargo handling based on the rate of increase in the number of times cargo is loaded or unloaded onto the cargo ship as the progress of cargo handling.
  • the number of loading or unloading operations is given in advance, it is possible to estimate the time when the loading or unloading will be completed from the measured number of operations and the elapsed time. This makes it possible to grasp the progress based on the navigation schedule of the target ship and the usage schedule of coastal facilities, etc.
  • the output unit creates screen data including a graph showing the progress of the loading and unloading measured by the measurement unit, and outputs the created screen data to a display device.
  • the automatically measured progress of loading and unloading is output to a screen so that it can be visually confirmed as a graph. This allows the operator to intuitively and accurately grasp the progress of loading and unloading, rather than directly visually checking the loading and unloading.
  • the detection unit extracts different regions from each of the multiple images and detects the object in each of the different regions, and the tracking unit tracks the movement of the object in each of the different regions.
  • the acquisition unit acquires images from a camera installed on a cargo ship so that the top surface of the hull's deck is included in the angle of view.
  • a camera is used on a cargo ship, mounted so that the top surface of the ship's deck is included in its angle of view. Cameras with other uses, such as observing ocean conditions, may also be used, making it possible to monitor the progress of cargo handling by using a camera with multiple uses in combination, without installing a special cargo handling monitoring sensor.
  • An information processing system includes a camera installed on a cargo ship so that the upper surface of the hull's deck is included in its field of view, and an information processing device that acquires images captured by the camera.
  • the information processing device acquires multiple images in chronological order that include the hull of the cargo ship and the surrounding environment, detects objects related to cargo handling from each of the multiple images, tracks the movement of the objects across the multiple images, and determines whether the movement of the objects based on the tracking results satisfies predetermined operating conditions for assessing whether cargo handling is occurring.
  • a computer acquires multiple images in chronological order that include the hull of a cargo ship and the surrounding environment, detects objects related to cargo handling from each of the multiple images, tracks the movement of the objects across the multiple images, and determines whether the movement of the objects based on the tracking results satisfies predetermined operating conditions for assessing whether cargo handling is occurring.
  • a computer program causes a computer to execute a process of acquiring multiple images in chronological order, including the hull of a cargo ship and the surrounding environment, detecting objects related to cargo handling from each of the multiple images, tracking the movement of the objects across the multiple images, and determining whether the movement of the objects based on the tracking results satisfies predetermined operating conditions for assessing whether cargo handling is occurring.
  • FIG. 1 is a schematic diagram of an information processing system according to a first embodiment;
  • FIG. 1 is a block diagram showing a configuration of an information processing device.
  • FIG. 2 is a block diagram showing the configuration of an output device.
  • FIG. 2 is an explanatory diagram of functions based on an information processing program.
  • FIG. 10 is an explanatory diagram showing an example of an image obtained from a camera.
  • FIG. 10 is an explanatory diagram showing an example of an image obtained from a camera.
  • FIG. 1 is a schematic diagram of a learning model used in an information processing device.
  • 10 is a flowchart illustrating an example of a processing procedure performed by an information processing device.
  • FIG. 10 is an explanatory diagram for determining whether cargo unloading is progressing.
  • FIG. 10 is a flowchart showing an example of a process for outputting information relating to cargo handling from an information processing device.
  • FIG. 2 is an explanatory diagram of an example of a display screen.
  • FIG. 10 is an explanatory diagram of another example of the display screen.
  • 11 is a flowchart illustrating an example of a processing procedure performed by an information processing apparatus according to a third embodiment.
  • 11 is a flowchart illustrating an example of a processing procedure performed by an information processing apparatus according to a third embodiment.
  • FIG. 11 is an explanatory diagram of processing content of an information processing apparatus according to a third embodiment.
  • FIG. 10 is a schematic diagram of an information processing system according to a fourth embodiment.
  • FIG. 2 is a block diagram showing the configuration of a server device.
  • 13 is a flowchart illustrating an example of a processing procedure performed by an information processing apparatus according to a fourth embodiment.
  • FIG. 1 is a schematic diagram of an information processing system 100 according to a first embodiment.
  • the information processing system 100 includes a camera 2 provided on the deck of a ship S, an information processing device 1 that processes images captured by the camera 2, and an output device 3 that outputs the results of processing by the information processing device 1.
  • the ship S is a cargo ship such as a container ship.
  • Camera 2 uses a visible light imaging element. Camera 2 captures images in time series at a predetermined rate, such as 10 frames per second, and continues to output image data. Camera 2 is mounted high on the deck of the hull, facing the bow so that the angle of view includes the top surface of the hull's upper deck and the direction of travel (see Figures 5 and 6). Camera 2 is also used to capture images of sea conditions while ship S is sailing. Camera 2 may use an imaging element that captures not only visible light but also infrared light.
  • a communication device 21 is connected to the camera 2 via a network SN installed on the ship S.
  • the communication device 21 is a device that connects to the onboard network SN and enables communication with the outside world via a network N that includes communication media such as satellite communication and a carrier network.
  • the communication device 21 may include a communication device that communicates with land-based devices or other ships using an AIS-dedicated frequency, or it may be a wireless communication device that connects to a carrier network, or it may be a wireless communication device for Wi-Fi.
  • Information processing device 1 is installed on land. Information processing device 1 acquires images captured by camera 2 via communication device 21, and performs sea condition assessment and other processing on the acquired images, as described below. Information processing device 1 can be connected to output device 3 for communication. Information processing device 1 outputs the results of processing on the images to output device 3, and provides sea condition observation and cargo handling monitoring services.
  • the output device 3 is used on land or on board the ship.
  • the output device 3 is an information terminal that can communicate with the information processing device 1.
  • the output device 3 is used by the owner of the ship S, the manager of the cargo loaded on the ship S, etc., and is used to check the operating status of the ship S and monitor cargo handling.
  • the information processing device 1 is capable of outputting sea conditions based on analysis of images from the camera 2 described above, as well as information obtained from each piece of equipment installed on the ship S.
  • the information processing device 1 uses images acquired from the camera 2, which captures the work of unloading cargo from the deck to land or loading cargo onto the ship when the ship S is moored at the wharf, to derive the progress of cargo handling and make it possible to check it on the output device 3.
  • the information processing device 1 derives and checks the progress of cargo handling using images from the camera 2.
  • FIG. 2 is a block diagram showing the configuration of information processing device 1.
  • Information processing device 1 uses a server computer.
  • Information processing device 1 includes a processing unit 10, a storage unit 11, a first communication unit 12, and a second communication unit 13.
  • the processing unit 10 includes one or more arithmetic processing devices such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), or a GPU (Graphics Processing Unit).
  • the processing unit 10 also includes temporary storage media such as an SRAM (Static Random Access Memory) or a DRAM (Dynamic Random Access Memory).
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • the memory unit 11 is a relatively large-capacity non-volatile storage medium such as an SSD (Solid State Drive) or a hard disk.
  • the memory unit 11 stores the programs (program products) required for the processing unit 10 to execute processing, and reference setting data.
  • the setting data may include the type of ship S on which the information processing device 1 is installed, as well as identification information.
  • the setting data includes data used to determine image processing, which will be described later.
  • the program product includes the information processing program P1, a server program for displaying a screen on the output device 3, images to be included on the screen, and their design (layout).
  • the program product includes the learning model M1.
  • the information processing program (program product) P1 and learning model M1 stored in the memory unit 11 may be information processing program P9 and learning model M9 stored on a computer-readable non-temporary storage medium 9 that the processing unit 10 reads and stores in the memory unit 11.
  • the information processing program P1 and learning model M1 may also be downloaded by the processing unit 10 from a download server via the second communication unit 13 and stored in the memory unit 11.
  • the storage unit 11 stores image data acquired from the camera 2 in association with time information so that it can be referenced in chronological order.
  • the storage unit 11 may also store data relating to the progress of loading and unloading operations obtained as a result of processing the image data, as described below.
  • the first communication unit 12 is a communication device that establishes a communication connection with the camera 2.
  • the first communication unit 12 enables communication with the onboard communication device 21 to which the camera 2 is connected.
  • the first communication unit 12 may be a communication device that communicates via satellite communication, or may be a communication device that communicates using an AIS-dedicated frequency.
  • the first communication unit 12 may be a wireless communication device for a carrier network, or may be a wireless communication device for Wi-Fi.
  • the second communication unit 13 is a communication device that establishes a communication connection with the output device 3.
  • the second communication unit 13 enables communication from the output device 3 via a network N, which includes a public communication network and a carrier network.
  • the second communication unit 13 may be a network card for a wired LAN, a communication device that establishes carrier communication via a carrier network, or a communication device compatible with a wireless network such as Wi-Fi or Bluetooth (registered trademark).
  • Figure 3 is a block diagram showing the configuration of the output device 3.
  • the output device 3 is a personal computer, smartphone, or tablet terminal.
  • the output device 3 may be used by a user of the cargo handling monitoring service, or by an operator of the information processing device 1 of the cargo handling monitoring service.
  • the output device 3 includes a processing unit 30, a memory unit 31, a communication unit 32, a display unit 33, and an operation unit 34.
  • the processing unit 30 includes one or more processors such as a CPU, MPU, or GPU.
  • the processing unit 30 also includes memory, which is a temporary storage medium such as SRAM or DRAM.
  • the storage unit 31 is a relatively large-capacity non-volatile storage medium such as an SSD or hard disk.
  • the storage unit 31 stores a client program corresponding to a service that provides information related to sea conditions and cargo handling monitoring from the information processing device 1.
  • the client program is, for example, a web browser program.
  • the client program is not limited to a web browser program, but may also be a special program that causes the processing unit 30 to execute a process for displaying data sent from the information processing device 1 on a screen.
  • the communication unit 32 is a communication device that establishes a communication connection with the information processing device 1 via the network N.
  • the communication unit 32 may also be a communication device that establishes a communication connection with the information processing device 1 via a dedicated line.
  • the display unit 33 uses a display such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the display unit 33 corresponds to a "display device.”
  • the display unit 33 displays web pages including text and images through processing based on the client program of the processing unit 30.
  • the display unit 33 may also use a display with a built-in touch panel.
  • the operation unit 34 is a user interface such as a keyboard or pointing device that accepts operations from a user or operator.
  • the operation unit 34 may be a touch panel built into the display of the display unit 33, or may be physical buttons.
  • the operation unit 34 may be a voice input unit that accepts operations by voice using a voice recognition function.
  • the operation unit 34 can notify the processing unit 30 of operation information by the user or operator.
  • the information processing device 1 can execute processing to combine images obtained from the camera 2 with information obtained from each sensor on the ship S and output the combined images so that they can be displayed on the output device 3.
  • the information processing device 1 recognizes the loading and unloading operations, such as unloading cargo that was loaded on board the ship to the shore, and conversely, loading cargo onto the ship, from the images obtained from the camera 2, and outputs the progress of the loading and unloading operations.
  • Figure 4 is an explanatory diagram of the function based on information processing program P1.
  • the processing unit 10 of the information processing device 1 performs the various functions shown in Figure 4 based on information processing program P1.
  • the processing unit 10 functions as an acquisition unit 101 that acquires multiple images in chronological order, including the hull of the vessel S and the cargo handling area. As the acquisition unit 101, the processing unit 10 acquires images (see Figures 5 and 6) from a camera 2 installed on the upper deck of the vessel S, facing the bow.
  • the processing unit 10 functions as a detection unit 102 that detects objects related to cargo handling from the images acquired by the acquisition unit 101.
  • the processing unit 10 uses the learning model M1 to detect specific objects related to cargo handling from the images.
  • a specific object is an area that repeats movement in a predetermined pattern during cargo handling, and is an object that is easy to capture with the camera 2. Examples of objects related to cargo handling include the hook of a crane, the cargo to be handled, the crane boom, the crane frame, or the crane rotation mechanism.
  • the detection method used by the detection unit 102 is not limited to object detection using the learning model M1, but may also be a detection method using pattern recognition.
  • the processing unit 10 functions as a tracking unit 103 that tracks the movement of an object across multiple images that can be acquired in time series by the acquisition unit 101. As the tracking unit 103, the processing unit 10 calculates a movement trajectory that connects, in time series, the ranges in which objects related to loading and unloading are detected within the images acquired in time series from the camera 2. As the tracking unit 103, the processing unit 10 calculates a movement trajectory, for example, by connecting, in time series, the centers (or center of gravity) of the object's detection range.
  • the processing unit 10 functions as a judgment unit 104 that determines whether the movement of a specific cargo-related object tracked by the tracking unit 103 satisfies predetermined operating conditions for evaluating whether or not cargo-handling work is occurring.
  • the predetermined operating conditions for evaluating whether or not cargo-handling work is occurring are, for example, that cargo is being hung from the hook of a crane detected by the detection unit 102 as an object related to cargo-handling, and that the crane hook is moving between the ship and the surrounding environment.
  • the surrounding environment is, for example, wharf-side equipment outside the ship (coastal equipment). It may also be other ships or marine structures that are present around the ship S at sea.
  • the predetermined operating conditions will be described in detail later, but the processing unit 10 uses the function of the judgment unit 104 to determine whether the position in the image of the hook of a crane with cargo hanging from the end of the hook crosses a predetermined boundary set within the range of the image (see Figure 9).
  • the processing unit 10 can determine that one cargo handling operation (unloading) has been performed and that the predetermined operating condition is met.
  • the processing unit 10 can determine that one cargo handling operation (loading) has been performed.
  • the predetermined operating condition may be another condition. Further details of the function of the determination unit 104 will be provided later.
  • the above-mentioned specified boundary is a line corresponding to the boundary of the hull in the image defined for the camera 2, and is stored in the memory unit 11 in association with the identification data of the ship S on which the camera 2 is installed, and can be referenced.
  • the processing unit 10 functions as a measurement unit 105 that measures the progress of loading and unloading based on the determination result by the determination unit 104.
  • the processing unit 10 measures the number of times as the progress of loading and unloading, or measures the percentage of progress relative to the planned number of times.
  • the processing unit 10, as the measurement unit 105 may also measure the elapsed time as the progress of loading and unloading, and estimate the time when loading and unloading will be completed.
  • the processing unit 10 functions as an output unit 106 that outputs data related to the progress of cargo handling on the ship S measured by the measurement unit 105.
  • the processing unit 10 uses the function of the output unit 106 to output data to an external device with a display, such as the output device 3.
  • the processing unit 10 may use the function of the output unit 106 to output text or images indicating progress, or may output audio indicating progress.
  • FIGS. 5 and 6 are explanatory diagrams showing example images obtained from camera 2.
  • FIGS. 5 and 6 are line diagrams of images obtained from camera 2 by processing unit 10 using acquisition unit 101.
  • FIG. 5 shows an image taken while the ship S is underway
  • FIG. 6 shows an image taken while cargo is being handled on ship S moored at a wharf.
  • Both the images in FIGS. 5 and 6 show the upper deck on the bow side of the ship's hull.
  • the image in FIG. 5 shows the ocean ahead of the ship's bow, including the horizon as it navigates.
  • the image in FIG. 6 shows not only the ship's hull, but also the wharf where ship S is moored.
  • the image in FIG. 6 shows the upper deck raised, revealing the cargo holds inside the ship and the cargo contained within.
  • the image in FIG. 6 shows cargo (tires in the image in FIG. 6) being lifted by a crane installed at the wharf.
  • Figure 7 is a schematic diagram of the learning model M1 used in the information processing device 1.
  • the learning model M1 is trained to detect objects related to loading and unloading from the image.
  • the learning model M1 is a deep learning model for image recognition using a neural network.
  • the learning model M1 is a model trained using, for example, an SSD (Single Shot MultiBox Detector).
  • the learning model M1 may employ a model without a convolutional layer, such as a Vision Transformer, or may employ other architectures.
  • the learning model M1 may also employ a model using a support vector machine, etc.
  • learning model M1 employs a CNN (Convolution Neural Network) based image recognition model.
  • Learning model M1 includes an input layer to which an image is input, and an intermediate layer including a convolution layer that performs filtering on the image.
  • Learning model M1 includes an output layer that outputs coordinate data within the image of the range in which an object related to loading and unloading is captured, and a score indicating the likelihood that the object captured in that range is the target object.
  • Learning model M1 detects specific objects related to loading and unloading, such as the range in which a crane hook is captured, and cargo.
  • Learning model M1 may generate separate models for detecting crane hooks and cargo through training. Different detection models may be generated depending on the type of cargo.
  • Learning model M1 may be trained to detect the area in which the skeleton of a crane is captured as a specific object related to cargo handling.
  • Learning model M1 may be trained to detect the area in which a special hand attached to the tip of a crane is captured.
  • Learning model M1 may be trained to detect cargo being carried by a crane as a specific object related to cargo handling.
  • Learning model M1 is trained using image data obtained from camera 2 and coordinate data indicating a known range in which a specific part is captured on the image, as shown in Figure 5 or Figure 6, as training data. Learning model M1 may be retrained after operation begins.
  • the processing in the information processing system 100 configured in this manner will be described. 8 is a flowchart showing an example of a processing procedure by the information processing device 1.
  • the processing unit 10 of the information processing device 1 executes the processing procedure shown below.
  • the information processing device 1 may receive the instruction to start processing by an operator operating the operation unit 34 of the output device 3, or may receive the instruction to start processing by acquiring information related to the navigation of the ship S (e.g., berthing, start of cargo handling) from another device.
  • the processing unit 10 can recognize that the doors of the upper deck or cargo hold have been opened from the switch states of those devices, it may determine that an instruction to start processing has been received and start the following processing.
  • the processing unit 10 uses the function of the acquisition unit 101, acquires an image from the camera 2 via the first communication unit 12 (step S101).
  • the processing unit 10 provides the acquired image to the learning model M1 (step S102).
  • the processing unit 10 detects the crane hook as described in Figures 5-7.
  • the processing unit 10 stores the image acquired in step S101 and the detection results acquired in step S103 in the memory unit 11, correlating them with time information (step S104).
  • the processing unit 10 stores the identification data of the ship S on which the target camera 2 is mounted, in association with the image.
  • the processing unit 10 compares the detection results obtained in step S103 with past detection results, and tracks the movement of the object related to the loading and unloading process using the tracking unit 103 (step S105).
  • the processing unit 10 stores (appends) the tracking results of step S105 in the memory unit 11 (step S106).
  • the processing unit 10 uses the function of the determination unit 104, determines whether the movement of the object related to loading and unloading satisfies predetermined operating conditions for evaluating whether loading and unloading work is occurring (step S107).
  • the processing unit 10 performs the processing of step S107 to determine whether loading and unloading work, such as loading and unloading of cargo, is progressing.
  • step S107 the processing unit 10 determines in step S107 that the predetermined operating conditions are met (S107: YES)
  • the measuring unit 105 uses its function to advance the progress of the loading and unloading process in predetermined increments in association with the identification data and time information of the vessel S, and stores the progress (step S108).
  • step S108 the processing unit 10 adds the number of times cargo is loaded and unloaded each time as the progress of the loading and unloading process.
  • the processing unit 10 may also increase the required number of times set at the start of loading and unloading, i.e., the ratio of the number of times unloading to the number of cargo pieces to be unloaded.
  • the processing unit 10 determines whether loading and unloading has finished (step S109). If the processing unit 10 determines that loading and unloading has not finished (S109: NO), it returns the process to step S101.
  • step S109 the processing unit 10 determines whether loading and unloading has finished based on whether an instruction to end processing has been received.
  • the processing unit 10 may receive the instruction to end processing through an operator's operation of the operation unit 34 of the output device 3, or may receive the instruction to end processing by obtaining information related to the navigation of the ship S (end of loading and unloading, departure from port) from another device. For example, the processing unit 10 may determine that an instruction to end processing has been received if it can recognize from the state of the switches on the upper deck or cargo hold that the doors have been closed.
  • the processing unit 10 may also automatically determine that an instruction to end processing has been received when a predetermined time (for example, a long period such as 12 hours) has passed since the start of processing.
  • step S109 If the processing unit 10 determines in step S109 that loading and unloading has been completed (S109: YES), it terminates the processing.
  • step S107 determines whether an abnormality is suspected based on the tracking results of step S105 (step S110).
  • step S110 the processing unit 10 determines that an abnormality is suspected if a predetermined time or more has passed since the predetermined operating conditions were most recently met, based on the tracking results stored in the memory unit 11. If progress is stalled, such as when the crane hook is no longer detected, or when the crane hook is detected but stopped, the processing unit 10 can determine that an abnormality is suspected.
  • processing unit 10 determines that no abnormality is suspected (S110: NO), it proceeds to step S109.
  • processing unit 10 determines that an abnormality is suspected (S110: YES), it stores in the memory unit 11 the fact that an abnormality is suspected, in association with the identification data and time information of the vessel S (step S111), and proceeds to step S109.
  • the predetermined boundary L is set toward the top of the image, further to the outside of the hull than the boundary between the area in which the hull is captured and the rest of the image.
  • the area in which the hull is captured is a trapezoidal area extending from the center to the bottom edge of the image, and the predetermined boundary L is defined by two straight lines that are close to each other at the top along the outside of both legs of this trapezoid.
  • the predetermined boundary L is stored in the memory unit 11 when the camera 2 is set, in association with the identification data of the ship S on which the camera 2 is installed.
  • the predetermined boundary L may be stored in the memory unit 11 as setting data for each type of vessel S.
  • the example image shown in Figure 9A like Figure 6, shows a ship's hull with the upper deck open and the inside of the cargo hold within the capture range, as well as a pier.
  • the area F in which the crane hook detected using learning model M1 is captured is shown hatched.
  • the example image in Figure 9A shows cargo hanging from the hook being lifted by the operation of the crane.
  • the area F in which the hook is captured overlaps the area in the image in which the ship's hull is captured, and is located between the two straight lines that define the specified boundary L.
  • the example image shown in Figure 9B like Figure 9A, shows a ship with an open upper deck and a pier, as well as a crane hook and cargo suspended from the hook.
  • the area F in which the hook is visible indicated by hatching, has risen to the top of the image.
  • the area F in which the hook is visible is outside the area in which the ship's hull is visible, and is located on the pier side of the two straight lines that define the specified boundary L.
  • the example image shown in Figure 9C like Figure 9A, shows a ship with an open upper deck and a pier, as well as a crane hook and cargo suspended from the hook.
  • the area F in which the hook is visible indicated by hatching, has risen to the top of the image and moved further toward the pier.
  • the area F in which the hook is visible is outside the area in which the ship's hull is visible, and is located further toward the pier outside the two straight lines that define the specified boundary L.
  • the processing unit 10 acquires the images shown in Figures 9A, 9B, and 9C in chronological order, and at the point in time when it acquires the image shown in Figure 9B, it determines in step S107 that the area F in which the hook is visible has crossed a predetermined boundary L within the image.
  • the processing unit 10 further recognizes cargo below the area F in which the hook is visible in the images from Figures 9A to 9C. Therefore, the processing unit 10 determines that a movement has occurred that satisfies the processing conditions for determining that cargo unloading is progressing, and in step S108, it increments the degree of unloading progress (number of times) by one.
  • the processing unit 10 may determine that a movement has occurred that satisfies the processing conditions for determining that cargo unloading is progressing, by confirming that the area F in which the hook is visible has moved further toward the wharf.
  • the images are taken in the reverse order of the chronological order from Figure 9A to Figure 9C.
  • the processing unit 10 determines that the movement of the object related to loading and unloading satisfies the specified operating conditions (S107), and the loading progress (number of times) is advanced by one.
  • the information processing device 1 executes processing to output the progress of cargo handling on ship S to the output device 3 in response to a request from the output device 3.
  • the output device 3 accesses the portal screen of the cargo handling monitoring service provided by the information processing device 1 based on the client program (web browser program), the processing shown below begins.
  • Figure 10 is a flowchart showing an example of processing to output information related to cargo handling from the information processing device 1.
  • the processing unit 30 of the output device 3 accepts the selection of identification data of the vessel S to be monitored for cargo handling from the portal screen via the operation unit 34 (step S301).
  • the processing unit 30 sends a request including the selected identification data to the information processing device 1 (step S302).
  • the processing unit 30 may display on the display unit 33 a list of vessels S that are permitted as monitoring targets for the account of the operator of the output device 3 and are currently loading and unloading, and accept the selection of a vessel to be monitored for cargo handling from the list.
  • the processing unit 10 of the information processing device 1 receives a request from the output device 3 (step S121).
  • the processing unit 10 identifies the account of the operator of the output device 3 that made the request and the identification data of the target ship S (step S122).
  • the processing unit 10 reads data on the most recent progress of cargo handling stored in the memory unit 11 in association with the identified identification data of the ship S (step S123).
  • the processing unit 10 may perform approval processing to determine whether the identification data of the ship S is appropriate as a target for cargo handling monitoring based on navigation information (such as the position of the ship S) that can be obtained sequentially from other services, and whether it can be output to the operator's account.
  • the processing unit 10 creates a screen including the read-out data on the progress of the loading and unloading (step S124) and transmits the created screen data to the output device 3 (step S125).
  • step S124 the processing unit 10 creates a screen including, for example, the number of times unloading or loading has occurred as data on the progress of the loading and unloading, i.e., the number of times it has been determined that the specified operating conditions have been met (the number of times the range F of the hook suspending the cargo has crossed the specified boundary L).
  • the processing unit 10 may also create this screen by including a graph showing the change in the number of times unloading or loading has occurred over time.
  • the processing unit 10 may calculate the progress rate of the loading and unloading from the rate of increase in the number of times unloading or loading has occurred, and create a screen including a number indicating this rate of progress (rate of increase).
  • the processing unit 10 may also calculate the ratio of the number of times unloading or loading to the planned number of times unloading or loading has occurred, and create a screen showing this as the progress rate. If the processing unit 10 can obtain data on the planned number of times from the loading and unloading schedule data stored in association with the identification data of the ship S, it can create a screen that includes this ratio as the progress rate.
  • the processing unit 10 can obtain data on the planned number of times, it can estimate the completion time of unloading or loading (loading end time) based on the current progress rate and the time required to reach the current progress rate, and create a screen that includes the estimated loading and unloading end time together with the progress rate data.
  • the processing unit 10 can also create a screen that includes images obtained from the camera 2.
  • the processing unit 30 of the output device 3 receives the screen data (step S303) and, based on the received data, displays a screen on the display unit 33 showing data on the progress of loading and unloading on the monitored vessel S (step S304).
  • the screen displayed in step S304 is preferably updated by the client program every time a predetermined time has elapsed, to show the latest progress data.
  • the processing unit 10 of the information processing device 1 may create audio notifying the progress and transmit it to the output device 3.
  • FIG. 11 is an explanatory diagram of an example of a display screen.
  • FIG. 11 shows an example of a display screen 330 displayed on the display unit 33 based on a client program.
  • the display screen 330 shown in FIG. 11 includes a graph 331 showing the change in the number of unloading or loading operations over time as data on the progress of loading and unloading.
  • the horizontal axis of graph 331 indicates elapsed time, and the vertical axis indicates the number of operations.
  • Graph 331 shown in FIG. 11 shows that the number of unloading or loading operations does not increase at a specific time, i.e., loading and unloading is stopped.
  • Graph 331 shows that the angles when the number of unloading or loading operations is increasing are the same, and the loading and unloading progress speed is constant.
  • An operator viewing the display screen 330 can understand the loading and unloading stop period and the loading and unloading progress speed from graph 331.
  • the processing unit 10 of the information processing device 1 may calculate the progress speed and create a screen to display it together with graph 331. In this way, the information processing system 100 of the present disclosure can output the display screen 330 on the output device 3, making it possible to grasp the status of loading and unloading operations remotely.
  • FIG. 12 is an explanatory diagram of another example of a display screen. Like FIG. 11, FIG. 12 shows an example of a display screen 330 displayed on the display unit 33.
  • the display screen 330 shown in FIG. 12 is the same as the display screen 330 shown in FIG. 11, but a notification indicating a suspected abnormality is displayed along with a graph 331.
  • the graph 331 in the display example of FIG. 12 shows a flat period in which the number of loading or unloading operations does not increase for more than a predetermined time. In the graph 331, the area corresponding to this flat period is highlighted as shown by hatching.
  • text indicating the situation, "Loading and unloading is delayed” is displayed next to the graph 331. In this way, it is possible to remotely grasp the progress of loading and unloading operations as well as the delayed situation.
  • Second Embodiment In the second embodiment, rather than using the learning model M1 to detect the hook in the image, the movement of the crane boom and the pattern of the crane's skeleton are detected to determine whether the cargo handling is progressing.
  • the configuration of the information processing system 100 of the second embodiment is the same as the configuration of the information processing system 100 of the first embodiment, except for some of the functions of the information processing device 1 described below. Therefore, the same reference numerals are used for the common configuration and detailed description will be omitted.
  • the processing unit 10 also executes the processing procedure shown in FIG. 8. However, in steps S102 and S103, rather than detecting the crane hook as an object related to cargo handling as shown in the first embodiment, the processing unit 10 detects the crane boom, a specific part that can recognize the rotation of the crane. Alternatively, in steps S102 and S103, the processing unit 10 detects the skeletal parts of the crane, which make specific movements when lifting and lowering cargo, as objects related to cargo handling. For this reason, in the second embodiment, the learning model M1 is trained using training data to detect specific parts such as the crane's rotation axis and joints, rather than the crane hook.
  • step S105 the processing unit 10 tracks the movement of the parts detected in steps S102 and S103. Specifically, the processing unit 10 tracks the rotation of a rotating part such as a boom, or tracks the opening or closing of a skeletal part.
  • step S107 the processing unit 10 determines whether it can confirm, based on tracking, that the amount of rotation of the crane is equal to or greater than a predetermined amount, and that cargo is hanging from the crane hook at that time.
  • the processing unit 10 may also determine whether the condition that the movement speed of the hook is equal to or greater than a predetermined speed is met.
  • a learning model M1 that has been trained to output the amount of rotation when multiple consecutive images (videos) are input may be used to execute the processing from steps S102 to S107.
  • step S107 the processing unit 10 also determines whether the tracking results show that the pattern of changes in the crane's skeleton satisfies a predetermined pattern, and whether it can be confirmed that cargo is hanging from the crane's hook at that time.
  • the learning model M1 may be trained to determine movement when multiple consecutive images (videos) are input, and the processing from steps S102 to S107 may be performed using this model.
  • the information processing device 1 executes the other steps S108 to S111 in the same manner as in the first embodiment. As a result, it is possible to detect the movement of objects related to loading and unloading using images obtained from the camera 2, and automatically quantify the progress of loading and unloading from the results of tracking that movement. In the second embodiment, the information processing device 1 also outputs data on the progress of loading and unloading from the display unit 33 of the output device 3. As a result, it is possible to grasp the progress remotely without having to visually check the progress at the loading and unloading site.
  • the progress of cargo handling can be measured not only by the hook, but also by the movement of the crane boom and the pattern of how the frame opens, as shown in the second embodiment.
  • the third embodiment corresponds to a case where two or more cranes are used for cargo handling on one ship S.
  • the configuration of the information processing system 100 of the third embodiment is similar to the configuration of the information processing system 100 of the first embodiment, except for some of the functions of the information processing device 1 described later, and therefore the common components are denoted by the same reference numerals and detailed description thereof will be omitted.
  • FIGS. 13 and 14 are flowcharts showing an example of a processing procedure performed by the information processing device 1 of the third embodiment.
  • the processing unit 10 of the information processing device 1 acquires an image from the camera 2 via the first communication unit 12 using the function of the acquisition unit 101 (step S131).
  • the processing unit 10 extracts multiple areas from the image acquired in step S131 (step S132).
  • step S132 the processing unit 10 extracts the areas based on coordinate data specifying the areas that have been set in advance.
  • the coordinate data specifying the areas may be stored in the memory unit 11 in association with identification data for the ship S on which the camera 2 is installed, or may be stored in association with identification data for the pier (port) where the ship S is moored.
  • the coordinate data specifying the areas may be specified before processing begins, while the operator is checking the displayed image via the output device 3 operated by the operator.
  • the coordinate data specifying the areas may be set in advance according to the type and number of cranes used for loading and unloading. In this case, the processing unit 10 recognizes the type and number of cranes, or extracts the areas based on set data corresponding to the type and number of cranes selected by the operator.
  • the processing unit 10 For each extracted region, the processing unit 10 provides an image of the region to the learning model M1 (step S133). The processing unit 10 obtains detection results for each extracted region from the learning model M1 (step S134).
  • the processing unit 10 stores the image acquired in step S131 and the detection results in the memory unit 11, correlating them with time information for each region (step S135).
  • the processing unit 10 stores the images and the identification data of the vessels S in association with each other so that the detection results can be read out in chronological order for each vessel S.
  • the processing unit 10 compares the detection results with past detection results for each different extracted area to track the movement of objects related to loading and unloading (step S136).
  • the processing of step S135 is the same as step S105 in the first embodiment, but for each area.
  • the processing unit 10 stores (appends) the tracking results of step S136 for each area in the memory unit 11 (step S137).
  • the processing unit 10 determines whether the movement of the object related to loading and unloading satisfies predetermined operating conditions based on the tracking results (step S138).
  • the processing for each region in step S138 is similar to step S107 in Figure 8 of the first embodiment, so a detailed description will be omitted.
  • step S138 determines in step S138 that the predetermined operating conditions are met for each area (S138: YES), it advances the loading/unloading progress by a predetermined unit, corresponding to the identification data and time information of the ship S, and stores the progress (step S139). If the processing unit 10 determines in step S139 that the predetermined operating conditions are met in one area, it advances the loading/unloading progress of the crane corresponding to the target area by one. If the processing unit 10 determines that the predetermined operating conditions are met in two areas, it advances the loading/unloading progress of the two cranes corresponding to each area by one. The same applies to three or more areas.
  • the processing unit 10 may advance the overall loading/unloading progress of the target ship S based on the determination of the operating conditions for the crane movement for each extracted area. If the processing unit 10 determines that the predetermined operating conditions are met in each of two areas, it may advance the loading/unloading progress by two.
  • step S140 determines whether loading and unloading has finished. If the processing unit 10 determines that loading and unloading has not finished (S140: NO), the processing returns to step S131.
  • the processing in step S140 is similar to step S109 in Figure 8 of the first embodiment, so a detailed explanation will be omitted.
  • step S140 If the processing unit 10 determines in step S140 that loading and unloading has been completed (S140: YES), it terminates the processing.
  • step S141 determines whether an abnormality is suspected.
  • the processing of step S141 is similar to step S110 in Figure 8 of the first embodiment, so a detailed explanation will be omitted. If the processing unit 10 determines that loading and unloading is progressing in any area, it may skip the determination of step S141.
  • processing unit 10 determines that no abnormality is suspected (S141: NO), it proceeds to step S140.
  • processing unit 10 determines that an abnormality is suspected (S141: YES), it stores in the memory unit 11 the fact that an abnormality is suspected, in association with the identification data and time information of the vessel S (step S142), and proceeds to step S140.
  • FIG. 15 is an explanatory diagram of the processing content of the information processing device 1 of the third embodiment. Similar to FIG. 6, FIG. 15 shows, in a line diagram, an image captured during loading and unloading on a ship S moored at a wharf, with regions R1 and R2 indicating different extracted regions superimposed on the line diagram. Regions R1 and R2 are indicated by thick dashed dotted lines. In FIG. 15, a predetermined boundary L is also superimposed on the line diagram.
  • Area R1 is set for the cargo hold that appears at the back of the hull and wharf shown in the image.
  • Area R2 is set for the cargo hold that moves to the front of the hull and wharf shown in the image.
  • the processing unit 10 detects the area that shows, for example, a crane hook, and determines the movement of that area and whether cargo is hanging from the end of the hook.
  • the processing unit 10 adopts the detection result based on the size of range F in which the crane hook is detected. For example, for region R1, the processing unit 10 adopts the detection result for range F below a predetermined size, and does not adopt the detection result for range F above the predetermined size, as it is an object on the region R2 side. Similarly, for region R2, the processing unit 10 adopts the detection result for range F above the predetermined size, and does not adopt the detection result for range F below the predetermined size, as it is an object on the region R2 side. The processing unit 10 may also decide whether to adopt or not adopt the detection result based on the size of the suspended cargo, etc.
  • the settings for areas R1 and R2 as shown in Figure 15 vary depending on the camera 2 and on the shoreside facilities, such as the number of corresponding cranes. Therefore, the setting data for different areas should be set one by one before the start of loading and unloading, or should be set in advance according to the combination of the camera 2 installation environment (ship S) and the wharf facilities. Note that areas R1 and R2 may also be set so that they do not overlap.
  • the information processing device 1 is installed on a cargo ship, and transmits processing results to an output device 3 via a server device 4 installed on land via a network N.
  • FIG. 16 is a schematic diagram of an information processing system 200 in the fourth embodiment.
  • the information processing device 1 is communicatively connected to the camera 2 via a network SN installed on the ship, without going through a communication device 21.
  • the information processing device 1 realizes communication with a server device 4 outside the ship via a network N including communication media such as satellite communication and a carrier network.
  • the information processing device 1 may also be communicatively connected to the network N via the communication device 21.
  • a server device 4 is installed on land.
  • the server device 4 stores data sent from the information processing device 1 and outputs data related to the progress of loading and unloading in response to a request from the output device 3.
  • the information processing device 1 does not need to transmit images outside the ship and is installed on board, so an edge computer with relatively few computing resources is used.
  • the information processing device 1 may be configured to execute processing distributed across multiple edge computers in order to also perform other functions.
  • the first communication unit 12 of the information processing device 1 is a communication device that realizes communication connection with the camera 2 and may be a short-range wireless communication device such as a wired LAN, a wireless communication device for WiFi, a coaxial cable, a USB, or Bluetooth (registered trademark).
  • the second communication unit 13 is a communication device that realizes communication connection with the output device 3 via the server device 4.
  • the second communication unit 13 may be a communication device that communicates via satellite communication or a communication device that communicates using an AIS-dedicated frequency.
  • the first communication unit 12 may be a wireless communication device for a carrier network or a wireless communication device for WiFi.
  • the memory unit 11 does not need to store images and their design (arrangement) for displaying on the screen of the output device 3. Other functions and processing of the memory unit 11 are basically the same as in the first embodiment, so detailed description will be omitted.
  • FIG. 17 is a block diagram showing the configuration of the server device 4. It comprises a processing unit 40, a storage unit 41, a first communication unit 42, and a second communication unit 43.
  • the processing unit 40 includes one or more arithmetic processing units such as a CPU, MPU, or GPU.
  • the processing unit 40 also includes temporary storage media such as SRAM or DRAM.
  • the storage unit 41 is a relatively large-capacity non-volatile storage medium such as an SSD or hard disk.
  • the storage unit 41 stores the server program, and also stores images to be displayed on the screen of the output device 3 and their design (layout).
  • the storage unit 41 stores the data transmitted from the information processing device 1 in association with the identification data of the information processing device 1 or the identification data of the ship on which the information processing device 1 is installed.
  • the first communication unit 42 is a communication device that establishes a communication connection with the information processing device 1.
  • the first communication unit 42 may be a communication device that communicates via satellite communication, or may be a communication device that communicates using an AIS-dedicated frequency.
  • the first communication unit 42 may be a wireless communication device for a carrier network, or may be a wireless communication device for Wi-Fi.
  • the second communication unit 43 is a communication device that establishes a communication connection with the output device 3.
  • the second communication unit 43 enables a communication connection from the output device 3 via a network N that includes a public communication network and a carrier network.
  • the second communication unit 43 may be a network card for a wired LAN, a communication device that establishes carrier communication via a carrier network, or a communication device compatible with a wireless network such as Wi-Fi or Bluetooth (registered trademark).
  • FIG. 18 is a flowchart showing an example of a processing procedure performed by the information processing device 1 of the fourth embodiment.
  • steps that are common to the processing procedures shown in FIG. 8 of the first embodiment are assigned the same step numbers and detailed descriptions are omitted.
  • the processing unit 10 similarly executes the processes of steps S101 to S108 shown in FIG. 8.
  • the processing unit 10 advances and stores the progress of the loading and unloading process in predetermined increments in association with the identification data and time information of the vessel S (S108), and then transmits the progress of the loading and unloading process in association with the identification data and time information of the vessel S from the second communication unit 13 to the server device 4 (step S151).
  • the processing unit 10 similarly executes the processes of steps S109-S111. If the processing unit 10 determines in step S110 that an abnormality is suspected (S110: YES), it stores the fact that an abnormality is suspected in the memory unit 11 (S111) and notifies the server device 4 (step S152). In step S152, the processing unit 10 transmits an abnormality notification to the server device 4 in association with the identification data of the vessel S. When the server device 4 receives the abnormality notification from the information processing device 1, it may output a push notification to the output device 3 of the account associated with the associated identification data of the vessel S.
  • Appendix 1 an acquisition unit that acquires a plurality of images including the hull of the cargo ship and the surrounding environment in time series; a detection unit that detects an object related to cargo handling from each of the plurality of images; a tracking unit for tracking the movement of the object across the plurality of images; and a determination unit that determines whether or not the movement of the object based on the tracking result satisfies a predetermined operating condition for evaluating whether or not a loading and unloading operation is being performed.
  • (Appendix 2) a measuring unit that measures the progress of cargo handling based on the determination result of the determining unit; and an output unit that outputs data relating to the progress of loading and unloading of the cargo ship measured by the measurement unit.
  • Appendix 4 The information processing device according to any one of appendices 1 to 3, wherein the object related to loading and unloading is a part of a crane or cargo.
  • Appendix 5 The information processing device according to any one of appendices 1 to 4, wherein the determination unit determines whether a condition that the object has crossed a predetermined boundary between the hull and the outside of the ship, which is set for the image, is satisfied as the predetermined operating condition.
  • Appendix 6 The information processing device according to any one of appendices 1 to 5, wherein the determination unit determines whether a condition that the moving speed of the object is equal to or greater than a predetermined value is satisfied as the predetermined operating condition.
  • Appendix 9 The information processing device according to any one of appendices 4 to 8, wherein the determination unit determines whether or not a condition that the predetermined operating condition is further satisfied is that it is recognized that cargo is being transported by a crane.
  • the computer A plurality of images including the hull of the cargo ship and the surrounding environment are acquired in time series; detecting an object related to cargo handling from each of the plurality of images; tracking the movement of the object across the plurality of images; determining whether or not the movement of the object based on the tracking result satisfies a predetermined operating condition for evaluating whether or not a loading/unloading operation is occurring;
  • a plurality of images including the hull of the cargo ship and the surrounding environment are acquired in time series; detecting an object related to cargo handling from each of the plurality of images; tracking the movement of the object across the plurality of images; a computer program that executes a process of determining whether or not the movement of the object based on the tracking result satisfies a predetermined operating condition for evaluating whether or not a loading/unloading operation is occurring.
  • the various illustrative logic blocks and modules described in connection with the embodiments disclosed herein may be implemented or executed by a machine such as a processor.
  • the processor may be a microprocessor, but alternatively, the processor may be a controller, microcontroller, or state machine, or a combination thereof.
  • the processor may include electrical circuitry configured to process computer-executable instructions.
  • the processor includes an application-specific integrated circuit (ASIC), a field-programmable gate array (FPGA), or other programmable device that performs logical operations without processing computer-executable instructions.
  • ASIC application-specific integrated circuit
  • FPGA field-programmable gate array
  • a processor may also be implemented as a combination of computing devices, such as a combination of a digital signal processor (DSP) and a microprocessor, multiple microprocessors, one or more microprocessors in combination with a DSP core, or any other such configuration. While described primarily in terms of digital technology herein, a processor may also include primarily analog elements. For example, some or all of the signal processing algorithms described herein may be implemented using analog circuitry or mixed analog and digital circuitry.
  • the computing environment may include any type of computer system, including, but not limited to, a computer system based on a microprocessor, mainframe computer, digital signal processor, portable computing device, device controller, or computational engine within an appliance.
  • conditional language such as “can,” “could,” “would,” or “potential” is understood within the context in which it is generally used to convey that certain embodiments include certain features, elements, and/or steps, while other embodiments do not. Thus, such conditional language does not generally imply that features, elements, and/or steps are required in any manner in one or more embodiments, or that one or more embodiments necessarily include logic for determining whether those features, elements, and/or steps are included in or performed in any particular embodiment.
  • Disjunctive language such as "at least one of X, Y, Z" is understood in its general context to indicate that an item, term, etc. can be any of X, Y, Z, or any combination thereof (e.g., X, Y, Z), unless specifically stated otherwise. Thus, such disjunctive language does not generally imply that a particular embodiment requires at least one of X, at least one of Y, or at least one of Z to each be present.
  • a processor configured to perform the following A, B, and C may include a first processor configured to perform A and a second processor configured to perform B and C.
  • the term “horizontal” as used herein is defined as a plane parallel to the plane or surface of the floor of the area in which the described system is used, or the plane in which the described method is performed, regardless of its orientation.
  • the term “floor” can be interchanged with the terms “ground” or “water surface.”
  • the term “vertical/plumb” refers to a direction perpendicular/perpendicular to a defined horizontal line. Terms such as “upper,” “lower,” “below,” “top,” “side,” “higher,” “lower,” “above,” “over,” and “below” are defined relative to the horizontal plane.
  • connection As used herein, the terms “attach,” “connect,” “mate,” and other related terms should be interpreted to include detachable, movable, fixed, adjustable, and/or removable connections or couplings, unless otherwise noted. Connections/couplings include direct connections and/or connections with intermediate structures between the two components described.
  • Information processing device 10 Processing unit 11 Storage unit 12 Communication unit P1 Information processing program (computer program) M1 Learning model 2 Camera 3 Output device 30 Processing unit 32 Communication unit 33 Display unit 330 Display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Ship Loading And Unloading (AREA)

Abstract

【課題】画像に基づき荷役に関する情報を出力する情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラムを提供する。 【解決手段】情報処理装置は、貨物船の船体と周辺環境とを含む複数の画像を時系列に取得する取得部と、前記複数の画像それぞれから荷役に関する物体を検出する検出部と、前記複数の画像にわたる前記物体の動きをトラッキングする追跡部と、トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する判定部とを備える。

Description

情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
　本発明は、画像に基づき荷役に関する情報を出力する情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラムに関する。
　カメラで撮影された画像に写っている物体を判別し、判別された物体を解析するシステムが普及している。特許文献１には、ごみを運搬するクレーンの動きを撮影した画像を入力するとクレーンの状態を出力するように学習された状態判定モデルを用いてクレーンを制御する制御装置が開示されている。
国際公開第２０２１／１８７１８５号
　従来、貨物船の船内荷役又は沿岸荷役では、荷役の状況の把握は作業員の目視に頼られていることが多い。
　本開示は、画像に基づき荷役に関する情報を出力する情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラムを提供することを目的とする。
　本開示の一側面の情報処理装置は、貨物船の船体と周辺環境とを含む複数の画像を時系列に取得する取得部と、前記複数の画像それぞれから荷役に関する物体を検出する検出部と、前記複数の画像にわたる前記物体の動きをトラッキングする追跡部と、トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する判定部とを備える。
　本開示の一側面では、貨物船の船体と埠頭とを撮影範囲に含む画像から、荷役に関する物体の動きを追跡することで、荷役作業が行なわれているか否かが自動的に判定される。これにより、目視に寄らずに荷役の進捗をオペレータに認識させることが可能になる。
　本開示の一側面の情報処理装置は、前記判定部の判定結果に基づいて、荷役の進捗を計測する計測部と、前記計測部により計測された前記貨物船の荷役の進捗に関するデータを出力する出力部とを備える。
　本開示の一側面では、荷役作業が行なわれているか否かの判定結果に基づいて、荷役の進捗を計測され、自動的に計測された荷役の進捗が、グラフなどのグラフィックにより視覚的に、又は数字の読み上げなど聴覚的に確認できるように出力される。これにより、オペレータが荷役を直接的に目視で確認するよりも、荷役の進捗を定量的に把握することが可能となる。
　本開示の一側面の情報処理装置では、前記検出部は、画像が入力された場合に、前記画像に荷役に関する物体が写っているか否かを判断し、前記物体が写っている場合に前記物体の画像内の位置を出力するように学習されている学習モデルを用いて前記物体を検出する。
　本開示の一側面では、画像から荷役に関する物体を検出する方法として、ニューラルネットワークやサポートベクターマシンなどを用いた学習モデルによる画像認識を用いる。これにより、精度と処理速度とのバランスよく荷役進捗の把握を実現できる。
　本開示の一側面の情報処理装置では、前記荷役に関する物体は、クレーンの一部又は貨物である。
　本開示の一側面では、画像に写っているとして検出する対象は、荷役に関するクレーンの一部又は貨物である。クレーンの動きを検出することで荷役の進捗を計測することが可能となる。貨物を検出することでクレーンなどの荷役に関する設備が実際に貨物を運んでいるか否かを判定しながら精度よく荷役の進捗をオペレータに認識させることができる。
　本開示の一側面の情報処理装置では、前記判定部は、前記所定の動作条件として、前記画像に対して設定される前記船体と船外との所定の境界を前記物体が跨いだという条件が満たされるか否かを判定する。
　本開示の一側面では、画像に写っている荷役に関する特定の物体が、船体と船外との間の境界を跨いだか否かによって荷役作業が行なわれているか否かが判定される。積み下ろし又は積み込みの際には、クレーンのフックのように認識しやすい物体が船体と沿岸側との間を往復するので、この物体の跨ぐ動きの計数によって荷役の作業の有無を判定できる。
　本開示の一側面の情報処理装置では、前記判定部は、前記所定の動作条件として、前記物体の移動速度が所定値以上であるという条件が満たされるか否かを判定する。
　本開示の一側面では、画像に写っている荷役に関する特定の物体が、所定の速度以上で移動しているか否かによって荷役作業が行なわれているか否かが判定される。所定の境界を船体ごとに設定する必要なしに、同様のパターンで繰り返されるか否かで判定することが可能である。
　本開示の一側面の情報処理装置では、前記判定部は、前記所定の動作条件として、クレーンの回転量が所定量以上であるという条件が満たされるか否かを判定する。
　本開示の一側面では、画像に写っている荷役に関するクレーンの回転量が所定量以上であるか否かによって荷役作業が行なわれているか否かが判定される。積み下ろし又は積み込みの際には、クレーンは所定量以上回転するので、これを認識することによって荷役の作業の有無を判定できる。クレーンのフックの認識が難しい場合であっても他の方法での検出が可能であれば、適宜選択可能である。
　本開示の一側面の情報処理装置では、前記判定部は、前記所定の動作条件として、クレーンの骨格の変化のパターンが所定パターンである条件が満たされるか否かを判定する。
　本開示の一側面では、画像に写っている荷役に関するクレーンの骨格の変化のパターンが所定パターンであるか否かによって荷役作業が行なわれているか否かが判定される。積み下ろし又は積み込みの際には、クレーンの関節などが特定のパターンの動きをするので、これを認識することによって荷役の作業の有無を判定できる。クレーンのフックの認識が難しい場合であっても他の方法での検出が可能であれば、適宜選択可能である。
　本開示の一側面の情報処理装置では、前記判定部は、前記所定の動作条件として、さらにクレーンにて貨物が運ばれていることが認識されているという条件が満たされるか否かを判定する。
　本開示の一側面では、上述したように荷役作業が行なわれているか否かを判定するパターンに、実際にクレーンで貨物が運ばれていることが認識されているか否かの判定が加えられる。荷役作業が確実に行なわれている場合に計数できる。
　本開示の一側面の情報処理装置は、前記計測部は、荷役の進捗として、前記貨物船の貨物の積み下ろし又は積み込みの回数を計測する。
　本開示の一側面では、荷役の進捗として積み下ろし又は積み込みの回数が計測される。クレーンのフックの１回の動き、又はクレーンの１回の回転で、１回（所定単位の貨物）の積み下ろし又は積み込みがされることと対応するから、これをトラッキングすることで精度よく進捗を計測できる。
　本開示の一側面の情報処理装置では、前記計測部は、荷役の進捗として、前記貨物船での荷役作業の予定回数に対する前記貨物の積み下ろし又は積み込みの回数の割合を計測する。
　本開示の一側面では、積み下ろし又は積み込みの回数が予め与えられている場合、計測した回数を用いて進捗度を割合として計測することもできる。これにより、荷役の全体に対する進捗を把握することが可能となる。
　本開示の一側面の情報処理装置は、前記計測部は、荷役の進捗として、前記貨物船での貨物の積み下ろし又は積み込みの回数の増加速度に基づき、荷役終了時刻を推定する。
　本開示の一側面では、積み下ろし又は積み込みの回数が予め与えられている場合、計測した回数と経過時間から、荷役が終了す時刻を推定することが可能となる。これにより、対象の船舶の航行スケジュールや、沿岸設備などの使用スケジュールなどを踏まえて進捗を把握することが可能となる。
　本開示の一側面の情報処理装置は、前記出力部は、前記計測部により計測された前記荷役の進捗を示すグラフを含む画面データを作成し、作成した画面データを表示装置に出力させる。
　本開示の一側面では、自動的に計測された荷役の進捗が、グラフで視覚的に確認できるように画面が出力される。これにより、オペレータが荷役を直接的に目視で確認するよりも、荷役の進捗を直感的且つ精度よく把握することが可能となる。
　本開示の一側面の情報処理装置では、前記検出部は、前記複数の画像それぞれから異なる領域を抽出し、異なる領域ごとに、前記物体を検出し、前記追跡部は、異なる領域ごとに、前記物体の動きをトラッキングする。
　本開示の一側面では、画像に写っている荷役に関する特定の物体が、複数ある場合であっても、それぞれの動きを検出することで荷役の進捗を計測することが可能となる。多様な荷役の設備に対応して進捗を計測可能となる。 
　本開示の一側面の情報処理装置では、前記取得部は、船体の甲板の上面を画角に含めるように貨物船に設置されたカメラから画像を取得する。
　本開示の一側面では、カメラは貨物船に、船体の甲板の上面を画角に含むように設けられたものを使用する。カメラは、海況観測などの他の用途があるものを使用してもよく、特別な荷役監視用のセンサを敷設することなく、種々の用途があるカメラを兼用して荷役の進捗を認識することが可能となる。
　本開示の一側面の情報処理システムは、船体の甲板の上面を画角に含めるように貨物船に設置されたカメラと、前記カメラにて撮影される画像を取得する情報処理装置とを含み、前記情報処理装置は、貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、前記複数の画像それぞれから荷役に関する物体を検出し、前記複数の画像にわたる前記物体の動きをトラッキングし、前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する。
　本開示の一側面の情報処理方法は、コンピュータが、貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、前記複数の画像それぞれから荷役に関する物体を検出し、前記複数の画像にわたる前記物体の動きをトラッキングし、前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する。
　本開示の一側面のコンピュータプログラムは、コンピュータに、貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、前記複数の画像それぞれから荷役に関する物体を検出し、前記複数の画像にわたる前記物体の動きをトラッキングし、前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する処理を実行させる。
第１実施形態の情報処理システムの概要図である。 情報処理装置の構成を示すブロック図である。 出力装置の構成を示すブロック図である。 情報処理プログラムに基づく機能の説明図である。 カメラから得られる画像例を示す説明図である。 カメラから得られる画像例を示す説明図である。 情報処理装置で用いられる学習モデルの概要図である。 情報処理装置による処理手順の一例を示すフローチャートである。 貨物の積み下ろしが進んでいるかの判断の説明図である。 情報処理装置からの荷役に関する情報の出力処理の一例を示すフローチャートである。 表示画面の一例の説明図である。 表示画面の他の例の説明図である。 第３実施形態の情報処理装置による処理手順の一例を示すフローチャートである。 第３実施形態の情報処理装置による処理手順の一例を示すフローチャートである。 第３実施形態の情報処理装置の処理内容の説明図である。 第４実施形態における情報処理システムの概要図である。 サーバ装置の構成を示すブロック図である。 第４実施形態の情報処理装置による処理手順の一例を示すフローチャートである。
　本開示をその実施の形態を示す図面を参照して具体的に説明する。以下の実施の形態では、本開示の情報処理装置を含む情報処理システムについて説明する。
　［第１実施形態］
　図１は、第１実施形態の情報処理システム１００の概要図である。情報処理システム１００は、船舶Ｓの甲板に設けられたカメラ２と、カメラ２にて撮影される画像に対し処理を実行する情報処理装置１と、情報処理装置１による処理結果を出力する出力装置３とを含む。船舶Ｓは、コンテナ船などの貨物船である。
　カメラ２は、可視光の撮像素子を用いる。カメラ２は、１０フレーム毎秒など、所定のレートで時系列に画像を撮影して画像データを出力し続ける。カメラ２は、船体の甲板の高い場所に、船首に向けて船体の上甲板の上面と進行先とを画角に含めるように設けられている（図５及び図６参照）。カメラ２は、船舶Ｓの航行中の海況を撮影するためにも用いられる。カメラ２は、可視光のみならず赤外光の撮像素子が用いられてもよい。
　カメラ２には、船舶Ｓに敷設されているネットワークＳＮを介して通信装置２１が接続されている。通信装置２１は、船上のネットワークＳＮと通信接続し、衛星通信、キャリアネットワークなどの通信媒体を含むネットワークＮを介して船外との通信を実現する装置である。通信装置２１は、ＡＩＳ専用周波数によって陸上装置または他船と通信する通信デバイスを含んでもよいし、キャリアネットワークと接続する無線通信デバイスであってもよいし、ＷｉＦｉ用の無線通信デバイスであってもよい。
　情報処理装置１は、陸上に設置されている。情報処理装置１は、カメラ２にて撮影された画像を、通信装置２１を介して取得し、取得した画像に対する海況把握や、後述する処理などを実行する。情報処理装置１は、出力装置３と通信接続できる。情報処理装置１は、出力装置３へ、画像に対する処理の結果を出力し、海況観測や荷役監視サービスを提供する。
　出力装置３は陸上又は船上で使用される。出力装置３は、情報処理装置１と通信接続が可能な情報端末である。出力装置３は、船舶Ｓの船主、船舶Ｓに積載されている貨物の管理者などが使用し、船舶Ｓの運航状況の確認や、荷役監視のために使用される。
　情報処理システム１００において情報処理装置１は、上述したカメラ２からの画像に基づく分析に基づく海況や、船舶Ｓに設けられている各機器から得られる情報を出力可能である。情報処理装置１は、船舶Ｓが埠頭に停泊し、甲板上から貨物を陸上に降ろす作業あるいは貨物を船上に積む作業を画角に捉えるカメラ２から取得できる画像を用い、荷役の進捗を導出して出力装置３から確認できるようにする。以下、情報処理装置１によるカメラ２からの画像を用いた荷役の進捗の導出とその確認方法について詳細を説明する。
　図２は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、サーバコンピュータを用いる。情報処理装置１は、処理部１０と、記憶部１１と、第１通信部１２と、第２通信部１３とを備える。
　処理部１０は、一または複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）などの演算処理装置を含む。処理部１０は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの一時記憶媒体を含む。処理部１０は、記憶部１１に記憶されている情報処理プログラムＰ１を一時記憶媒体に読み出して実行することにより、汎用的なコンピュータに、後述する各種処理を実行させ、本開示の情報処理装置１として機能させる。
　記憶部１１は、ＳＳＤ（Solid State Drive）、ハードディスクなどの比較的大容量の不揮発性記憶媒体である。記憶部１１は、処理部１０が処理を実行するために必要なプログラム（プログラム製品）と、参照用の設定データとを記憶する。設定データには、情報処理装置１が設置される船舶Ｓの種類や、識別情報が含まれてよい。設定データには、後述する画像処理の判断に用いられるデータが含まれる。プログラム製品は、情報処理プログラムＰ１や、出力装置３にて画面を表示させるためのサーバプログラムと、画面に含める画像と、そのデザイン（配置）とを含む。プログラム製品は、学習モデルＭ１を含む。
　記憶部１１に記憶されている情報処理プログラム（プログラム製品）Ｐ１及び学習モデルＭ１は、コンピュータから読み取り可能な非一時記憶媒体９に記憶されている情報処理プログラムＰ９及び学習モデルＭ９を、処理部１０が読み出して記憶部１１に記憶したものであってもよい。情報処理プログラムＰ１及び学習モデルＭ１は、処理部１０が第２通信部１３を介してダウンロードサーバからダウンロードして記憶部１１に記憶したものであってもよい。
　記憶部１１は、カメラ２から取得できる画像データを、時間情報と対応付けて時系列に参照可能に記憶する。記憶部１１は、画像データに対する後述の処理の結果で得られる荷役の進捗に関するデータを記憶してもよい。
　第１通信部１２は、カメラ２との通信接続を実現する通信デバイスである。第１通信部１２は、カメラ２が接続されている船上の通信装置２１との通信を可能とする。第１通信部１２は、衛星通信によって通信する通信デバイスであってもよいし、ＡＩＳ専用周波数によって通信する通信デバイスであってもよい。第１通信部１２は、キャリアネットワーク用の無線通信デバイスであってもよいし、ＷｉＦｉ用の無線通信デバイスであってもよい。
　第２通信部１３は、出力装置３との通信接続を実現する通信デバイスである。第２通信部１３は、公衆通信網及びキャリアネットワークを含むネットワークＮを介して出力装置３からの通信接続を可能とする。第２通信部１３は、有線ＬＡＮ用ネットワークカードであってもよいし、キャリアネットワークを介したキャリア通信を実現する通信デバイスであってもよいし、ＷｉＦｉ又はBluetooth（登録商標）等の無線ネットワークに対応する通信デバイスであってもよい
　図３は、出力装置３の構成を示すブロック図である。出力装置３は、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。出力装置３は、荷役監視サービスのユーザが使用してもよいし、荷役監視サービスの情報処理装置１のオペレータが使用してもよい。
　出力装置３は、処理部３０、記憶部３１、通信部３２、表示部３３、及び操作部３４を備える。処理部３０は、１又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等のプロセッサを含む。処理部３０は、ＳＲＡＭ、ＤＲＡＭ等の一時記憶媒体であるメモリを含む。
　記憶部３１は、ＳＳＤ、ハードディスクなど比較的大容量の不揮発性記憶媒体である。記憶部３１には、情報処理装置１からの海況や、荷役監視に係る情報を提供するサービスに対応するクライアントプログラムが記憶されている。クライアントプログラムは、例えばＷｅｂブラウザプログラムである。クライアントプログラムは、Ｗｅｂブラウザプログラムに限らず、特別なプログラムであって、情報処理装置１から送信されるデータを画面上に表示する処理を処理部３０に実行させるプログラムであってもよい。
　通信部３２は、ネットワークＮを介した情報処理装置１との通信接続を実現する通信デバイスである。通信部３２は、情報処理装置１との専用回線を介した通信接続を実現する通信デバイスであってもよい。
　表示部３３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイを用いる。表示部３３は、「表示装置」に相当する。表示部３３は、処理部３０のクライアントプログラムに基づく処理により、文字及び画像を含むＷｅｂページを表示する。表示部３３はタッチパネル内蔵型ディスプレイを用いてもよい。
　操作部３４は、ユーザ又はオペレータからの操作を受け付けるキーボード、ポインティングデバイス等のユーザインタフェースである。操作部３４は、表示部３３のディスプレイに内蔵されたタッチパネルであってもよいし、物理ボタンであってもよい。操作部３４は、音声入力部であって音声認識機能により音声による操作を受け付けてもよい。操作部３４は、ユーザ又はオペレータによる操作情報を処理部３０へ通知できる。
　このように構成される情報処理システム１００において情報処理装置１は、カメラ２から得られる画像に、船舶Ｓの各センサから得られる情報を合わせて出力装置３で表示可能に出力する処理を実行できる。情報処理装置１はこのような機能の他に、対象の船舶Ｓが港に停泊して荷役が開始されると、カメラ２から得られる画像から、船上に積載されていた貨物を沿岸に降ろしたり、逆に船上に貨物を積んだりする荷役を認識し、荷役の進捗を出力する。
　以下、カメラ２から得られる画像に基づく荷役の進捗を出力する機能について説明する。図４は、情報処理プログラムＰ１に基づく機能の説明図である。情報処理装置１の処理部１０は、情報処理プログラムＰ１に基づき、図４に示す各種機能を発揮する。
　処理部１０は、船舶Ｓの船体と荷役対象箇所とを含む複数の画像を時系列に取得する取得部１０１として機能する。処理部１０は、取得部１０１として、船舶Ｓの甲板上部に船首に向けて設けられたカメラ２から画像（図５および図６参照）を取得する。
　処理部１０は、取得部１０１で取得した画像から、荷役に関する物体を検出する検出部１０２として機能する。処理部１０は、検出部１０２として、学習モデルＭ１を用いて画像から荷役に関する特定の物体を検出する。特定の物体は、荷役の際に所定のパターンで動きを繰り返す箇所であって、カメラ２で捉えやすい物体である。荷役に関する物体は例えば、クレーンのフック、荷役の対象の貨物、クレーンのブーム、クレーンの骨格、またはクレーンの回転機構などである。検出部１０２による検出方法は、学習モデルＭ１を用いた物体検出に限らず、パターン認識を用いた検出方法であってもよい。
　処理部１０は、取得部１０１により時系列に取得できる複数の画像にわたる物体の動きをトラッキングする追跡部１０３として機能する。処理部１０は、追跡部１０３として、カメラ２から時系列に得られる画像の中で、荷役に関する物体を検出した範囲を時系列に繋げた移動軌跡を算出する。処理部１０は、追跡部１０３として例えば物体の検出範囲の中心（又は重心点）を時系列に結んで移動軌跡を算出する。
　処理部１０は、追跡部１０３によりトラッキングされた特定の荷役に関する物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する判定部１０４として機能する。荷役作業の有無を評価する所定の動作条件は例えば、荷役に関する物体として検出部１０２で検出したクレーンのフックに、貨物が吊り下げられていること、且つ、クレーンのフックが船上と周辺環境との間を移動していることである。周辺環境とは、例えば船外の埠頭側設備（沿岸設備）である。また、海上において船舶Ｓの周辺に存在する他船や海洋構造物であってもよい。所定の動作条件については詳細を後述するが、処理部１０は判定部１０４の機能により、フックの先に貨物が吊り下げられているクレーンのフックの画像内位置が、画像の範囲に設定されている所定の境界を跨いだかどうかを判定する（図９参照）。フックの先に貨物が吊り下げられた状態でフックが船上から船外（埠頭側）へ移動し、所定の境界を越えている場合、処理部１０は、荷役作業（積み下ろし）が１回実行され、所定の動作条件を満たすと判定できる。逆に、フックの先に貨物が吊り下げられた状態でフックが船外（埠頭側）から船上へ移動し、所定の境界を越えている場合、処理部１０は、荷役作業（積み込み）が１回実行されたと判定できる。所定の動作条件は他の条件であってもよい。判定部１０４の機能の更なる詳細については後述する。
　上述の所定の境界とは、カメラ２に対して規定された画像内の船体の境界に対応する線であって、記憶部１１にカメラ２が設置された船舶Ｓの識別データに対応付けて記憶されて参照可能である。
　処理部１０は、判定部１０４による判定結果に基づいて、荷役の進捗を計測する計測部１０５として機能する。処理部１０は、計測部１０５として、判定部１０４により荷役作業ありと評価できる所定の動作条件が満たされた場合、荷役の進捗として回数を計測するか、予定回数に対する進捗の割合を計測する。処理部１０は、計測部１０５として、荷役の進捗として経過時間を計測し、荷役終了時刻を推測してもよい。
　処理部１０は、計測部１０５により計測された船舶Ｓの荷役の進捗に関するデータを出力する出力部１０６として機能する。処理部１０は、出力部１０６の機能により、出力装置３などのディスプレイを持つ外部装置へデータを出力する。処理部１０は、出力部１０６の機能により、進捗を示すテキストや画像を出力してもよいし、進捗を示す音声を出力させてもよい。
　図５及び図６は、カメラ２から得られる画像例を示す説明図である。図５及び図６は、処理部１０が取得部１０１によりカメラ２から取得した画像を線図で表す。図５は、航行中に撮影された画像を示し、図６は、埠頭に停泊した船舶Ｓで荷役中に撮影された画像を示す。図５及び図６の画像のいずれにも、船体の船首側の上甲板が写っている。図５に示す画像には、船首の先に航行中の海が水平線を含んで写っている。図６に示す画像では、船体の他に、船舶Ｓが係止されている埠頭が写っている。図６に示す画像では、上甲板が上げられて船内の貨物室と、貨物室内に存在する貨物とが写っている。図６に示す画像では、埠頭に設けられたクレーンによって、貨物（図６の画像ではタイヤ）が吊り上げられている様子が写っている。
　図７は、情報処理装置１で用いられる学習モデルＭ１の概要図である。学習モデルＭ１は、図５又は図６に示した画像が入力されると、その画像から荷役に関する物体を検出するように学習されている。学習モデルＭ１は、ニューラルネットワークを用いた画像認識用の深層学習モデルである。学習モデルＭ１は、例えばＳＳＤ（Single Shot MultiBox Detector）を用いて学習されたモデルである。学習モデルＭ１は、Vision Transformer等の畳み込み層なしのモデルを採用してもよいし、他のアーキテクチャを採用してもよい。学習モデルＭ１は、サポートベクターマシン等を用いたモデルであってもよい。
　図７に示す例において学習モデルＭ１は、ＣＮＮ（Convolution Neural Network）ベースの画像認識モデルを採用する。学習モデルＭ１は、画像が入力される入力層と、画像に対するフィルタ処理に対応する畳み込み層（Convolution Layer）を含む中間層とを含む。学習モデルＭ１は、荷役に関する物体が写っている範囲の画像内の座標データと、当該範囲に写る物体が対象の物体である確度を示すスコアとを出力する出力層を含む。学習モデルＭ１は、荷役に関する特定の物体として例えば、クレーンのフックが写っている範囲と、貨物とをそれぞれ検出する。学習モデルＭ１は、クレーンのフックの検出モデルと、貨物の検出モデルとで別個のモデルを学習により生成されてもよい。貨物の種類によって異なる検出モデルが生成されてもよい。
　学習モデルＭ１は、荷役に関する特定の物体として、クレーンの骨格が写っている範囲を検出するように学習されてもよい。学習モデルＭ１は、クレーンの先端に設けられた特殊なハンドが写っている範囲を検出するように学習されてもよい。学習モデルＭ１は、荷役に関する特定の物体として、クレーンによって運ばれる貨物を検出するように学習されてもよい。
　学習モデルＭ１は、図５又は図６に示したような、カメラ２から得られる画像のデータと、画像上の特定のパーツが写っているとして既知の範囲を示す座標データとを教師データとして用いて学習されている。学習モデルＭ１は、運用開始後に再学習されてもよい。
　このように構成される情報処理システム１００における処理を説明する。
　図８は、情報処理装置１による処理手順の一例を示すフローチャートである。情報処理装置１の処理部１０は、処理開始の指示を受けると以下に示す処理手順を実行する。情報処理装置１は、出力装置３の操作部３４に対するオペレータの操作によって処理開始の指示を受けてもよいし、船舶Ｓの航行に係る情報（例えば停泊、荷役開始）を他の機器から取得して、処理開始の指示として受けてもよい。処理部１０は例えば、上甲板や貨物室の扉が開けられたことを、それらのスイッチ状態から認識できる場合、処理開始の指示を受けたと判断して以下の処理を開始してもよい。
　処理部１０は、取得部１０１の機能により、第１通信部１２を介してカメラ２から画像を取得する（ステップＳ１０１）。処理部１０は、取得した画像を、学習モデルＭ１に与える（ステップＳ１０２）。処理部１０は、検出部１０２の機能により、学習モデルＭ１から検出結果を取得する（ステップＳ１０３）。ステップＳ１０２及びステップＳ１０３において処理部１０は、図５－図７で説明したように、クレーンのフックを検出する。
　処理部１０は、記憶部１１に、ステップＳ１０１で取得した画像と、ステップＳ１０３で取得した検出結果とを、時間情報に対応付けて記憶する（ステップＳ１０４）。ステップＳ１０４において処理部１０は、対象のカメラ２が搭載されている船舶Ｓの識別データを対応付けて記憶する。
　処理部１０は、ステップＳ１０３で取得した検出結果と、過去の検出結果とを照合し、追跡部１０３の機能により、荷役に関する物体の動きをトラッキングする（ステップＳ１０５）。処理部１０は、ステップＳ１０５のトラッキング結果を、記憶部１１に記憶（追記）する（ステップＳ１０６）。
　処理部１０は、判定部１０４の機能により、荷役に関する物体の動きが荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する（ステップＳ１０７）。処理部１０は、貨物の積み下ろし、あるいは積み込みなどの荷役作業が進んでいるか否かを判定するためにステップＳ１０７の処理を行なう。
　処理部１０は、ステップＳ１０７で所定の動作条件を満たすと判定した場合（Ｓ１０７：ＹＥＳ）、計測部１０５の機能により、船舶Ｓの識別データ及び時間情報に対応付けて荷役の進捗度を所定単位で進め、記憶する（ステップＳ１０８）。処理部１０はステップＳ１０８において、荷役の進捗度として、貨物の積み下ろし回数を１回ごとに加算する。処理部１０は、荷役開始時に設定される必要な回数、即ち積み下ろす予定の貨物の個数に対する積み下ろし回数の割合を増加させてもよい。
　処理部１０は、荷役が終了したか否かを判断する（ステップＳ１０９）。処理部１０は、荷役が終了していないと判断した場合（Ｓ１０９：ＮＯ）、処理をステップＳ１０１へ戻す。
　処理部１０は、ステップＳ１０９において、荷役が終了したか否かを、処理終了の指示を受けたか否かで判断する。処理部１０は、出力装置３の操作部３４に対するオペレータの操作によって処理終了の指示を受けてもよいし、船舶Ｓの航行に係る情報（荷役終了、出港）を他の機器から取得して、処理終了の指示として受けてもよい。処理部１０は例えば、上甲板や貨物室の扉が閉じられたことを、それらのスイッチの状態から認識できる場合、処理終了の指示を受けたと判断してもよい。処理部１０は、処理開始から所定時間（例えば１２時間などの長期期間）が経過すると自動的に処理終了の指示を受けたと判断してもよい。
　ステップＳ１０９にて処理部１０は、荷役が終了したと判断した場合（Ｓ１０９：ＹＥＳ）、処理を終了する。
　処理部１０は、ステップＳ１０７にて所定の動作条件を満たしていないと判断した場合（Ｓ１０７：ＮＯ）、ステップＳ１０５のトラッキングの結果に基づき、異常が疑われるか否かを判断する（ステップＳ１１０）。ステップＳ１１０にて処理部１０は、記憶部１１に記憶されているトラッキング結果に基づき、直近に所定の動作条件を満たしてから所定時間以上が経過している場合、異常が疑われると判断する。クレーンのフックが検出されなくなった場合、クレーンのフックが検出されているが停止している場合など、進捗が停滞している場合、処理部１０は異常が疑われると判断できる。
　処理部１０は、異常が疑われないと判断した場合（Ｓ１１０：ＮＯ）、そのまま処理をステップＳ１０９へ進める。
　処理部１０は、異常が疑われると判断した場合（Ｓ１１０：ＹＥＳ）、船舶Ｓの識別データ及び時間情報に対応付けて、異常が疑われる状態であることを記憶部１１に記憶し（ステップＳ１１１）、処理をステップＳ１０９へ進める。
　図９は、貨物の積み下ろしが進んでいるかの判断の説明図である。図９は、ステップＳ１０７において処理部１０が所定の動作条件を満たすか否かを判定する際の具体例を示す。図９Ａから図９Ｃは時系列に並んでいる。図９Ａから図９Ｃはそれぞれ、図６に対応する画像の線図上に、所定の境界Ｌと、フックの軌跡Ｔを重畳して示している。図９Ａおよび図９Ｂ中の破線により船体の境界に対応する所定の境界Ｌを示し、太い実線によりフックの軌跡Ｔを示す。所定の境界Ｌは、船体が写っている領域と他との間の境界よりも船体の外側に、画像の上部にかけて設定される。図９Ａおよび図９Ｂに示す画像例では、船体が写っている範囲は画像中央から下辺に至る台形状の範囲であって、所定の境界Ｌは、この台形の両脚の外側に沿って上部で近接する２本の直線で規定されている。所定の境界Ｌは、カメラ２が設置されている船舶Ｓの識別データに対応付けて記憶部１１に、カメラ２の設定時に記憶される。所定の境界Ｌは、設定データとして船舶Ｓの種類ごとに、記憶部１１に記憶されてもよい。
　図９Ａに示す画像例には、図６と同様に、上甲板が開けられて貨物室の中を撮影範囲に含む船体と、埠頭とが写っている。図９Ａの画像例において、学習モデルＭ１を用いて検出されたクレーンのフックが写っている範囲Ｆがハッチングにより示されている。図９Ａの画像例では、フックに吊り下げられた貨物が今まさにクレーンの動作により上昇していく様子が写っている。図９Ａに示す画像例では、フックが写っている範囲Ｆは、画像内で船体が写っている領域に重なっており、所定の境界Ｌを規定する２本の直線の間に位置する。
　図９Ｂに示す画像例には、図９Ａ同様に、上甲板が開けられた船体と埠頭とが写っており、クレーンのフックと、フックに吊り下げられた貨物が写っている。図９Ｂに示す画像例では、図９Ａに示した画像と比較すると、ハッチングにより示されているフックが写っている範囲Ｆが、画像内で上部に上昇している。図９Ｂに示す画像例では、フックが写っている範囲Ｆは、船体が写っている領域から外れ、所定の境界Ｌを規定する２本の直線の外側のうち、埠頭側に位置する。
　図９Ｃに示す画像例には、図９Ａ同様に、上甲板が開けられた船体と埠頭とが写っており、クレーンのフックと、フックに吊り下げられた貨物が写っている。図９Ｃに示す画像例では、図９Ａおよび図９Ｂに示した画像と比較すると、ハッチングにより示されているフックが写っている範囲Ｆが、画像内で上部に上昇し、更に、埠頭側に移動している。図９Ｃに示す画像例では、フックが写っている範囲Ｆは、船体が写っている領域から外れ、所定の境界Ｌを規定する２本の直線の外側のうち、更に埠頭側に位置する。
　図９Ａに示す画像と、図９Ｂに示す画像と、図９Ｃに示す画像とを時系列に取得した処理部１０は、図９Ｂに示す画像を取得した時点で、ステップＳ１０７において、フックが写っている範囲Ｆが画像内で所定の境界Ｌを跨いだと判断する。処理部１０は更に、図９Ａから図９Ｃでフックが写っている範囲Ｆの画像内の下方に貨物を認識する。したがって処理部１０は、貨物の積み下ろしが進んでいると判断するための処理の条件を満たす移動をしていると判断し、ステップＳ１０８において、積み下ろしの進捗度（回数）を１つ進める。処理部１０は、図９Ｂに示す画像から図９Ｃに示す画像へ至った時点で、フックが写っている範囲Ｆが更に埠頭側に移動していることを確認したことで、貨物の積み下ろしが進んでいると判断するための処理の条件を満たす移動をしていると判断してもよい。
　積み込みの場合は、図９Ａから図９Ｃへ時系列に並べた画像と、逆の順に撮影される。つまり、下方に貨物が吊り下げられていると判断され、且つフックの範囲Ｆが埠頭側から船上側へ移動し、所定の境界Ｌを跨いだ場合、処理部１０は、荷役に関する物体の動きが所定の動作条件を満たすと判定し（Ｓ１０７）、積み込みの進捗度（回数）を１つ進める。
　図８に示した処理と平行して、情報処理装置１は、出力装置３からのリクエストに応じて、船舶Ｓの荷役の進捗を出力装置３へ出力する処理を実行する。出力装置３がクライアントプログラム（Ｗｅｂブラウザプログラム）に基づき、情報処理装置１から提供される荷役監視サービスのポータル画面にアクセスすると、以下に示す処理が開始される。図１０は、情報処理装置１からの荷役に関する情報の出力処理の一例を示すフローチャートである。
　出力装置３の処理部３０は、操作部３４により、ポータル画面から荷役監視対象の船舶Ｓの識別データの選択を受け付ける（ステップＳ３０１）。処理部３０は、選択された識別データを含むリクエストを情報処理装置１へ送信する（ステップＳ３０２）。処理部３０は、出力装置３の操作者のアカウントに対し監視対象として許可され、且つ荷役中である船舶Ｓのリストを表示部３３に表示し、リストの中から荷役監視対象の選択を受け付けてもよい。
　情報処理装置１の処理部１０は、出力装置３からリクエストを受信する（ステップＳ１２１）。処理部１０は、リクエスト元の出力装置３の操作者のアカウント及び対象の船舶Ｓの識別データを特定する（ステップＳ１２２）。処理部１０は、特定した船舶Ｓの識別データに対応付けて記憶部１１に記憶されている直近の荷役の進捗度のデータを読み出す（ステップＳ１２３）。ステップＳ１２３において処理部１０は、船舶Ｓの識別データに対して他のサービスなどで逐次取得可能な航行情報（船舶Ｓの位置など）から荷役監視の対象として適切であるか、操作者のアカウントに対して出力可能であるか、などの承認処理を実行してもよい。
　処理部１０は、読み出した荷役の進捗度のデータを含む画面を作成し（ステップＳ１２４）、作成した画面のデータを出力装置３へ送信する（ステップＳ１２５）。ステップＳ１２４において処理部１０は、例えば、荷役の進捗度のデータとして、積み下ろし又は積み込みの回数、即ち、所定の動作条件を満たしたと判定された回数（貨物を吊ったフックの範囲Ｆが所定の境界Ｌを跨いだ回数）の数字を含む画面を作成する。処理部１０は、この画面に、積み下ろし又は積み込みの回数の時間変化を示すグラフを含めて作成してもよい。処理部１０は、積み下ろし又は積み込みの回数の増加速度から荷役の進捗速度を算出し、この進捗速度（増加速度）を示す数字を含む画面を作成してもよい。処理部１０は、ステップＳ１２４において、積み下ろし又は積み込みの予定回数に対する積み下ろし又は積み込みの回数の割合を算出し、進捗度として示す画面を作成してもよい。処理部１０は、予定回数のデータを、船舶Ｓの識別データに対応付けて記憶してある荷役予定のデータから取得することができる場合、この割合を進捗度として含む画面を作成できる。処理部１０は、予定回数のデータを取得できる場合、現状の進捗度と、現状の進捗度に至るまでに要した時間とに基づき、積み下ろし又は積み込みの完了時刻（荷役終了時刻）を推定し、推定された荷役終了時刻を進捗度のデータと併せて含む画面を作成してもよい。処理部１０は、カメラ２から得られる画像を含めて画面を作成してもよい。
　出力装置３の処理部３０は、画面のデータを受信し（ステップＳ３０３）、受信したデータに基づき、監視対象の船舶Ｓにおける荷役の進捗度のデータを示す画面を表示部３３に表示する（ステップＳ３０４）。ステップＳ３０４で表示される画面は、クライアントプログラムにより所定の時間経過の都度に更新されて最新の進捗度のデータが示されるとよい。
　情報処理装置１の処理部１０は、ステップＳ１２４に加えて、進捗度を知らせる音声を作成して出力装置３へ送信するようにしてもよい。
　図１１は、表示画面の一例の説明図である。図１１は、クライアントプログラムに基づき表示部３３に表示される表示画面３３０の一例を示す。図１１に示す表示画面３３０は、荷役の進捗度のデータとして、積み下ろし又は積み込みの回数の時間変化を示すグラフ３３１を含む。グラフ３３１の横軸は経過時間を示し、縦軸は回数を示す。図１１に示すグラフ３３１は、積み下ろし又は積み込みの回数は特定の時間に増加しない、つまり荷役が停止していることを示す。グラフ３３１は、積み下ろし又は積み込みの回数が増加しているときの角度はいずれも同様で、荷役の進捗速度は一定であることを示す。表示画面３３０を視認するオペレータは、荷役の停止期間や、荷役の進捗速度をグラフ３３１から把握することができる。情報処理装置１の処理部１０が進捗速度を算出してグラフ３３１と共に表示させる画面を作成してもよい。このようにして、本開示の情報処理システム１００では、表示画面３３０を出力装置３にて出力可能であるため、遠隔から荷役の状況を把握することができる。
　図１２は、表示画面の他の例の説明図である。図１２は、図１１同様に、表示部３３に表示される表示画面３３０の一例を示す。図１２に示す表示画面３３０は、図１１に示した表示画面３３０と同様であるが、異常が疑われる旨の通知がグラフ３３１と共に表示されている。図１２の表示例におけるグラフ３３１は、積み下ろし又は積み込みの回数が、所定時間以上増加せず、平坦な期間を有している。グラフ３３１では、当該平坦な期間に対応する領域が、ハッチングで示すように強調されている。またグラフ３３１の横に、「荷役が停滞しています」という状況を示すテキストが表示されている。このように、荷役の進捗と共に、停滞している状況を遠隔から把握させることができる。
　［第２実施形態］
　第２実施形態では、学習モデルＭ１を用いて画像に写っているフックを検出するのではなく、クレーンのブームの動きやクレーンの骨格のパターンを検出し、荷役の進捗が進んでいるかどうかを判断する。第２実施形態の情報処理システム１００の構成は、後述する情報処理装置１の機能の一部を除き、第１実施形態の情報処理システム１００の構成と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。
　第２実施形態においても処理部１０は、図８に示した処理手順を実行する。ただし、ステップＳ１０２及びステップＳ１０３において、第１実施形態で示したようにクレーンのフックを荷役に関する物体として検出するのではなく、クレーンのブーム、クレーンの回転を認識可能な特定の部分を検出する。あるいはステップＳ１０２及びステップＳ１０３において処理部１０は、貨物の吊り上げ及び吊り下げの際に特定の動きをするクレーンの骨格部分を、荷役に関する物体として検出する。このため、第２実施形態では、学習モデルＭ１は、クレーンのフックではなく、クレーンの回転軸や関節部分など特定の部分を検出するように教師データを用いて学習されている。
　ステップＳ１０５において処理部１０は、ステップＳ１０２及びステップＳ１０３で検出した部分の動きをトラッキングする。具体的に処理部１０は、ブームなどの回転部分の回転をトラッキングするか、又は、骨格部分の開き方又は閉じ方をトラッキングする。
　ステップＳ１０７において処理部１０は、トラッキングに基づきクレーンの回転量が所定量以上であるということと、その際のクレーンのフックに、貨物が吊り下げられていることを確認できるか否かを判定する。処理部１０は、フックの移動速度が所定速度以上であるいう条件が満たされるか否かを判定してもよい。学習モデルＭ１として、連続する複数の画像（動画）を入力すると回転量を出力するように学習されたものを用い、ステップＳ１０２－Ｓ１０７までの処理を実行するようにしてもよい。
　ステップＳ１０７において処理部１０は他に、トラッキングの結果、クレーンの骨格の変化のパターンが所定パターンを満たすことと、その際のクレーンのフックに、貨物が吊り下げられていることを確認できるか否かを判断する。学習モデルＭ１として、連続する複数の画像（動画）を入力すると、動きを判定するように学習されたものを用い、ステップＳ１０２－Ｓ１０７までの処理を実行するようにしてもよい。
　情報処理装置１は、その他のステップＳ１０８～Ｓ１１１の処理を第１実施形態同様に実行する。これにより、カメラ２から得られる画像を用いて荷役に関する物体の動きを検出し、その動きをトラッキングした結果から、荷役の進捗を自動的に数値化できる。第２実施形態においても、情報処理装置１は、荷役の進捗のデータを出力装置３の表示部３３から出力させる。これにより、荷役の現場において目視で進捗を確認することなく、遠隔から進捗を把握することが可能となる。
　フックのみならず第２実施形態で示したようなくクレーンのブームの動きや、骨格の開き方のパターンなどによって荷役が進捗しているかを計測できる。クレーンのタイプや、フックの模様などの種々の事情に応じて、荷役に関する物体の検出及びトラッキングを適切に選択できることでより正確に荷役の進捗をオペレータに認識させることが可能となる。
　［第３実施形態］
　第３実施形態では、１つの船舶Ｓにおける荷役で２つ以上のクレーンを用いる場合に対応する。第３実施形態の情報処理システム１００の構成は、後述する情報処理装置１の機能の一部を除き、第１実施形態の情報処理システム１００の構成と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。
　図１３及び図１４は、第３実施形態の情報処理装置１による処理手順の一例を示すフローチャートである。
　第３実施形態において情報処理装置１の処理部１０は、取得部１０１の機能により、第１通信部１２を介してカメラ２から画像を取得する（ステップＳ１３１）。
　処理部１０は、ステップＳ１３１で取得した画像から、複数の領域を抽出する（ステップＳ１３２）。ステップＳ１３２において処理部１０は、予め設定される領域を指定する座標データに基づき領域を抽出する。領域を指定する座標データは、カメラ２が設置されている船舶Ｓの識別データに対応付けて、記憶部１１に記憶されてもよいし、船舶Ｓが停泊している埠頭（港）の識別データに対応付けて記憶されてもよい。領域を指定する座標データは、処理の開始前にオペレータが操作する出力装置３を通じて、表示がされる画像を確認しながら指定されるようにしてもよい。領域を指定する座標データは、荷役に用いられるクレーンの種類や数に応じて予め設定されていてもよい。この場合、処理部１０はクレーンの種類や数を認識するか、若しくは、オペレータからの選択に応じて、クレーンの種類や数に対応する設定データに基づき領域を抽出する。
　処理部１０は、抽出した領域ごとに、領域の画像を学習モデルＭ１に与える（ステップＳ１３３）。処理部１０は、学習モデルＭ１から抽出した領域それぞれに対する検出結果を取得する（ステップＳ１３４）。
　処理部１０は、記憶部１１に、ステップＳ１３１で取得した画像と、検出結果とを領域ごとに時間情報に対応付けて記憶する（ステップＳ１３５）。ステップＳ１３５において処理部１０は、船舶Ｓごとに時系列に検出結果を読み出せるように、船舶Ｓの識別データを対応付けて記憶する。
　処理部１０は、抽出した異なる領域ごとに、検出結果と過去の検出結果とを照合して荷役に関する物体の動きをトラッキングする（ステップＳ１３６）。ステップＳ１３５の処理は領域ごとに、第１実施形態のステップＳ１０５と同様の処理を実行する。処理部１０は、ステップＳ１３６のトラッキング結果を、領域ごとに記憶部１１に記憶（追記）する（ステップＳ１３７）。
　処理部１０は、領域ごとに、トラッキングの結果に基づき、荷役に関する物体の動きが所定の動作条件を満たすか否かを判定する（ステップＳ１３８）。ステップＳ１３８の領域ごとの処理は、第１実施形態の図８のステップＳ１０７と同様であるから、詳細な説明を省略する。
　処理部１０は、ステップＳ１３８で、領域それぞれについて、所定の動作条件を満たすと判定した場合（Ｓ１３８：ＹＥＳ）、船舶Ｓの識別データ及び時間情報に対応付けて、荷役の進捗度を所定単位で進め、記憶する（ステップＳ１３９）。ステップＳ１３９において処理部１０は、１つの領域で所定の動作条件を満たしていると判定した場合、対象の領域に対応するクレーンでの荷役の進捗度を１つ分進める。処理部１０は、２つの領域で所定の動作条件を満たしていると判定した場合、それぞれの領域に対応する２つのクレーンでの荷役の進捗度を１つずつ進める。３つ以上であっても同様である。処理部１０は、抽出した領域ごとのクレーンの動きの動作条件に対する判定に基づき、対象の船舶Ｓの荷役全体の進捗を進めてもよい。処理部１０は、２つの領域それぞれで所定の動作条件を満たしていると判定した場合、荷役の進捗度を２つ分進めてもよい。
　処理部１０は、荷役が終了したか否かを判断する（ステップＳ１４０）。処理部１０は、荷役が終了していないと判断した場合（Ｓ１４０：ＮＯ）、処理をステップＳ１３１へ戻す。ステップＳ１４０の処理は、第１実施形態の図８のステップＳ１０９と同様であるから詳細な説明を省略する。
　ステップＳ１４０にて処理部１０は、荷役が終了したと判断した場合（Ｓ１４０：ＹＥＳ）、処理を終了する。
　処理部１０は、ステップＳ１３８にて所定の動作条件を満たしていないと判定した場合（Ｓ１３８：ＮＯ）、すなわち、いずれの領域においても所定の動作条件を満たしていないと判定された場合、異常が疑われるか否かを判断する（ステップＳ１４１）。ステップＳ１４１の処理は、第１実施形態の図８のステップＳ１１０と同様であるから詳細な説明を省略する。処理部１０は、いずれか領域にて荷役の進捗が進んでいると判断される場合、ステップＳ１４１の判断をスキップしてよい。
　処理部１０は、異常が疑われないと判断した場合（Ｓ１４１：ＮＯ）、そのまま処理をステップＳ１４０へ進める。
　処理部１０は、異常が疑われると判断した場合（Ｓ１４１：ＹＥＳ）、船舶Ｓの識別データ及び時間情報に対応付けて、異常が疑われる状態であることを記憶部１１に記憶し（ステップＳ１４２）、処理をステップＳ１４０へ進める。
　図１５は、第３実施形態の情報処理装置１の処理内容の説明図である。図１５は、図６と同様に、埠頭に停泊した船舶Ｓで荷役中に撮影された画像を線図で示し、その線図上に、抽出される異なる領域を示す領域Ｒ１及びＲ２を重畳して示している。領域Ｒ１及び領域Ｒ２は、太い一点破線で示す。図１５では、線図上に所定の境界Ｌも重畳して示す。
　領域Ｒ１は、画像に写る船体及び埠頭のうち、奥側に写る貨物室に対して設定されている。領域Ｒ２は、画像に写る船体及び埠頭の手前側に移る貨物室に対して設定されている。処理部１０は、領域Ｒ１及び領域Ｒ２それぞれについて、例えばクレーンのフックが写っている領域を検出し、その領域の移動と貨物がフックの先に吊り下げられているか否かを判断する。
　図１５に示す画像例では、領域Ｒ１及び領域Ｒ２は重複している。図１５のように奥側と手前側とを区別して抽出する場合、いずれの領域Ｒ１及びＲ２にも、他方に対応するクレーンのフックが写る。したがって図１５に示す画像例では、処理部１０は、クレーンのフックが検出される範囲Ｆのサイズによって検出結果を採用する。例えば処理部１０は、領域Ｒ１については所定のサイズ以下の範囲Ｆについては検出結果を採用し、所定のサイズ超の範囲Ｆについては領域Ｒ２側の物体であるとして検出結果を採用しない。同様にして処理部１０は、領域Ｒ２については所定のサイズ超の範囲Ｆについては検出結果を採用し、所定のサイズ以下の範囲Ｆについては領域Ｒ２側の物体であるとして検出結果を採用しない。そのほか処理部１０は、吊り下げられている貨物の大きさなどでも検出結果の採用と不採用とを判別してもよい。
　図１５に示すような領域Ｒ１及び領域Ｒ２の設定は、カメラ２ごと、また対応するクレーンの数など沿岸側の設備によっても異なる。したがって異なる領域についての設定データは、逐一荷役の開始前に設定されるか、もしくは予めカメラ２の設置環境（船舶Ｓ）と、埠頭の設備との組み合わせに応じて設定されているとよい。なお、領域Ｒ１と領域Ｒ２とが重複しないように設定されていてもよい。
　このように、１つの貨物船に対して複数のクレーンを用いて同時並行的に荷役が実行される場合であっても、領域を区別した画像を用いて検出することによって進捗を算出することが可能である。
　［第４実施形態］
　第４実施形態では、情報処理装置１は貨物船に設置され、処理結果を、ネットワークＮを介して陸上に設置されたサーバ装置４を介して出力装置３へ送信する。図１６は、第４実施形態における情報処理システム２００の概要図である。第４実施形態では、情報処理装置１は通信装置２１を介さずにカメラ２と、船上に敷設されたネットワークＳＮにより通信接続される。情報処理装置１は、衛星通信、キャリアネットワークなどの通信媒体を含むネットワークＮを介して船外のサーバ装置４との通信を実現する。情報処理装置１は、通信装置２１によりネットワークＮに通信接続することとしてもよい。
　第４実施形態では、陸上にサーバ装置４が設けられる。サーバ装置４は、情報処理装置１から送信されるデータを記憶し、出力装置３からのリクエストに応じて荷役の進捗に関するデータを出力する装置である。
　第４実施形態において情報処理装置１は、画像を船外に送信しなくてもよく、船上に設置されるため、演算資源が比較的少ないエッジコンピュータを用いる。情報処理装置１は、他の機能を合わせて実行するため、複数のエッジコンピュータで分散して処理を実行するように構成されてもよい。第４実施形態において情報処理装置１の第１通信部１２は、カメラ２との通信接続を実現する通信デバイスとして、有線ＬＡＮ、ＷｉＦｉ用の無線通信デバイス、同軸ケーブル、ＵＳＢ、Bluetooth（登録商標）等の近距離無線通信デバイスであってよい。第２通信部１３は、サーバ装置４を介して出力装置３との通信接続を実現する通信デバイスである。第２通信部１３は、衛星通信によって通信する通信デバイスであってもよいし、ＡＩＳ専用周波数によって通信する通信デバイスであってもよい。第１通信部１２は、キャリアネットワーク用の無線通信デバイスであってもよいし、ＷｉＦｉ用の無線通信デバイスであってもよい。第４実施形態において記憶部１１には、出力装置３にて画面を表示させるための画像とそのデザイン（配置）は記憶されなくてよい。記憶部１１は、その他の機能と処理は基本的に、第１実施形態と同様であるから詳細な説明を省略する。
　図１７は、サーバ装置４の構成を示すブロック図である。処理部４０と、記憶部４１と、第１通信部４２と、第２通信部４３とを備える。処理部４０は、一または複数のＣＰＵ、ＭＰＵ、ＧＰＵなどの演算処理装置を含む。処理部４０は、ＳＲＡＭ、ＤＲＡＭなどの一時記憶媒体を含む。
　記憶部４１は、ＳＳＤ、ハードディスクなどの比較的大容量の不揮発性記憶媒体である。記憶部４１は、サーバプログラムを記憶しており、出力装置３にて画面を表示させるための画像と、そのデザイン（配置）とを記憶する。
　記憶部４１は、情報処理装置１から送信されるデータを、情報処理装置１の識別データ、又は情報処理装置１が設置されている船舶の識別データに対応付けて記憶する。
　第１通信部４２は、情報処理装置１との通信接続を実現する通信デバイスである。第１通信部４２は、衛星通信によって通信する通信デバイスであってもよいし、ＡＩＳ専用周波数によって通信する通信デバイスであってもよい。第１通信部４２は、キャリアネットワーク用の無線通信デバイスであってもよいし、ＷｉＦｉ用の無線通信デバイスであってもよい。
　第２通信部４３は、出力装置３との通信接続を実現する通信デバイスである。第２通信部４３は、公衆通信網及びキャリアネットワークを含むネットワークＮを介して出力装置３からの通信接続を可能とする。第２通信部４３は、有線ＬＡＮ用ネットワークカードであってもよいし、キャリアネットワークを介したキャリア通信を実現する通信デバイスであってもよいし、ＷｉＦｉ又はBluetooth（登録商標）等の無線ネットワークに対応する通信デバイスであってもよい。
　図１８は、第４実施形態の情報処理装置１による処理手順の一例を示すフローチャートである。図１８に示す処理手順のうち、第１実施形態の図８に示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。
　第４実施形態において処理部１０は、図８に示したステップＳ１０１からＳ１０８の処理を同様に実行する。処理部１０は、船舶Ｓの識別データ及び時間情報に対応付けて荷役の進捗度を所定単位で進めて記憶すると（Ｓ１０８）、船舶Ｓの識別データ及び時間情報に対応付けて荷役の進捗度を、第２通信部１３からサーバ装置４へ送信する（ステップＳ１５１）。
　処理部１０は、ステップＳ１０９－Ｓ１１１の処理を同様に実行する。処理部１０はステップＳ１１０において異常が疑われると判断した場合（Ｓ１１０：ＹＥＳ）、異常が疑われることを記憶部１１に記憶する（Ｓ１１１）ことに加え、サーバ装置４へ通知する（ステップＳ１５２）。ステップＳ１５２において処理部１０は、船舶Ｓの識別データに対応付けて異常通知をサーバ装置４へ送信する。サーバ装置４は、異常通知を情報処理装置１から受信した場合、対応付けられている船舶Ｓの識別データに対応付けられているアカウントの出力装置３に対してプッシュ通知を出力するようにしてもよい。
　上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。
　また、特許請求の範囲に記載した独立請求項および従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。
　以上の実施の形態に関し、更に以下の付記を開示する。
　（付記１）
　貨物船の船体と周辺環境とを含む複数の画像を時系列に取得する取得部と、
　前記複数の画像それぞれから荷役に関する物体を検出する検出部と、
　前記複数の画像にわたる前記物体の動きをトラッキングする追跡部と、
　トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する判定部と
　を備える情報処理装置。
　（付記２）
　前記判定部の判定結果に基づいて、荷役の進捗を計測する計測部と、
　前記計測部により計測された前記貨物船の荷役の進捗に関するデータを出力する出力部と
　を備える付記１に記載の情報処理装置。
　（付記３）
　前記検出部は、画像が入力された場合に、前記画像に荷役に関する物体が写っているか否かを判断し、前記物体が写っている場合に前記物体の画像内の位置を出力するように学習されている学習モデルを用いて前記物体を検出する
　付記１又は２に記載の情報処理装置。
　（付記４）
　前記荷役に関する物体は、クレーンの一部又は貨物である
　付記１から３のいずれか１つに記載の情報処理装置。
　（付記５）
　前記判定部は、前記所定の動作条件として、前記画像に対して設定される前記船体と船外との所定の境界を前記物体が跨いだという条件が満たされるか否かを判定する
　付記１から４のいずれか１つに記載の情報処理装置。
　（付記６）
　前記判定部は、前記所定の動作条件として、前記物体の移動速度が所定値以上であるという条件が満たされるか否かを判定する
　付記１から５のいずれか１つに記載の情報処理装置。
　（付記７）
　前記判定部は、前記所定の動作条件として、クレーンの回転量が所定量以上であるという条件が満たされるか否かを判定する
　付記４から６のいずれか１つに記載の情報処理装置。
　（付記８）
　前記判定部は、前記所定の動作条件として、クレーンの骨格の変化のパターンが所定パターンである条件が満たされるか否かを判定する
　付記４から７のいずれか１つに記載の情報処理装置。
　（付記９）
　前記判定部は、前記所定の動作条件として、さらにクレーンにて貨物が運ばれていることが認識されているという条件が満たされるか否かを判定する
　付記４から８のいずれか１つに記載の情報処理装置。
　（付記１０）
　前記計測部は、荷役の進捗として、前記貨物船の貨物の積み下ろし又は積み込みの回数を計測する
　付記１から９のいずれか１つに記載の情報処理装置。
　（付記１１）
　前記計測部は、荷役の進捗として、前記貨物船での荷役作業の予定回数に対する前記貨物の積み下ろし又は積み込みの回数の割合を計測する
　付記２から１０のいずれか１つに記載の情報処理装置。
　（付記１２）
　前記計測部は、荷役の進捗として、前記貨物船での貨物の積み下ろし又は積み込みの回数の増加速度に基づき、荷役終了時刻を推定する
　付記２から１１のいずれか１つに記載の情報処理装置。
　（付記１３）
　前記出力部は、
　前記計測部により計測された前記荷役の進捗を示すグラフを含む画面データを作成し、
　作成した画面データを表示装置に出力させる
　付記２から１２のいずれか１つに記載の情報処理装置。
　（付記１４）
　前記検出部は、
　前記複数の画像それぞれから異なる領域を抽出し、
　異なる領域ごとに、前記物体を検出し、
　前記追跡部は、異なる領域ごとに、前記物体の動きをトラッキングする
　付記１から１３のいずれか１つに記載の情報処理装置。
　（付記１５）
　前記取得部は、船体の甲板の上面を画角に含めるように貨物船に設置されたカメラから画像を取得する
　付記１から１４のいずれか１つに記載の情報処理装置。
　（付記１６）
　船体の甲板の上面を画角に含めるように貨物船に設置されたカメラと、
　前記カメラにて撮影される画像を取得する情報処理装置と
　を含み、
　前記情報処理装置は、
　貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、
　前記複数の画像それぞれから荷役に関する物体を検出し、
　前記複数の画像にわたる前記物体の動きをトラッキングし、
　前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する
　情報処理システム。
　（付記１７）
　コンピュータが、
　貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、
　前記複数の画像それぞれから荷役に関する物体を検出し、
　前記複数の画像にわたる前記物体の動きをトラッキングし、
　前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する
　情報処理方法。
　（付記１８）
　コンピュータに、
　貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、
　前記複数の画像それぞれから荷役に関する物体を検出し、
　前記複数の画像にわたる前記物体の動きをトラッキングし、
　前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する
　処理を実行させるコンピュータプログラム。
用語
　必ずしも全ての目的または効果・利点が、本明細書中に記載される任意の特定の実施形態に則って達成され得るわけではない。従って、例えば当業者であれば、特定の実施形態は、本明細書中で教示または示唆されるような他の目的または効果・利点を必ずしも達成することなく、本明細書中で教示されるような1つまたは複数の効果・利点を達成または最適化するように動作するように構成され得ることを想到するであろう。
　本明細書中に記載される全ての処理は、1つまたは複数のコンピュータまたはプロセッサを含むコンピューティングシステムによって実行されるソフトウェアコードモジュールにより具現化され、完全に自動化され得る。コードモジュールは、任意のタイプの非一時的なコンピュータ可読媒体または他のコンピュータ記憶装置に記憶することができる。一部または全ての方法は、専用のコンピュータハードウェアで具現化され得る。
　本明細書中に記載されるもの以外でも、多くの他の変形例があることは、本開示から明らかである。例えば、実施形態に応じて、本明細書中に記載されるアルゴリズムのいずれかの特定の動作、イベント、または機能は、異なるシーケンスで実行することができ、追加、併合、または完全に除外することができる (例えば、記述された全ての行為または事象がアルゴリズムの実行に必要というわけではない)。さらに、特定の実施形態では、動作またはイベントは、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して、または他の並列アーキテクチャ上で、逐次ではなく、並列に実行することができる。さらに、異なるタスクまたはプロセスは、一緒に機能し得る異なるマシンおよび/またはコンピューティングシステムによっても実行され得る。
　本明細書中に開示された実施形態に関連して説明された様々な例示的論理ブロックおよびモジュールは、プロセッサなどのマシンによって実施または実行することができる。プロセッサは、マイクロプロセッサであってもよいが、代替的に、プロセッサは、コントローラ、マイクロコントローラ、またはステートマシン、またはそれらの組み合わせなどであってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはコンピュータ実行可能命令を処理することなく論理演算を実行する他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、デジタル信号プロセッサ(デジタル信号処理装置)とマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。本明細書中では、主にデジタル技術に関して説明するが、プロセッサは、主にアナログ素子を含むこともできる。例えば、本明細書中に記載される信号処理アルゴリズムの一部または全部は、アナログ回路またはアナログとデジタルの混合回路により実装することができる。コンピューティング環境は、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または装置内の計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない任意のタイプのコンピュータシステムを含むことができる。
　特に明記しない限り、「できる」「できた」「だろう」または「可能性がある」などの条件付き言語は、特定の実施形態が特定の特徴、要素および/またはステップを含むが、他の実施形態は含まないことを伝達するために一般に使用される文脈内での意味で理解される。従って、このような条件付き言語は、一般に、特徴、要素および/またはステップが1つ以上の実施形態に必要とされる任意の方法であること、または1つ以上の実施形態が、これらの特徴、要素および/またはステップが任意の特定の実施形態に含まれるか、または実行されるかどうかを決定するための論理を必然的に含むことを意味するという訳ではない。
　語句「X、Y、Zの少なくとも1つ」のような選言的言語は、特に別段の記載がない限り、項目、用語等が X, Y, Z、のいずれか、又はそれらの任意の組み合わせであり得ることを示すために一般的に使用されている文脈で理解される(例: X、Y、Z)。従って、このような選言的言語は、一般的には、特定の実施形態がそれぞれ存在するXの少なくとも1つ、Yの少なくとも1つ、またはZの少なくとも1つ、の各々を必要とすることを意味するものではない。
　本明細書中に記載されかつ/または添付の図面に示されたフロー図における任意のプロセス記述、要素またはブロックは、プロセスにおける特定の論理機能または要素を実装するための1つ以上の実行可能命令を含む、潜在的にモジュール、セグメント、またはコードの一部を表すものとして理解されるべきである。代替の実施形態は、本明細書中に記載された実施形態の範囲内に含まれ、ここでは、要素または機能は、当業者に理解されるように、関連する機能性に応じて、実質的に同時にまたは逆の順序で、図示または説明されたものから削除、順不同で実行され得る。
　特に明示されていない限り、「一つ」のような数詞は、一般的に、1つ以上の記述された項目を含むと解釈されるべきである。従って、「～するように設定された一つのデバイス」などの語句は、1つ以上の列挙されたデバイスを含むことを意図している。このような1つまたは複数の列挙されたデバイスは、記載された引用を実行するように集合的に構成することもできる。例えば、「以下のA、BおよびCを実行するように構成されたプロセッサ」は、Aを実行するように構成された第1のプロセッサと、BおよびCを実行するように構成された第2のプロセッサとを含むことができる。加えて、導入された実施例の具体的な数の列挙が明示的に列挙されたとしても、当業者は、このような列挙が典型的には少なくとも列挙された数(例えば、他の修飾語を用いない「2つの列挙と」の単なる列挙は、通常、少なくとも2つの列挙、または2つ以上の列挙を意味する)を意味すると解釈されるべきである。
　一般に、本明細書中で使用される用語は、一般に、「非限定」用語(例えば、「～を含む」という用語は「それだけでなく、少なくとも～を含む」と解釈すべきであり、「～を持つ」という用語は「少なくとも～を持っている」と解釈すべきであり、「含む」という用語は「以下を含むが、これらに限定されない。」などと解釈すべきである。) を意図していると、当業者には判断される。
　説明の目的のために、本明細書中で使用される「水平」という用語は、その方向に関係なく、説明されるシステムが使用される領域の床の平面または表面に平行な平面、または説明される方法が実施される平面として定義される。「床」という用語は、「地面」または「水面」という用語と置き換えることができる。「垂直/鉛直」という用語は、定義された水平線に垂直/鉛直な方向を指します。「上側」「下側」「下」「上」「側面」「より高く」「より低く」「上の方に」「～を越えて」「下の」などの用語は水平面に対して定義されている。
　本明細書中で使用される用語の「付着する」、「接続する」、「対になる」及び他の関連用語は、別段の注記がない限り、取り外し可能、移動可能、固定、調節可能、及び/または、取り外し可能な接続または連結を含むと解釈されるべきである。接続/連結は、直接接続及び/または説明した2つの構成要素間の中間構造を有する接続を含む。
　特に明示されていない限り、本明細書中で使用される、「およそ」、「約」、および「実質的に」のような用語が先行する数は、列挙された数を含み、また、さらに所望の機能を実行するか、または所望の結果を達成する、記載された量に近い量を表す。例えば、「およそ」、「約」及び「実質的に」とは、特に明示されていない限り、記載された数値の10%未満の値をいう。本明細書中で使用されているように、「およそ」、「約」、および「実質的に」などの用語が先行して開示されている実施形態の特徴は、さらに所望の機能を実行するか、またはその特徴について所望の結果を達成するいくつかの可変性を有する特徴を表す。
　上述した実施形態には、多くの変形例および修正例を加えることができ、それらの要素は、他の許容可能な例の中にあるものとして理解されるべきである。そのような全ての修正および変形は、本開示の範囲内に含まれることを意図し、以下の請求の範囲によって保護される。
　１　情報処理装置
　１０　処理部
　１１　記憶部
　１２　通信部
　Ｐ１　情報処理プログラム（コンピュータプログラム）
　Ｍ１　学習モデル
　２　カメラ
　３　出力装置
　３０　処理部
　３２　通信部
　３３　表示部
　３３０　表示画面

Claims (18)

  1. 　貨物船の船体と周辺環境とを含む複数の画像を時系列に取得する取得部と、
    　前記複数の画像それぞれから荷役に関する物体を検出する検出部と、
    　前記複数の画像にわたる前記物体の動きをトラッキングする追跡部と、
    　トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する判定部と
    　を備える情報処理装置。
  2. 　前記判定部の判定結果に基づいて、荷役の進捗を計測する計測部と、
    　前記計測部により計測された前記貨物船の荷役の進捗に関するデータを出力する出力部と
    　を備える請求項１に記載の情報処理装置。
  3. 　前記検出部は、画像が入力された場合に、前記画像に荷役に関する物体が写っているか否かを判断し、前記物体が写っている場合に前記物体の画像内の位置を出力するように学習されている学習モデルを用いて前記物体を検出する
    　請求項１に記載の情報処理装置。
  4. 　前記荷役に関する物体は、クレーンの一部又は貨物である
    　請求項１に記載の情報処理装置。
  5. 　前記判定部は、前記所定の動作条件として、前記画像に対して設定される前記船体と船外との所定の境界を前記物体が跨いだという条件が満たされるか否かを判定する
    　請求項１に記載の情報処理装置。
  6. 　前記判定部は、前記所定の動作条件として、前記物体の移動速度が所定値以上であるという条件が満たされるか否かを判定する
    　請求項１に記載の情報処理装置。
  7. 　前記判定部は、前記所定の動作条件として、クレーンの回転量が所定量以上であるという条件が満たされるか否かを判定する
    　請求項４に記載の情報処理装置。
  8. 　前記判定部は、前記所定の動作条件として、クレーンの骨格の変化のパターンが所定パターンである条件が満たされるか否かを判定する
    　請求項４に記載の情報処理装置。
  9. 　前記判定部は、前記所定の動作条件として、さらにクレーンにて貨物が運ばれていることが認識されているという条件が満たされるか否かを判定する
    　請求項５から８のいずれか１項に記載の情報処理装置。
  10. 　前記計測部は、荷役の進捗として、前記貨物船の貨物の積み下ろし又は積み込みの回数を計測する
    　請求項２に記載の情報処理装置。
  11. 　前記計測部は、荷役の進捗として、前記貨物船での荷役作業の予定回数に対する前記貨物の積み下ろし又は積み込みの回数の割合を計測する
    　請求項１０に記載の情報処理装置。
  12. 　前記計測部は、荷役の進捗として、前記貨物船での貨物の積み下ろし又は積み込みの回数の増加速度に基づき、荷役終了時刻を推定する
    　請求項１０に記載の情報処理装置。
  13. 　前記出力部は、
    　前記計測部により計測された前記荷役の進捗を示すグラフを含む画面データを作成し、
    　作成した画面データを表示装置に出力させる
    　請求項２に記載の情報処理装置。
  14. 　前記検出部は、
    　前記複数の画像それぞれから異なる領域を抽出し、
    　異なる領域ごとに、前記物体を検出し、
    　前記追跡部は、異なる領域ごとに、前記物体の動きをトラッキングする
    　請求項１に記載の情報処理装置。
  15. 　前記取得部は、船体の甲板の上面を画角に含めるように貨物船に設置されたカメラから画像を取得する
    　請求項１に記載の情報処理装置。
  16. 　船体の甲板の上面を画角に含めるように貨物船に設置されたカメラと、
    　前記カメラにて撮影される画像を取得する情報処理装置と
    　を含み、
    　前記情報処理装置は、
    　貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、
    　前記複数の画像それぞれから荷役に関する物体を検出し、
    　前記複数の画像にわたる前記物体の動きをトラッキングし、
    　前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する
    　情報処理システム。
  17. 　コンピュータが、
    　貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、
    　前記複数の画像それぞれから荷役に関する物体を検出し、
    　前記複数の画像にわたる前記物体の動きをトラッキングし、
    　前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する
    　情報処理方法。
  18. 　コンピュータに、
    　貨物船の船体と周辺環境とを含む複数の画像を時系列に取得し、
    　前記複数の画像それぞれから荷役に関する物体を検出し、
    　前記複数の画像にわたる前記物体の動きをトラッキングし、
    　前記トラッキングの結果に基づく前記物体の動きが、荷役作業の有無を評価する所定の動作条件を満たすか否かを判定する
    　処理を実行させるコンピュータプログラム。
PCT/JP2025/015012 2024-06-11 2025-04-17 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム Pending WO2025258218A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-094625 2024-06-11
JP2024094625 2024-06-11

Publications (1)

Publication Number Publication Date
WO2025258218A1 true WO2025258218A1 (ja) 2025-12-18

Family

ID=98050386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/015012 Pending WO2025258218A1 (ja) 2024-06-11 2025-04-17 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2025258218A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128619A (ja) * 2003-10-21 2005-05-19 Konica Minolta Holdings Inc 物体計測装置、物体計測方法、およびプログラム
WO2019053449A1 (en) * 2017-09-15 2019-03-21 CargoMate Technologies Limited METHOD AND SYSTEM FOR MONITORING
JP2021021245A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械の作業内容判定システム及び作業判定方法
WO2022034157A1 (en) * 2020-08-11 2022-02-17 Analog Devices International Unlimited Company Zone based object tracking and counting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128619A (ja) * 2003-10-21 2005-05-19 Konica Minolta Holdings Inc 物体計測装置、物体計測方法、およびプログラム
WO2019053449A1 (en) * 2017-09-15 2019-03-21 CargoMate Technologies Limited METHOD AND SYSTEM FOR MONITORING
JP2021021245A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械の作業内容判定システム及び作業判定方法
WO2022034157A1 (en) * 2020-08-11 2022-02-17 Analog Devices International Unlimited Company Zone based object tracking and counting

Similar Documents

Publication Publication Date Title
CN108291880B (zh) 用于检查货柜的布置、方法、装置和软件
CN110182621B (zh) 一种无人化链斗式连续卸船机的数字化系统及控制方法
US9303473B2 (en) Videometric systems and methods for offshore and oil-well drilling
US9909864B2 (en) System, device and method for tracking position and orientation of vehicle, loading device and cargo in loading device operations
CN104297758B (zh) 一种基于2d脉冲式激光雷达的辅助靠泊装置及其方法
US8643509B1 (en) Methods and systems for providing sloshing alerts and advisories
CN104535356A (zh) 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统
EP3810501B1 (en) Ship cargo ramp positioning system
AU2018440246A1 (en) Draft estimation system, draft estimation apparatus, information transmission apparatus, and loading/unloading simulation apparatus
CN114267012B (zh) 船舶类型检测方法、装置、电子设备及可读存储介质
JP2012036645A (ja) 積込量管理システム及び積込量管理方法
CN111178424A (zh) 一种石油化工生产现场安全合规性实时检测系统及方法
WO2019053449A1 (en) METHOD AND SYSTEM FOR MONITORING
CN119461057A (zh) 基于多范式视觉融合的行车起吊监测方法、系统及介质
EP3626673B1 (en) Hoisting machine
WO2025258218A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
EP4425188A1 (en) Method and system to detect repeatable impacts to the corners of the containers by crane spreader hooking mechanism
CN117058211B (zh) 基于激光定位的抓斗防摇碰撞策略控制方法和系统
CN117724502A (zh) 机器人巡检方法以及装置
JP2023149494A (ja) 検査システム、構造体の検査方法、コンピュータプログラム及び記憶媒体
KR20190130278A (ko) 수상구조물 검사 장치 및 수상구조물 검사 방법
CN114923443A (zh) 船舶脱锚检测方法、装置、电子设备及存储介质
CN114604764A (zh) 用于智能塔吊吊钩的松开自动检测控制方法及其装置
TWI800372B (zh) 無人船之視覺輔助航行系統
FI127026B (en) Detecting the Elongated Body Angle of a Ship with LIDAR

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821569

Country of ref document: EP

Kind code of ref document: A1