WO2023007770A1 - 航空機の乗降部を検出するための検出システム - Google Patents

航空機の乗降部を検出するための検出システム Download PDF

Info

Publication number
WO2023007770A1
WO2023007770A1 PCT/JP2022/002158 JP2022002158W WO2023007770A1 WO 2023007770 A1 WO2023007770 A1 WO 2023007770A1 JP 2022002158 W JP2022002158 W JP 2022002158W WO 2023007770 A1 WO2023007770 A1 WO 2023007770A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
boarding
image
camera
captured
Prior art date
Application number
PCT/JP2022/002158
Other languages
English (en)
French (fr)
Inventor
隆 國武
Original Assignee
新明和工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新明和工業株式会社 filed Critical 新明和工業株式会社
Priority to JP2023538216A priority Critical patent/JP7449454B2/ja
Publication of WO2023007770A1 publication Critical patent/WO2023007770A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/30—Ground or aircraft-carrier-deck installations for embarking or disembarking passengers
    • B64F1/305—Bridges extending between terminal building and aircraft, e.g. telescopic, vertically adjustable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a detection system for detecting an aircraft landing section.
  • a passenger boarding bridge is known as a facility that serves as a pedestrian passageway for passengers between the airport terminal building and the aircraft.
  • the passenger boarding bridge consists of a rotunda connected to the terminal building and supported horizontally rotatably, a tunnel section connected to the rotunda at its base end and configured to extend and retract, and a rotatable section provided at the tip of the tunnel section to hold the aircraft. and a drive column provided as a support leg near the tip of the tunnel.
  • the drive column includes an elevating device that supports and vertically moves the tunnel section, and a traveling device that is provided below the elevating device and has a pair of traveling wheels. It has been proposed to automate the movement of such passenger boarding bridges (see Patent Documents 1 and 2 below, for example).
  • a camera is attached to the cab to photograph the boarding and alighting section of an aircraft, and when the cab is in a predetermined standby position, the horizontal position of the boarding and alighting section is based on the image of the boarding and alighting section captured by the camera. Information is calculated, based on this horizontal position information, a target position to which the cab is to be moved for mounting it on the boarding/alighting section is calculated, and the cab at the standby position is moved toward the target position. ing.
  • Patent Document 2 describes a configuration in which two cameras, first and second, are provided in a head portion (cab) that can be connected to the boarding gate of an aircraft. Then, when an input to start driving is made on the operation panel, the traveling drive section starts wheel traveling, and when the head section reaches several meters in front of the aircraft, the first feature of the aircraft is captured by the first and second cameras. Imaging of the part and the second feature is started. Then, using the images captured by the first and second cameras, the position of the target point of the aircraft entrance/exit is calculated, the relative position and relative angle of the head portion with respect to the aircraft entrance/exit are calculated, and control correction is performed based on these. It describes calculating a quantity on the basis of which various drives are driven to move the head towards a target point on the aircraft.
  • the present disclosure has been made in order to solve the above-described problems. It is an object of the present invention to provide a detection system capable of accurately detecting corresponding to
  • a detection system for detecting a boarding/alighting section of an aircraft, comprising a passenger boarding bridge connected to a terminal building, a camera provided on the passenger boarding bridge, and the camera and an image processing device for detecting the boarding/alighting section of the aircraft from the photographed image, wherein the image processing device divides a predetermined region including part of the photographed image to generate a search region image.
  • a search area image generation unit ; and a search execution unit that searches whether or not the boarding/alighting unit exists in the search area image. from one side to the other side in the axial direction of the aircraft, the search area image is sequentially generated, and the search execution unit uses the plurality of search area images that are sequentially generated to generate the search area image The search is repeated while changing .
  • a plurality of search area images divided into predetermined areas including part of the captured image are generated from the captured image captured by the camera provided on the passenger boarding bridge.
  • a plurality of search area images are generated by moving a predetermined area from one side to the other side in the aircraft axis direction. Therefore, by repeatedly searching for the boarding/alighting section while changing the search area image using a plurality of sequentially generated search area images, the boarding/alighting section of the entire photographed image can be obtained while moving the search area in the direction along the axis of the aircraft. can be searched.
  • This makes it possible to uniformly search for boarding/alighting sections regardless of the type of aircraft or the arrangement of gates. Therefore, the position of the boarding/alighting section of the aircraft can be accurately detected corresponding to various gate arrangements.
  • the search area image generation unit includes projectively transforming a virtual plane perpendicular to the horizontal plane and parallel to the axis in the captured image so as to be an image when viewed from a direction perpendicular to the virtual plane. It's okay.
  • the search area image is generated as an image parallel to the axis. Therefore, even if the captured image is captured from an oblique direction of the aircraft, distortion of the shape of the boarding/alighting section to be searched in the search area image can be suppressed. As a result, it is possible to improve the search accuracy of the boarding/alighting section in the search area image.
  • the search area image generation unit may projectively transform the captured image in the predetermined area each time the predetermined area including a portion of the captured image is delimited.
  • the photographed image is projectively transformed for each predetermined area, it is possible to suppress the deterioration of the resolution of the image rather than projectively transforming the entire photographed image and then dividing the predetermined area from the image after the projective transformation. can be done.
  • the detection system includes a photographing direction changing mechanism for changing the photographing direction of the camera by rotating around a predetermined rotation axis extending in a direction intersecting a horizontal plane, and a control for controlling the operation of the photographing direction changing mechanism.
  • the image processing device includes a search range determination unit that determines whether or not the predetermined area after movement is within a predetermined search range and within the captured image, and the controller comprises: is within the search range but not within the captured image, the capturing direction of the camera is changed by the capturing direction changing mechanism, and capturing by the camera is performed again. good.
  • the photographing range per photographed image can be made relatively narrow, the resolution of the search area image obtained from the photographed image can be increased.
  • the passenger boarding bridge includes a first boarding bridge and a second boarding bridge, and the cameras are a first camera provided on the first boarding bridge and a second camera provided on the second boarding bridge.
  • the search area image generation unit sequentially generates the search area image by moving the predetermined area on the captured image captured by the first camera from the front side to the rear side in the aircraft axis direction.
  • the search area image may be generated sequentially by moving the predetermined area from the rear side to the front side in the aircraft axis direction on the captured image captured by the second camera.
  • the aircraft boarding/alighting section to be connected to the first boarding bridge is searched based on the captured image captured by the first camera provided on the first boarding bridge, and the Based on the photographed image photographed by the second camera, a search is made for the boarding/alighting section of the aircraft to which the second boarding bridge should be connected.
  • the search is performed from the front side to the rearward side in the aircraft axis direction, while the boarding/alighting section is searched using the captured image captured by the second camera.
  • the search is performed from the rear side in the axial direction of the aircraft to the front side.
  • the boarding/alighting section in front of the aircraft can be preferentially detected based on the image captured by the first camera, and the boarding/alighting section behind the aircraft can be detected based on the captured image captured by the second camera. can be preferentially detected. Therefore, it is possible to accurately search for the boarding/alighting section to which the first boarding bridge should be connected and the boarding/alighting section to which the second boarding bridge should be connected in a short time.
  • the search execution unit performs a first search using the search area image generated from the captured image captured by the first camera, and a second search using the search area image generated from the captured image captured by the second camera. 2 searches may be performed in parallel. According to the above configuration, since the search for the platform to which the first boarding bridge should connect and the search for the platform to which the second boarding bridge should connect are performed in parallel, the search period can be shortened. can.
  • the search execution unit detects a first position where the boarding/alighting unit is detected in a first search using the search area image generated from the captured image captured by the first camera, and the captured image captured by the second camera.
  • the first position and the second position are included in at least one of the first search range and the second search range, it is determined that one boarding/alighting section is detected by the two searches.
  • the first position and the second position are close to each other, only when it is assumed that the detection of one boarding/alighting section by the two searches is highly reliable, only one boarding/alighting section is detected.
  • FIG. 1 is a schematic plan view showing an example of a passenger boarding bridge to which a detection system according to this embodiment is applied.
  • 2 is a block diagram showing a schematic configuration of a detection system applied to the passenger boarding bridge shown in FIG. 1.
  • FIG. 3 is a flow chart showing the flow of search processing in this embodiment.
  • FIG. 4 is a diagram showing an example of a photographed image according to this embodiment.
  • FIG. 5 is a conceptual diagram for setting a predetermined area in the captured image shown in FIG.
  • FIG. 6 is a diagram showing a comparison between an image after projective transformation of a predetermined region and an image before projective transformation in the present embodiment.
  • FIG. 7 is a flow chart showing an example flow of automatic mounting control processing according to the present embodiment.
  • FIG. 8 is a flow chart showing the same door detection determination process shown in FIG.
  • FIG. 9 is a conceptual diagram of different cases in the same door detection determination process.
  • FIG. 1 is a schematic plan view showing an example of a passenger boarding bridge to which the detection system according to this embodiment is applied.
  • the passenger boarding bridge 1 includes a first boarding bridge 11 and a second boarding bridge 12 .
  • Each boarding bridge 11, 12 has a similar configuration.
  • Each of the boarding bridges 11 and 12 has a rotunda (base circular chamber) 4 connected to the entrance/exit of the terminal building 2 of the airport, and a base end connected to the rotunda 4 so that it can be raised and lowered, so that the boarding bridges 11 and 12 can extend and contract in the longitudinal direction. and a cab (end circular chamber) 6 connected to the end of the tunnel 5 .
  • the rotunda 4 is configured to be horizontally rotatable around a vertically extending first rotation axis R4.
  • the cab 6 is horizontally rotatable about a second rotation axis R6 extending in a direction orthogonal to the bottom surface of the cab 6. As shown in FIG.
  • the tunnel section 5 forms a walking passageway for passengers, and is constructed so that a plurality of tubular tunnels 5a and 5b are telescopically fitted to each other so as to extend and contract in the longitudinal direction.
  • the tunnel section 5 configured by two tunnels 5a and 5b is illustrated here, the tunnel section 5 may be configured by two or more tunnels.
  • the base end of the tunnel portion 5 is connected to the rotunda 4 so as to be swingable about the horizontal axis of rotation (swingable up and down), so that it can be raised and lowered.
  • a drive column 7 is provided as a support leg at the tip of the tunnel portion 5 (tunnel 5a on the tip side). Note that the drive column 7 may be attached to the cab 6 .
  • the drive column 7 is provided with an elevating device 8 for elevating the cab 6 and the tunnel section 5 .
  • the cab 6 and the tunnel portion 5 can swing vertically with the rotunda 4 as a base point.
  • the orientation of the second rotation axis R6, which is the rotation axis of the cab 6 changes according to the inclination of the bottom surface of the cab 6 with respect to the horizontal plane.
  • the second rotation axis R6 extends in a direction that intersects the horizontal plane, and its direction changes according to the vertical swing of the cab 6 and the tunnel portion 5. As shown in FIG.
  • the drive column 7 also includes a travel device 9 for rotating the tunnel portion 5 around the rotunda 4 (around the first rotation axis R4) and for expanding and contracting the tunnel portion 5.
  • the traveling device 9 is provided below the lifting device 8 .
  • the traveling device 9 has, for example, two traveling wheels that can be independently driven forward and backward. By rotating the two running wheels in the same direction (forward rotation or reverse rotation), it is possible to move forward or backward. You can also change the direction of the wheels.
  • the rotunda 4 itself rotates around the first rotation axis R4 to rotate the tunnel portion 5 around the first rotation axis R4. 4 may be fixed to the terminal building 2, and the tunnel part 5 may be rotatably connected to the rotunda 4 around the first rotation axis R4.
  • the cab 6 has a connecting portion 6a at its tip that is connected to the boarding/alighting portions D1 and D2 of the aircraft 3.
  • a closure, a bumper, a distance sensor, and the like are provided on the connecting portion 6a.
  • cameras 21 and 22 for photographing the sides of the aircraft 3 are installed in the cab 6 .
  • Cameras 21 and 22 are provided at the tip of cab 6 .
  • the first camera 21 provided on the first boarding bridge 11 is installed on the inner upper portion of the connecting portion 6 a of the cab 6 .
  • a second camera 22 provided on the second boarding bridge 12 is also installed in the same manner.
  • the cameras 21 and 22 may be provided anywhere at the tip of the cab 6 as long as the side of the aircraft 3 can be photographed. For example, it may be installed in the inner lower part of the connection part 6 a in the cab 6 , or may be installed in the outer upper part or the outer lower part of the cab 6 .
  • a plurality of cameras may be installed for one boarding bridge 11 and 12 .
  • cameras may be installed above and below the cab 6, respectively.
  • the boarding/alighting section D1 of the aircraft 3 to which the first boarding bridge 11 should be connected is searched based on the photographed image G1 photographed by the first camera 21 provided at the tip of the first boarding bridge 11.
  • the boarding/alighting section D2 of the aircraft 3 to which the second boarding bridge 12 should connect is searched.
  • FIG. 2 is a block diagram showing the schematic configuration of the detection system applied to the passenger boarding bridge shown in FIG.
  • the detection system 20 in the present embodiment detects the boarding/alighting section D1, and an image processing device 23 for detecting D2.
  • the detection system 20 includes a storage device 24 for storing data such as photographed images, an image processing program, and the like, and an output device 25 for outputting detection results and the like.
  • These structures 21 , 22 , 23 , 24 , 25 can pass data to each other via communication bus 26 .
  • a controller 30 that controls the boarding bridges 11 and 12 is also connected to the communication bus 26 .
  • the controller 30 is provided, for example, in the cab 6 or the tunnel 5a on the extreme tip side.
  • the controller 30 controls the rotation of the cabs 6 of the boarding bridges 11 and 12 and the elevation and travel of the drive columns 7 .
  • the controller 30 controls the rotation of the shooting direction changing mechanisms 34 and 35 of the cameras 21 and 22 .
  • the cameras 21 and 22 are capable of changing the shooting direction (orientation of the shooting central axes L1 and L2) within the horizontal plane.
  • the detection system 20 includes photographing direction changing mechanisms 34 and 35 that change the photographing directions of the cameras 21 and 22 by rotating around a predetermined rotation axis extending in a direction intersecting the horizontal plane.
  • the shooting direction changing mechanisms 34 and 35 can change the shooting directions of the first camera 21 and the second camera 22 independently of each other.
  • the shooting direction changing mechanisms 34 and 35 may be configured as camera rotation mechanisms that rotate the cameras 21 and 22 relative to the cab 6 .
  • the shooting direction changing mechanisms 34 and 35 may be the cab 6 .
  • the cameras 21 and 22 are fixed to the cab 6, and the cab 6 rotates around a second rotation axis R6 extending in a direction that intersects the horizontal plane. orientation) may be changed.
  • the controller 30 and the image processing device 23 are configured by a computer that performs various calculations and processes based on the data stored in the storage device 24.
  • the controller 30 and the image processing device 23 have a CPU, a main memory (RAM), a communication interface, and the like.
  • the controller 30 and the image processing device 23 may be configured by the same computer, or may be configured by different computers.
  • the output device 25 outputs the calculation or processing results of the controller 30 and the image processing device 23 .
  • the output device 25 is composed of, for example, a monitor that displays calculation results or the like, or a communication device that transmits data to a server or a communication terminal via a communication network.
  • the image processing device 23 and the storage device 24 of the detection system 20 may be configured as a server connected to the cameras 21 and 22 via a communication network. That is, the server acquires the captured images captured by the cameras 21 and 22, performs the search processing described later on the server, and displays the result on the monitor or the display unit of the communication terminal provided in the operation room of the boarding bridges 11 and 12. may be displayed.
  • the controller 30 and the image processing device 23 grasp the position coordinates of each part of the passenger boarding bridges 11 and 12 in real time using a predetermined three-dimensional coordinate system such as an XYZ orthogonal coordinate system.
  • a predetermined three-dimensional coordinate system such as an XYZ orthogonal coordinate system.
  • the positional coordinates of each part of the passenger boarding bridge 1 are expressed as absolute coordinates, with the intersection of the first rotation axis R4 of the rotunda 4 and the plane of the apron EP as the origin (0, 0, 0), and the X axis perpendicular to each other, It is expressed as position coordinates in a three-dimensional coordinate system with Y and Z axes.
  • the X-coordinate value, Y-coordinate value, and Z-coordinate value of the position coordinates are respectively the distance (for example, unit [mm]) from the origin (0, 0, 0), which is the position of the first rotation axis R4 of the rotunda 4. show.
  • Controller 30 and image processing device 23 express the position of each part of aircraft 3 and boarding bridges 11 and 12 as position coordinates using such a three-dimensional orthogonal coordinate system.
  • the image processing device 23 has a search area image generation unit 31, a search execution unit 32, and a search range determination unit 33 as functional blocks in order to perform search processing, which will be described later. These functional blocks partially or wholly include circuits including integrated circuits. Therefore, these configurations 31, 32, 33 can be regarded as circuits. These functional blocks are hardware that performs the enumerated functions, or hardware that is programmed to perform the enumerated functions. The hardware may be the hardware disclosed herein, or other known hardware programmed or configured to perform the recited functions. These functional blocks are a combination of hardware and software, where the hardware is a processor, which is considered a type of circuit, and the software is used to configure the hardware or the processor. The image processing device 23 reads a program for performing search processing stored in the storage device 24 and executes search processing, which will be described later.
  • FIG. 3 is a flow chart showing the flow of search processing in this embodiment. Search processing is performed when the aircraft 3 arrives at a predetermined arrival position. Therefore, each of the boarding bridges 11 and 12 is positioned at an initial position (standby position) avoiding the aircraft 3 as shown in FIG.
  • the storage device 24 stores search range data preset for each of the cameras 21 and 22 .
  • the search range is set as an area along the axis AL direction.
  • the storage device 24 stores the initial angles (data of shooting directions) of the cameras 21 and 22 .
  • the initial angles of the cameras 21 and 22 are such that, at the initial positions of the boarding bridges 11 and 12, at least one end of the search range predetermined for each of the cameras 21 and 22 in the direction of the axis AL is within the angle of view of the cameras 21 and 22. is set to the angle contained in .
  • the first search using the captured image captured by the first camera 21 is performed from the front side of the aircraft 3 in the direction of the axis AL to the rear side. Therefore, the initial angle of the first camera 21 is such that the front end of the search range set for the first camera 21 in the direction of the axis AL is included in the angle of view of the first camera 21 at the initial position of the first boarding bridge 11 . is set to an angle that
  • the second search using the captured image captured by the second camera 22 can be performed from the rear side of the aircraft 3 in the axis AL direction to the front side.
  • the initial angle of the second camera 22 is such that the rear end of the search range set for the second camera 22 in the direction of the axis AL is within the angle of view of the second camera 22 at the initial position of the second boarding bridge 12. Set to the contained angle.
  • the controller 30 controls the shooting direction changing mechanism 34 so that the angle of the first camera 21 becomes the initial angle (step S1).
  • the first camera 21 takes an image at the initial angle (step S2).
  • the image processing device 23 acquires the captured image G1 at the initial angle of the first camera 21 .
  • the acquired photographed image G1 is stored in the storage device 24 .
  • the image processing device 23 may perform predetermined image processing such as distortion correction or brightness correction due to the camera lens on the captured image G1 in advance.
  • a position in the photographed image G1 is expressed as a position coordinate of a two-dimensional coordinate system in which one vertex (for example, the upper left vertex) of the photographed image G1 is the origin, and U-axis and V-axis are orthogonal to each other.
  • FIG. 4 is a diagram showing an example of a photographed image in this embodiment.
  • FIG. 5 is a conceptual diagram for setting a predetermined area in the photographed image shown in FIG.
  • the search area image generator 31 sets a virtual plane VP perpendicular to the horizontal plane (apron EL) and parallel to the axis AL in the photographed image G1.
  • the axis AL is set in advance at a position a predetermined distance above the marshal line 13 on the assumption that the aircraft 3 will park on the marshal line 13 shown on the apron EL.
  • the front side and rear side of the axis AL mean the front side and rear side of the aircraft 3 parked on the marshal line 13 .
  • the virtual plane VP is set at a position offset by an offset amount W from the axis AL to one side in the machine width direction (the side closer to the boarding bridges 11 and 12). That is, the virtual plane VP is defined as a plane perpendicular to the horizontal plane including the reference axis VL that is offset by the offset amount W from the axis AL to one side in the machine width direction.
  • the offset amount W is set in advance in consideration of the body width of the aircraft 3 so that the distance between the virtual plane VP and the outer surfaces of the boarding/alighting sections D1 and D2 is close (less than a predetermined distance).
  • the search area image generator 31 sets a virtual rectangular frame Bi on the three-dimensional space on the virtual plane VP.
  • the virtual rectangular frame Bi can be configured as a square frame with a side of 4 m on the virtual plane VP centered at the reference point Pi on the reference axis VL. Since the shooting direction (shooting center axis L1) of the first camera 21 is not perpendicular to the virtual plane VP in many cases, the virtual rectangular frame Bi is, in many cases, the predetermined area shown in FIG. 4 on the shot image G1. It has a distorted rectangular shape as shown by Ei.
  • Three-dimensional coordinates Bi (xi, yi, zi) in the real space and two-dimensional coordinates Ei (ui, vi) on the captured image G1 captured by the first camera 21 correspond one-to-one. Transformation between the three-dimensional coordinate system of the real space and the two-dimensional coordinate system on the captured image G1 is performed by perspective projection transformation.
  • the entire quadrangular shape Ei on the captured image G1 corresponding to the virtual rectangular frame Bi fits within the captured image G1, but at least a part of the quadrangular shape may be captured in the captured image G1.
  • the search area image generation unit 31 generates an image of the virtual plane VP when viewed from a direction perpendicular to the virtual plane VP in the predetermined area Ei (area including part of the captured image G1) set in this manner. (step S4).
  • pixels outside the range of the photographed image G1 are subjected to extrapolation processing such as filling with black or copying pixels in the edge portion. Projective transformation will be described later.
  • the search area image generation unit 31 generates an image after projective transformation as a search area image Ci.
  • the generated search area image Ci is enlarged so that the entire virtual rectangular frame Bi appears as large as possible in the search area image Ci.
  • the search execution unit 32 searches for a door that is a candidate for the boarding/alighting unit D1 in the search area image Ci (step S5).
  • a door search method is not particularly limited as long as it is an image recognition process that can detect a door. For example, AI image recognition using a trained model generated by deep learning can be used.
  • the door and its reference point are detected based on the painted part of the contour of the door and the shape of the reinforcing plate provided on the door sill.
  • the reference point of the door is set, for example, at the center of the door sill or the center of the reinforcing plate.
  • the search execution unit 32 detects a door (Yes in step S6), it calculates the three-dimensional coordinates of the reference point of the door (step S7).
  • the three-dimensional coordinates of the door are obtained, for example, by converting the two-dimensional coordinates on the search area image C1 into two-dimensional coordinates on the original photographed image G1, and by converting the two-dimensional coordinates on the photographed image G1 into three-dimensional coordinates in the real space. obtained by doing To convert the two-dimensional coordinates into three-dimensional coordinates in the real space, for example, two-dimensional coordinates of a plurality of cameras are used, or the reference point of the door is approximated to be on the virtual plane VP.
  • the search execution unit 32 determines whether the detected door is the boarding/alighting unit D1 to be mounted on the first boarding bridge 11 (step S8).
  • a search range is stored in advance so as to include all doors of various aircraft to which the first boarding bridge 11 is to be attached.
  • the search executing section 32 determines that the boarding/alighting section D1 has been detected.
  • the search execution section 32 outputs the search success result (step S9).
  • the search area image generation unit 31 When no door is detected in the search area image Ci (No in step S6) and when it is determined that the detected door is not the boarding/alighting section D1 (No in step S8), the search area image generation unit 31 generates a predetermined Search area images Ci are sequentially generated by moving the area Ei from one side in the direction of the axis AL of the aircraft 3 to the other side. In the first search for the first boarding bridge 11, the search area image generator 31 moves the predetermined area Ei from the front side in the direction of the axis AL to the rear side.
  • the search area image generation unit 31 shifts (moves) the virtual rectangular frame Bi from one side in the direction of the axis AL of the aircraft 3 to the other side in the three-dimensional space by a predetermined distance.
  • the search area image generator 31 calculates a predetermined area Ei on the captured image G1 corresponding to the shifted virtual rectangular frame Bi. In this way, the search area image generator 31 shifts (moves) the predetermined area Ei from one side in the AL direction of the aircraft 3 to the other side in the captured image G1 (step S10).
  • a reference point Pi+1 is set on the reference axis VL at a predetermined distance rearward in the axis AL direction from the position of the reference point Pi, and a virtual rectangular frame Bi+1 is set with the reference point Pi+1 as a reference.
  • the distance between the reference points Pi and Pi+1 is preferably equal to or less than the length of one side of the virtual rectangular frame Bi extending in the horizontal direction, and more preferably 1/4 or more and 1/2 or less of the length of the side. This can create opportunities to detect the same door multiple times (on the order of two or three times) during the door search.
  • the search range determination unit 33 determines whether or not the predetermined area Ei after the shift is within a predetermined search range, that is, whether or not the entire search range has been searched (step S11). When determining whether the shifted predetermined area Ei is within the search range, the search range determination unit 33 determines whether the corresponding virtual rectangular frame Bi in the three-dimensional space is within the search range. good too. If the predetermined area Ei after the shift is within the search range (Yes in step S11), the search range determination unit 33 further determines that the predetermined area Ei after the shift is within the range of the photographed image G1 used in the previous search. It is determined whether or not (step S12).
  • the search area image generation unit 31 sets the predetermined area Ei after the shift as a predetermined area for generating the search area image Ci. Ei is set (updated) (step S3).
  • the search area image generation unit 31 generates (updates) the search area image Ci in the same manner as described above based on the updated predetermined area Ei.
  • the search executing section 32 searches for the boarding/alighting section D1 in the updated search area image Ci. In this way, the search execution unit 32 changes the search area image Ci by shifting the predetermined area Ei from the front side to the rear side along the direction of the axis AL, and sequentially generates a plurality of search area images Ci. are used to repeatedly search for the boarding/alighting section D1.
  • the search range determination unit 33 instructs the controller 30 to change the shooting direction of the first camera 21. Send an instruction signal to change.
  • the controller 30 controls the corresponding shooting direction changing mechanism 34 to change the shooting direction of the first camera 21 based on the instruction signal (step S13).
  • the amount of change in the shooting direction is set so that the shot images before and after the shooting direction change partially overlap each other.
  • the photographing central axis L1 of the first camera 21 is positioned on the rear side of the photographing central axis L1 in the direction of the axis AL.
  • the imaging center axis L1a intersects the reference axis VL of the VP.
  • the method of changing the photographing direction of the cameras 21 and 22 is not limited to this. good too.
  • the first camera 21 shoots again after changing the shooting direction (step S2). Thereafter, similarly, search processing is performed on the updated photographed image (steps S3 to S8).
  • the search range determination unit 33 determines that the boarding/alighting section D1 could not be detected, and outputs a search failure result (step S15).
  • FIG. 6 is a diagram showing a comparison between an image after projective transformation of a predetermined region and an image before projective transformation in the present embodiment.
  • FIG. 6 illustrates a case where a virtual rectangular frame Bi is set near the boarding/alighting section D1. Moreover, in FIG. 6, a part of the outer surface of the aircraft 3 is indicated by a two-dot chain line.
  • the predetermined area Ei including part of the captured image G1 often has a distorted rectangular shape.
  • the virtual rectangular frame Bi has the same rectangular shape as the shape set in the three-dimensional space.
  • the predetermined area Epi corresponding to the virtual rectangular frame Bi after projective transformation is also square.
  • a part of the aircraft 3 near the virtual plane VP is corrected so as to approach the image seen from the direction perpendicular to the axis AL of the aircraft 3 . Since only the object on the virtual plane VP is strictly corrected, correction errors remain as the distance from the virtual plane VP increases.
  • the shooting direction (shooting center axis L1) of the first camera 21 is inclined with respect to the axis AL. Therefore, the door, which is the boarding/alighting section D1 included in the predetermined area Ei, appears as if the lower end and the upper end are inclined with respect to the horizontal line of the photographed image G1.
  • the reference point of the door is set, for example, on the door sill or a reinforcing plate provided on the door sill. In this case, in the image used for searching the boarding/alighting section D1, it is preferable that the lower end portion (door sill or reinforcing plate) of the boarding/alighting section D1 (door) extends horizontally.
  • a virtual rectangular frame Bi set on a virtual plane VP parallel to the axis AL and perpendicular to the horizontal plane (apron EP) is displayed in a rectangular shape.
  • a predetermined area Ei including part of the captured image G1 is projectively transformed.
  • the projective transformation suppresses a change in the size of the boarding/alighting part D1 due to the distance between the first camera 21 and the boarding/alighting part D1. That is, regardless of the distance between the first camera 21 and the boarding/alighting part D1, the size of the boarding/alighting part D1 after the projective transformation can be made approximately the same. Therefore, it is possible to accurately detect the boarding/alighting section D1 in the image after projective transformation.
  • a plurality of search area images Ci are generated by dividing each predetermined area Ei including part of the photographed image Gj.
  • a plurality of search area images Ci are generated by moving the predetermined area Ei from one side of the aircraft 3 in the direction of the axis AL to the other side. Therefore, by repeatedly searching the boarding/alighting sections D1 and D2 while changing the search area image Ci using a plurality of sequentially generated search area images Ci, the search area is moved in the direction along the axis AL of the aircraft 3. However, it is possible to search for the boarding/alighting sections D1 and D2 in the entire photographed image Gj.
  • the boarding/alighting sections D1 and D2 can be uniformly searched. Therefore, the positions of the boarding/alighting sections D1 and D2 of the aircraft 3 can be accurately detected corresponding to various gate arrangements. As a result, it is possible to correctly detect the boarding/alighting parts D1 and D2 to be mounted even in the gate arrangement, which could not be handled by conventional position detection of the boarding/alighting parts D1 and D2 relying only on the three-dimensional positions. Moreover, when searching for the boarding/alighting sections D1 and D2, troublesome operations such as inputting information corresponding to the parked aircraft 3 can be eliminated. That is, the search process and the automatic attachment control process, which will be described later, can be executed for various aircraft 3 simply by the operator operating a button for starting the search process.
  • the search area image Ci is generated as an image parallel to the axis AL by projective transformation. Therefore, even if the photographed image Gj is photographed from an oblique direction of the aircraft 3, it is possible to suppress the shape distortion of the boarding/alighting sections D1 and D2 to be searched in the search area image Ci. As a result, it is possible to improve the search accuracy of the boarding/alighting sections D1 and D2 in the search area image Ci.
  • the search area image generation unit 31 projectively transforms the captured image Gj in the predetermined area Ei each time the predetermined area Ei including part of the captured image Gj is divided. In this way, the photographed image Gj is projectively transformed for each predetermined area Ei (enlargement processing is also performed at the same time). Lowering of image resolution can be suppressed more than enlarging.
  • the photographing direction changing mechanisms 34 and 35 cause the cameras 21 and 22 to photograph.
  • the direction is changed, and the cameras 21 and 22 take pictures again.
  • the photographing range per photographed image can be made relatively narrow, the resolution of the search area image Ci obtained from the photographed image Gj can be increased.
  • the search process described above is also used to search for the boarding/alighting section D2 for the second boarding bridge 12 using the second camera 22.
  • the connecting portion 6a of the cab 6 on the first boarding bridge 11 is connected to the boarding/alighting portion D1 on the front side of the aircraft 3, and the connecting portion 6a of the cab 6 on the second boarding bridge 12 is connected to the boarding/alighting portion D2 on the rear side of the aircraft 3. connect to.
  • a predetermined search range for the first boarding bridge 11 is searched from the front side in the direction of the axis AL to the rear side.
  • the predetermined area Ei is moved from the front side to the rear side in the axis AL direction on the photographed image G1. Further, if necessary, the photographing direction of the first camera 21 is changed from the front side of the aircraft 3 to the rear side, and re-photographing is performed.
  • a search is performed from the rear side in the direction of the axis AL to the front side within a predetermined search range for the second boarding bridge 12. That is, in the process of searching for the boarding/alighting section D2 connected to the second boarding bridge 12, the predetermined area Ei is moved from the rear side in the axis AL direction to the front side on the photographed image G2. Further, if necessary, the photographing direction of the second camera 22 is changed from the rear side of the aircraft 3 to the front side, and re-photographing is performed.
  • the boarding/alighting section D1 in front of the aircraft 3 can be preferentially detected based on the captured image G1 captured by the first camera 21, and based on the captured image G2 captured by the second camera 22.
  • the boarding/alighting section D2 behind the aircraft 3 can be preferentially detected. Therefore, it is possible to reduce the possibility of detecting the same boarding/alighting section for a plurality of boarding bridges 11 and 12 . Therefore, the boarding/alighting section D1 to which the first boarding bridge 11 should connect and the boarding/alighting section D2 to which the second boarding bridge 12 should connect can be searched accurately and in a short time.
  • FIG. 7 is a flow chart showing an example flow of automatic mounting control processing according to the present embodiment.
  • the first search for the first boarding bridge 11 using the first camera 21 (step SA1) and the second search for the second boarding bridge 12 using the second camera 22 (step SA2) are performed in parallel.
  • the first search and the second search are started simultaneously.
  • the second search may be started after a predetermined time has passed since the first search was started (before the end of the first search).
  • Predetermined operating devices are provided in the first boarding bridge 11, the second boarding bridge 12, or a separate control room provided in the terminal building 2 or the like. Further, the operation device may be realized by displaying virtual operation buttons on a touch panel of a communication terminal connected for communication with the controller 30 via a server.
  • the search execution unit 32 Upon completion of the first search, the search execution unit 32 stores the search result (search success in step S9 of FIG. 3 or search failure in step S15) in the storage device 24 (step SA3). Similarly, when the second search is completed, the search execution unit 32 stores the search result in the storage device 24 (step SA4). The search execution unit 32 determines whether or not to automatically attach the boarding bridges 11 and 12 to the boarding/alighting units D1 and D2 according to the combination of the search results of the first search and the second search (from step SA5 to step SA7).
  • the search execution unit 32 transmits the three-dimensional position data of the boarding/alighting unit D1 detected in the first search to the controller 30. Execution of automatic attachment to the first boarding bridge 11 is permitted.
  • the controller 30 performs mounting processing for mounting the first boarding bridge 11 on the boarding/alighting section D1 detected in the first search (step SA8). Specifically, the controller 30 controls the position of the connecting portion 6a of the cab 6 of the first boarding bridge 11 so that it reaches a preposition (pause position) calculated from the detected three-dimensional position of the boarding/alighting portion D1. It controls the drive column 7 and cab 6 of the first boarding bridge 11 .
  • the controller 30 After the connecting portion 6a reaches the pre-position, the controller 30 detects the boarding/alighting portion D1 again using the first camera 21, a sensor or the like provided in the connecting portion 6a or the like, and the connecting portion 6a detects the boarding/alighting portion. Control to connect to D1.
  • step SA6 the search execution unit 32 transmits the three-dimensional position data of the boarding/alighting unit D2 detected in the second search to the controller 30. Execution of automatic attachment to the second boarding bridge 12 is permitted.
  • the controller 30 performs mounting processing for mounting the second boarding bridge 12 on the boarding/alighting section D2 detected in the second search (step SA9).
  • the specific mounting process is the same as the mounting process in the first boarding bridge 11 .
  • the search execution unit 32 determines the three-dimensional position (first position) of the boarding/alighting unit D1 detected in the first search and It is determined whether or not the detected distance (distance L between detections) between the detected three-dimensional position (second position) of the boarding/alighting section D2 is equal to or greater than a predetermined reference value Lo (step SA10).
  • the search execution unit 32 determines that the boarding/alighting part D1 detected in the first search and the boarding/alighting part D2 detected in the second search are different from each other.
  • the controller 30 performs mounting processing for mounting the first boarding bridge 11 on the boarding/alighting section D1 detected in the first search, and mounts the second boarding bridge 12 on the boarding/alighting section D2 detected in the second search. Mounting processing for the purpose is performed (step SA11).
  • step SA7 the search execution unit 32 outputs an error to the display unit of the operation device, etc., and stops the automatic mounting control process (step SA12). ).
  • the search execution unit 32 executes same door detection determination processing.
  • the same door detection determination process is a process for determining whether or not the boarding/alighting part D1 detected by the first search and the boarding/alighting part D2 detected by the second search are the same boarding/alighting part.
  • the reference value Lo is set based on the distance between two doors provided on the aircraft 3 . For example, the reference value Lo is set to 1/2 of the minimum door-to-door distance for all aircraft. Therefore, when the inter-detection distance L is less than the reference value Lo, it is highly likely that the entrance/exit part D1 detected by the first search and the entrance/exit part D2 detected by the second search are the same door.
  • FIG. 8 is a flow chart showing the flow of the same door detection determination process shown in FIG.
  • FIG. 9 is a conceptual diagram of different cases in the same door detection determination process.
  • the search execution unit 32 adds a search range to at least one of the first search range F1 set for the first camera 21 and the second search range F2 set for the second camera 22, If both the first position H1, which is the three-dimensional position of the boarding/alighting section D1 detected in the first search, and the second position H2, which is the three-dimensional position of the boarding/alighting section D2 detected in the second search, are included, It is determined that one boarding/alighting section D1 or D2 is detected at the first position H1 or the second position H2.
  • the first search range F1 and the second search range F2 are displayed with their vertical positions shifted from each other in order to facilitate discrimination between the first search range F1 and the second search range F2. may be the same or different.
  • the search execution unit 32 determines whether the first search range F1 includes both the first position H1 and the second position H2 (step SB1). When both the first position H1 and the second position H2 are included in the first search range F1 (Yes in step SB1), the search execution unit 32 considers that the detection of the boarding/alighting part D1 in the first search is highly credible. , the first position H1, which is the three-dimensional position of the boarding/alighting section D1, is determined to be valid. In this case, the search executing unit 32 further determines whether or not both the first position H1 and the second position H2 are included in the second search range F2 (step SB2).
  • the search execution unit 32 regards the detection of the boarding/alighting part D2 in the second search as having high credibility. Then, the second position H2, which is the three-dimensional position of the boarding/alighting section D2, is also determined to be valid. That is, the search execution unit 32 determines that both the first position H1 and the second position H2 are valid. In this case, state Q1 and state Q2 in FIG. 9 correspond.
  • the state Q1 is a case where the first position H1 is located on the forward side in the axis AL direction and the second position H2 is located on the rear side in the axis AL direction.
  • State Q2 is a case where the first position H1 is located on the rear side in the axis AL direction and the second position H2 is located on the front side in the axis AL direction.
  • one search range F1 and F2 includes both the first position H1 and the second position H2.
  • the controller 30 moves a predetermined boarding bridge of the first boarding bridge 11 and the second boarding bridge 12 to predetermined position coordinates of the first position H1 and the second position H2. Then, the mounting process is performed (step SB3).
  • the controller 30 may move the first boarding bridge 11 to the first position H1 and perform the mounting process.
  • the controller 30 moves the first boarding bridge 11 to the forward side in the axis AL direction between the first position H1 and the second position H2 and mounts it. processing may be performed. Further, for example, the controller 30 may move the first boarding bridge 11 to the first position H1 in the state Q1, and may move the first boarding bridge 11 to the second position H2 in the state Q2. .
  • step No at SB2 when the search execution unit 32 determines that both the first position H1 and the second position H2 are included in the first search range F1 but the first position H1 is not included in the second search range F2 (step No at SB2), only the detection of the boarding/alighting part D1 in the first search of the boarding/alighting part D1 and the boarding/alighting part D2 is considered to be highly credible, and only the first position H1 is determined to be valid. In this case, state Q3 in FIG. 9 corresponds. In this case, the controller 30 moves the first boarding bridge 11 to the first position H1 and performs the mounting process (step SB4).
  • the second search range F2 includes both the first position H1 and the second position H2. is included (step SB5).
  • the search execution unit 32 determines that the second position H2 is not included in the first search range F1 but both the first position H1 and the second position H2 are included in the second search range F2 (at step SB5 Yes)
  • only the detection of the boarding/alighting part D2 in the second search of the boarding/alighting part D1 and the boarding/alighting part D2 is considered to be highly credible, and only the second position H2 is determined to be valid.
  • state Q4 in FIG. 9 applies.
  • the controller 30 moves the second boarding bridge 12 to the second position H2 and performs the mounting process (step SB6).
  • the search execution unit 32 determines that the second position H2 is not included in the first search range F1 and that the first position H1 is not included in the second search range F2 (No in step SB5), the boarding/alighting unit D1 and the detection of the boarding/alighting section D2 are regarded as having low credibility, and the first position H1 and the second position H2 are determined to be invalid.
  • state Q5 and state Q6 in FIG. 9 correspond.
  • State Q5 is a case where there is overlap between the first search range F1 and the second search range F2, but there is no search range that includes both the first position H1 and the second position H2.
  • State Q6 is a case where the first search range F1 and the second search range F2 do not overlap in the first place.
  • the search executing section 32 outputs an error to the display section of the operating device, etc., and stops the automatic mounting control process (step SB7).
  • the search for the boarding/alighting section D1 connected to the first boarding bridge 11 and the search for the boarding/alighting section D2 connected to the second boarding bridge 12 are performed in parallel.
  • the period can be shortened.
  • it is included in at least one of the second search ranges F2 it is determined that one boarding/alighting section is detected by two searches.
  • the cameras 21 and 22 for capturing the captured image Gj for generating the search area image Ci are cameras provided above the cab 6 .
  • the search area image Ci may be generated from the photographed image Gj photographed by the camera. Further, the search process may be performed using each of a plurality of photographed images Gj photographed by a plurality of cameras provided above and below one cab 6 .
  • the detection system 20 of the present disclosure can applicable to
  • the first search is performed from the front side in the axis AL direction to the rear side within the first search range.
  • a second search is performed from the rear side in the axis AL direction to the front side in the second search range.
  • the second boarding bridge 12 is searched from the rear side in the direction of the axis AL to the front side in the second search range F2. As with the bridge 11, it may be possible to search from the front side in the direction of the axis AL to the rear side.
  • an aircraft 3 with one boarding/alighting section can be parked even in a parking area where one boarding gate is provided with two boarding bridges 11 and 12 as shown in FIG.
  • the search process for the boarding bridges 11 and 12 is performed, and only one of the boarding bridges is subjected to the attachment process (steps SA8 and SA9). , SB3, SB4, or SB6), the operator may select the number of boarding bridges to be attached to the aircraft 3 according to the type of the parked aircraft 3.
  • the image processing device 23 attaches the first boarding bridge 11 to the boarding/alighting section D1 in the manner illustrated in the above embodiment, and attaches the second boarding bridge 12.
  • a search process for mounting on the boarding/alighting section D2 is performed.
  • the number of boarding bridges to be attached to the aircraft 3 is one, it is possible to select which one of the first boarding bridge 11 and the second boarding bridge 12 to be attached according to the parking position of the aircraft. good.
  • the image processing device 23 scans the first search range F1 from the front side in the direction of the axis AL to the rear side. Execute search processing for searching to the side.
  • the image processing device 23 searches from the front side in the direction of the axis AL to the rear side in the second search range F2. processing may be performed.
  • both the first search for the first boarding bridge 11 and the second search for the second boarding bridge 12 are searched in the same direction (from one side to the other side in the direction of the axis AL). You may do so.
  • the selection of the search direction in the second search is based on the connection mode (connection mode in which the second boarding bridge 12 is connected to the boarding section D2 on the rear side of the aircraft 3 having two boarding sections D1 and D2, or one boarding section D1). It may be automatically selected according to the switching of the connection mode (connecting the second boarding bridge 12 to the boarding and alighting section D1 of the aircraft 3), or the search direction may be manually selected by operating the operation device.
  • the search direction in the first search may be switched not only from the front side to the rear side in the axis AL direction but also from the rear side to the front side in the axis AL direction.
  • the first search for the first boarding bridge 11 and the second search may be performed in order.
  • the second search may be performed after the first search is performed, or the first search may be performed after the second search is performed.
  • one image processing device 23 performs both the first search and the second search.
  • the device 23 may be configured by another processing device (computer, etc.).
  • the image processing device that performs the first search may be installed on the first boarding bridge 11 and the image processing device that performs the second search may be installed on the second boarding bridge 12 .
  • one controller 30 controls the first boarding bridge 11, the second boarding bridge 12, the photographing direction changing mechanism 34 for the first camera 21, and the photographing direction changing mechanism for the second camera 22. Although illustrated as controlling the operation of any of 35, different controllers may be provided for some or all of these arrangements 11, 12, 34, 35.

Abstract

検出システムは、ターミナルビルに接続される旅客搭乗橋と、旅客搭乗橋に設けられたカメラと、カメラで撮影された撮影画像から航空機の乗降部を検出する画像処理装置と、を備え、画像処理装置は、撮影画像のうちの一部を含む所定領域を区切って探索領域画像を生成する探索領域画像生成部と、探索領域画像内に乗降部が存在するか否かの探索を行う探索実行部と、を含み、探索領域画像生成部は、撮影画像上において所定領域を航空機の機軸方向一方側から他方側に移動させることにより、探索領域画像を順次生成し、探索実行部は、順次生成された複数の探索領域画像を用いて、探索領域画像を変えながら探索を繰り返し行う。

Description

航空機の乗降部を検出するための検出システム
　本開示は、航空機の乗降部を検出するための検出システムに関する。
　空港のターミナルビルと航空機との間の乗客の歩行通路になる設備として、旅客搭乗橋が知られている。旅客搭乗橋は、ターミナルビルに接続されて水平回転自在に支持されたロタンダと、基端がロタンダに接続されて伸縮自在に構成されたトンネル部と、トンネル部の先端に回転自在に設けられ航空機の乗降部に装着されるキャブと、トンネル部の先端寄りに支持脚として設けられたドライブコラムとを備えている。ドライブコラムには、トンネル部を支持して上下移動させる昇降装置と、昇降装置の下部に設けられ一対の走行車輪を有する走行装置とを備えている。このような旅客搭乗橋の移動を自動化することが提案されている（例えば下記特許文献１および２参照）。
　例えば、特許文献１には、キャブに航空機の乗降部を撮影するカメラを取り付け、所定の待機位置にキャブがあるときに、カメラで撮影される乗降部の画像に基づいて当該乗降部の水平位置情報を算出し、この水平位置情報に基づいて、キャブを乗降部に装着するために移動させる移動先の目標位置を算出し、待機位置にあるキャブを目標位置に向かって移動させることが記載されている。
　また、特許文献２には、航空機の乗降口と接続可能なヘッド部（キャブ）に第１および第２の２つのカメラを備えた構成が記載されている。そして、操作盤において駆動開始の入力が行われると、走行駆動部によって車輪走行が開始され、ヘッド部が航空機の数メートル手前まで到達したとき、第１および第２カメラによる航空機の第１の特徴部および第２の特徴部の撮像が開始される。そして、第１および第２カメラの撮像画像を用いて航空機の乗降口の目標点の位置を算出し、航空機の乗降口に対するヘッド部の相対位置および相対角度を算出し、これらに基づいて制御補正量を算出し、それに基づいて各種駆動部が駆動されて、ヘッド部を航空機の目標点に向けて移動させることが記載されている。
特許第６７２０４１４号公報 特開２０２０－１７５７２７号公報
　このような旅客搭乗橋の移動を自動化するためには、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像から航空機の乗降部の位置を正確に検出する必要がある。特に、航空機の乗降部の位置は、駐機する航空機の種類およびサイズ等に応じて大きく異なり得る。また、空港のゲート配置も様々であり、駐機する航空機とゲート配置との組み合わせごとに乗降部の位置検出態様を予め設定することは煩雑である。このように、様々なゲート配置に対応して複数種類の航空機の乗降部の位置を正確に検出することについて、上記特許文献１および２には改善の余地がある。
　本開示は上記のような課題を解決するためになされたもので、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像を用いて、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる検出システムを提供することを目的としている。
　本開示のある態様に係る検出シスステムは、航空機の乗降部を検出するための検出システムであって、ターミナルビルに接続される旅客搭乗橋と、前記旅客搭乗橋に設けられたカメラと、前記カメラで撮影された撮影画像から前記航空機の乗降部を検出する画像処理装置と、を備え、前記画像処理装置は、前記撮影画像のうちの一部を含む所定領域を区切って探索領域画像を生成する探索領域画像生成部と、前記探索領域画像内に前記乗降部が存在するか否かの探索を行う探索実行部と、を含み、前記探索領域画像生成部は、前記撮影画像上において前記所定領域を前記航空機の機軸方向一方側から他方側に移動させることにより、前記探索領域画像を順次生成し、前記探索実行部は、順次生成された複数の前記探索領域画像を用いて、前記探索領域画像を変えながら前記探索を繰り返し行う。
　上記構成によれば、旅客搭乗橋に設けられたカメラで撮影された撮影画像から、その撮影画像の一部を含む所定領域ごとに区切られた複数の探索領域画像が生成される。複数の探索領域画像は、所定領域を航空機の機軸方向一方側から他方側に移動させて生成される。したがって、順次生成された複数の探索領域画像を用いて探索領域画像を変えながら乗降部の探索を繰り返し行うことにより、探索領域を航空機の機軸に沿った方向に移動させながら撮影画像全体の乗降部の探索を行うことができる。これにより、航空機の種類またはゲート配置によらず、乗降部の探索を一律に行うことができる。したがって、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる。
　前記探索領域画像生成部は、前記撮影画像において水平面に対して垂直かつ前記機軸に平行な仮想平面を、前記仮想平面に垂直な方向から見たときの画像となるように射影変換することを含んでもよい。
　上記構成によれば、探索領域画像が機軸に平行な画像として生成される。したがって、撮影画像が航空機の斜め方向から撮影された場合であっても、探索領域画像において探索するべき乗降部の形状の歪みを抑制することができる。これにより、探索領域画像における乗降部の探索精度を向上させることができる。
　前記探索領域画像生成部は、前記撮影画像のうちの一部を含む前記所定領域を区切るたびに当該所定領域における前記撮影画像を前記射影変換してもよい。
　上記構成によれば、撮影画像が所定領域ごとに射影変換されるため、撮影画像全体を射影変換してからその射影変換後の画像から所定領域を区切るよりも画像の解像度の低下を抑制することができる。
　前記検出システムは、水平面に対して交差する方向に延びる所定の回転軸回りに回動することにより前記カメラの撮影方向を変更する撮影方向変更機構と、前記撮影方向変更機構の動作を制御する制御器を備え、前記画像処理装置は、移動後の前記所定領域が予め定められる探索範囲内かつ前記撮影画像内であるか否かを判定する探索範囲判定部を含み、前記制御器は、移動後の前記所定領域が前記探索範囲内であるが、前記撮影画像内ではないと判定された場合、前記撮影方向変更機構により前記カメラの撮影方向を変更して、前記カメラによる撮影を再度行ってもよい。
　上記構成によれば、カメラの撮影方向を変更しつつ複数回撮影することにより、探索範囲全体の撮影画像を、複数の撮影画像として取得することができる。したがって、一撮影画像あたりの撮影範囲を比較的狭くすることができるため、撮影画像から得られる探索領域画像の解像度を高くすることができる。もしくは探索範囲をカメラの視野以上に広く設定することが可能となる。
　前記旅客搭乗橋は、第１搭乗橋と、第２搭乗橋とを含み、前記カメラは、前記第１搭乗橋に設けられた第１カメラと、前記第２搭乗橋に設けられた第２カメラとを含み、前記探索領域画像生成部は、前記第１カメラが撮影した前記撮影画像上において前記所定領域を前記航空機の機軸方向前方側から後方側に移動させることにより、前記探索領域画像を順次生成し、前記第２カメラが撮影した前記撮影画像上において前記所定領域を前記航空機の機軸方向後方側から前方側に移動させることにより、前記探索領域画像を順次生成してもよい。
　上記構成によれば、第１搭乗橋に設けられた第１カメラで撮影された撮影画像に基づいて第１搭乗橋が接続するべき航空機の乗降部の探索が行われ、第２搭乗橋に設けられた第２カメラで撮影された撮影画像に基づいて第２搭乗橋が接続するべき航空機の乗降部の探索が行われる。このとき、第１カメラで撮影した撮影画像を用いた乗降部の探索では、航空機の機軸方向前方側から後方側に探索が行われる一方、第２カメラで撮影した撮影画像を用いた乗降部の探索では、航空機の機軸方向後方側から前方側に探索が行われる。これにより、第１カメラで撮影された撮影画像に基づいて航空機の前方にある乗降部を優先的に検出することができ、第２カメラで撮影された撮影画像に基づいて航空機の後方にある乗降部を優先的に検出することができる。したがって、第１搭乗橋が接続するべき乗降部と第２搭乗橋が接続するべき乗降部とを正確かつ短時間で探索することができる。
　前記探索実行部は、前記第１カメラが撮影した前記撮影画像から生成された前記探索領域画像による第１探索と、前記第２カメラが撮影した前記撮影画像から生成された前記探索領域画像による第２探索とを、並行して行ってもよい。上記構成によれば、第１搭乗橋が接続するべき乗降部の探索と第２搭乗橋が接続するべき乗降部の探索とが同時並行的に行われるため、探索期間を短時間にすることができる。
　前記探索実行部は、前記第１カメラが撮影した前記撮影画像から生成された前記探索領域画像による第１探索において前記乗降部を検出した第１位置と、前記第２カメラが撮影した前記撮影画像から生成された前記探索領域画像による第２探索において前記乗降部を検出した第２位置との距離が所定の基準値未満の場合に、前記第１カメラについて設定される第１探索範囲または前記第２カメラについて設定される第２探索範囲の少なくとも何れか一方の探索範囲に前記第１位置および前記第２位置の双方が含まれていれば、前記第１位置または前記第２位置で、一の前記乗降部を検出したと判定してもよい。
　上記構成によれば、第１探索で検出された乗降部の位置（第１位置）と、第２探索で検出された乗降部の位置（第２位置）との距離が近い場合、第１位置および第２位置の双方が第１探索範囲または第２探索範囲の少なくとも何れか一方に含まれていれば、２つの探索で１つの乗降部を検出したと判定される。このように、第１位置と第２位置とが近い場合であっても、２つの探索で１つの乗降部を検出したことについての信憑性が高いと想定される場合に限って、１つの乗降部を検出したと判定することにより、誤検出の発生を抑制することができる。
　本開示によれば、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像を用いて、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる。
図１は、本実施の形態に係る検出システムが適用される旅客搭乗橋の一例を示す概略平面図である。 図２は、図１に示す旅客搭乗橋に適用される検出システムの概略構成を示すブロック図である。 図３は、本実施の形態における探索処理の流れを示すフローチャートである。 図４は、本実施の形態における撮影画像の例を示す図である。 図５は、図４に示す撮影画像において所定領域を設定するための概念図である。 図６は、本実施の形態において所定領域を射影変換した後の画像を射影変換前の画像と比較して示す図である。 図７は、本実施の形態における自動装着制御処理の一例の流れを示すフローチャートである。 図８は、図７に示す同一ドア検出判定処理の流れを示すフローチャートである。 図９は、同一ドア検出判定処理における場合分けの概念図である。
　以下、本開示の好ましい実施の形態を、図面を参照しながら説明する。なお、以下では全ての図面を通じて同一または相当する要素には同一の参照符号を付して、その重複する説明を省略する。また、図面は理解しやすくするために、それぞれの構成要素を模式的に示したもので、形状および寸法比等については正確な表示ではない場合がある。また、本開示は、以下の実施形態に限定されない。
　図１は、本実施の形態に係る検出システムが適用される旅客搭乗橋の一例を示す概略平面図である。図１の例において、旅客搭乗橋１は、第１搭乗橋１１と、第２搭乗橋１２とを含む。各搭乗橋１１，１２は、同様の構成を有する。
　搭乗橋１１，１２は、それぞれ、空港のターミナルビル２の乗降口に接続されたロタンダ（基部円形室）４と、基端がロタンダ４に俯仰自在に接続されて長手方向に伸縮自在に構成されたトンネル部５と、トンネル部５の先端部に接続されたキャブ（先端部円形室）６とを備えている。ロタンダ４は、鉛直方向に延びる第１回転軸Ｒ４回りに水平回転自在に構成されている。キャブ６は、キャブ６の底面に直交する方向に延びる第２回転軸Ｒ６回りに水平回転自在に構成されている。
　トンネル部５は、乗客の歩行通路を形成し、筒状体からなる複数のトンネル５ａ，５ｂが入れ子式に嵌合されて長手方向に伸縮自在に構成されている。なお、ここでは、２つのトンネル５ａ，５ｂによって構成されたトンネル部５が例示されているが、トンネル部５は２つ以上の複数のトンネルによって構成されていればよい。また、トンネル部５の基端部は、ロタンダ４に、水平回転軸回りに揺動自在（上下に揺動自在）に接続されることにより、ロタンダ４に俯仰自在に接続されている。
　また、トンネル部５の先端部（先端側のトンネル５ａ）には、支持脚としてドライブコラム７が設けられている。なお、ドライブコラム７は、キャブ６に取り付けられていてもよい。ドライブコラム７には、キャブ６およびトンネル部５を昇降させる昇降装置８が設けられている。これにより、キャブ６およびトンネル部５は、ロタンダ４を基点として上下方向に揺動することができる。これにより、キャブ６の回転軸である第２回転軸Ｒ６の向きは、キャブ６の底面における水平面に対する傾きに応じて変化する。言い換えると、第２回転軸Ｒ６は、水平面に交差する方向に延び、その方向がキャブ６およびトンネル部５の上下方向の揺動に応じて変化する。
　また、ドライブコラム７は、トンネル部５をロタンダ４の回り（第１回転軸Ｒ４回り）に回転させるとともにトンネル部５を伸縮させるための走行装置９を含んでいる。走行装置９は、昇降装置８の下方に設けられる。走行装置９は、例えば個々に独立して正逆回転駆動可能である２つの走行車輪を有している。２つの走行車輪を同方向に回転（正回転または逆回転）させることにより前進走行または後進走行が可能であり、２つの走行車輪を互いに逆方向に回転させることにより、その場において走行方向（走行車輪の向き）を変更することもできる。なお、本実施の形態では、ロタンダ４自体が第１回転軸Ｒ４回りに回転することによりトンネル部５が第１回転軸Ｒ４回りに回転する構成を例示しているが、これに代えて、ロタンダ４は、ターミナルビル２に固定され、トンネル部５がロタンダ４に対して第１回転軸Ｒ４回りに回転自在に接続されてもよい。
　キャブ６は、先端部に、航空機３の乗降部Ｄ１，Ｄ２に接続される接続部６ａを有している。接続部６ａには、クロージャ、バンパー、距離センサ等が設けられる。キャブ６の第２回転軸Ｒ６回りの回転により、接続部６ａの位置（乗降部Ｄ１，Ｄ２への接続方向）を変更することができる。なお、キャブ６を回転させる代わりに、接続部６ａがキャブ６に対して第２回転軸Ｒ６回りに回転してもよい。
　また、キャブ６には、航空機３の側面を撮影するためのカメラ２１，２２が設置されている。カメラ２１，２２は、キャブ６の先端部に設けられる。図１の例では、第１搭乗橋１１に設けられる第１カメラ２１は、キャブ６における接続部６ａの内側上部に設置される。第２搭乗橋１２に設けられる第２カメラ２２も同様に設置される。なお、カメラ２１，２２は、キャブ６の先端部において航空機３の側面を撮影可能な位置であればどこに設けられてもよい。例えば、キャブ６における接続部６ａの内側下部に設置されてもよいし、キャブ６の外側上部または外側下部に設置されてもよい。また、１つの搭乗橋１１，１２について複数のカメラが設置されてもよい。例えば、キャブ６の上部および下部にそれぞれカメラが設置されてもよい。
　本実施の形態において、第１搭乗橋１１の先端部に設けられた第１カメラ２１で撮影された撮影画像Ｇ１に基づいて第１搭乗橋１１が接続するべき航空機３の乗降部Ｄ１の探索が行われ、第２搭乗橋１２の先端部に設けられた第２カメラ２２で撮影された撮影画像Ｇ２に基づいて第２搭乗橋１２が接続するべき航空機３の乗降部Ｄ２の探索が行われる。
　図２は、図１に示す旅客搭乗橋に適用される検出システムの概略構成を示すブロック図である。図２に示すように、本実施の形態における検出システム２０は、上記カメラ２１，２２と、カメラ２１，２２で撮影された撮影画像Ｇｊ（ｊ＝１，２）から航空機３の乗降部Ｄ１，Ｄ２を検出する画像処理装置２３と、を備えている。さらに、検出システム２０は、撮影画像等のデータおよび画像処理プログラム等が記憶される記憶器２４と、検出結果等を出力する出力器２５と、を備えている。これらの構成２１，２２，２３，２４，２５は、通信バス２６を介して互いにデータの受け渡しを行い得る。
　また、通信バス２６には、搭乗橋１１，１２を制御する制御器３０も接続されている。制御器３０は、例えば、キャブ６または最も先端側のトンネル５ａ等に設けられている。制御器３０は、搭乗橋１１，１２のキャブ６の回転、ドライブコラム７の昇降および走行を制御する。さらに、制御器３０は、カメラ２１，２２の撮影方向変更機構３４，３５の回転を制御する。
　カメラ２１，２２は、撮影方向（撮影中心軸Ｌ１，Ｌ２の向き）を水平面内で変更可能となっている。このために、検出システム２０は、水平面に交差する方向に延びる所定の回転軸回りに回動することによりカメラ２１，２２の撮影方向を変更する撮影方向変更機構３４，３５を備えている。各撮影方向変更機構３４，３５は、第１カメラ２１および第２カメラ２２の撮影方向を互いに独立して変更可能である。
　撮影方向変更機構３４，３５は、キャブ６に対してカメラ２１，２２を相対回転させるカメラ回転機構として構成されてもよい。あるいは、撮影方向変更機構３４，３５は、キャブ６であってもよい。例えば、カメラ２１，２２は、キャブ６に固定され、キャブ６が水平面に交差する方向に延びる第２回転軸Ｒ６回りに回転することでカメラ２１，２２の撮影方向（撮影中心軸Ｌ１，Ｌ２の向き）が変更されてもよい。
　制御器３０および画像処理装置２３は、記憶器２４に記憶されるデータに基づいて各種演算および処理を行うコンピュータによって構成される。例えば、制御器３０および画像処理装置２３は、ＣＰＵ、メインメモリ（ＲＡＭ）、通信インターフェイス等を備えている。なお、制御器３０と画像処理装置２３とは、同じコンピュータにより構成されてもよいし、互いに異なるコンピュータにより構成されてもよい。
　出力器２５は、制御器３０および画像処理装置２３における演算または処理の結果等を出力する。出力器２５は、例えば、演算結果等を表示するモニタまたは通信ネットワークを介してサーバまたは通信端末にデータ送信を行う通信器等により構成される。なお、検出システム２０のうちの画像処理装置２３および記憶器２４は、カメラ２１，２２と通信ネットワークを介して接続されたサーバとして構成されてもよい。すなわち、サーバがカメラ２１，２２で撮影された撮影画像を取得し、サーバ上で後述する探索処理を行い、搭乗橋１１，１２の操作室等に設けられたモニタまたは通信端末の表示部に結果を表示してもよい。
　制御器３０および画像処理装置２３は、例えばＸＹＺ直交座標系等の所定の３次元座標系を用いて、リアルタイムで搭乗橋１１，１２の各部の位置座標を把握している。例えば、旅客搭乗橋１の各部の位置座標は、絶対座標として、ロタンダ４の第１回転軸Ｒ４とエプロンＥＰの平面との交点を原点（０，０，０）とし、互いに直交するＸ軸、Ｙ軸、Ｚ軸をとった３次元座標系の位置座標として表される。この位置座標のＸ座標値、Ｙ座標値、Ｚ座標値は、それぞれ、ロタンダ４の第１回転軸Ｒ４の位置である原点（０，０，０）からの距離（例えば単位〔ｍｍ〕）を示す。制御器３０および画像処理装置２３は、航空機３および搭乗橋１１，１２の各部の位置を、このような３次元直交座標系を用いた位置座標として表現する。
　画像処理装置２３は、後述する探索処理を行うために、探索領域画像生成部３１、探索実行部３２および探索範囲判定部３３を機能ブロックとして有している。これらの機能ブロックは、集積回路を含む回路を一部または全部に含んでいる。したがって、これらの構成３１，３２，３３は、回路とみなすことができる。これらの機能ブロックは、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、これらの機能ブロックはハードウェアとソフトウェアとの組み合わせであり、ソフトウェアはハードウェアまたはプロセッサの構成に使用される。画像処理装置２３は、記憶器２４に記憶された探索処理を行うためのプログラムを読み出して後述する探索処理を実行する。
　以下に、本実施の形態における乗降部Ｄ１，Ｄ２の探索処理について説明する。図３は、本実施の形態における探索処理の流れを示すフローチャートである。探索処理は、航空機３が所定の到着位置に到着した場合に行われる。このため、各搭乗橋１１，１２は、図１に示すような、航空機３を避けた初期位置（待機位置）に位置している。
　記憶器２４には、カメラ２１，２２ごとに予め設定されている探索範囲のデータが記憶されている。探索範囲は、機軸ＡＬ方向に沿った領域として設定されている。さらに、記憶器２４には、各カメラ２１，２２の初期角度（撮影方向のデータ）が記憶されている。カメラ２１，２２の初期角度は、搭乗橋１１，１２の初期位置において、カメラ２１，２２ごとに予め定められた探索範囲のうちの少なくとも機軸ＡＬ方向の一端部がカメラ２１，２２の画角内に含まれる角度に設定される。
　ここで、後述するように、第１カメラ２１により撮影された撮影画像を用いた第１探索は、航空機３の機軸ＡＬ方向前方側から後方側に探索が行われる。このため、第１カメラ２１の初期角度は、第１搭乗橋１１の初期位置において、第１カメラ２１に設定される探索範囲の機軸ＡＬ方向の前端部が第１カメラ２１の画角内に含まれる角度に設定される。一方、第２カメラ２２により撮影された撮影画像を用いた第２探索は、航空機３の機軸ＡＬ方向後方側から前方側に探索が行われ得る。この場合、第２カメラ２２の初期角度は、第２搭乗橋１２の初期位置において、第２カメラ２２に設定される探索範囲の機軸ＡＬ方向の後端部が第２カメラ２２の画角内に含まれる角度に設定される。
　以下の探索処理の説明では、第１カメラ２１を用いた第１探索について主に説明する。第２カメラ２２を用いた第２探索も探索方向が異なること以外は同様である。まず、探索処理において、制御器３０は、第１カメラ２１の角度が初期角度となるように撮影方向変更機構３４を制御する（ステップＳ１）。第１カメラ２１は、初期角度において撮影を行う（ステップＳ２）。画像処理装置２３は、第１カメラ２１の初期角度における撮影画像Ｇ１を取得する。取得した撮影画像Ｇ１は、記憶器２４に記憶される。なお、画像処理装置２３は、撮影画像Ｇ１に対してカメラレンズに起因する歪み補正または明るさ補正等の所定の画像処理を予め行ってもよい。撮影画像Ｇ１における位置は、撮影画像Ｇ１の一の頂点（例えば左上の頂点）を原点とし、互いに直交するＵ軸，Ｖ軸をとった２次元座標系の位置座標として表される。
　探索領域画像生成部３１は、撮影画像Ｇ１のうちの一部を含む所定領域Ｅｉ（ｉ＝１，２，３，…）を区切って探索領域画像を生成する。このために、まず、探索領域画像生成部３１は、実空間である３次元空間上の仮想矩形枠Ｂｉに対応する撮影画像Ｇ１上の所定領域Ｅｉを設定する（ステップＳ３）。第１探索における最初の所定領域Ｅ１には、探索範囲の機軸ＡＬ方向の前端部を含む領域が設定される。
　図４は、本実施の形態における撮影画像の例を示す図である。また、図５は、図４に示す撮影画像において所定領域を設定するための概念図である。本実施の形態において、探索領域画像生成部３１は、撮影画像Ｇ１において水平面（エプロンＥＬ）に対して垂直かつ機軸ＡＬに平行な仮想平面ＶＰを設定する。ここで、機軸ＡＬは、航空機３がエプロンＥＬ上に示されたマーシャルライン１３上に駐機することを想定してマーシャルライン１３から所定距離上方の位置に予め設定される。なお、本明細書および特許請求の範囲の記載において、機軸ＡＬの前方側および後方側は、マーシャルライン１３上に駐機した航空機３の前方側および後方側を意味する。
　仮想平面ＶＰは、機軸ＡＬから機体幅方向一方側（搭乗橋１１，１２に近い側）にオフセット量Ｗだけオフセットした位置に設定される。すなわち、仮想平面ＶＰは、機軸ＡＬから機体幅方向一方側にオフセット量Ｗだけオフセットした基準軸ＶＬを含み、水平面に垂直な平面として定義される。オフセット量Ｗは、航空機３の機体幅を考慮して、仮想平面ＶＰと乗降部Ｄ１，Ｄ２の外表面との距離が近接する（所定距離未満となる）ように予め設定される。
　探索領域画像生成部３１は、仮想平面ＶＰ上における３次元空間上の仮想矩形枠Ｂｉを設定する。例えば、仮想矩形枠Ｂｉは、基準軸ＶＬ上の基準点Ｐｉを中心とし、仮想平面ＶＰ上で一辺が４ｍの正方形枠として構成され得る。第１カメラ２１の撮影方向（撮影中心軸Ｌ１）は、仮想平面ＶＰに対して垂直ではない場合が多いため、仮想矩形枠Ｂｉは、多くの場合、撮影画像Ｇ１上では、図４の所定領域Ｅｉに示すように歪んだ四角形状を有している。実空間の３次元座標Ｂｉ（ｘｉ，ｙｉ，ｚｉ）と第１カメラ２１が撮影した撮影画像Ｇ１上の２次元座標Ｅｉ（ｕｉ，ｖｉ）とは、一対一で対応している。実空間の３次元座標系と撮影画像Ｇ１上の２次元座標系との間の変換は、透視投影変換により行われる。
　なお、仮想矩形枠Ｂｉに対応する撮影画像Ｇ１上の四角形状Ｅｉは、撮影画像Ｇ１に全体が収まることが望ましいが、少なくとも四角形状の一部が撮影画像Ｇ１に写っていればよい。
　探索領域画像生成部３１は、このように設定した所定領域Ｅｉ（撮影画像Ｇ１の一部を含む領域）において、仮想平面ＶＰを、仮想平面ＶＰに垂直な方向から見たときの画像となるように射影変換する（ステップＳ４）。ここで、撮影画像Ｇ１の範囲外の画素については例えば黒色で埋めたり、エッジ部の画素をコピーしたり、などの外挿処理を行う。射影変換については後述する。
　探索領域画像生成部３１は、射影変換後の画像を探索領域画像Ｃｉとして生成する。生成される探索領域画像Ｃｉは、仮想矩形枠Ｂｉ全体が探索領域画像Ｃｉにおいてなるべく大きく映るように拡大される。探索実行部３２は、探索領域画像Ｃｉ内に乗降部Ｄ１の候補となるドアが存在するか否かの探索を行う（ステップＳ５）。ドアの探索方法は、ドアを検出可能な画像認識処理であれば、特に限定されないが、例えば、ディープラーニングにより生成された学習済みモデルを用いたＡＩ画像認識等が用いられ得る。
　ドアの画像認識処理においては、ドアの輪郭のペイント部分やドアシルに設けられた補強プレートの形状等に基づいてドアおよびそのドアの基準点が検出される。ドアの基準点は、例えばドアシルの中央部または補強プレートの中央部に設定される。
　探索実行部３２は、ドアを検出した場合（ステップＳ６でＹｅｓ）、そのドアの基準点の３次元座標を計算する（ステップＳ７）。ドアの３次元座標は、例えば、探索領域画像Ｃ１上の２次元座標を元の撮影画像Ｇ１上の２次元座標に変換し、撮影画像Ｇ１上の２次元座標を実空間の３次元座標に変換することで得られる。２次元座標を実空間の３次元座標に変換するには、たとえば複数カメラの２次元座標を用いたり、ドアの基準点が仮想平面ＶＰ上にあると近似したりして計算する。
　探索実行部３２は、検出したドアの３次元座標に基づいて、検出したドアが、第１搭乗橋１１が装着すべき乗降部Ｄ１であるかどうかを判定する（ステップＳ８）。記憶器２４には、予め第１搭乗橋１１が装着すべき様々な航空機のドアをすべて含むように探索範囲が記憶されている。探索実行部３２は、検出したドアの３次元座標が記憶器２４に記憶されている探索範囲内である場合、乗降部Ｄ１を検出したと判定する。乗降部Ｄ１を検出したと判定した場合（ステップＳ８でＹｅｓ）、探索実行部３２は、探索成功の結果を出力する（ステップＳ９）。
　探索領域画像Ｃｉにおいてドアが検出されなかった場合（ステップＳ６でＮｏ）および検出されたドアが乗降部Ｄ１ではないと判定された場合（ステップＳ８でＮｏ）、探索領域画像生成部３１は、所定領域Ｅｉを航空機３の機軸ＡＬ方向一方側から他方側に移動させて、探索領域画像Ｃｉを順次生成する。第１搭乗橋１１のための第１探索において、探索領域画像生成部３１は、所定領域Ｅｉを機軸ＡＬ方向前方側から後方側に移動させる。
　そのために、まず、探索領域画像生成部３１は、仮想矩形枠Ｂｉを３次元空間において航空機３の機軸ＡＬ方向一方側から他方側に所定距離シフト（移動）させる。探索領域画像生成部３１は、シフト後の仮想矩形枠Ｂｉに対応する撮影画像Ｇ１上における所定領域Ｅｉを計算する。このようにして、探索領域画像生成部３１は、撮影画像Ｇ１において所定領域Ｅｉを航空機３の機軸ＡＬ方向一方側から他方側にシフト（移動）させる（ステップＳ１０）。例えば、３次元空間において基準軸ＶＬ上を基準点Ｐｉの位置から機軸ＡＬ方向後方側に所定距離離れた位置に基準点Ｐｉ＋１を設定し、基準点Ｐｉ＋１を基準とする仮想矩形枠Ｂｉ＋１を設定する。基準点Ｐｉ，Ｐｉ＋１間の距離は、仮想矩形枠Ｂｉの水平方向に延びる一辺の長さ以下が好ましく、当該一辺の長さの１／４以上１／２以下がさらに好ましい。これにより、ドアの探索において、同じドアを複数回（２回または３回程度）検出する機会を生じさせることができる。
　探索範囲判定部３３は、シフト後の所定領域Ｅｉが予め定められた探索範囲内かどうか、すなわち、すべての探索範囲について探索を行ったか否かを判定する（ステップＳ１１）。なお、探索範囲判定部３３は、シフト後の所定領域Ｅｉが探索範囲内であるかの判定を行う際、３次元空間において対応する仮想矩形枠Ｂｉが探索範囲内であるかどうかを判定してもよい。シフト後の所定領域Ｅｉが探索範囲内である場合（ステップＳ１１でＹｅｓ）、さらに、探索範囲判定部３３は、シフト後の所定領域Ｅｉが前回の探索で使用した撮影画像Ｇ１の範囲内であるか否かを判定する（ステップＳ１２）。
　探索領域画像生成部３１は、シフト後の所定領域Ｅｉが撮影画像Ｇ１の範囲内である場合（ステップＳ１２でＹｅｓ）、シフト後の所定領域Ｅｉを、探索領域画像Ｃｉを生成するための所定領域Ｅｉに設定（更新）する（ステップＳ３）。探索領域画像生成部３１は、更新後の所定領域Ｅｉに基づいて上記と同様に探索領域画像Ｃｉを生成（更新）する。探索実行部３２は、更新後の探索領域画像Ｃｉにおいて乗降部Ｄ１の探索を行う。このようにして、探索実行部３２は、所定領域Ｅｉを機軸ＡＬ方向に沿って前方側から後方側にシフトさせることにより探索領域画像Ｃｉを変えながら、順次生成された複数の探索領域画像Ｃｉを用いて、乗降部Ｄ１の探索を繰り返し行う。
　シフト後の所定領域Ｅｉが探索範囲内であるが撮影画像Ｇ１の範囲外となった場合（ステップＳ１２でＮｏ）、探索範囲判定部３３は、制御器３０に、第１カメラ２１の撮影方向を変更するための指示信号を送信する。制御器３０は、指示信号に基づいて第１カメラ２１の撮影方向を変更するように対応する撮影方向変更機構３４を制御する（ステップＳ１３）。撮影方向の変更量は、撮影方向変更前後の撮影画像において互いに一部が重複するように設定される。
　図５の例では、キャブ６を第２回転軸Ｒ６回りに所定角度θ回転させることにより、第１カメラ２１の撮影中心軸Ｌ１を、撮影中心軸Ｌ１に比べて機軸ＡＬ方向後方側において仮想平面ＶＰの基準軸ＶＬと交差する撮影中心軸Ｌ１ａに変更している。なお、前述の通り、カメラ２１，２２の撮影方向の変更方法はこれに限られず、例えばカメラ２１，２２自体をキャブ６に対して水平面に交差する方向に延びる所定の回転軸回りに回転させてもよい。
　第１カメラ２１は、撮影方向変更後に再度撮影を行う（ステップＳ２）。以降、同様に、更新後の撮影画像に対して探索処理が行われる（ステップＳ３からステップＳ８）。
　探索範囲判定部３３は、シフト後の所定領域Ｅｉが探索範囲外となった場合（ステップＳ１１でＮｏ）、リトライ数が予め設定された基準値未満である場合には（ステップＳ１４でＮｏ）、リトライ数を１増やし、探索処理を一からやり直す。すなわち、第１カメラ２１を初期角度に戻して撮影を行い、撮影画像に基づいて探索が行われる。リトライ数が基準値以上となった場合、探索実行部３２は、乗降部Ｄ１を検出できなかったと判定し、探索失敗の結果を出力する（ステップＳ１５）。
　ここで、射影変換についてより詳しく説明する。図６は、本実施の形態において所定領域を射影変換した後の画像を射影変換前の画像と比較して示す図である。図６は、乗降部Ｄ１付近に仮想矩形枠Ｂｉが設定されている場合を例示している。また、図６においては、航空機３の外表面の一部を二点鎖線で示している。
　上述したように、撮影画像Ｇ１の一部を含む所定領域Ｅｉは、多くの場合、歪んだ四角形状を有している。射影変換後の画像である探索領域画像Ｃｉにおいて、仮想矩形枠Ｂｉは、３次元空間において設定した形状と同じ矩形状となる。例えば、仮想矩形枠Ｂｉが正方形であれば、射影変換後の仮想矩形枠Ｂｉに対応する所定領域Ｅｐｉも正方形となる。これに伴って、射影変換後の画像においては、仮想平面ＶＰに近い航空機３の一部が航空機３の機軸ＡＬに対して垂直な方向から見た画像に近づくように補正される。なお、厳密に補正されるのは仮想平面ＶＰ上の物体だけであるので、仮想平面ＶＰから離れるほど補正誤差は残ることとなる。
　図６において、第１カメラ２１の撮影方向（撮影中心軸Ｌ１）は、機軸ＡＬに対して傾斜している。そのため、所定領域Ｅｉ内に含まれる乗降部Ｄ１であるドアは、下端部および上端部が撮影画像Ｇ１の水平線に対して傾斜したように映っている。前述したように、乗降部Ｄ１の探索（前述のＡＩ画像認識等）においては、例えば、ドアシルまたはドアシルに設けられた補強プレートにドアの基準点が設定される。この場合、乗降部Ｄ１の探索に用いられる画像において、乗降部Ｄ１（ドア）の下端部（ドアシルまたは補強プレート）は、水平に延びていることが好ましい。
　本実施の形態においては、図６に示すように、機軸ＡＬに平行かつ水平面（エプロンＥＰ）に対して垂直な仮想平面ＶＰ上に設定される仮想矩形枠Ｂｉが矩形に表示されるように、撮影画像Ｇ１のうちの一部を含む所定領域Ｅｉが射影変換される。また、射影変換によって、第１カメラ２１と乗降部Ｄ１との距離による乗降部Ｄ１の大きさの変化が抑制される。すなわち、第１カメラ２１と乗降部Ｄ１との距離にかかわらず射影変換後の乗降部Ｄ１の大きさを同程度にすることができる。したがって、射影変換後の画像において乗降部Ｄ１の検出を精度よく行うことができる。
　以上のように、本実施の形態によれば、旅客搭乗橋１（第１搭乗橋１１、第２搭乗橋１２）の先端部に設けられたカメラ２１，２２で撮影された撮影画像Ｇｊから、その撮影画像Ｇｊのうちの一部を含む所定領域Ｅｉごとに区切られた複数の探索領域画像Ｃｉが生成される。複数の探索領域画像Ｃｉは、所定領域Ｅｉを航空機３の機軸ＡＬ方向一方側から他方側に移動させて生成される。したがって、順次生成された複数の探索領域画像Ｃｉを用いて探索領域画像Ｃｉを変えながら乗降部Ｄ１，Ｄ２の探索を繰り返し行うことにより、探索領域を航空機３の機軸ＡＬに沿った方向に移動させながら撮影画像Ｇｊ全体の乗降部Ｄ１，Ｄ２の探索を行うことができる。
　これにより、航空機３の種類またはゲート配置によらず、乗降部Ｄ１，Ｄ２の探索を一律に行うことができる。したがって、航空機３の乗降部Ｄ１，Ｄ２の位置を、様々なゲート配置に対応して正確に検出することができる。これにより、従来の３次元位置だけに頼った乗降部Ｄ１，Ｄ２の位置検出では対応不可能であったゲート配置でも装着するべき乗降部Ｄ１，Ｄ２を正しく検出することができる。しかも、乗降部Ｄ１，Ｄ２の探索に際し、駐機する航空機３に応じた情報を入力する等の煩わしい操作を不要とすることができる。すなわち、オペレータが探索処理の開始のためのボタン操作を行うだけで、様々な航空機３に対して探索処理および後述する自動装着制御処理を実行することができる。
　また、本実施の形態によれば、射影変換により、探索領域画像Ｃｉが機軸ＡＬに平行な画像として生成される。したがって、撮影画像Ｇｊが航空機３の斜め方向から撮影された場合であっても、探索領域画像Ｃｉにおいて探索するべき乗降部Ｄ１，Ｄ２の形状の歪みを抑制することができる。これにより、探索領域画像Ｃｉにおける乗降部Ｄ１，Ｄ２の探索精度を向上させることができる。
　さらに、本実施の形態によれば、探索領域画像生成部３１は、撮影画像Ｇｊのうちの一部を含む所定領域Ｅｉを区切るたびに当該所定領域Ｅｉにおける撮影画像Ｇｊを射影変換する。このように、撮影画像Ｇｊが所定領域Ｅｉごとに射影変換される（同時に拡大処理も行われる）ため、撮影画像Ｇｊ全体を射影変換してからその射影変換後の画像から所定領域Ｅｉを区切って拡大するよりも画像の解像度の低下を抑制することができる。
　また、本実施の形態によれば、シフト後の所定領域Ｅｉが探索範囲内であるが、撮影画像Ｇｊ内ではないと判定された場合、撮影方向変更機構３４，３５によりカメラ２１，２２の撮影方向が変更され、カメラ２１，２２による撮影が再度行われる。このように、カメラ２１，２２の撮影方向を変更しつつ複数回撮影することにより、探索範囲全体の撮影画像を、複数の撮影画像Ｇｊとして取得することができる。したがって、一撮影画像あたりの撮影範囲を比較的狭くすることができるため、撮影画像Ｇｊから得られる探索領域画像Ｃｉの解像度を高くすることができる。もしくは探索範囲をカメラ２１，２２の視野以上に広く設定することが可能となる。
　なお、上述した探索処理は、第２カメラ２２を用いた第２搭乗橋１２のための乗降部Ｄ２の探索にも用いられる。例えば、第１搭乗橋１１におけるキャブ６の接続部６ａを航空機３の前方側の乗降部Ｄ１に接続し、第２搭乗橋１２におけるキャブ６の接続部６ａを航空機３の後方側の乗降部Ｄ２に接続する。この場合、第１搭乗橋１１が接続する乗降部Ｄ１の探索処理においては、第１搭乗橋１１について予め定められている探索範囲の機軸ＡＬ方向前方側から後方側へ探索が行われる。すなわち、第１搭乗橋１１が接続する乗降部Ｄ１の探索処理においては、上述したように、撮影画像Ｇ１上において機軸ＡＬ方向前方側から後方側へ所定領域Ｅｉを移動させる。さらに、必要に応じて第１カメラ２１の撮影方向を航空機３の前方側から後方側へ変更させて再撮影が行われる。
　一方、第２搭乗橋１２が接続する乗降部Ｄ２の探索処理においては、第２搭乗橋１２について予め定められている探索範囲の機軸ＡＬ方向後方側から前方側へ探索が行われる。すなわち、第２搭乗橋１２が接続する乗降部Ｄ２の探索処理においては、撮影画像Ｇ２上において機軸ＡＬ方向後方側から前方側へ所定領域Ｅｉを移動させる。さらに、必要に応じて第２カメラ２２の撮影方向を航空機３の後方側から前方側へ変更させて再撮影が行われる。
　これにより、第１カメラ２１で撮影された撮影画像Ｇ１に基づいて航空機３の前方にある乗降部Ｄ１を優先的に検出することができ、第２カメラ２２で撮影された撮影画像Ｇ２に基づいて航空機３の後方にある乗降部Ｄ２を優先的に検出することができる。このため、複数の搭乗橋１１，１２に対して同じ乗降部を検出する可能性を低減することができる。したがって、第１搭乗橋１１が接続するべき乗降部Ｄ１と第２搭乗橋１２が接続するべき乗降部Ｄ２とを正確かつ短時間で探索することができる。
　以下、本実施の形態における探索処理を用いた２つの搭乗橋１１，１２の乗降部Ｄ１，Ｄ２への自動装着制御処理について例示する。図７は、本実施の形態における自動装着制御処理の一例の流れを示すフローチャートである。図７の例では、第１カメラ２１を用いた第１搭乗橋１１のための第１探索（ステップＳＡ１）と、第２カメラ２２を用いた第２搭乗橋１２のための第２探索（ステップＳＡ２）とが並行して行われる。例えば、オペレータが所定の操作器に対して同時装着用の開始ボタンを押下操作することにより、第１探索および第２探索が同時に開始する。あるいは、第１探索を開始してから所定時間経過後（第１探索終了前）に第２探索が開始されてもよい。
　所定の操作器は、第１搭乗橋１１、第２搭乗橋１２または別途ターミナルビル２等に設けられた操作室に設けられる。また、操作器は、サーバを介して制御器３０と通信接続された通信端末のタッチパネルに、仮想の操作ボタンを表示することによって実現してもよい。
　探索実行部３２は、第１探索が終了するとその探索結果（図３のステップＳ９における探索成功またはステップＳ１５における探索失敗）を記憶器２４に記憶する（ステップＳＡ３）。同様に、探索実行部３２は、第２探索が終了するとその探索結果を記憶器２４に記憶する（ステップＳＡ４）。探索実行部３２は、第１探索および第２探索の探索結果の組み合わせに応じて各搭乗橋１１，１２に乗降部Ｄ１，Ｄ２への自動装着を行うか否かを判定する（ステップＳＡ５からステップＳＡ７）。
　第１探索が成功し、第２探索が失敗した場合（ステップＳＡ５でＹｅｓ）、探索実行部３２は、制御器３０に第１探索で検出された乗降部Ｄ１の３次元位置データを送信するとともに第１搭乗橋１１に対する自動装着の実行を許可する。これに応じて、制御器３０は、第１探索で検出された乗降部Ｄ１に第１搭乗橋１１を装着させるための装着処理を行う（ステップＳＡ８）。具体的には、制御器３０は、第１搭乗橋１１のキャブ６の接続部６ａの位置を検出された乗降部Ｄ１の３次元位置から計算したプリポジション（一時停止位置）に到達するよう、第１搭乗橋１１のドライブコラム７およびキャブ６を制御する。接続部６ａがプリポジションへ到達した後、制御器３０は、第１カメラ２１または接続部６ａ等に設けられたセンサ等を用いて、再度乗降部Ｄ１の検出を行い、接続部６ａが乗降部Ｄ１に接続するように制御する。
　第１探索が失敗し、第２探索が成功した場合（ステップＳＡ６でＹｅｓ）、探索実行部３２は、制御器３０に第２探索で検出された乗降部Ｄ２の３次元位置データを送信するとともに第２搭乗橋１２に対する自動装着の実行を許可する。制御器３０は、第２探索で検出された乗降部Ｄ２に第２搭乗橋１２を装着させるための装着処理を行う（ステップＳＡ９）。具体的な装着処理は、第１搭乗橋１１における装着処理と同様である。
　第１探索および第２探索の両方とも成功した場合（ステップＳＡ７でＹｅｓ）、探索実行部３２は、第１探索で検出された乗降部Ｄ１の３次元位置（第１位置）と第２探索で検出された乗降部Ｄ２の３次元位置（第２位置）との距離（検出間距離Ｌ）が予め定められた基準値Ｌｏ以上か否かを判定する（ステップＳＡ１０）。探索実行部３２は、検出間距離Ｌが基準値Ｌｏ以上である場合（ステップＳＡ１０でＹｅｓ）、第１探索で検出された乗降部Ｄ１と第２探索で検出された乗降部Ｄ２とが互いに異なる乗降部であると判定して、制御器３０に乗降部Ｄ１，Ｄ２のそれぞれの３次元位置データを送信するとともに第１搭乗橋１１および第２搭乗橋１２の双方に対する自動装着の実行を許可する。制御器３０は、第１探索で検出された乗降部Ｄ１に第１搭乗橋１１を装着させるための装着処理を行い、第２探索で検出された乗降部Ｄ２に第２搭乗橋１２を装着させるための装着処理を行う（ステップＳＡ１１）。
　一方、第１探索および第２探索の何れも失敗した場合（ステップＳＡ７でＮｏ）、探索実行部３２は、操作器の表示部等にエラーを出力し、自動装着制御処理を停止する（ステップＳＡ１２）。
　第１探索および第２探索の両方とも成功した場合であって、検出間距離Ｌが基準値Ｌｏ未満である場合（ステップＳＡ１０でＮｏ）、探索実行部３２は、同一ドア検出判定処理を実行する（ステップＳＡ１３）。同一ドア検出判定処理は、第１探索で検出された乗降部Ｄ１と第２探索で検出された乗降部Ｄ２とが同じ乗降部を検出したものであるか否かを判定する処理である。基準値Ｌｏは、航空機３に設けられる２つのドア間の距離に基づいて設定される。例えば、基準値Ｌｏは、全航空機の最小ドア間距離の１／２に設定される。したがって、検出間距離Ｌが基準値Ｌｏ未満である場合、第１探索によって検出した乗降部Ｄ１と第２探索によって検出した乗降部Ｄ２とは、同じドアである可能性が高いと考えられる。
　図８は、図７に示す同一ドア検出判定処理の流れを示すフローチャートである。図９は、同一ドア検出判定処理における場合分けの概念図である。探索実行部３２は、同一ドア検出判定処理において、第１カメラ２１について設定される第１探索範囲Ｆ１または第２カメラ２２について設定される第２探索範囲Ｆ２の少なくとも何れか一方の探索範囲に、第１探索で検出された乗降部Ｄ１の３次元位置である第１位置Ｈ１および第２探索で検出された乗降部Ｄ２の３次元位置である第２位置Ｈ２の双方が含まれていれば、第１位置Ｈ１または第２位置Ｈ２で、一の乗降部Ｄ１またはＤ２を検出したと判定する。なお、図９においては、第１探索範囲Ｆ１と第２探索範囲Ｆ２との判別を容易にするために上下位置を互いにずらして表示しているが、第１探索範囲Ｆ１と第２探索範囲Ｆ２との上下位置は同じでもよいし、異なっていてもよい。
　より具体的には、探索実行部３２は、第１探索範囲Ｆ１に第１位置Ｈ１および第２位置Ｈ２の両方が含まれるか否かを判定する（ステップＳＢ１）。探索実行部３２は、第１探索範囲Ｆ１に第１位置Ｈ１および第２位置Ｈ２の両方が含まれる場合（ステップＳＢ１でＹｅｓ）、第１探索における乗降部Ｄ１の検出は信憑性が高いとみなして乗降部Ｄ１の３次元位置である第１位置Ｈ１を有効と判定する。この場合、探索実行部３２は、さらに、第２探索範囲Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれるか否かを判定する（ステップＳＢ２）。
　探索実行部３２は、第２探索範囲Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれる場合（ステップＳＢ２でＹｅｓ）、第２探索における乗降部Ｄ２の検出も信憑性が高いとみなして乗降部Ｄ２の３次元位置である第２位置Ｈ２も有効と判定する。すなわち、探索実行部３２は、第１位置Ｈ１および第２位置Ｈ２の何れも有効と判定する。この場合は、図９における状態Ｑ１および状態Ｑ２が該当する。状態Ｑ１は、第１位置Ｈ１が機軸ＡＬ方向前方側に位置し、第２位置Ｈ２が機軸ＡＬ方向後方側に位置する場合である。状態Ｑ２は、第１位置Ｈ１が機軸ＡＬ方向後方側に位置し、第２位置Ｈ２が機軸ＡＬ方向前方側に位置する場合である。何れの状態Ｑ１，Ｑ２においても、一の探索範囲Ｆ１，Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれている。
　この場合、制御器３０は、第１搭乗橋１１および第２搭乗橋１２のうちの予め定められた搭乗橋を、第１位置Ｈ１および第２位置Ｈ２のうちの予め定められた位置座標に移動させて装着処理を行う（ステップＳＢ３）。例えば、第１搭乗橋１１が優先される場合に、制御器３０は、第１搭乗橋１１を、第１位置Ｈ１に移動させて装着処理を行ってもよい。あるいは、第１搭乗橋１１が優先される場合に、制御器３０は、第１搭乗橋１１を第１位置Ｈ１および第２位置Ｈ２のうちの機軸ＡＬ方向前方側となる位置に移動させて装着処理を行ってもよい。また、例えば、制御器３０は、状態Ｑ１であれば、第１搭乗橋１１を第１位置Ｈ１に移動させ、状態Ｑ２であれば第１搭乗橋１１を第２位置Ｈ２に移動させてもよい。
　また、探索実行部３２は、第１探索範囲Ｆ１に第１位置Ｈ１および第２位置Ｈ２の両方が含まれるが、第２探索範囲Ｆ２に第１位置Ｈ１が含まれないと判定した場合（ステップＳＢ２でＮｏ）、乗降部Ｄ１および乗降部Ｄ２のうちの第１探索における乗降部Ｄ１の検出のみが信憑性が高いとみなして、第１位置Ｈ１のみを有効と判定する。この場合は、図９における状態Ｑ３が該当する。この場合、制御器３０は、第１搭乗橋１１を第１位置Ｈ１に移動させて装着処理を行う（ステップＳＢ４）。
　また、探索実行部３２は、第１探索範囲Ｆ１に第２位置Ｈ２が含まれないと判定した場合（ステップＳＢ１でＮｏ）、第２探索範囲Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれるか否かを判定する（ステップＳＢ５）。探索実行部３２は、第１探索範囲Ｆ１に第２位置Ｈ２が含まれないが、第２探索範囲Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれると判定した場合（ステップＳＢ５でＹｅｓ）、乗降部Ｄ１および乗降部Ｄ２のうちの第２探索における乗降部Ｄ２の検出のみが信憑性が高いとみなして、第２位置Ｈ２のみを有効と判定する。この場合は、図９における状態Ｑ４が該当する。この場合、制御器３０は、第２搭乗橋１２を第２位置Ｈ２に移動させて装着処理を行う（ステップＳＢ６）。
　また、探索実行部３２は、第１探索範囲Ｆ１に第２位置Ｈ２が含まれず、第２探索範囲Ｆ２に第１位置Ｈ１が含まれないと判定した場合（ステップＳＢ５でＮｏ）、乗降部Ｄ１および乗降部Ｄ２の何れの検出も信憑性が低いとみなして、第１位置Ｈ１および第２位置Ｈ２を無効と判定する。この場合は、図９における状態Ｑ５および状態Ｑ６が該当する。状態Ｑ５は、第１探索範囲Ｆ１と第２探索範囲Ｆ２との間で重複する範囲があるが第１位置Ｈ１および第２位置Ｈ２の両方が含まれる探索範囲が存在しない場合である。状態Ｑ６は、第１探索範囲Ｆ１と第２探索範囲Ｆ２とがそもそも重複しない場合である。この場合、探索実行部３２は、操作器の表示部等にエラーを出力し、自動装着制御処理を停止する（ステップＳＢ７）。
　このように、上記構成によれば、第１搭乗橋１１が接続するべき乗降部Ｄ１の探索と第２搭乗橋１２が接続するべき乗降部Ｄ２の探索とが同時並行的に行われるため、探索期間を短時間にすることができる。さらに、第１探索で検出された第１位置Ｈ１と、第２探索で検出された第２位置Ｈ２との距離が近い場合、第１位置Ｈ１および第２位置Ｈ２の双方が第１探索範囲Ｆ１または第２探索範囲Ｆ２の少なくとも何れか一方に含まれていれば、２つの探索で１つの乗降部を検出したと判定される。このように、第１位置Ｈ１と第２位置Ｈ２とが近い場合であっても、２つの探索で１つの乗降部を検出したことについての信憑性が高いと想定される場合に限って、１つの乗降部を検出したと判定することにより、誤検出の発生を抑制することができる。
　［変形例］
　以上、本開示の実施の形態について説明したが、本開示は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の改良、変更、修正が可能である。
　例えば、上記実施の形態では、探索領域画像Ｃｉを生成するための撮影画像Ｇｊを撮影するカメラ２１，２２がキャブ６の上部に設けられたカメラであるとしたが、キャブ６の下部に設けられたカメラで撮影した撮影画像Ｇｊから探索領域画像Ｃｉが生成されてもよい。また、一のキャブ６の上部および下部に設けられた複数のカメラで撮影した複数の撮影画像Ｇｊのそれぞれを用いて探索処理が行われてもよい。
　また、上記実施の形態では、旅客搭乗橋１が２つの搭乗橋１１，１２を含む場合を説明したが、旅客搭乗橋１は、１つでもよいし、３つ以上でもよい。例えば、旅客搭乗橋１が３つの搭乗橋を含む場合であって、航空機３が１階部分および２階部分に乗降部を有する場合にも、本開示の検出システム２０は、すべての搭乗橋に対して適用可能である。
　この場合、例えば、第１搭乗橋を１階部分の機軸ＡＬ方向前方側にある乗降部Ｄ１に接続させるために、第１探索範囲において機軸ＡＬ方向前方側から後方側へ第１探索を行う。また、第２搭乗橋を１階部分の機軸ＡＬ方向後方側にある乗降部Ｄ２に接続させるために、第２探索範囲において機軸ＡＬ方向後方側から前方側へ第２探索を行う。さらに、第３搭乗橋を２階部分にある乗降部Ｄ３に接続させるために、第１探索における第１探索範囲より高い位置に設定された第３探索範囲において機軸ＡＬ方向前方側から後方側へ第３探索を行う。
　また、上記実施の形態では、第２搭乗橋１２は、第２探索範囲Ｆ２において機軸ＡＬ方向後方側から前方側へ探索を行う態様を例示したが、第２搭乗橋１２についても、第１搭乗橋１１と同様に、機軸ＡＬ方向前方側から後方側へ探索を行うことを可能としてもよい。
　例えば、図１に示すような１つの搭乗ゲートに２つの搭乗橋１１，１２が設けられている駐機場所においても乗降部が１つである航空機３が駐機し得る。この場合、上記実施の形態で例示したような態様で自動装着制御処理を実行した場合は、搭乗橋１１，１２の探索処理が行われ、いずれかの搭乗橋だけが装着処理（ステップＳＡ８，ＳＡ９，ＳＢ３，ＳＢ４，ＳＢ６のいずれか）を行うことになるが、オペレータは、駐機する航空機３の種類に合わせて航空機３に装着させる搭乗橋の数を選択してもよい。航空機３に装着させる搭乗橋の数が２つの場合、画像処理装置２３は、上記実施の形態で例示したような態様で第１搭乗橋１１を乗降部Ｄ１に装着し、第２搭乗橋１２を乗降部Ｄ２に装着するための探索処理を行う。一方、航空機３に装着させる搭乗橋の数が１つの場合、駐機位置等に応じて第１搭乗橋１１および第２搭乗橋１２のうちの何れの搭乗橋を装着するかが選択されてもよい。
　航空機３の乗降部Ｄ１に装着する搭乗橋として第１搭乗橋１１が選択された場合、画像処理装置２３は、上記実施の形態と同様に、第１探索範囲Ｆ１において機軸ＡＬ方向前方側から後方側へ探索を行う探索処理を実行する。一方、航空機３の乗降部Ｄ１に装着する搭乗橋として第２搭乗橋１２が選択された場合、画像処理装置２３は、第２探索範囲Ｆ２において機軸ＡＬ方向前方側から後方側へ探索を行う探索処理を実行してもよい。
　また、航空機３の前方側の乗降部Ｄ１と後方側の乗降部Ｄ２とが大きく離れている場合、または、第１探索範囲Ｆ１と第２探索範囲Ｆ２とが重複せず互いに機軸ＡＬ方向に離れている場合等においては、第１搭乗橋１１のための第１探索および第２搭乗橋１２のための第２探索の何れについても同じ方向（機軸ＡＬ方向一方側から他方側）へ探索を行うようにしてもよい。
　第２探索における探索方向の選択は、上記接続態様（２つの乗降部Ｄ１，Ｄ２を有する航空機３の後方側の乗降部Ｄ２に第２搭乗橋１２を接続する接続態様または１つの乗降部Ｄ１を有する航空機３の乗降部Ｄ１に第２搭乗橋１２を接続する接続態様）の切り替えに応じて自動的に選択されてもよいし、操作器への操作により手動で探索方向の選択を行い得るようにしてもよい。また、第１探索における探索方向も、機軸ＡＬ方向前方側から後方側だけでなく、機軸ＡＬ方向後方側から前方側へ切り替え可能としてもよい。
　また、上記実施の形態において、２つの搭乗橋１１，１２を２つの乗降部Ｄ１，Ｄ２に接続させるために、第１搭乗橋１１のための第１探索と、第２搭乗橋１２のための第２探索とが並行して行われる態様を例示したが、第１探索と第２探索とが順に行われてもよい。例えば、第１探索が行われた後、第２探索が行われてもよいし、第２探索が行われた後、第１探索が行われてもよい。
　また、上記実施の形態において、１つの画像処理装置２３が第１探索および第２探索の何れも行う態様を例示したが、第１探索を行う画像処理装置２３と、第２探索を行う画像処理装置２３とが別の処理装置（コンピュータ等）により構成されてもよい。例えば、第１探索を行う画像処理装置が第１搭乗橋１１に設置され、第２探索を行う画像処理装置が第２搭乗橋１２に設置されてもよい。
　また、上記実施の形態において、１つの制御器３０が第１搭乗橋１１、第２搭乗橋１２、第１カメラ２１のための撮影方向変更機構３４および第２カメラ２２のための撮影方向変更機構３５の何れの動作も制御する態様を例示したが、これらの構成１１，１２，３４，３５の一部または全部に対して互いに異なる制御器が設けられてもよい。
１　旅客搭乗橋
２　ターミナルビル
３　航空機
１１　第１搭乗橋
１２　第２搭乗橋
２０　検出システム
２１　第１カメラ
２２　第２カメラ
２３　画像処理装置
３０　制御器
３１　探索領域画像生成部
３２　探索実行部
３３　探索範囲判定部
３４，３５　撮影方向変更機構
Ｄ１，Ｄ２　乗降部

Claims (7)

  1. 　航空機の乗降部を検出するための検出システムであって、
    　ターミナルビルに接続される旅客搭乗橋と、
    　前記旅客搭乗橋に設けられたカメラと、
    　前記カメラで撮影された撮影画像から前記航空機の乗降部を検出する画像処理装置と、を備え、
    　前記画像処理装置は、
    　前記撮影画像のうちの一部を含む所定領域を区切って探索領域画像を生成する探索領域画像生成部と、
    　前記探索領域画像内に前記乗降部が存在するか否かの探索を行う探索実行部と、を含み、
    　前記探索領域画像生成部は、前記撮影画像上において前記所定領域を前記航空機の機軸方向一方側から他方側に移動させることにより、前記探索領域画像を順次生成し、
    　前記探索実行部は、順次生成された複数の前記探索領域画像を用いて、前記探索領域画像を変えながら前記探索を繰り返し行う、検出システム。
  2. 　前記探索領域画像生成部は、前記撮影画像において水平面に対して垂直かつ前記機軸に平行な仮想平面を、前記仮想平面に垂直な方向から見たときの画像となるように射影変換することを含む、請求項１に記載の検出システム。
  3. 　前記探索領域画像生成部は、前記撮影画像のうちの一部を含む前記所定領域を区切るたびに当該所定領域における前記撮影画像を前記射影変換する、請求項２に記載の検出システム。
  4. 　水平面に交差する方向に延びる所定の回転軸回りに回動することにより前記カメラの撮影方向を変更する撮影方向変更機構と、
    　前記撮影方向変更機構の動作を制御する制御器を備え、
    　前記画像処理装置は、移動後の前記所定領域が予め定められる探索範囲内かつ前記撮影画像内であるか否かを判定する探索範囲判定部を含み、
    　前記制御器は、移動後の前記所定領域が前記探索範囲内であるが、前記撮影画像内ではないと判定された場合、前記撮影方向変更機構により前記カメラの撮影方向を変更して、前記カメラによる撮影を再度行う、請求項１から３の何れかに記載の検出システム。
  5. 　前記旅客搭乗橋は、第１搭乗橋と、第２搭乗橋とを含み、
    　前記カメラは、前記第１搭乗橋に設けられた第１カメラと、前記第２搭乗橋に設けられた第２カメラとを含み、
    　前記探索領域画像生成部は、前記第１カメラが撮影した前記撮影画像上において前記所定領域を前記航空機の機軸方向前方側から後方側に移動させることにより、前記探索領域画像を順次生成し、前記第２カメラが撮影した前記撮影画像上において前記所定領域を前記航空機の機軸方向後方側から前方側に移動させることにより、前記探索領域画像を順次生成する、請求項１から４の何れかに記載の検出システム。
  6. 　前記探索実行部は、前記第１カメラが撮影した前記撮影画像から生成された前記探索領域画像による第１探索と、前記第２カメラが撮影した前記撮影画像から生成された前記探索領域画像による第２探索とを、並行して行う、請求項５に記載の検出システム。
  7. 　前記探索実行部は、前記第１カメラが撮影した前記撮影画像から生成された前記探索領域画像による第１探索において前記乗降部を検出した第１位置と、前記第２カメラが撮影した前記撮影画像から生成された前記探索領域画像による第２探索において前記乗降部を検出した第２位置との距離が所定の基準値未満の場合に、前記第１カメラについて設定される第１探索範囲または前記第２カメラについて設定される第２探索範囲の少なくとも何れか一方の探索範囲に前記第１位置および前記第２位置の双方が含まれていれば、前記第１位置または前記第２位置で、一の前記乗降部を検出したと判定する、請求項５または６に記載の検出システム。
PCT/JP2022/002158 2021-07-29 2022-01-21 航空機の乗降部を検出するための検出システム WO2023007770A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023538216A JP7449454B2 (ja) 2021-07-29 2022-01-21 航空機の乗降部を検出するための検出システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021124555 2021-07-29
JP2021-124555 2021-07-29

Publications (1)

Publication Number Publication Date
WO2023007770A1 true WO2023007770A1 (ja) 2023-02-02

Family

ID=85086622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002158 WO2023007770A1 (ja) 2021-07-29 2022-01-21 航空機の乗降部を検出するための検出システム

Country Status (2)

Country Link
JP (1) JP7449454B2 (ja)
WO (1) WO2023007770A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005518308A (ja) * 2002-02-27 2005-06-23 インダール テクノロジーズ インコーポレイテッド 航空機と自動的にドッキングするための乗客用ブリッジなどのための画像化システム
US20080098538A1 (en) * 2006-10-31 2008-05-01 Dew Engineering And Development Limited Vision system for automatically aligning a passenger boarding bridge with a doorway of an aircraft and method therefor
JP2013050912A (ja) * 2011-08-31 2013-03-14 Toshiba Corp オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
JP2017085439A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 追尾装置
US20190225351A1 (en) * 2016-05-17 2019-07-25 Thyssenkrupp Elevator Innovation Center S.A. Method for positioning a passenger boarding bridge at an airplane
JP6720414B2 (ja) 2017-07-13 2020-07-08 新明和工業株式会社 旅客搭乗橋
JP2020175727A (ja) 2019-04-16 2020-10-29 三菱重工交通機器エンジニアリング株式会社 ボーディングブリッジ及びその制御装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005518308A (ja) * 2002-02-27 2005-06-23 インダール テクノロジーズ インコーポレイテッド 航空機と自動的にドッキングするための乗客用ブリッジなどのための画像化システム
US20080098538A1 (en) * 2006-10-31 2008-05-01 Dew Engineering And Development Limited Vision system for automatically aligning a passenger boarding bridge with a doorway of an aircraft and method therefor
JP2013050912A (ja) * 2011-08-31 2013-03-14 Toshiba Corp オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
JP2017085439A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 追尾装置
US20190225351A1 (en) * 2016-05-17 2019-07-25 Thyssenkrupp Elevator Innovation Center S.A. Method for positioning a passenger boarding bridge at an airplane
JP6720414B2 (ja) 2017-07-13 2020-07-08 新明和工業株式会社 旅客搭乗橋
JP2020175727A (ja) 2019-04-16 2020-10-29 三菱重工交通機器エンジニアリング株式会社 ボーディングブリッジ及びその制御装置

Also Published As

Publication number Publication date
JP7449454B2 (ja) 2024-03-13
JPWO2023007770A1 (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
US10875666B2 (en) Passenger boarding bridge
US7990415B2 (en) Image input device and calibration method
US10365090B2 (en) Imaging device and imaging method
WO2023007770A1 (ja) 航空機の乗降部を検出するための検出システム
JP6960022B2 (ja) 旅客搭乗橋
JP5763986B2 (ja) 移動体および移動体の制御方法
JP7222113B2 (ja) 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム
JP7321749B2 (ja) ボーディングブリッジ及びその制御装置
WO2023188547A1 (ja) 航空機の乗降部を検出するための検出システム
JPH06214639A (ja) 移動体の走行制御装置
CN111942391A (zh) 铰接式工程机械、全景环视系统及其标定方法
JP7324800B2 (ja) 旅客搭乗橋の走行制御方法
JP5040938B2 (ja) 駐車支援装置及び駐車支援映像の表示方法
JP2020066418A (ja) ボーディングブリッジ及びボーディングブリッジ制御装置
US10742874B2 (en) Imaging plan generation device, imaging plan generation method, and program
CN212289808U (zh) 铰接式工程机械及其全景环视系统
JP6502570B1 (ja) ボーディングブリッジ及びボーディングブリッジ制御装置
JP7457873B2 (ja) 旅客搭乗橋
WO2022208601A1 (ja) 旅客搭乗橋
JP2001186513A (ja) 撮像装置
JP7224905B2 (ja) ボーディングブリッジ
JP2989617B2 (ja) 移動車の環境認識装置
JP6845976B1 (ja) 旅客搭乗橋
JPH06214640A (ja) 移動体の走行制御装置
CN117956670A (zh) 成像控制方法、装置、成像系统及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22848854

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023538216

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18562487

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022848854

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022848854

Country of ref document: EP

Effective date: 20240229