JP7449454B2 - 航空機の乗降部を検出するための検出システム - Google Patents

Description

本開示は、航空機の乗降部を検出するための検出システムに関する。

空港のターミナルビルと航空機との間の乗客の歩行通路になる設備として、旅客搭乗橋が知られている。旅客搭乗橋は、ターミナルビルに接続されて水平回転自在に支持されたロタンダと、基端がロタンダに接続されて伸縮自在に構成されたトンネル部と、トンネル部の先端に回転自在に設けられ航空機の乗降部に装着されるキャブと、トンネル部の先端寄りに支持脚として設けられたドライブコラムとを備えている。ドライブコラムには、トンネル部を支持して上下移動させる昇降装置と、昇降装置の下部に設けられ一対の走行車輪を有する走行装置とを備えている。このような旅客搭乗橋の移動を自動化することが提案されている（例えば下記特許文献１および２参照）。

例えば、特許文献１には、キャブに航空機の乗降部を撮影するカメラを取り付け、所定の待機位置にキャブがあるときに、カメラで撮影される乗降部の画像に基づいて当該乗降部の水平位置情報を算出し、この水平位置情報に基づいて、キャブを乗降部に装着するために移動させる移動先の目標位置を算出し、待機位置にあるキャブを目標位置に向かって移動させることが記載されている。

また、特許文献２には、航空機の乗降口と接続可能なヘッド部（キャブ）に第１および第２の２つのカメラを備えた構成が記載されている。そして、操作盤において駆動開始の入力が行われると、走行駆動部によって車輪走行が開始され、ヘッド部が航空機の数メートル手前まで到達したとき、第１および第２カメラによる航空機の第１の特徴部および第２の特徴部の撮像が開始される。そして、第１および第２カメラの撮像画像を用いて航空機の乗降口の目標点の位置を算出し、航空機の乗降口に対するヘッド部の相対位置および相対角度を算出し、これらに基づいて制御補正量を算出し、それに基づいて各種駆動部が駆動されて、ヘッド部を航空機の目標点に向けて移動させることが記載されている。

特許第６７２０４１４号公報 特開２０２０－１７５７２７号公報

このような旅客搭乗橋の移動を自動化するためには、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像から航空機の乗降部の位置を正確に検出する必要がある。特に、航空機の乗降部の位置は、駐機する航空機の種類およびサイズ等に応じて大きく異なり得る。また、空港のゲート配置も様々であり、駐機する航空機とゲート配置との組み合わせごとに乗降部の位置検出態様を予め設定することは煩雑である。このように、様々なゲート配置に対応して複数種類の航空機の乗降部の位置を正確に検出することについて、上記特許文献１および２には改善の余地がある。

本開示は上記のような課題を解決するためになされたもので、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像を用いて、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる検出システムを提供することを目的としている。

本開示のある態様に係る検出シスステムは、航空機の乗降部を検出するための検出システムであって、ターミナルビルに接続される旅客搭乗橋と、前記旅客搭乗橋に設けられたカメラと、前記カメラで撮影された撮影画像から前記航空機の乗降部を検出する画像処理装置と、を備え、前記画像処理装置は、前記撮影画像のうちの一部を含む所定領域を区切って探索領域画像を生成する探索領域画像生成部と、前記探索領域画像内に前記乗降部が存在するか否かの探索を行う探索実行部と、を含み、前記探索領域画像生成部は、前記撮影画像上において前記所定領域を前記航空機の機軸方向一方側から他方側に移動させることにより、前記探索領域画像を順次生成し、前記探索実行部は、順次生成された複数の前記探索領域画像を用いて、前記探索領域画像を変えながら前記探索を繰り返し行う。

上記構成によれば、旅客搭乗橋に設けられたカメラで撮影された撮影画像から、その撮影画像の一部を含む所定領域ごとに区切られた複数の探索領域画像が生成される。複数の探索領域画像は、所定領域を航空機の機軸方向一方側から他方側に移動させて生成される。したがって、順次生成された複数の探索領域画像を用いて探索領域画像を変えながら乗降部の探索を繰り返し行うことにより、探索領域を航空機の機軸に沿った方向に移動させながら撮影画像全体の乗降部の探索を行うことができる。これにより、航空機の種類またはゲート配置によらず、乗降部の探索を一律に行うことができる。したがって、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる。

前記探索領域画像生成部は、前記撮影画像において水平面に対して垂直かつ前記機軸に平行な仮想平面を、前記仮想平面に垂直な方向から見たときの画像となるように射影変換することを含んでもよい。

上記構成によれば、探索領域画像が機軸に平行な画像として生成される。したがって、撮影画像が航空機の斜め方向から撮影された場合であっても、探索領域画像において探索するべき乗降部の形状の歪みを抑制することができる。これにより、探索領域画像における乗降部の探索精度を向上させることができる。

前記探索領域画像生成部は、前記撮影画像のうちの一部を含む前記所定領域を区切るたびに当該所定領域における前記撮影画像を前記射影変換してもよい。

上記構成によれば、撮影画像が所定領域ごとに射影変換されるため、撮影画像全体を射影変換してからその射影変換後の画像から所定領域を区切るよりも画像の解像度の低下を抑制することができる。

前記検出システムは、水平面に対して交差する方向に延びる所定の回転軸回りに回動することにより前記カメラの撮影方向を変更する撮影方向変更機構と、前記撮影方向変更機構の動作を制御する制御器を備え、前記画像処理装置は、移動後の前記所定領域が予め定められる探索範囲内かつ前記撮影画像内であるか否かを判定する探索範囲判定部を含み、前記制御器は、移動後の前記所定領域が前記探索範囲内であるが、前記撮影画像内ではないと判定された場合、前記撮影方向変更機構により前記カメラの撮影方向を変更して、前記カメラによる撮影を再度行ってもよい。

上記構成によれば、カメラの撮影方向を変更しつつ複数回撮影することにより、探索範囲全体の撮影画像を、複数の撮影画像として取得することができる。したがって、一撮影画像あたりの撮影範囲を比較的狭くすることができるため、撮影画像から得られる探索領域画像の解像度を高くすることができる。もしくは探索範囲をカメラの視野以上に広く設定することが可能となる。

前記旅客搭乗橋は、第１搭乗橋と、第２搭乗橋とを含み、前記カメラは、前記第１搭乗橋に設けられた第１カメラと、前記第２搭乗橋に設けられた第２カメラとを含み、前記探索領域画像生成部は、前記第１カメラが撮影した前記撮影画像上において前記所定領域を前記航空機の機軸方向前方側から後方側に移動させることにより、前記探索領域画像を順次生成し、前記第２カメラが撮影した前記撮影画像上において前記所定領域を前記航空機の機軸方向後方側から前方側に移動させることにより、前記探索領域画像を順次生成してもよい。

上記構成によれば、第１搭乗橋に設けられた第１カメラで撮影された撮影画像に基づいて第１搭乗橋が接続するべき航空機の乗降部の探索が行われ、第２搭乗橋に設けられた第２カメラで撮影された撮影画像に基づいて第２搭乗橋が接続するべき航空機の乗降部の探索が行われる。このとき、第１カメラで撮影した撮影画像を用いた乗降部の探索では、航空機の機軸方向前方側から後方側に探索が行われる一方、第２カメラで撮影した撮影画像を用いた乗降部の探索では、航空機の機軸方向後方側から前方側に探索が行われる。これにより、第１カメラで撮影された撮影画像に基づいて航空機の前方にある乗降部を優先的に検出することができ、第２カメラで撮影された撮影画像に基づいて航空機の後方にある乗降部を優先的に検出することができる。したがって、第１搭乗橋が接続するべき乗降部と第２搭乗橋が接続するべき乗降部とを正確かつ短時間で探索することができる。

前記探索実行部は、前記第１カメラが撮影した前記撮影画像から生成された前記探索領域画像による第１探索と、前記第２カメラが撮影した前記撮影画像から生成された前記探索領域画像による第２探索とを、並行して行ってもよい。上記構成によれば、第１搭乗橋が接続するべき乗降部の探索と第２搭乗橋が接続するべき乗降部の探索とが同時並行的に行われるため、探索期間を短時間にすることができる。

前記探索実行部は、前記第１カメラが撮影した前記撮影画像から生成された前記探索領域画像による第１探索において前記乗降部を検出した第１位置と、前記第２カメラが撮影した前記撮影画像から生成された前記探索領域画像による第２探索において前記乗降部を検出した第２位置との距離が所定の基準値未満の場合に、前記第１カメラについて設定される第１探索範囲または前記第２カメラについて設定される第２探索範囲の少なくとも何れか一方の探索範囲に前記第１位置および前記第２位置の双方が含まれていれば、前記第１位置または前記第２位置で、一の前記乗降部を検出したと判定してもよい。

上記構成によれば、第１探索で検出された乗降部の位置（第１位置）と、第２探索で検出された乗降部の位置（第２位置）との距離が近い場合、第１位置および第２位置の双方が第１探索範囲または第２探索範囲の少なくとも何れか一方に含まれていれば、２つの探索で１つの乗降部を検出したと判定される。このように、第１位置と第２位置とが近い場合であっても、２つの探索で１つの乗降部を検出したことについての信憑性が高いと想定される場合に限って、１つの乗降部を検出したと判定することにより、誤検出の発生を抑制することができる。

本開示によれば、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像を用いて、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる。

図１は、本実施の形態に係る検出システムが適用される旅客搭乗橋の一例を示す概略平面図である。 図２は、図１に示す旅客搭乗橋に適用される検出システムの概略構成を示すブロック図である。 図３は、本実施の形態における探索処理の流れを示すフローチャートである。 図４は、本実施の形態における撮影画像の例を示す図である。 図５は、図４に示す撮影画像において所定領域を設定するための概念図である。 図６は、本実施の形態において所定領域を射影変換した後の画像を射影変換前の画像と比較して示す図である。 図７は、本実施の形態における自動装着制御処理の一例の流れを示すフローチャートである。 図８は、図７に示す同一ドア検出判定処理の流れを示すフローチャートである。 図９は、同一ドア検出判定処理における場合分けの概念図である。

以下、本開示の好ましい実施の形態を、図面を参照しながら説明する。なお、以下では全ての図面を通じて同一または相当する要素には同一の参照符号を付して、その重複する説明を省略する。また、図面は理解しやすくするために、それぞれの構成要素を模式的に示したもので、形状および寸法比等については正確な表示ではない場合がある。また、本開示は、以下の実施形態に限定されない。

図１は、本実施の形態に係る検出システムが適用される旅客搭乗橋の一例を示す概略平面図である。図１の例において、旅客搭乗橋１は、第１搭乗橋１１と、第２搭乗橋１２とを含む。各搭乗橋１１，１２は、同様の構成を有する。

搭乗橋１１，１２は、それぞれ、空港のターミナルビル２の乗降口に接続されたロタンダ（基部円形室）４と、基端がロタンダ４に俯仰自在に接続されて長手方向に伸縮自在に構成されたトンネル部５と、トンネル部５の先端部に接続されたキャブ（先端部円形室）６とを備えている。ロタンダ４は、鉛直方向に延びる第１回転軸Ｒ４回りに水平回転自在に構成されている。キャブ６は、キャブ６の底面に直交する方向に延びる第２回転軸Ｒ６回りに水平回転自在に構成されている。

トンネル部５は、乗客の歩行通路を形成し、筒状体からなる複数のトンネル５ａ，５ｂが入れ子式に嵌合されて長手方向に伸縮自在に構成されている。なお、ここでは、２つのトンネル５ａ，５ｂによって構成されたトンネル部５が例示されているが、トンネル部５は２つ以上の複数のトンネルによって構成されていればよい。また、トンネル部５の基端部は、ロタンダ４に、水平回転軸回りに揺動自在（上下に揺動自在）に接続されることにより、ロタンダ４に俯仰自在に接続されている。

また、トンネル部５の先端部（先端側のトンネル５ａ）には、支持脚としてドライブコラム７が設けられている。なお、ドライブコラム７は、キャブ６に取り付けられていてもよい。ドライブコラム７には、キャブ６およびトンネル部５を昇降させる昇降装置８が設けられている。これにより、キャブ６およびトンネル部５は、ロタンダ４を基点として上下方向に揺動することができる。これにより、キャブ６の回転軸である第２回転軸Ｒ６の向きは、キャブ６の底面における水平面に対する傾きに応じて変化する。言い換えると、第２回転軸Ｒ６は、水平面に交差する方向に延び、その方向がキャブ６およびトンネル部５の上下方向の揺動に応じて変化する。

また、ドライブコラム７は、トンネル部５をロタンダ４の回り（第１回転軸Ｒ４回り）に回転させるとともにトンネル部５を伸縮させるための走行装置９を含んでいる。走行装置９は、昇降装置８の下方に設けられる。走行装置９は、例えば個々に独立して正逆回転駆動可能である２つの走行車輪を有している。２つの走行車輪を同方向に回転（正回転または逆回転）させることにより前進走行または後進走行が可能であり、２つの走行車輪を互いに逆方向に回転させることにより、その場において走行方向（走行車輪の向き）を変更することもできる。なお、本実施の形態では、ロタンダ４自体が第１回転軸Ｒ４回りに回転することによりトンネル部５が第１回転軸Ｒ４回りに回転する構成を例示しているが、これに代えて、ロタンダ４は、ターミナルビル２に固定され、トンネル部５がロタンダ４に対して第１回転軸Ｒ４回りに回転自在に接続されてもよい。

キャブ６は、先端部に、航空機３の乗降部Ｄ１，Ｄ２に接続される接続部６ａを有している。接続部６ａには、クロージャ、バンパー、距離センサ等が設けられる。キャブ６の第２回転軸Ｒ６回りの回転により、接続部６ａの位置（乗降部Ｄ１，Ｄ２への接続方向）を変更することができる。なお、キャブ６を回転させる代わりに、接続部６ａがキャブ６に対して第２回転軸Ｒ６回りに回転してもよい。

また、キャブ６には、航空機３の側面を撮影するためのカメラ２１，２２が設置されている。カメラ２１，２２は、キャブ６の先端部に設けられる。図１の例では、第１搭乗橋１１に設けられる第１カメラ２１は、キャブ６における接続部６ａの内側上部に設置される。第２搭乗橋１２に設けられる第２カメラ２２も同様に設置される。なお、カメラ２１，２２は、キャブ６の先端部において航空機３の側面を撮影可能な位置であればどこに設けられてもよい。例えば、キャブ６における接続部６ａの内側下部に設置されてもよいし、キャブ６の外側上部または外側下部に設置されてもよい。また、１つの搭乗橋１１，１２について複数のカメラが設置されてもよい。例えば、キャブ６の上部および下部にそれぞれカメラが設置されてもよい。

本実施の形態において、第１搭乗橋１１の先端部に設けられた第１カメラ２１で撮影された撮影画像Ｇ１に基づいて第１搭乗橋１１が接続するべき航空機３の乗降部Ｄ１の探索が行われ、第２搭乗橋１２の先端部に設けられた第２カメラ２２で撮影された撮影画像Ｇ２に基づいて第２搭乗橋１２が接続するべき航空機３の乗降部Ｄ２の探索が行われる。

図２は、図１に示す旅客搭乗橋に適用される検出システムの概略構成を示すブロック図である。図２に示すように、本実施の形態における検出システム２０は、上記カメラ２１，２２と、カメラ２１，２２で撮影された撮影画像Ｇｊ（ｊ＝１，２）から航空機３の乗降部Ｄ１，Ｄ２を検出する画像処理装置２３と、を備えている。さらに、検出システム２０は、撮影画像等のデータおよび画像処理プログラム等が記憶される記憶器２４と、検出結果等を出力する出力器２５と、を備えている。これらの構成２１，２２，２３，２４，２５は、通信バス２６を介して互いにデータの受け渡しを行い得る。

また、通信バス２６には、搭乗橋１１，１２を制御する制御器３０も接続されている。制御器３０は、例えば、キャブ６または最も先端側のトンネル５ａ等に設けられている。制御器３０は、搭乗橋１１，１２のキャブ６の回転、ドライブコラム７の昇降および走行を制御する。さらに、制御器３０は、カメラ２１，２２の撮影方向変更機構３４，３５の回転を制御する。

カメラ２１，２２は、撮影方向（撮影中心軸Ｌ１，Ｌ２の向き）を水平面内で変更可能となっている。このために、検出システム２０は、水平面に交差する方向に延びる所定の回転軸回りに回動することによりカメラ２１，２２の撮影方向を変更する撮影方向変更機構３４，３５を備えている。各撮影方向変更機構３４，３５は、第１カメラ２１および第２カメラ２２の撮影方向を互いに独立して変更可能である。

撮影方向変更機構３４，３５は、キャブ６に対してカメラ２１，２２を相対回転させるカメラ回転機構として構成されてもよい。あるいは、撮影方向変更機構３４，３５は、キャブ６であってもよい。例えば、カメラ２１，２２は、キャブ６に固定され、キャブ６が水平面に交差する方向に延びる第２回転軸Ｒ６回りに回転することでカメラ２１，２２の撮影方向（撮影中心軸Ｌ１，Ｌ２の向き）が変更されてもよい。

制御器３０および画像処理装置２３は、記憶器２４に記憶されるデータに基づいて各種演算および処理を行うコンピュータによって構成される。例えば、制御器３０および画像処理装置２３は、ＣＰＵ、メインメモリ（ＲＡＭ）、通信インターフェイス等を備えている。なお、制御器３０と画像処理装置２３とは、同じコンピュータにより構成されてもよいし、互いに異なるコンピュータにより構成されてもよい。

出力器２５は、制御器３０および画像処理装置２３における演算または処理の結果等を出力する。出力器２５は、例えば、演算結果等を表示するモニタまたは通信ネットワークを介してサーバまたは通信端末にデータ送信を行う通信器等により構成される。なお、検出システム２０のうちの画像処理装置２３および記憶器２４は、カメラ２１，２２と通信ネットワークを介して接続されたサーバとして構成されてもよい。すなわち、サーバがカメラ２１，２２で撮影された撮影画像を取得し、サーバ上で後述する探索処理を行い、搭乗橋１１，１２の操作室等に設けられたモニタまたは通信端末の表示部に結果を表示してもよい。

制御器３０および画像処理装置２３は、例えばＸＹＺ直交座標系等の所定の３次元座標系を用いて、リアルタイムで搭乗橋１１，１２の各部の位置座標を把握している。例えば、旅客搭乗橋１の各部の位置座標は、絶対座標として、ロタンダ４の第１回転軸Ｒ４とエプロンＥＰの平面との交点を原点（０，０，０）とし、互いに直交するＸ軸、Ｙ軸、Ｚ軸をとった３次元座標系の位置座標として表される。この位置座標のＸ座標値、Ｙ座標値、Ｚ座標値は、それぞれ、ロタンダ４の第１回転軸Ｒ４の位置である原点（０，０，０）からの距離（例えば単位〔ｍｍ〕）を示す。制御器３０および画像処理装置２３は、航空機３および搭乗橋１１，１２の各部の位置を、このような３次元直交座標系を用いた位置座標として表現する。

画像処理装置２３は、後述する探索処理を行うために、探索領域画像生成部３１、探索実行部３２および探索範囲判定部３３を機能ブロックとして有している。これらの機能ブロックは、集積回路を含む回路を一部または全部に含んでいる。したがって、これらの構成３１，３２，３３は、回路とみなすことができる。これらの機能ブロックは、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、これらの機能ブロックはハードウェアとソフトウェアとの組み合わせであり、ソフトウェアはハードウェアまたはプロセッサの構成に使用される。画像処理装置２３は、記憶器２４に記憶された探索処理を行うためのプログラムを読み出して後述する探索処理を実行する。

以下に、本実施の形態における乗降部Ｄ１，Ｄ２の探索処理について説明する。図３は、本実施の形態における探索処理の流れを示すフローチャートである。探索処理は、航空機３が所定の到着位置に到着した場合に行われる。このため、各搭乗橋１１，１２は、図１に示すような、航空機３を避けた初期位置（待機位置）に位置している。

記憶器２４には、カメラ２１，２２ごとに予め設定されている探索範囲のデータが記憶されている。探索範囲は、機軸ＡＬ方向に沿った領域として設定されている。さらに、記憶器２４には、各カメラ２１，２２の初期角度（撮影方向のデータ）が記憶されている。カメラ２１，２２の初期角度は、搭乗橋１１，１２の初期位置において、カメラ２１，２２ごとに予め定められた探索範囲のうちの少なくとも機軸ＡＬ方向の一端部がカメラ２１，２２の画角内に含まれる角度に設定される。

ここで、後述するように、第１カメラ２１により撮影された撮影画像を用いた第１探索は、航空機３の機軸ＡＬ方向前方側から後方側に探索が行われる。このため、第１カメラ２１の初期角度は、第１搭乗橋１１の初期位置において、第１カメラ２１に設定される探索範囲の機軸ＡＬ方向の前端部が第１カメラ２１の画角内に含まれる角度に設定される。一方、第２カメラ２２により撮影された撮影画像を用いた第２探索は、航空機３の機軸ＡＬ方向後方側から前方側に探索が行われ得る。この場合、第２カメラ２２の初期角度は、第２搭乗橋１２の初期位置において、第２カメラ２２に設定される探索範囲の機軸ＡＬ方向の後端部が第２カメラ２２の画角内に含まれる角度に設定される。

以下の探索処理の説明では、第１カメラ２１を用いた第１探索について主に説明する。第２カメラ２２を用いた第２探索も探索方向が異なること以外は同様である。まず、探索処理において、制御器３０は、第１カメラ２１の角度が初期角度となるように撮影方向変更機構３４を制御する（ステップＳ１）。第１カメラ２１は、初期角度において撮影を行う（ステップＳ２）。画像処理装置２３は、第１カメラ２１の初期角度における撮影画像Ｇ１を取得する。取得した撮影画像Ｇ１は、記憶器２４に記憶される。なお、画像処理装置２３は、撮影画像Ｇ１に対してカメラレンズに起因する歪み補正または明るさ補正等の所定の画像処理を予め行ってもよい。撮影画像Ｇ１における位置は、撮影画像Ｇ１の一の頂点（例えば左上の頂点）を原点とし、互いに直交するＵ軸，Ｖ軸をとった２次元座標系の位置座標として表される。

探索領域画像生成部３１は、撮影画像Ｇ１のうちの一部を含む所定領域Ｅｉ（ｉ＝１，２，３，…）を区切って探索領域画像を生成する。このために、まず、探索領域画像生成部３１は、実空間である３次元空間上の仮想矩形枠Ｂｉに対応する撮影画像Ｇ１上の所定領域Ｅｉを設定する（ステップＳ３）。第１探索における最初の所定領域Ｅ１には、探索範囲の機軸ＡＬ方向の前端部を含む領域が設定される。

図４は、本実施の形態における撮影画像の例を示す図である。また、図５は、図４に示す撮影画像において所定領域を設定するための概念図である。本実施の形態において、探索領域画像生成部３１は、撮影画像Ｇ１において水平面（エプロンＥＬ）に対して垂直かつ機軸ＡＬに平行な仮想平面ＶＰを設定する。ここで、機軸ＡＬは、航空機３がエプロンＥＬ上に示されたマーシャルライン１３上に駐機することを想定してマーシャルライン１３から所定距離上方の位置に予め設定される。なお、本明細書および特許請求の範囲の記載において、機軸ＡＬの前方側および後方側は、マーシャルライン１３上に駐機した航空機３の前方側および後方側を意味する。

仮想平面ＶＰは、機軸ＡＬから機体幅方向一方側（搭乗橋１１，１２に近い側）にオフセット量Ｗだけオフセットした位置に設定される。すなわち、仮想平面ＶＰは、機軸ＡＬから機体幅方向一方側にオフセット量Ｗだけオフセットした基準軸ＶＬを含み、水平面に垂直な平面として定義される。オフセット量Ｗは、航空機３の機体幅を考慮して、仮想平面ＶＰと乗降部Ｄ１，Ｄ２の外表面との距離が近接する（所定距離未満となる）ように予め設定される。

探索領域画像生成部３１は、仮想平面ＶＰ上における３次元空間上の仮想矩形枠Ｂｉを設定する。例えば、仮想矩形枠Ｂｉは、基準軸ＶＬ上の基準点Ｐｉを中心とし、仮想平面ＶＰ上で一辺が４ｍの正方形枠として構成され得る。第１カメラ２１の撮影方向（撮影中心軸Ｌ１）は、仮想平面ＶＰに対して垂直ではない場合が多いため、仮想矩形枠Ｂｉは、多くの場合、撮影画像Ｇ１上では、図４の所定領域Ｅｉに示すように歪んだ四角形状を有している。実空間の３次元座標Ｂｉ（ｘｉ，ｙｉ，ｚｉ）と第１カメラ２１が撮影した撮影画像Ｇ１上の２次元座標Ｅｉ（ｕｉ，ｖｉ）とは、一対一で対応している。実空間の３次元座標系と撮影画像Ｇ１上の２次元座標系との間の変換は、透視投影変換により行われる。

なお、仮想矩形枠Ｂｉに対応する撮影画像Ｇ１上の四角形状Ｅｉは、撮影画像Ｇ１に全体が収まることが望ましいが、少なくとも四角形状の一部が撮影画像Ｇ１に写っていればよい。

探索領域画像生成部３１は、このように設定した所定領域Ｅｉ（撮影画像Ｇ１の一部を含む領域）において、仮想平面ＶＰを、仮想平面ＶＰに垂直な方向から見たときの画像となるように射影変換する（ステップＳ４）。ここで、撮影画像Ｇ１の範囲外の画素については例えば黒色で埋めたり、エッジ部の画素をコピーしたり、などの外挿処理を行う。射影変換については後述する。

探索領域画像生成部３１は、射影変換後の画像を探索領域画像Ｃｉとして生成する。生成される探索領域画像Ｃｉは、仮想矩形枠Ｂｉ全体が探索領域画像Ｃｉにおいてなるべく大きく映るように拡大される。探索実行部３２は、探索領域画像Ｃｉ内に乗降部Ｄ１の候補となるドアが存在するか否かの探索を行う（ステップＳ５）。ドアの探索方法は、ドアを検出可能な画像認識処理であれば、特に限定されないが、例えば、ディープラーニングにより生成された学習済みモデルを用いたＡＩ画像認識等が用いられ得る。

ドアの画像認識処理においては、ドアの輪郭のペイント部分やドアシルに設けられた補強プレートの形状等に基づいてドアおよびそのドアの基準点が検出される。ドアの基準点は、例えばドアシルの中央部または補強プレートの中央部に設定される。

探索実行部３２は、ドアを検出した場合（ステップＳ６でＹｅｓ）、そのドアの基準点の３次元座標を計算する（ステップＳ７）。ドアの３次元座標は、例えば、探索領域画像Ｃ１上の２次元座標を元の撮影画像Ｇ１上の２次元座標に変換し、撮影画像Ｇ１上の２次元座標を実空間の３次元座標に変換することで得られる。２次元座標を実空間の３次元座標に変換するには、たとえば複数カメラの２次元座標を用いたり、ドアの基準点が仮想平面ＶＰ上にあると近似したりして計算する。

探索実行部３２は、検出したドアの３次元座標に基づいて、検出したドアが、第１搭乗橋１１が装着すべき乗降部Ｄ１であるかどうかを判定する（ステップＳ８）。記憶器２４には、予め第１搭乗橋１１が装着すべき様々な航空機のドアをすべて含むように探索範囲が記憶されている。探索実行部３２は、検出したドアの３次元座標が記憶器２４に記憶されている探索範囲内である場合、乗降部Ｄ１を検出したと判定する。乗降部Ｄ１を検出したと判定した場合（ステップＳ８でＹｅｓ）、探索実行部３２は、探索成功の結果を出力する（ステップＳ９）。

探索領域画像Ｃｉにおいてドアが検出されなかった場合（ステップＳ６でＮｏ）および検出されたドアが乗降部Ｄ１ではないと判定された場合（ステップＳ８でＮｏ）、探索領域画像生成部３１は、所定領域Ｅｉを航空機３の機軸ＡＬ方向一方側から他方側に移動させて、探索領域画像Ｃｉを順次生成する。第１搭乗橋１１のための第１探索において、探索領域画像生成部３１は、所定領域Ｅｉを機軸ＡＬ方向前方側から後方側に移動させる。

そのために、まず、探索領域画像生成部３１は、仮想矩形枠Ｂｉを３次元空間において航空機３の機軸ＡＬ方向一方側から他方側に所定距離シフト（移動）させる。探索領域画像生成部３１は、シフト後の仮想矩形枠Ｂｉに対応する撮影画像Ｇ１上における所定領域Ｅｉを計算する。このようにして、探索領域画像生成部３１は、撮影画像Ｇ１において所定領域Ｅｉを航空機３の機軸ＡＬ方向一方側から他方側にシフト（移動）させる（ステップＳ１０）。例えば、３次元空間において基準軸ＶＬ上を基準点Ｐｉの位置から機軸ＡＬ方向後方側に所定距離離れた位置に基準点Ｐｉ＋１を設定し、基準点Ｐｉ＋１を基準とする仮想矩形枠Ｂｉ＋１を設定する。基準点Ｐｉ，Ｐｉ＋１間の距離は、仮想矩形枠Ｂｉの水平方向に延びる一辺の長さ以下が好ましく、当該一辺の長さの１／４以上１／２以下がさらに好ましい。これにより、ドアの探索において、同じドアを複数回（２回または３回程度）検出する機会を生じさせることができる。

探索範囲判定部３３は、シフト後の所定領域Ｅｉが予め定められた探索範囲内かどうか、すなわち、すべての探索範囲について探索を行ったか否かを判定する（ステップＳ１１）。なお、探索範囲判定部３３は、シフト後の所定領域Ｅｉが探索範囲内であるかの判定を行う際、３次元空間において対応する仮想矩形枠Ｂｉが探索範囲内であるかどうかを判定してもよい。シフト後の所定領域Ｅｉが探索範囲内である場合（ステップＳ１１でＹｅｓ）、さらに、探索範囲判定部３３は、シフト後の所定領域Ｅｉが前回の探索で使用した撮影画像Ｇ１の範囲内であるか否かを判定する（ステップＳ１２）。

探索領域画像生成部３１は、シフト後の所定領域Ｅｉが撮影画像Ｇ１の範囲内である場合（ステップＳ１２でＹｅｓ）、シフト後の所定領域Ｅｉを、探索領域画像Ｃｉを生成するための所定領域Ｅｉに設定（更新）する（ステップＳ３）。探索領域画像生成部３１は、更新後の所定領域Ｅｉに基づいて上記と同様に探索領域画像Ｃｉを生成（更新）する。探索実行部３２は、更新後の探索領域画像Ｃｉにおいて乗降部Ｄ１の探索を行う。このようにして、探索実行部３２は、所定領域Ｅｉを機軸ＡＬ方向に沿って前方側から後方側にシフトさせることにより探索領域画像Ｃｉを変えながら、順次生成された複数の探索領域画像Ｃｉを用いて、乗降部Ｄ１の探索を繰り返し行う。

シフト後の所定領域Ｅｉが探索範囲内であるが撮影画像Ｇ１の範囲外となった場合（ステップＳ１２でＮｏ）、探索範囲判定部３３は、制御器３０に、第１カメラ２１の撮影方向を変更するための指示信号を送信する。制御器３０は、指示信号に基づいて第１カメラ２１の撮影方向を変更するように対応する撮影方向変更機構３４を制御する（ステップＳ１３）。撮影方向の変更量は、撮影方向変更前後の撮影画像において互いに一部が重複するように設定される。

図５の例では、キャブ６を第２回転軸Ｒ６回りに所定角度θ回転させることにより、第１カメラ２１の撮影中心軸Ｌ１を、撮影中心軸Ｌ１に比べて機軸ＡＬ方向後方側において仮想平面ＶＰの基準軸ＶＬと交差する撮影中心軸Ｌ１ａに変更している。なお、前述の通り、カメラ２１，２２の撮影方向の変更方法はこれに限られず、例えばカメラ２１，２２自体をキャブ６に対して水平面に交差する方向に延びる所定の回転軸回りに回転させてもよい。

第１カメラ２１は、撮影方向変更後に再度撮影を行う（ステップＳ２）。以降、同様に、更新後の撮影画像に対して探索処理が行われる（ステップＳ３からステップＳ８）。

探索範囲判定部３３は、シフト後の所定領域Ｅｉが探索範囲外となった場合（ステップＳ１１でＮｏ）、リトライ数が予め設定された基準値未満である場合には（ステップＳ１４でＮｏ）、リトライ数を１増やし、探索処理を一からやり直す。すなわち、第１カメラ２１を初期角度に戻して撮影を行い、撮影画像に基づいて探索が行われる。リトライ数が基準値以上となった場合、探索実行部３２は、乗降部Ｄ１を検出できなかったと判定し、探索失敗の結果を出力する（ステップＳ１５）。

ここで、射影変換についてより詳しく説明する。図６は、本実施の形態において所定領域を射影変換した後の画像を射影変換前の画像と比較して示す図である。図６は、乗降部Ｄ１付近に仮想矩形枠Ｂｉが設定されている場合を例示している。また、図６においては、航空機３の外表面の一部を二点鎖線で示している。

上述したように、撮影画像Ｇ１の一部を含む所定領域Ｅｉは、多くの場合、歪んだ四角形状を有している。射影変換後の画像である探索領域画像Ｃｉにおいて、仮想矩形枠Ｂｉは、３次元空間において設定した形状と同じ矩形状となる。例えば、仮想矩形枠Ｂｉが正方形であれば、射影変換後の仮想矩形枠Ｂｉに対応する所定領域Ｅｐｉも正方形となる。これに伴って、射影変換後の画像においては、仮想平面ＶＰに近い航空機３の一部が航空機３の機軸ＡＬに対して垂直な方向から見た画像に近づくように補正される。なお、厳密に補正されるのは仮想平面ＶＰ上の物体だけであるので、仮想平面ＶＰから離れるほど補正誤差は残ることとなる。

図６において、第１カメラ２１の撮影方向（撮影中心軸Ｌ１）は、機軸ＡＬに対して傾斜している。そのため、所定領域Ｅｉ内に含まれる乗降部Ｄ１であるドアは、下端部および上端部が撮影画像Ｇ１の水平線に対して傾斜したように映っている。前述したように、乗降部Ｄ１の探索（前述のＡＩ画像認識等）においては、例えば、ドアシルまたはドアシルに設けられた補強プレートにドアの基準点が設定される。この場合、乗降部Ｄ１の探索に用いられる画像において、乗降部Ｄ１（ドア）の下端部（ドアシルまたは補強プレート）は、水平に延びていることが好ましい。

本実施の形態においては、図６に示すように、機軸ＡＬに平行かつ水平面（エプロンＥＰ）に対して垂直な仮想平面ＶＰ上に設定される仮想矩形枠Ｂｉが矩形に表示されるように、撮影画像Ｇ１のうちの一部を含む所定領域Ｅｉが射影変換される。また、射影変換によって、第１カメラ２１と乗降部Ｄ１との距離による乗降部Ｄ１の大きさの変化が抑制される。すなわち、第１カメラ２１と乗降部Ｄ１との距離にかかわらず射影変換後の乗降部Ｄ１の大きさを同程度にすることができる。したがって、射影変換後の画像において乗降部Ｄ１の検出を精度よく行うことができる。

以上のように、本実施の形態によれば、旅客搭乗橋１（第１搭乗橋１１、第２搭乗橋１２）の先端部に設けられたカメラ２１，２２で撮影された撮影画像Ｇｊから、その撮影画像Ｇｊのうちの一部を含む所定領域Ｅｉごとに区切られた複数の探索領域画像Ｃｉが生成される。複数の探索領域画像Ｃｉは、所定領域Ｅｉを航空機３の機軸ＡＬ方向一方側から他方側に移動させて生成される。したがって、順次生成された複数の探索領域画像Ｃｉを用いて探索領域画像Ｃｉを変えながら乗降部Ｄ１，Ｄ２の探索を繰り返し行うことにより、探索領域を航空機３の機軸ＡＬに沿った方向に移動させながら撮影画像Ｇｊ全体の乗降部Ｄ１，Ｄ２の探索を行うことができる。

これにより、航空機３の種類またはゲート配置によらず、乗降部Ｄ１，Ｄ２の探索を一律に行うことができる。したがって、航空機３の乗降部Ｄ１，Ｄ２の位置を、様々なゲート配置に対応して正確に検出することができる。これにより、従来の３次元位置だけに頼った乗降部Ｄ１，Ｄ２の位置検出では対応不可能であったゲート配置でも装着するべき乗降部Ｄ１，Ｄ２を正しく検出することができる。しかも、乗降部Ｄ１，Ｄ２の探索に際し、駐機する航空機３に応じた情報を入力する等の煩わしい操作を不要とすることができる。すなわち、オペレータが探索処理の開始のためのボタン操作を行うだけで、様々な航空機３に対して探索処理および後述する自動装着制御処理を実行することができる。

また、本実施の形態によれば、射影変換により、探索領域画像Ｃｉが機軸ＡＬに平行な画像として生成される。したがって、撮影画像Ｇｊが航空機３の斜め方向から撮影された場合であっても、探索領域画像Ｃｉにおいて探索するべき乗降部Ｄ１，Ｄ２の形状の歪みを抑制することができる。これにより、探索領域画像Ｃｉにおける乗降部Ｄ１，Ｄ２の探索精度を向上させることができる。

さらに、本実施の形態によれば、探索領域画像生成部３１は、撮影画像Ｇｊのうちの一部を含む所定領域Ｅｉを区切るたびに当該所定領域Ｅｉにおける撮影画像Ｇｊを射影変換する。このように、撮影画像Ｇｊが所定領域Ｅｉごとに射影変換される（同時に拡大処理も行われる）ため、撮影画像Ｇｊ全体を射影変換してからその射影変換後の画像から所定領域Ｅｉを区切って拡大するよりも画像の解像度の低下を抑制することができる。

また、本実施の形態によれば、シフト後の所定領域Ｅｉが探索範囲内であるが、撮影画像Ｇｊ内ではないと判定された場合、撮影方向変更機構３４，３５によりカメラ２１，２２の撮影方向が変更され、カメラ２１，２２による撮影が再度行われる。このように、カメラ２１，２２の撮影方向を変更しつつ複数回撮影することにより、探索範囲全体の撮影画像を、複数の撮影画像Ｇｊとして取得することができる。したがって、一撮影画像あたりの撮影範囲を比較的狭くすることができるため、撮影画像Ｇｊから得られる探索領域画像Ｃｉの解像度を高くすることができる。もしくは探索範囲をカメラ２１，２２の視野以上に広く設定することが可能となる。

なお、上述した探索処理は、第２カメラ２２を用いた第２搭乗橋１２のための乗降部Ｄ２の探索にも用いられる。例えば、第１搭乗橋１１におけるキャブ６の接続部６ａを航空機３の前方側の乗降部Ｄ１に接続し、第２搭乗橋１２におけるキャブ６の接続部６ａを航空機３の後方側の乗降部Ｄ２に接続する。この場合、第１搭乗橋１１が接続する乗降部Ｄ１の探索処理においては、第１搭乗橋１１について予め定められている探索範囲の機軸ＡＬ方向前方側から後方側へ探索が行われる。すなわち、第１搭乗橋１１が接続する乗降部Ｄ１の探索処理においては、上述したように、撮影画像Ｇ１上において機軸ＡＬ方向前方側から後方側へ所定領域Ｅｉを移動させる。さらに、必要に応じて第１カメラ２１の撮影方向を航空機３の前方側から後方側へ変更させて再撮影が行われる。

一方、第２搭乗橋１２が接続する乗降部Ｄ２の探索処理においては、第２搭乗橋１２について予め定められている探索範囲の機軸ＡＬ方向後方側から前方側へ探索が行われる。すなわち、第２搭乗橋１２が接続する乗降部Ｄ２の探索処理においては、撮影画像Ｇ２上において機軸ＡＬ方向後方側から前方側へ所定領域Ｅｉを移動させる。さらに、必要に応じて第２カメラ２２の撮影方向を航空機３の後方側から前方側へ変更させて再撮影が行われる。

これにより、第１カメラ２１で撮影された撮影画像Ｇ１に基づいて航空機３の前方にある乗降部Ｄ１を優先的に検出することができ、第２カメラ２２で撮影された撮影画像Ｇ２に基づいて航空機３の後方にある乗降部Ｄ２を優先的に検出することができる。このため、複数の搭乗橋１１，１２に対して同じ乗降部を検出する可能性を低減することができる。したがって、第１搭乗橋１１が接続するべき乗降部Ｄ１と第２搭乗橋１２が接続するべき乗降部Ｄ２とを正確かつ短時間で探索することができる。

以下、本実施の形態における探索処理を用いた２つの搭乗橋１１，１２の乗降部Ｄ１，Ｄ２への自動装着制御処理について例示する。図７は、本実施の形態における自動装着制御処理の一例の流れを示すフローチャートである。図７の例では、第１カメラ２１を用いた第１搭乗橋１１のための第１探索（ステップＳＡ１）と、第２カメラ２２を用いた第２搭乗橋１２のための第２探索（ステップＳＡ２）とが並行して行われる。例えば、オペレータが所定の操作器に対して同時装着用の開始ボタンを押下操作することにより、第１探索および第２探索が同時に開始する。あるいは、第１探索を開始してから所定時間経過後（第１探索終了前）に第２探索が開始されてもよい。

所定の操作器は、第１搭乗橋１１、第２搭乗橋１２または別途ターミナルビル２等に設けられた操作室に設けられる。また、操作器は、サーバを介して制御器３０と通信接続された通信端末のタッチパネルに、仮想の操作ボタンを表示することによって実現してもよい。

探索実行部３２は、第１探索が終了するとその探索結果（図３のステップＳ９における探索成功またはステップＳ１５における探索失敗）を記憶器２４に記憶する（ステップＳＡ３）。同様に、探索実行部３２は、第２探索が終了するとその探索結果を記憶器２４に記憶する（ステップＳＡ４）。探索実行部３２は、第１探索および第２探索の探索結果の組み合わせに応じて各搭乗橋１１，１２に乗降部Ｄ１，Ｄ２への自動装着を行うか否かを判定する（ステップＳＡ５からステップＳＡ７）。

第１探索が成功し、第２探索が失敗した場合（ステップＳＡ５でＹｅｓ）、探索実行部３２は、制御器３０に第１探索で検出された乗降部Ｄ１の３次元位置データを送信するとともに第１搭乗橋１１に対する自動装着の実行を許可する。これに応じて、制御器３０は、第１探索で検出された乗降部Ｄ１に第１搭乗橋１１を装着させるための装着処理を行う（ステップＳＡ８）。具体的には、制御器３０は、第１搭乗橋１１のキャブ６の接続部６ａの位置を検出された乗降部Ｄ１の３次元位置から計算したプリポジション（一時停止位置）に到達するよう、第１搭乗橋１１のドライブコラム７およびキャブ６を制御する。接続部６ａがプリポジションへ到達した後、制御器３０は、第１カメラ２１または接続部６ａ等に設けられたセンサ等を用いて、再度乗降部Ｄ１の検出を行い、接続部６ａが乗降部Ｄ１に接続するように制御する。

第１探索が失敗し、第２探索が成功した場合（ステップＳＡ６でＹｅｓ）、探索実行部３２は、制御器３０に第２探索で検出された乗降部Ｄ２の３次元位置データを送信するとともに第２搭乗橋１２に対する自動装着の実行を許可する。制御器３０は、第２探索で検出された乗降部Ｄ２に第２搭乗橋１２を装着させるための装着処理を行う（ステップＳＡ９）。具体的な装着処理は、第１搭乗橋１１における装着処理と同様である。

第１探索および第２探索の両方とも成功した場合（ステップＳＡ７でＹｅｓ）、探索実行部３２は、第１探索で検出された乗降部Ｄ１の３次元位置（第１位置）と第２探索で検出された乗降部Ｄ２の３次元位置（第２位置）との距離（検出間距離Ｌ）が予め定められた基準値Ｌｏ以上か否かを判定する（ステップＳＡ１０）。探索実行部３２は、検出間距離Ｌが基準値Ｌｏ以上である場合（ステップＳＡ１０でＹｅｓ）、第１探索で検出された乗降部Ｄ１と第２探索で検出された乗降部Ｄ２とが互いに異なる乗降部であると判定して、制御器３０に乗降部Ｄ１，Ｄ２のそれぞれの３次元位置データを送信するとともに第１搭乗橋１１および第２搭乗橋１２の双方に対する自動装着の実行を許可する。制御器３０は、第１探索で検出された乗降部Ｄ１に第１搭乗橋１１を装着させるための装着処理を行い、第２探索で検出された乗降部Ｄ２に第２搭乗橋１２を装着させるための装着処理を行う（ステップＳＡ１１）。

一方、第１探索および第２探索の何れも失敗した場合（ステップＳＡ７でＮｏ）、探索実行部３２は、操作器の表示部等にエラーを出力し、自動装着制御処理を停止する（ステップＳＡ１２）。

第１探索および第２探索の両方とも成功した場合であって、検出間距離Ｌが基準値Ｌｏ未満である場合（ステップＳＡ１０でＮｏ）、探索実行部３２は、同一ドア検出判定処理を実行する（ステップＳＡ１３）。同一ドア検出判定処理は、第１探索で検出された乗降部Ｄ１と第２探索で検出された乗降部Ｄ２とが同じ乗降部を検出したものであるか否かを判定する処理である。基準値Ｌｏは、航空機３に設けられる２つのドア間の距離に基づいて設定される。例えば、基準値Ｌｏは、全航空機の最小ドア間距離の１／２に設定される。したがって、検出間距離Ｌが基準値Ｌｏ未満である場合、第１探索によって検出した乗降部Ｄ１と第２探索によって検出した乗降部Ｄ２とは、同じドアである可能性が高いと考えられる。

図８は、図７に示す同一ドア検出判定処理の流れを示すフローチャートである。図９は、同一ドア検出判定処理における場合分けの概念図である。探索実行部３２は、同一ドア検出判定処理において、第１カメラ２１について設定される第１探索範囲Ｆ１または第２カメラ２２について設定される第２探索範囲Ｆ２の少なくとも何れか一方の探索範囲に、第１探索で検出された乗降部Ｄ１の３次元位置である第１位置Ｈ１および第２探索で検出された乗降部Ｄ２の３次元位置である第２位置Ｈ２の双方が含まれていれば、第１位置Ｈ１または第２位置Ｈ２で、一の乗降部Ｄ１またはＤ２を検出したと判定する。なお、図９においては、第１探索範囲Ｆ１と第２探索範囲Ｆ２との判別を容易にするために上下位置を互いにずらして表示しているが、第１探索範囲Ｆ１と第２探索範囲Ｆ２との上下位置は同じでもよいし、異なっていてもよい。

より具体的には、探索実行部３２は、第１探索範囲Ｆ１に第１位置Ｈ１および第２位置Ｈ２の両方が含まれるか否かを判定する（ステップＳＢ１）。探索実行部３２は、第１探索範囲Ｆ１に第１位置Ｈ１および第２位置Ｈ２の両方が含まれる場合（ステップＳＢ１でＹｅｓ）、第１探索における乗降部Ｄ１の検出は信憑性が高いとみなして乗降部Ｄ１の３次元位置である第１位置Ｈ１を有効と判定する。この場合、探索実行部３２は、さらに、第２探索範囲Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれるか否かを判定する（ステップＳＢ２）。

探索実行部３２は、第２探索範囲Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれる場合（ステップＳＢ２でＹｅｓ）、第２探索における乗降部Ｄ２の検出も信憑性が高いとみなして乗降部Ｄ２の３次元位置である第２位置Ｈ２も有効と判定する。すなわち、探索実行部３２は、第１位置Ｈ１および第２位置Ｈ２の何れも有効と判定する。この場合は、図９における状態Ｑ１および状態Ｑ２が該当する。状態Ｑ１は、第１位置Ｈ１が機軸ＡＬ方向前方側に位置し、第２位置Ｈ２が機軸ＡＬ方向後方側に位置する場合である。状態Ｑ２は、第１位置Ｈ１が機軸ＡＬ方向後方側に位置し、第２位置Ｈ２が機軸ＡＬ方向前方側に位置する場合である。何れの状態Ｑ１，Ｑ２においても、一の探索範囲Ｆ１，Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれている。

この場合、制御器３０は、第１搭乗橋１１および第２搭乗橋１２のうちの予め定められた搭乗橋を、第１位置Ｈ１および第２位置Ｈ２のうちの予め定められた位置座標に移動させて装着処理を行う（ステップＳＢ３）。例えば、第１搭乗橋１１が優先される場合に、制御器３０は、第１搭乗橋１１を、第１位置Ｈ１に移動させて装着処理を行ってもよい。あるいは、第１搭乗橋１１が優先される場合に、制御器３０は、第１搭乗橋１１を第１位置Ｈ１および第２位置Ｈ２のうちの機軸ＡＬ方向前方側となる位置に移動させて装着処理を行ってもよい。また、例えば、制御器３０は、状態Ｑ１であれば、第１搭乗橋１１を第１位置Ｈ１に移動させ、状態Ｑ２であれば第１搭乗橋１１を第２位置Ｈ２に移動させてもよい。

また、探索実行部３２は、第１探索範囲Ｆ１に第１位置Ｈ１および第２位置Ｈ２の両方が含まれるが、第２探索範囲Ｆ２に第１位置Ｈ１が含まれないと判定した場合（ステップＳＢ２でＮｏ）、乗降部Ｄ１および乗降部Ｄ２のうちの第１探索における乗降部Ｄ１の検出のみが信憑性が高いとみなして、第１位置Ｈ１のみを有効と判定する。この場合は、図９における状態Ｑ３が該当する。この場合、制御器３０は、第１搭乗橋１１を第１位置Ｈ１に移動させて装着処理を行う（ステップＳＢ４）。

また、探索実行部３２は、第１探索範囲Ｆ１に第２位置Ｈ２が含まれないと判定した場合（ステップＳＢ１でＮｏ）、第２探索範囲Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれるか否かを判定する（ステップＳＢ５）。探索実行部３２は、第１探索範囲Ｆ１に第２位置Ｈ２が含まれないが、第２探索範囲Ｆ２に第１位置Ｈ１および第２位置Ｈ２の両方が含まれると判定した場合（ステップＳＢ５でＹｅｓ）、乗降部Ｄ１および乗降部Ｄ２のうちの第２探索における乗降部Ｄ２の検出のみが信憑性が高いとみなして、第２位置Ｈ２のみを有効と判定する。この場合は、図９における状態Ｑ４が該当する。この場合、制御器３０は、第２搭乗橋１２を第２位置Ｈ２に移動させて装着処理を行う（ステップＳＢ６）。

また、探索実行部３２は、第１探索範囲Ｆ１に第２位置Ｈ２が含まれず、第２探索範囲Ｆ２に第１位置Ｈ１が含まれないと判定した場合（ステップＳＢ５でＮｏ）、乗降部Ｄ１および乗降部Ｄ２の何れの検出も信憑性が低いとみなして、第１位置Ｈ１および第２位置Ｈ２を無効と判定する。この場合は、図９における状態Ｑ５および状態Ｑ６が該当する。状態Ｑ５は、第１探索範囲Ｆ１と第２探索範囲Ｆ２との間で重複する範囲があるが第１位置Ｈ１および第２位置Ｈ２の両方が含まれる探索範囲が存在しない場合である。状態Ｑ６は、第１探索範囲Ｆ１と第２探索範囲Ｆ２とがそもそも重複しない場合である。この場合、探索実行部３２は、操作器の表示部等にエラーを出力し、自動装着制御処理を停止する（ステップＳＢ７）。

このように、上記構成によれば、第１搭乗橋１１が接続するべき乗降部Ｄ１の探索と第２搭乗橋１２が接続するべき乗降部Ｄ２の探索とが同時並行的に行われるため、探索期間を短時間にすることができる。さらに、第１探索で検出された第１位置Ｈ１と、第２探索で検出された第２位置Ｈ２との距離が近い場合、第１位置Ｈ１および第２位置Ｈ２の双方が第１探索範囲Ｆ１または第２探索範囲Ｆ２の少なくとも何れか一方に含まれていれば、２つの探索で１つの乗降部を検出したと判定される。このように、第１位置Ｈ１と第２位置Ｈ２とが近い場合であっても、２つの探索で１つの乗降部を検出したことについての信憑性が高いと想定される場合に限って、１つの乗降部を検出したと判定することにより、誤検出の発生を抑制することができる。

［変形例］
以上、本開示の実施の形態について説明したが、本開示は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の改良、変更、修正が可能である。

例えば、上記実施の形態では、探索領域画像Ｃｉを生成するための撮影画像Ｇｊを撮影するカメラ２１，２２がキャブ６の上部に設けられたカメラであるとしたが、キャブ６の下部に設けられたカメラで撮影した撮影画像Ｇｊから探索領域画像Ｃｉが生成されてもよい。また、一のキャブ６の上部および下部に設けられた複数のカメラで撮影した複数の撮影画像Ｇｊのそれぞれを用いて探索処理が行われてもよい。

また、上記実施の形態では、旅客搭乗橋１が２つの搭乗橋１１，１２を含む場合を説明したが、旅客搭乗橋１は、１つでもよいし、３つ以上でもよい。例えば、旅客搭乗橋１が３つの搭乗橋を含む場合であって、航空機３が１階部分および２階部分に乗降部を有する場合にも、本開示の検出システム２０は、すべての搭乗橋に対して適用可能である。

この場合、例えば、第１搭乗橋を１階部分の機軸ＡＬ方向前方側にある乗降部Ｄ１に接続させるために、第１探索範囲において機軸ＡＬ方向前方側から後方側へ第１探索を行う。また、第２搭乗橋を１階部分の機軸ＡＬ方向後方側にある乗降部Ｄ２に接続させるために、第２探索範囲において機軸ＡＬ方向後方側から前方側へ第２探索を行う。さらに、第３搭乗橋を２階部分にある乗降部Ｄ３に接続させるために、第１探索における第１探索範囲より高い位置に設定された第３探索範囲において機軸ＡＬ方向前方側から後方側へ第３探索を行う。

また、上記実施の形態では、第２搭乗橋１２は、第２探索範囲Ｆ２において機軸ＡＬ方向後方側から前方側へ探索を行う態様を例示したが、第２搭乗橋１２についても、第１搭乗橋１１と同様に、機軸ＡＬ方向前方側から後方側へ探索を行うことを可能としてもよい。

例えば、図１に示すような１つの搭乗ゲートに２つの搭乗橋１１，１２が設けられている駐機場所においても乗降部が１つである航空機３が駐機し得る。この場合、上記実施の形態で例示したような態様で自動装着制御処理を実行した場合は、搭乗橋１１，１２の探索処理が行われ、いずれかの搭乗橋だけが装着処理（ステップＳＡ８，ＳＡ９，ＳＢ３，ＳＢ４，ＳＢ６のいずれか）を行うことになるが、オペレータは、駐機する航空機３の種類に合わせて航空機３に装着させる搭乗橋の数を選択してもよい。航空機３に装着させる搭乗橋の数が２つの場合、画像処理装置２３は、上記実施の形態で例示したような態様で第１搭乗橋１１を乗降部Ｄ１に装着し、第２搭乗橋１２を乗降部Ｄ２に装着するための探索処理を行う。一方、航空機３に装着させる搭乗橋の数が１つの場合、駐機位置等に応じて第１搭乗橋１１および第２搭乗橋１２のうちの何れの搭乗橋を装着するかが選択されてもよい。

航空機３の乗降部Ｄ１に装着する搭乗橋として第１搭乗橋１１が選択された場合、画像処理装置２３は、上記実施の形態と同様に、第１探索範囲Ｆ１において機軸ＡＬ方向前方側から後方側へ探索を行う探索処理を実行する。一方、航空機３の乗降部Ｄ１に装着する搭乗橋として第２搭乗橋１２が選択された場合、画像処理装置２３は、第２探索範囲Ｆ２において機軸ＡＬ方向前方側から後方側へ探索を行う探索処理を実行してもよい。

また、航空機３の前方側の乗降部Ｄ１と後方側の乗降部Ｄ２とが大きく離れている場合、または、第１探索範囲Ｆ１と第２探索範囲Ｆ２とが重複せず互いに機軸ＡＬ方向に離れている場合等においては、第１搭乗橋１１のための第１探索および第２搭乗橋１２のための第２探索の何れについても同じ方向（機軸ＡＬ方向一方側から他方側）へ探索を行うようにしてもよい。

第２探索における探索方向の選択は、上記接続態様（２つの乗降部Ｄ１，Ｄ２を有する航空機３の後方側の乗降部Ｄ２に第２搭乗橋１２を接続する接続態様または１つの乗降部Ｄ１を有する航空機３の乗降部Ｄ１に第２搭乗橋１２を接続する接続態様）の切り替えに応じて自動的に選択されてもよいし、操作器への操作により手動で探索方向の選択を行い得るようにしてもよい。また、第１探索における探索方向も、機軸ＡＬ方向前方側から後方側だけでなく、機軸ＡＬ方向後方側から前方側へ切り替え可能としてもよい。

また、上記実施の形態において、２つの搭乗橋１１，１２を２つの乗降部Ｄ１，Ｄ２に接続させるために、第１搭乗橋１１のための第１探索と、第２搭乗橋１２のための第２探索とが並行して行われる態様を例示したが、第１探索と第２探索とが順に行われてもよい。例えば、第１探索が行われた後、第２探索が行われてもよいし、第２探索が行われた後、第１探索が行われてもよい。

また、上記実施の形態において、１つの画像処理装置２３が第１探索および第２探索の何れも行う態様を例示したが、第１探索を行う画像処理装置２３と、第２探索を行う画像処理装置２３とが別の処理装置（コンピュータ等）により構成されてもよい。例えば、第１探索を行う画像処理装置が第１搭乗橋１１に設置され、第２探索を行う画像処理装置が第２搭乗橋１２に設置されてもよい。

また、上記実施の形態において、１つの制御器３０が第１搭乗橋１１、第２搭乗橋１２、第１カメラ２１のための撮影方向変更機構３４および第２カメラ２２のための撮影方向変更機構３５の何れの動作も制御する態様を例示したが、これらの構成１１，１２，３４，３５の一部または全部に対して互いに異なる制御器が設けられてもよい。

１ 旅客搭乗橋
２ ターミナルビル
３ 航空機
１１ 第１搭乗橋
１２ 第２搭乗橋
２０ 検出システム
２１ 第１カメラ
２２ 第２カメラ
２３ 画像処理装置
３０ 制御器
３１ 探索領域画像生成部
３２ 探索実行部
３３ 探索範囲判定部
３４，３５ 撮影方向変更機構
Ｄ１，Ｄ２ 乗降部

Claims (7)

1. 航空機の乗降部を検出するための検出システムであって、
   ターミナルビルに接続される旅客搭乗橋と、
   前記旅客搭乗橋に設けられたカメラと、
   前記カメラで撮影された撮影画像から前記航空機の乗降部を検出する画像処理装置と、を備え、
   前記画像処理装置は、
   前記撮影画像のうちの一部を含む所定領域を区切って探索領域画像を生成する探索領域画像生成部と、
   前記探索領域画像内に前記乗降部が存在するか否かの探索を行う探索実行部と、を含み、
   前記探索領域画像生成部は、前記撮影画像上において前記所定領域を前記航空機の機軸方向一方側から他方側に移動させることにより、前記探索領域画像を順次生成し、
   前記探索実行部は、順次生成された複数の前記探索領域画像を用いて、前記探索領域画像を変えながら前記探索を繰り返し行う、検出システム。
2. 前記探索領域画像生成部は、前記撮影画像において水平面に対して垂直かつ前記機軸に平行な仮想平面を、前記仮想平面に垂直な方向から見たときの画像となるように射影変換することを含む、請求項１に記載の検出システム。
3. 前記探索領域画像生成部は、前記撮影画像のうちの一部を含む前記所定領域を区切るたびに当該所定領域における前記撮影画像を前記射影変換する、請求項２に記載の検出システム。
4. 水平面に交差する方向に延びる所定の回転軸回りに回動することにより前記カメラの撮影方向を変更する撮影方向変更機構と、
   前記撮影方向変更機構の動作を制御する制御器を備え、
   前記画像処理装置は、移動後の前記所定領域が予め定められる探索範囲内かつ前記撮影画像内であるか否かを判定する探索範囲判定部を含み、
   前記制御器は、移動後の前記所定領域が前記探索範囲内であるが、前記撮影画像内ではないと判定された場合、前記撮影方向変更機構により前記カメラの撮影方向を変更して、前記カメラによる撮影を再度行う、請求項１から３の何れかに記載の検出システム。
5. 前記旅客搭乗橋は、第１搭乗橋と、第２搭乗橋とを含み、
   前記カメラは、前記第１搭乗橋に設けられた第１カメラと、前記第２搭乗橋に設けられた第２カメラとを含み、
   前記探索領域画像生成部は、前記第１カメラが撮影した前記撮影画像上において前記所定領域を前記航空機の機軸方向前方側から後方側に移動させることにより、前記探索領域画像を順次生成し、前記第２カメラが撮影した前記撮影画像上において前記所定領域を前記航空機の機軸方向後方側から前方側に移動させることにより、前記探索領域画像を順次生成する、請求項１から４の何れかに記載の検出システム。
6. 前記探索実行部は、前記第１カメラが撮影した前記撮影画像から生成された前記探索領域画像による第１探索と、前記第２カメラが撮影した前記撮影画像から生成された前記探索領域画像による第２探索とを、並行して行う、請求項５に記載の検出システム。
7. 前記探索実行部は、前記第１カメラが撮影した前記撮影画像から生成された前記探索領域画像による第１探索において前記乗降部を検出した第１位置と、前記第２カメラが撮影した前記撮影画像から生成された前記探索領域画像による第２探索において前記乗降部を検出した第２位置との距離が所定の基準値未満の場合に、前記第１カメラについて設定される第１探索範囲または前記第２カメラについて設定される第２探索範囲の少なくとも何れか一方の探索範囲に前記第１位置および前記第２位置の双方が含まれていれば、前記第１位置または前記第２位置で、一の前記乗降部を検出したと判定する、請求項５または６に記載の検出システム。

Images