WO2023188547A1 - 航空機の乗降部を検出するための検出システム - Google Patents

Abstract

検出システムは、旅客搭乗橋と、旅客搭乗橋に設けられた第１カメラおよび第２カメラと、高さ変更機構と、制御器と、第１カメラで撮影された第１撮影画像および第２カメラで撮影された第２撮影画像から航空機の乗降部を検出する画像処理装置と、を備え、画像処理装置は、第１撮影画像から第１探索領域画像を生成するとともに、第２撮影画像から第２探索領域画像を生成し、第１探索領域画像は、第２探索領域画像より上下方向に広い領域を有し、制御器は、画像処理装置が、第１探索領域画像から乗降部を検出し、かつ、第２探索領域画像から乗降部を検出しなかった場合に、第１カメラおよび第２カメラの高さ位置を変更するように、高さ変更機構を制御する。

Description

航空機の乗降部を検出するための検出システム

　本開示は、航空機の乗降部を検出するための検出システムに関する。

　空港のターミナルビルと航空機との間の乗客の歩行通路になる設備として、旅客搭乗橋が知られている。旅客搭乗橋は、ターミナルビルに接続されて水平回転自在に支持されたロタンダと、基端がロタンダに接続されて伸縮自在に構成されたトンネル部と、トンネル部の先端に回転自在に設けられ航空機の乗降部に装着されるキャブと、トンネル部の先端寄りに支持脚として設けられたドライブコラムとを備えている。ドライブコラムには、トンネル部を支持して上下移動させる昇降装置と、昇降装置の下部に設けられ一対の走行車輪を有する走行装置とを備えている。このような旅客搭乗橋の移動を自動化することが提案されている（例えば下記特許文献１および２参照）。

　例えば、特許文献１には、キャブに航空機の乗降部を撮影するカメラを取り付け、所定の待機位置にキャブがあるときに、カメラで撮影される乗降部の画像に基づいて当該乗降部の水平位置情報を算出し、この水平位置情報に基づいて、キャブを乗降部に装着するために移動させる移動先の目標位置を算出し、待機位置にあるキャブを目標位置に向かって移動させることが記載されている。

　また、特許文献２には、航空機の乗降口と接続可能なヘッド部（キャブ）に第１および第２の２つのカメラを備えた構成が記載されている。そして、操作盤において駆動開始の入力が行われると、走行駆動部によって車輪走行が開始され、ヘッド部が航空機の数メートル手前まで到達したとき、第１および第２カメラによる航空機の第１の特徴部および第２の特徴部の撮像が開始される。そして、第１および第２カメラの撮像画像を用いて航空機の乗降口の目標点の位置を算出し、航空機の乗降口に対するヘッド部の相対位置および相対角度を算出し、これらに基づいて制御補正量を算出し、それに基づいて各種駆動部が駆動されて、ヘッド部を航空機の目標点に向けて移動させることが記載されている。

特許第６７２０４１４号公報 特開２０２０－１７５７２７号公報

　このような旅客搭乗橋の移動を自動化するためには、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像から航空機の乗降部の位置を正確に検出する必要がある。特に、航空機の乗降部の位置は、駐機する航空機の種類およびサイズ等に応じて大きく異なり得る。また、空港のゲート配置も様々であり、駐機する航空機とゲート配置との組み合わせごとに乗降部の位置検出態様を予め設定することは煩雑である。このように、様々なゲート配置に対応して複数種類の航空機の乗降部の位置を正確に検出することについて、上記特許文献１および２には改善の余地がある。

　本開示は上記のような課題を解決するためになされたもので、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像を用いて、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる検出システムを提供することを目的としている。

　本開示のある態様に係る検出システムは、航空機の乗降部を検出するための検出システムであって、ターミナルビルに接続される旅客搭乗橋と、前記旅客搭乗橋に設けられた第１カメラおよび第２カメラと、前記第１カメラおよび前記第２カメラの高さ位置を変更可能な高さ変更機構と、前記高さ変更機構の動作を制御する制御器と、前記第１カメラで撮影された第１撮影画像および前記第２カメラで撮影された第２撮影画像から前記航空機の乗降部を検出する画像処理装置と、を備え、前記第１カメラの光学中心と前記第１カメラで撮影する物体側の所定位置とを結ぶ第１仮想線の水平面に対する第１角度が、前記第２カメラの光学中心と前記所定位置とを結ぶ第２仮想線の前記水平面に対する第２角度とは異なる角度となるように、前記第１カメラおよび前記第２カメラが配設され、前記画像処理装置は、前記第１撮影画像から第１探索領域画像を生成するとともに、前記第２撮影画像から第２探索領域画像を生成し、前記第１探索領域画像は、前記第２探索領域画像より上下方向に広い領域を有し、前記制御器は、前記画像処理装置が、前記第１探索領域画像から前記乗降部を検出し、かつ、前記第２探索領域画像から前記乗降部を検出しなかった場合に、前記第１カメラおよび前記第２カメラの高さ位置を変更するように、前記高さ変更機構を制御する。

　本開示によれば、旅客搭乗橋の先端部に設けられたカメラで撮影された撮影画像を用いて、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる。

図１は、本実施の形態に係る検出システムが適用される旅客搭乗橋の一例を示す概略平面図である。 図２は、本実施の形態における第１カメラおよび第２カメラの位置関係を示す図である。 図３は、図１に示す旅客搭乗橋に適用される検出システムの概略構成を示すブロック図である。 図４は、本実施の形態における探索処理の流れを示すフローチャートである。 図５は、本実施の形態における探索処理の流れを示すフローチャートである。 図６は、本実施の形態における撮影画像の例を示す図である。 図７は、図４に示す撮影画像において第１領域および第２領域を設定するための概念図である。 図８は、本実施の形態において第１撮影画像における第１領域を射影変換した後の画像を射影変換前の画像と比較して示す図である。 図９は、本実施の形態において第２撮影画像における第２領域を射影変換した後の画像を射影変換前の画像と比較して示す図である。 図１０は、本実施の形態における第１探索領域画像および第２探索領域画像における撮影領域の重なり具合を例示する図である。 図１１は、変形例１における第１カメラおよび第２カメラの位置関係を示す図である。 図１２は、変形例２における第１カメラおよび第２カメラの位置関係を示す図である。

　以下、本開示の好ましい実施の形態を、図面を参照しながら説明する。なお、以下では全ての図面を通じて同一または相当する要素には同一の参照符号を付して、その重複する説明を省略する。また、図面は理解しやすくするために、それぞれの構成要素を模式的に示したもので、形状および寸法比等については正確な表示ではない場合がある。また、本開示は、以下の実施形態に限定されない。

　図１は、本実施の形態に係る検出システムが適用される旅客搭乗橋の一例を示す概略平面図である。

　旅客搭乗橋１１は、空港のターミナルビル２の乗降口に接続されたロタンダ（基部円形室）４と、基端がロタンダ４に俯仰自在に接続されて長手方向に伸縮自在に構成されたトンネル部５と、トンネル部５の先端部に接続されたキャブ（先端部円形室）６とを備えている。ロタンダ４は、鉛直方向に延びる第１回転軸Ｒ４回りに水平回転自在に構成されている。キャブ６は、キャブ６の底面に直交する方向に延びる第２回転軸Ｒ６回りに水平回転自在に構成されている。

　トンネル部５は、乗客の歩行通路を形成し、筒状体からなる複数のトンネル５ａ，５ｂが入れ子式に嵌合されて長手方向に伸縮自在に構成されている。なお、ここでは、２つのトンネル５ａ，５ｂによって構成されたトンネル部５が例示されているが、トンネル部５は２つ以上の複数のトンネルによって構成されていればよい。また、トンネル部５の基端部は、ロタンダ４に、水平回転軸回りに揺動自在（上下に揺動自在）に接続されることにより、ロタンダ４に俯仰自在に接続されている。

　また、トンネル部５の先端部（先端側のトンネル５ａ）には、支持脚としてドライブコラム７が設けられている。なお、ドライブコラム７は、キャブ６に取り付けられていてもよい。ドライブコラム７には、キャブ６およびトンネル部５を昇降させる昇降装置８が設けられている。これにより、キャブ６およびトンネル部５は、ロタンダ４を基点として上下方向に揺動することができる。これにより、キャブ６の回転軸である第２回転軸Ｒ６の向きは、キャブ６の底面における水平面に対する傾きに応じて変化する。言い換えると、第２回転軸Ｒ６は、水平面に交差する方向に延び、その方向がキャブ６およびトンネル部５の上下方向の揺動に応じて変化する。

　また、ドライブコラム７は、トンネル部５をロタンダ４の回り（第１回転軸Ｒ４回り）に回転させるとともにトンネル部５を伸縮させるための走行装置９を含んでいる。走行装置９は、昇降装置８の下方に設けられる。走行装置９は、例えば個々に独立して正逆回転駆動可能である２つの走行車輪を有している。２つの走行車輪を同方向に回転（正回転または逆回転）させることにより前進走行または後進走行が可能であり、２つの走行車輪を互いに逆方向に回転させることにより、その場において走行方向（走行車輪の向き）を変更することもできる。なお、本実施の形態では、ロタンダ４自体が第１回転軸Ｒ４回りに回転することによりトンネル部５が第１回転軸Ｒ４回りに回転する構成を例示しているが、これに代えて、ロタンダ４は、ターミナルビル２に固定され、トンネル部５がロタンダ４に対して第１回転軸Ｒ４回りに回転自在に接続されてもよい。

　キャブ６は、先端部に、航空機３の乗降部Ｄ１，Ｄ２に接続される接続部６ａを有している。接続部６ａには、クロージャ、バンパー、距離センサ等が設けられる。キャブ６の第２回転軸Ｒ６回りの回転により、接続部６ａの位置（乗降部Ｄ１，Ｄ２への接続方向）を変更することができる。なお、キャブ６を回転させる代わりに、接続部６ａがキャブ６に対して第２回転軸Ｒ６回りに回転してもよい。

　また、キャブ６には、航空機３の側面を撮影するためのカメラ２１ａ，２１ｂが設置されている。カメラ２１ａ，２１ｂは、キャブ６の先端部に設けられる。図１の例では、第１カメラ２１ａは、キャブ６における接続部６ａの内側上部に設置される。第２カメラ２１ｂは、キャブ６における接続部６ａの内側下部に設置される。すなわち、第１カメラ２１ａは、第２カメラ２１ｂより上方に配置されている。また、第１カメラ２１ａは、キャブ６における前後方向位置（図２に示す接続部６ａからの第１距離Ｋ１）が、第２カメラ２１ｂのキャブ６における前後方向位置（図２に示す接続部６ａからの第２距離Ｋ２）と同じ位置に配置されている。

　なお、第１カメラ２１ａおよび第２カメラ２１ｂの位置は、キャブ６の先端部において航空機３の側面を撮影可能な位置であればキャブ６の内側以外の位置でもよい。例えば、第１カメラ２１ａおよび第２カメラ２１ｂは、キャブ６の外側上部および外側下部に設置されてもよい。

　本実施の形態において、第１カメラ２１ａと第２カメラ２１ｂとの位置関係は、以下のように定められる。図２は、本実施の形態における第１カメラおよび第２カメラの位置関係を示す図である。図２に示すように、第１カメラ２１ａおよび第２カメラ２１ｂは、第１カメラ２１ａの光学中心と第１カメラ２１ａで撮影する物体側の所定位置ＶＯとを結ぶ第１仮想線Ｖ１の水平面Ｈに対する第１角度δ１が、第２カメラ２１ｂの光学中心と上記所定位置ＶＯとを結ぶ第２仮想線Ｖ２の水平面Ｈに対する第２角度δ２とは異なる角度となるように、配設される。

　物体側の所定位置ＶＯは、例えば、第１カメラ２１ａを原点とする３次元座標系における所定の３次元位置に設定され得る。あるいは、物体側の所定位置ＶＯは、例えば、エプロンＥＰにおける所定位置を原点とする３次元座標系における所定の３次元位置に設定されてもよい。所定位置ＶＯの３次元位置は、接続部６ａの正面に航空機３の乗降部Ｄ１が位置した場合の当該乗降部Ｄ１の検出位置（後述するドアの基準点）を想定して設定されてもよい。本実施の形態において、所定位置ＶＯがキャブ６より下方の位置に設定されることにより、第１角度δ１が第２角度δ２より大きい角度を有している。

　本実施の形態において、旅客搭乗橋１１の先端部に設けられた第１カメラ２１ａで撮影された第１撮影画像Ｇ１および第２カメラ２１ｂで撮影された第２撮影画像Ｇ２に基づいて旅客搭乗橋１１が接続するべき航空機３の乗降部Ｄ１の探索が行われる。

　図３は、図１に示す旅客搭乗橋に適用される検出システムの概略構成を示すブロック図である。図３に示すように、本実施の形態における検出システム２０は、上記カメラ２１ａ，２１ｂと、カメラ２１ａ，２１ｂで撮影された撮影画像Ｇ１，Ｇ２から航空機３の乗降部Ｄ１を検出する画像処理装置２３と、を備えている。さらに、検出システム２０は、撮影画像等のデータおよび画像処理プログラム等が記憶される記憶器２４と、検出結果等を出力する出力器２５と、を備えている。これらの構成２１ａ，２１ｂ，２３，２４，２５は、バス２６を介して互いにデータの受け渡しを行い得る。

　また、バス２６には、旅客搭乗橋１１を制御する制御器３０も接続されている。制御器３０は、例えば、キャブ６または最も先端側のトンネル５ａ等に設けられている。制御器３０は、旅客搭乗橋１１のキャブ６の回転、ドライブコラム７の昇降および走行を制御する。さらに、制御器３０は、カメラ２１ａ，２１ｂの高さ変更機構３６および撮影方向変更機構３４の回転を制御する。

　カメラ２１ａ，２１ｂは、高さ位置を変更可能となっている。このために、検出システム２０は、カメラ２１ａ，２１ｂの高さ位置を変更可能な高さ変更機構３６を備えている。本実施の形態において、高さ変更機構３６は、キャブ６を昇降させるドライブコラム７の昇降装置８である。すなわち、カメラ２１ａ，２１ｂは、それらが取り付けられているキャブ６ごと高さが変更される。なお、これに代えて、高さ変更機構３６は、キャブ６に対してカメラ２１ａ，２１ｂの高さを変更するように構成されてもよい。例えば、カメラ２１ａ，２１ｂがキャブ６の外側に高さ方向に延びる高さ調整レールを介して取り付けられ、高さ変更機構３６がカメラ２１ａ，２１ｂの高さ調整レール上の位置を調整可能としてもよい。

　カメラ２１ａ，２１ｂは、撮影方向（撮影中心軸Ｌ１の向き）を水平面内で変更可能となっている。このために、検出システム２０は、水平面に交差する方向に延びる所定の回転軸回りに回動することによりカメラ２１ａ，２１ｂの撮影方向を変更する撮影方向変更機構３４を備えている。

　撮影方向変更機構３４は、キャブ６に対してカメラ２１ａ，２１ｂを相対回転させるカメラ回転機構として構成されてもよい。この場合、撮影方向変更機構３４は、第１カメラ２１ａおよび第２カメラ２１ｂの撮影方向を互いに独立して変更可能である。あるいは、撮影方向変更機構３４は、キャブ６であってもよい。例えば、カメラ２１ａ，２１ｂは、キャブ６に固定され、キャブ６が水平面に交差する方向に延びる第２回転軸Ｒ６回りに回転することでカメラ２１ａ，２１ｂの撮影方向（撮影中心軸Ｌ１の向き）が変更されてもよい。

　制御器３０および画像処理装置２３は、記憶器２４に記憶されるデータに基づいて各種演算および処理を行うコンピュータによって構成される。例えば、制御器３０および画像処理装置２３は、ＣＰＵ、メインメモリ（ＲＡＭ）、通信インターフェイス等を備えている。なお、制御器３０と画像処理装置２３とは、同じコンピュータにより構成されてもよいし、互いに異なるコンピュータにより構成されてもよい。

　出力器２５は、制御器３０および画像処理装置２３における演算または処理の結果等を出力する。出力器２５は、例えば、演算結果等を表示するモニタまたは通信ネットワークを介してサーバまたは通信端末にデータ送信を行う通信器等により構成される。なお、検出システム２０のうちの画像処理装置２３および記憶器２４は、カメラ２１ａ，２１ｂと通信ネットワークを介して接続されたサーバとして構成されてもよい。すなわち、サーバがカメラ２１ａ，２１ｂで撮影された撮影画像を取得し、サーバ上で後述する探索処理を行い、旅客搭乗橋１１の操作室等に設けられたモニタまたは通信端末の表示部に結果を表示してもよい。

　制御器３０および画像処理装置２３は、例えばＸＹＺ直交座標系等の所定の３次元座標系を用いて、リアルタイムで旅客搭乗橋１１の各部の位置座標を把握している。例えば、旅客搭乗橋１１の各部の位置座標は、絶対座標として、ロタンダ４の第１回転軸Ｒ４とエプロンＥＰの平面との交点を原点（０，０，０）とし、互いに直交するＸ軸、Ｙ軸、Ｚ軸をとった３次元座標系の位置座標として表される。この位置座標のＸ座標値、Ｙ座標値、Ｚ座標値は、それぞれ、ロタンダ４の第１回転軸Ｒ４の位置である原点（０，０，０）からの距離（例えば単位〔ｍｍ〕）を示す。制御器３０および画像処理装置２３は、航空機３および旅客搭乗橋１１の各部の位置を、このような３次元直交座標系を用いた位置座標として表現する。

　画像処理装置２３は、後述する探索処理を行うために、探索領域画像生成部３１、探索実行部３２および探索範囲判定部３３を機能ブロックとして有している。これらの機能ブロックは、集積回路を含む回路を一部または全部に含んでいる。したがって、これらの構成３１，３２，３３は、回路とみなすことができる。これらの機能ブロックは、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、これらの機能ブロックはハードウェアとソフトウェアとの組み合わせであり、ソフトウェアはハードウェアまたはプロセッサの構成に使用される。画像処理装置２３は、記憶器２４に記憶された探索処理を行うためのプログラムを読み出して後述する探索処理を実行する。

　以下に、本実施の形態における乗降部Ｄ１の探索処理について説明する。図４および図５は、本実施の形態における探索処理の流れを示すフローチャートである。探索処理は、航空機３が所定の到着位置に到着した場合に行われる。このため、旅客搭乗橋１１は、図１に示すような、航空機３を避けた初期位置（待機位置）に位置している。

　記憶器２４には、第１カメラ２１ａおよび第２カメラ２１ｂに対して予め設定されている探索範囲のデータが記憶されている。探索範囲は、機軸ＡＬ方向に沿った領域として設定されている。さらに、記憶器２４には、カメラ２１ａ，２１ｂの初期角度（撮影方向のデータ）が記憶されている。カメラ２１ａ，２１ｂの初期角度は、旅客搭乗橋１１の初期位置において、予め定められた探索範囲のうちの少なくとも機軸ＡＬ方向の一端部がカメラ２１ａ，２１ｂの画角内に含まれる角度に設定される。

　ここで、本実施の形態における探索処理は、航空機３の機軸ＡＬ方向前方側から後方側に順次移動するように行われる。このため、カメラ２１ａ，２１ｂの初期角度は、旅客搭乗橋１１の初期位置において、カメラ２１ａ，２１ｂに設定される探索範囲の機軸ＡＬ方向の前端部がカメラ２１ａ，２１ｂの画角内に含まれる角度に設定される。

　まず、探索処理において、制御器３０は、カメラ２１ａ，２１ｂの角度が初期角度となるように撮影方向変更機構３４を制御する（ステップＳ１）。さらに、制御器３０は、カメラ２１ａ，２１ｂの高さが初期高さとなるように高さ変更機構３６を制御する。カメラ２１ａ，２１ｂは、それぞれ、初期角度において撮影を行う（ステップＳ２）。画像処理装置２３は、第１カメラ２１ａにより撮影された初期角度における第１撮影画像Ｇ１および第２カメラ２１ｂにより撮影された初期角度における第２撮影画像Ｇ２を取得する。取得した撮影画像Ｇ１，Ｇ２は、記憶器２４に記憶される。なお、画像処理装置２３は、撮影画像Ｇ１，Ｇ２に対してカメラレンズに起因する歪み補正または明るさ補正等の所定の画像処理を予め行ってもよい。撮影画像Ｇ１，Ｇ２における位置は、撮影画像Ｇ１，Ｇ２の一の頂点（例えば左上の頂点）を原点とし、互いに直交するＵ軸，Ｖ軸をとった２次元座標系の位置座標として表される。

　探索領域画像生成部３１は、第１撮影画像Ｇ１のうちの一部を含む第１領域Ｅａｉ（ｉ＝１，２，３，…）を区切って、当該第１領域Ｅａｉに基づいて区画される第１撮影画像Ｇ１の一部領域を含む第１探索領域画像Ｃａｉ（後述する図８参照）を生成する。このために、まず、探索領域画像生成部３１は、実空間である３次元空間上の仮想矩形枠Ｂｉに対応する第１撮影画像Ｇ１上の第１領域Ｅａｉを設定する（ステップＳ３）。探索処理における最初の第１領域Ｅａ１には、探索範囲の機軸ＡＬ方向の前端部を含む領域が設定される。同様に、探索領域画像生成部３１は、第２撮影画像Ｇ２のうちの一部を含む第２領域Ｅｂｉ（ｉ＝１，２，３，…）を区切って、当該第２領域Ｅｂｉに基づいて区画される第２撮影画像Ｇ２の一部領域を含む第２探索領域画像Ｃｂｉ（後述する図９参照）を生成する。

　図６は、本実施の形態における撮影画像の例を示す図である。また、図７は、図６に示す撮影画像において第１領域および第２領域を設定するための概念図である。なお、図６、図７および以下の説明では、第１撮影画像Ｇ１から第１探索領域画像Ｃａｉを生成する態様について主に説明するが、第２撮影画像Ｇ２から第２探索領域画像Ｃｂｉを生成する態様も同様である。すなわち、第２撮影画像Ｇ２から第２探索領域画像Ｃｂｉを生成する態様は、図６、図７および以下の説明において、第１カメラ２１ａ、第１撮影画像Ｇ１、第１領域Ｅａｉおよび第１探索領域画像Ｃａｉを、第２カメラ２１ｂ、第２撮影画像Ｇ２、第２領域Ｅｂｉおよび第２探索領域画像Ｃｂｉにそれぞれ読み替えることで示される。なお、第１領域Ｅａｉおよび第２領域Ｅｂｉは、実空間において互いに同じ領域に（同じ仮想矩形枠Ｂｉに対応する領域として）設定される。

　本実施の形態において、探索領域画像生成部３１は、第１撮影画像Ｇ１において水平面（エプロンＥＰ）に対して垂直かつ機軸ＡＬに平行な仮想平面ＶＰを設定する。ここで、機軸ＡＬは、航空機３がエプロンＥＰ上に示されたマーシャルライン１３上に駐機することを想定してマーシャルライン１３から所定距離上方の位置に予め設定される。なお、本明細書および特許請求の範囲の記載において、機軸ＡＬの前方側および後方側は、マーシャルライン１３上に駐機した航空機３の前方側および後方側を意味する。

　仮想平面ＶＰは、機軸ＡＬから機体幅方向一方側（旅客搭乗橋１１に近い側）にオフセット量Ｗだけオフセットした位置に設定される。すなわち、仮想平面ＶＰは、機軸ＡＬから機体幅方向一方側にオフセット量Ｗだけオフセットした基準軸ＶＬを含み、水平面に垂直な平面として定義される。オフセット量Ｗは、航空機３の機体幅を考慮して、仮想平面ＶＰと乗降部Ｄ１の外表面との距離が近接する（所定距離未満となる）ように予め設定される。

　探索領域画像生成部３１は、仮想平面ＶＰ上における３次元空間上の仮想矩形枠Ｂｉを設定する。例えば、仮想矩形枠Ｂｉは、基準軸ＶＬ上の基準点Ｐｉを中心とし、仮想平面ＶＰ上で一辺が４ｍの正方形枠として構成され得る。第１カメラ２１ａの撮影方向（撮影中心軸Ｌ１）は、仮想平面ＶＰに対して垂直ではない場合が多いため、仮想矩形枠Ｂｉは、多くの場合、第１撮影画像Ｇ１上では、図６の第１領域Ｅａｉに示すように歪んだ四角形状を有している。実空間の３次元座標Ｂｉ（ｘｉ，ｙｉ，ｚｉ）と第１カメラ２１ａが撮影した第１撮影画像Ｇ１上の２次元座標Ｅａｉ（ｕｉ，ｖｉ）とは、一対一で対応している。実空間の３次元座標系と第１撮影画像Ｇ１上の２次元座標系との間の変換は、透視投影変換により行われる。

　なお、仮想矩形枠Ｂｉに対応する第１撮影画像Ｇ１上の四角形状（第１領域）Ｅａｉは、撮影画像Ｇ１に全体が収まることが望ましいが、少なくとも四角形状の一部が第１撮影画像Ｇ１に写っていればよい。

　探索領域画像生成部３１は、このように設定した第１領域Ｅａｉ（第１撮影画像Ｇ１の一部を含む領域）において、仮想平面ＶＰを、仮想平面ＶＰに垂直な方向から見たときの画像となるように射影変換する（ステップＳ４）。

　ここで、射影変換についてより詳しく説明する。図８は、本実施の形態において第１撮影画像における第１領域を射影変換した後の画像を射影変換前の画像と比較して示す図である。また、図９は、本実施の形態において第２撮影画像における第２領域を射影変換した後の画像を射影変換前の画像と比較して示す図である。図８および図９は、乗降部Ｄ１付近に仮想矩形枠Ｂｉが設定されている場合を例示している。また、図８および図９においては、航空機３の外表面の一部を二点鎖線で示している。

　上述したように、第１撮影画像Ｇ１の一部を含む第１領域Ｅａｉは、多くの場合、歪んだ四角形状を有している。射影変換後の画像である第１探索領域画像Ｃａｉにおいて、仮想矩形枠Ｂｉは、３次元空間において設定した形状と同じ矩形状となる。例えば、仮想矩形枠Ｂｉが正方形であれば、射影変換後の仮想矩形枠Ｂｉに対応する第１領域Ｅａｐｉも正方形となる。これに伴って、射影変換後の画像においては、仮想平面ＶＰに近い航空機３の一部が航空機３の機軸ＡＬに対して垂直な方向から見た画像に近づくように補正される。なお、厳密に補正されるのは仮想平面ＶＰ上の物体だけであるので、仮想平面ＶＰから離れるほど補正誤差は残ることとなる。

　図８において、第１カメラ２１ａの撮影方向（撮影中心軸Ｌ１）は、機軸ＡＬに対して傾斜している。そのため、第１領域Ｅａｉ内に含まれる乗降部Ｄ１であるドアは、下端部および上端部が第１撮影画像Ｇ１の水平線に対して傾斜したように映っている。後述するように、乗降部Ｄ１の探索（前述のＡＩ画像認識等）においては、例えば、ドアシルまたはドアシルに設けられた補強プレートにドアの基準点が設定される。この場合、乗降部Ｄ１の探索に用いられる画像において、乗降部Ｄ１（ドア）の下端部（ドアシルまたは補強プレート）は、水平に延びていることが好ましい。

　本実施の形態においては、図８に示すように、機軸ＡＬに平行かつ水平面（エプロンＥＰ）に対して垂直な仮想平面ＶＰ上に設定される仮想矩形枠Ｂｉが矩形に表示されるように、第１撮影画像Ｇ１のうちの一部を含む第１領域Ｅａｉが射影変換される。また、射影変換によって、第１カメラ２１ａと乗降部Ｄ１との距離による乗降部Ｄ１の大きさの変化が抑制される。すなわち、第１カメラ２１ａと乗降部Ｄ１との距離にかかわらず射影変換後の乗降部Ｄ１の大きさを同程度にすることができる。したがって、射影変換後の画像において乗降部Ｄ１の検出を精度よく行うことができる。

　図９に示すように、第２カメラ２１ｂにより撮影された第２撮影画像Ｇ２についても、同様に、機軸ＡＬに平行かつ水平面（エプロンＥＰ）に対して垂直な仮想平面ＶＰ上に設定される仮想矩形枠Ｂｉが矩形に表示されるように、第２撮影画像Ｇ２のうちの一部を含む第２領域Ｅｂｉが射影変換される。

　探索領域画像生成部３１は、射影変換後の画像をトリミングして探索領域画像Ｃａｉ，Ｃｂｉの調整を行う（ステップＳ５）。探索領域画像生成部３１は、第１撮影画像Ｇ１の一部領域である第１探索領域画像Ｃａｉが第２撮影画像Ｇ２の一部領域である第２探索領域画像Ｃｂｉより上下方向に広い領域を有するように射影変換後の画像をトリミングする。

　本実施の形態において、図８に示すように、第１探索領域画像Ｃａｉは、射影変換後の第１領域Ｅａｐｉの全体を含み、上下方向を画する一対の水平境界線Ｂａｈ間の長さＷａｈが左右方向を画する一対の垂直境界線Ｂａｖ間の長さＷａｖより長い領域に設定される。一方、図９に示すように、第２探索領域画像Ｃｂｉは、射影変換後の第２領域Ｅｂｐｉの全体を含み、上下方向を画する一対の水平境界線Ｂｂｈ間の長さＷｂｈが左右方向を画する一対の垂直境界線Ｂｂｖ間の長さＷｂｖより短い領域に設定される。

　ここで、第１探索領域画像Ｃａｉにおける上下方向の長さＷａｈは、第２探索領域画像Ｃｂｉにおける上下方向の長さＷｂｈより長い。また、第２探索領域画像Ｃｂｉにおける左右方向の長さＷｂｖは、第１探索領域画像Ｃａｉにおける左右方向の長さＷａｖより長い。このようなトリミングを行うことにより、互いに同じ画角を有する第１カメラ２１ａおよび第２カメラ２１ｂで撮影された撮影画像Ｇ１，Ｇ２を用いても、第１探索領域画像Ｃａｉが第２探索領域画像Ｃｂｉより上下方向に広い領域とすることができ、高さ位置が適切かどうかの判定を容易に行うことができる。

　さらに、探索領域画像生成部３１は、調整後の画像に対して所定の外挿処理を行う。例えば、外挿処理は、撮影画像Ｇ１，Ｇ２の範囲外の画素について単色（例えば黒色）で埋める処理、エッジ部の画素をコピーする処理等を含む。また、生成される探索領域画像Ｃａｉ，Ｃｂｉは、仮想矩形枠Ｂｉ全体が探索領域画像Ｃａｉ，Ｃｂｉにおいてなるべく大きく映るように拡大される。

　探索実行部３２は、上記のようにして生成された探索領域画像Ｃａｉ，Ｃｂｉのそれぞれについて当該探索領域画像Ｃａｉ，Ｃｂｉ内に乗降部Ｄ１の候補となるドアが存在するか否かの探索を行う（ステップＳ６）。ドアの探索方法は、ドアを検出可能な画像認識処理であれば、特に限定されないが、例えば、ディープラーニングにより生成された学習済みモデルを用いたＡＩ画像認識等が用いられ得る。

　ドアの画像認識処理においては、ドアの輪郭のペイント部分やドアシルに設けられた補強プレートの形状等に基づいてドアおよびそのドアの基準点が検出される。ドアの基準点は、例えばドアシルの中央部または補強プレートの中央部に設定される。

　探索実行部３２は、第１探索領域画像Ｃａｉ内にドアを検出し、かつ、第２探索領域画像Ｃｂｉ内にドアを検出した場合（ステップＳ７およびＳ８の何れもＹｅｓ）、そのドアの基準点の３次元座標を計算する（ステップＳ９）。ドアの３次元座標は、例えば、各探索領域画像Ｃａｉ，Ｃｂｉ上の２次元座標を元の撮影画像Ｇ１，Ｇ２上の２次元座標にそれぞれ変換し、第１撮影画像Ｇ１上の２次元座標と第２撮影画像Ｇ２上の２次元座標とから実空間の３次元座標に変換することで得られる。なお、探索領域画像Ｃａｉ，Ｃｂｉの何れか一方の２次元座標のみから実空間の３次元座標が計算されてもよい。この場合、例えば、ドアの基準点が仮想平面ＶＰ上にあると近似して計算してもよい。

　探索実行部３２は、検出したドアの３次元座標に基づいて、検出したドアが、旅客搭乗橋１１が装着すべき乗降部Ｄ１であるかどうかを判定する（ステップＳ１０）。記憶器２４には、予め旅客搭乗橋１１が装着すべき様々な航空機のドアをすべて含むように探索範囲が記憶されている。探索実行部３２は、検出したドアの３次元座標が記憶器２４に記憶されている探索範囲内である場合、乗降部Ｄ１を検出したと判定する。乗降部Ｄ１を検出したと判定した場合（ステップＳ１０でＹｅｓ）、探索実行部３２は、探索成功の結果を出力する（ステップＳ１１）。

　第１探索領域画像Ｃａｉにおいてドアが検出され、第２探索領域画像Ｃｂｉにおいてドアが検出されなかった場合（ステップＳ７でＹｅｓ、ステップＳ８でＮｏ）、制御器３０は、第１カメラ２１ａおよび第２カメラ２１ｂの高さ位置を変更するように、高さ変更機構３６を制御する。

　本実施の形態において、上述したように、第１カメラ２１ａは、キャブ６における接続部６ａの内側上部に設置される。第２カメラ２１ｂは、キャブ６における接続部６ａの内側下部に設置される。また、乗降部Ｄ１の探索のためのドアの基準点は、ドアの下端部に位置するドアシルまたはドアシルに設けられた補強プレートに設定される。そのため、キャブ６の接続部６ａの内側下部に配置された第２カメラ２１ｂの高さ位置が航空機３の乗降部Ｄ１におけるドアの基準点の高さ位置より上方に位置すると、図９に示されるように、第２カメラ２１ｂの撮影範囲（第２撮影画像Ｇ２）には、キャブ６の床面Ｘにより下部が遮られ、ドアの基準点が写らない恐れがある。

　このため、第１カメラ２１ａにより撮影された第１撮影画像Ｇ１に基づいて生成される第１探索領域画像Ｃａｉでドアが検出され、第２カメラ２１ｂにより撮影された第２撮影画像Ｇ２に基づいて生成される第２探索領域画像Ｃｂｉでドアが検出されなかった場合、第２カメラ２１ｂの高さ位置が航空機３の乗降部Ｄ１におけるドアの基準点の高さ位置より上方に位置していると考えられる。

　そこで、制御器３０は、第１カメラ２１ａおよび第２カメラ２１ｂの高さ位置をより低い位置に変更するように高さ変更機構３６を制御する。本実施の形態において、制御器３０は、ドライブコラム７の昇降装置８によりキャブ６を所定距離下降させる。高さの変更量は、高さ変更前後の撮影画像において互いに一部が重複するように設定される。これにより、第１カメラ２１ａおよび第２カメラ２１ｂの高さ位置を変更する機構を別途設ける必要がなくなるとともに、旅客搭乗橋１１側の接続部６ａを航空機３の乗降部Ｄ１に接続する際に、旅客搭乗橋１１の高さ位置を当該乗降部Ｄ１に位置合わせするための調整量を低減することができる。

　ここで、第１探索領域画像Ｃａｉが第２探索領域画像Ｃｂｉより上下方向に広い領域を有することにより、第１探索領域画像Ｃａｉを、第１探索領域画像Ｃａｉの水平方向範囲内にドアが含まれていれば、ドアの基準点が第１探索領域画像Ｃａｉ内に存在するような画像とすることができる。

　カメラ２１ａ，２１ｂは、高さ変更後に再度撮影を行う（ステップＳ２）。以降、同様に、高さ変更後の撮影画像Ｇ１，Ｇ２に対して上述した探索処理が行われる（ステップＳ３からステップＳ１１）。

　第１探索領域画像Ｃａｉにおいてドアが検出されなかった場合（ステップＳ７でＮｏ）または検出されたドアが乗降部Ｄ１ではないと判定された場合（ステップＳ１０でＮｏ）、探索領域画像生成部３１は、第１領域Ｅａｉを航空機３の機軸ＡＬ方向一方側から他方側に移動させて、第１探索領域画像Ｃａｉを順次生成するとともに、第２領域Ｅｂｉを航空機３の機軸ＡＬ方向一方側から他方側に移動させて、第２探索領域画像Ｃｂｉを順次生成する。本実施の形態において、探索領域画像生成部３１は、第１領域Ｅａｉおよび第２領域Ｅｂｉを機軸ＡＬ方向前方側から後方側に移動させる。

　そのために、まず、探索領域画像生成部３１は、仮想矩形枠Ｂｉを３次元空間において航空機３の機軸ＡＬ方向一方側から他方側に所定距離シフト（移動）させる。探索領域画像生成部３１は、シフト後の仮想矩形枠Ｂｉに対応する第１撮影画像Ｇ１上における第１領域Ｅａｉおよび第２撮影画像Ｇ２上における第２領域Ｅｂｉを計算する。このようにして、探索領域画像生成部３１は、第１撮影画像Ｇ１において第１領域Ｅａｉを航空機３の機軸ＡＬ方向一方側から他方側にシフト（移動）させるとともに、第２撮影画像Ｇ２において第２領域Ｅｂｉを航空機３の機軸ＡＬ方向一方側から他方側にシフト（移動）させる（ステップＳ１３）。

　例えば、３次元空間において基準軸ＶＬ上を基準点Ｐｉの位置から機軸ＡＬ方向後方側に所定距離離れた位置に基準点Ｐｉ＋１を設定し、基準点Ｐｉ＋１を基準とする仮想矩形枠Ｂｉ＋１を設定する。基準点Ｐｉ，Ｐｉ＋１間の距離は、仮想矩形枠Ｂｉの水平方向に延びる一辺の長さ以下が好ましく、当該一辺の長さの１／４以上１／２以下がさらに好ましい。これにより、ドアの探索において、同じドアを複数回（２回または３回程度）検出する機会を生じさせることができる。

　探索範囲判定部３３は、シフト後の第１領域Ｅａｉおよび第２領域Ｅｂｉが予め定められた探索範囲内かどうか、すなわち、すべての探索範囲について探索を行ったか否かを判定する（ステップＳ１４）。なお、探索範囲判定部３３は、シフト後の第１領域Ｅａｉおよび第２領域Ｅｂｉが探索範囲内であるかの判定を行う際、３次元空間において対応する仮想矩形枠Ｂｉが探索範囲内であるかどうかを判定してもよい。シフト後の第１領域Ｅａｉおよび第２領域Ｅｂｉが探索範囲内である場合（ステップＳ１４でＹｅｓ）、さらに、探索範囲判定部３３は、シフト後の第１領域Ｅａｉが前回の探索で使用した第１撮影画像Ｇ１の範囲内であるか否か、シフト後の第２領域Ｅｂｉが前回の探索で使用した第２撮影画像Ｇ２の範囲内であるか否かを判定する（ステップＳ１５）。

　探索領域画像生成部３１は、シフト後の第１領域Ｅａｉが第１撮影画像Ｇ１の範囲内であり、シフト後の第２領域Ｅｂｉが第２撮影画像Ｇ２の範囲内である場合（ステップＳ１５でＹｅｓ）、シフト後の第１領域Ｅａｉを、第１探索領域画像Ｃａｉを生成するための第１領域Ｅａｉに設定（更新）し、シフト後の第２領域Ｅｂｉを、第２探索領域画像Ｃｂｉを生成するための第２領域Ｅｂｉに設定（更新）する（ステップＳ３）。

　探索領域画像生成部３１は、更新後の第１領域Ｅａｉおよび第２領域Ｅｂｉに基づいて上記と同様に第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉを生成（更新）する。探索実行部３２は、更新後の第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉにおいて乗降部Ｄ１の探索を行う。このようにして、探索実行部３２は、第１領域Ｅａｉを機軸ＡＬ方向に沿って前方側から後方側にシフトさせることにより第１探索領域画像Ｃａｉを変えながら、順次生成された複数の第１探索領域画像Ｃａｉを用いて、乗降部Ｄ１の探索を繰り返し行う。同様に、探索実行部３２は、第２領域Ｅｂｉを機軸ＡＬ方向に沿って前方側から後方側にシフトさせることにより第２探索領域画像Ｃｂｉを変えながら、順次生成された複数の第２探索領域画像Ｃｂｉを用いて、乗降部Ｄ１の探索を繰り返し行う。

　シフト後の第１領域Ｅａｉが探索範囲内であるが第１撮影画像Ｇ１の範囲外となった場合、または、シフト後の第２領域Ｅｂｉが探索範囲内であるが第２撮影画像Ｇ２の範囲外となった場合（ステップＳ１５でＮｏ）、探索範囲判定部３３は、制御器３０に、カメラ２１ａ，２１ｂの撮影方向を変更するための指示信号を送信する。制御器３０は、指示信号に基づいてカメラ２１ａ，２１ｂの撮影方向を変更するように対応する撮影方向変更機構３４を制御する（ステップＳ１６）。撮影方向の変更量は、撮影方向変更前後の撮影画像において互いに一部が重複するように設定される。

　図７の例では、キャブ６を第２回転軸Ｒ６回りに所定角度θ回転させることにより、カメラ２１ａ，２１ｂの撮影中心軸Ｌ１を、撮影中心軸Ｌ１に比べて機軸ＡＬ方向後方側において仮想平面ＶＰの基準軸ＶＬと交差する撮影中心軸Ｌ１ａに変更している。なお、前述の通り、カメラ２１ａ，２１ｂの撮影方向の変更方法はこれに限られず、例えば第１カメラ２１ａおよび第２カメラ２１ｂ自体をキャブ６に対して水平面に交差する方向に延びる所定の回転軸回りに回転させてもよい。

　第１カメラ２１ａおよび第２カメラ２１ｂは、撮影方向変更後に再度撮影を行う（ステップＳ２）。以降、同様に、更新後の撮影画像に対して探索処理が行われる（ステップＳ３からステップＳ１１）。

　探索範囲判定部３３は、シフト後の第１領域Ｅａｉまたは第２領域Ｅｂｉが探索範囲外となった場合（ステップＳ１４でＮｏ）、リトライ数が予め設定された基準値未満である場合には（ステップＳ１７でＮｏ）、リトライ数を１増やし、探索処理を一からやり直す。すなわち、カメラ２１ａ，２１ｂを初期角度に戻して撮影を行い、各撮影画像Ｇ１，Ｇ２に基づいて探索が行われる。リトライ数が基準値以上となった場合（ステップＳ１７でＹｅｓ）、探索実行部３２は、乗降部Ｄ１を検出できなかったと判定し、探索失敗の結果を出力する（ステップＳ１８）。

　以上のように、本実施の形態によれば、第１カメラ２１ａで撮影された画像から航空機３の乗降部Ｄ１の検出判定を行う第１探索領域画像Ｃａｉが生成され、第２カメラ２１ｂで撮影された画像から航空機３の乗降部Ｄ１の検出判定を行う第２探索領域画像Ｃｂｉが生成される。

　第１探索領域画像Ｃａｉから乗降部Ｄ１が検出され、第２探索領域画像Ｃｂｉから乗降部Ｄ１が検出されなかった場合、第１カメラ２１ａおよび第２カメラ２１ｂの高さ位置が変更される。第１探索領域画像Ｃａｉは、第２探索領域画像Ｃｂｉに比べて上下方向に広い領域を有するため、第１探索領域画像Ｃａｉにおいて乗降部Ｄ１が検出でき、第２探索領域画像Ｃｂｉにおいて乗降部Ｄ１が検出できない場合、第１カメラ２１ａおよび第２カメラ２１ｂの高さが適切ではない。

　上記構成によれば、航空機３と旅客搭乗橋１１との位置関係によって第１カメラ２１ａおよび第２カメラ２１ｂの高さ位置が航空機３の乗降部Ｄ１を検出するための位置として適切ではない場合でも、第１カメラ２１ａおよび第２カメラ２１ｂの高さ位置が自動的に変更される。これにより、乗降部Ｄ１の探索領域の高さ位置を航空機３の乗降部Ｄ１の位置に合わせて自動的に変更することができる。したがって、航空機３の乗降部Ｄ１の位置を様々なゲート配置に対応して正確に検出することができる。

　また、第１探索領域画像Ｃａｉから乗降部Ｄ１が検出されなかった場合、航空機３の機軸ＡＬ方向に関して現在の探索領域（仮想矩形枠Ｂｉの位置）には乗降部Ｄ１が存在しないと判定され、領域Ｅａｉ，Ｅｂｉがシフトされる。

　図１０は、本実施の形態における第１探索領域画像および第２探索領域画像における撮影領域の重なり具合を例示する図である。図１０に示す例では、第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉを含む判定領域は、第１判定領域Ｑ１、第２判定領域Ｑ２および第３判定領域Ｑ３を含む。

　第１判定領域Ｑ１は、第１探索領域画像Ｃａｉの上部領域と、第２探索領域画像Ｃｂｉの左右方向中央領域とが互いに重なった領域である。第１判定領域Ｑ１において乗降部Ｄ１が検出された場合、探索するべき乗降部Ｄ１が検出されたと判定される。第２判定領域Ｑ２は、第１探索領域画像Ｃａｉの下部領域であって、第２探索領域画像Ｃｂｉと重なっていない領域である。第２判定領域Ｑ２において乗降部Ｄ１が検出された場合、カメラ２１ａ，２１ｂの高さ調整が必要と判定される。第３判定領域Ｑ３は、第２探索領域画像Ｃｂｉの左右方向両端側の領域であって第１探索領域画像Ｃａｉと重なっていない領域である。第３判定領域Ｑ３において乗降部Ｄ１が検出された場合または何れの判定領域Ｑ１，Ｑ２，Ｑ３においても乗降部Ｄ１が検出されなかった場合、探索領域の機軸ＡＬ方向のシフトが必要と判定される。

　このように、第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉに含まれる判定領域Ｑ１，Ｑ２，Ｑ３の何れで乗降部Ｄ１が検出されるか、または、何れの判定領域Ｑ１，Ｑ２，Ｑ３でも検出されないかに基づいて、探索処理の流れを分岐させることにより、探索領域をどのように変更するかについての決定を自動化することができる。

　さらに、旅客搭乗橋１１の先端部に設けられたカメラ２１ａ，２１ｂで撮影された各撮影画像Ｇ１，Ｇ２から、その撮影画像Ｇ１，Ｇ２のうちの一部を含む領域Ｅａｉ，Ｅｂｉごとに区切られた複数の探索領域画像Ｃａｉ，Ｃｂｉが生成される。複数の探索領域画像Ｃａｉ，Ｃｂｉは、領域Ｅａｉ，Ｅｂｉを航空機３の機軸ＡＬ方向一方側から他方側に移動させて生成される。したがって、順次生成された複数の探索領域画像Ｃａｉ，Ｃｂｉを用いて探索領域画像Ｃａｉ，Ｃｂｉを変えながら乗降部Ｄ１の探索を繰り返し行うことにより、探索領域を航空機３の機軸ＡＬに沿った方向に移動させながら撮影画像Ｇ１，Ｇ２全体の乗降部Ｄ１の探索を行うことができる。

　これにより、航空機３の種類またはゲート配置によらず、乗降部Ｄ１の探索を一律に行うことができる。これにより、従来の３次元位置だけに頼った乗降部Ｄ１の位置検出では対応不可能であったゲート配置でも装着するべき乗降部Ｄ１を正しく検出することができる。しかも、乗降部Ｄ１の探索に際し、駐機する航空機３に応じた情報を入力する等の煩わしい操作を不要とすることができる。すなわち、オペレータが探索処理の開始のためのボタン操作を行うだけで、様々な航空機３に対して探索処理および後述する自動装着制御処理を実行することができる。

　また、本実施の形態によれば、射影変換により、探索領域画像Ｃａｉ，Ｃｂｉが機軸ＡＬに平行な画像として生成される。したがって、撮影画像Ｇ１，Ｇ２が航空機３の斜め方向から撮影された場合であっても、探索領域画像Ｃａｉ，Ｃｂｉにおいて探索するべき乗降部Ｄ１の形状の歪みを抑制することができる。これにより、探索領域画像Ｃａｉ，Ｃｂｉにおける乗降部Ｄ１の探索精度を向上させることができる。

　さらに、本実施の形態によれば、探索領域画像生成部３１は、撮影画像Ｇ１，Ｇ２のうちの一部を含む領域Ｅａｉ，Ｅｂｉを区切るたびに当該領域Ｅａｉ，Ｅｂｉにおける撮影画像Ｇ１，Ｇ２を射影変換する。このように、撮影画像Ｇ１，Ｇ２が領域Ｅａｉ，Ｅｂｉごとに射影変換される（とともにトリミングも行われる）ため、撮影画像Ｇ１，Ｇ２全体を射影変換してからその射影変換後の画像から所定領域Ｅａｉ，Ｅｂｉを区切って拡大するよりも画像の解像度の低下を抑制することができる。

　また、本実施の形態によれば、シフト後の領域Ｅａｉ，Ｅｂｉが探索範囲内であるが、撮影画像Ｇ１，Ｇ２内ではないと判定された場合、撮影方向変更機構３４によりカメラ２１ａ，２１ｂの撮影方向が変更され、カメラ２１ａ，２１ｂによる撮影が再度行われる。このように、カメラ２１ａ，２１ｂの撮影方向を変更しつつ複数回撮影することにより、探索範囲全体の撮影画像を、複数の撮影画像Ｇ１，Ｇ２として取得することができる。したがって、一撮影画像あたりの撮影範囲を比較的狭くすることができるため、撮影画像Ｇ１，Ｇ２から得られる探索領域画像Ｃａｉ，Ｃｂｉの解像度を高くすることができる。もしくは探索範囲をカメラ２１ａ，２１ｂの視野以上に広く設定することが可能となる。

　［変形例］
　以上、本開示の実施の形態について説明したが、本開示は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の改良、変更、修正が可能である。

　例えば、上記実施の形態では、第１カメラ２１ａおよび第２カメラ２１ｂは、互いに同じ画角を有し、撮影画像Ｇ１，Ｇ２から探索領域画像Ｃａｉ，Ｃｂｉを生成する際に（切り出す形状を変えることにより）第１探索領域画像Ｃａｉが第２探索領域画像Ｃｂｉより上下方向に広い領域を有するように調整する態様を例示したが、これに限られない。例えば、第１カメラ２１ａが第２カメラ２１ｂより広い画角を有してもよい。この場合、第１撮影画像Ｇ１および第２撮影画像Ｇ２から互いに同じ面積の領域から第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉを生成しても、第１探索領域画像Ｃａｉに含まれる実空間の領域は、第２探索領域画像Ｃｂｉに含まれる実空間の領域より広くなる。

　また、上記実施の形態では、第２探索領域画像Ｃｂｉが第１探索領域画像Ｃａｉより左右方向に広い領域を有するように調整する態様を例示したが、これに限られない。例えば、第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉは、左右方向の幅が互いに同じでもよい。また、第１探索領域画像Ｃａｉの縦横比（Ｗａｈ：Ｗａｖ）は、上記実施の形態（Ｗａｈ＞Ｗａｖ）に限られない。同様に、第２探索領域画像Ｃｂｉの縦横比（Ｗｂｈ：Ｗｂｖ）は、上記実施の形態（Ｗｂｖ＞Ｗｂｈ）に限られない。

　また、上記実施の形態では、第１探索領域画像Ｃａｉにおいて乗降部Ｄ１が検出されない場合、第２探索領域画像Ｃｂｉ（図１０における第３判定領域Ｑ３）において乗降部Ｄ１が検出されているか否かにかかわらず、探索領域画像Ｃａｉ，Ｃｂｉを機軸ＡＬ方向にシフトさせる態様を例示したが、第２探索領域画像Ｃｂｉにおいてのみ乗降部Ｄ１を検出した場合と、第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉの何れについても乗降部Ｄ１を検出しなかった場合とで、次に行う処理を異ならせてもよい。

　例えば、探索領域画像生成部３１は、第２探索領域画像Ｃｂｉにおいてのみ乗降部Ｄ１を検出した場合と、第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉの何れについても乗降部Ｄ１を検出しなかった場合とで、第１領域Ｅａｉおよび第２領域Ｅｂｉの機軸ＡＬ方向のシフト量を異ならせてもよい。この場合、例えば、第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉの何れについても乗降部Ｄ１を検出しなかった場合における第１領域Ｅａｉおよび第２領域Ｅｂｉの機軸ＡＬ方向のシフト量は、第２探索領域画像Ｃｂｉにおいてのみ乗降部Ｄ１を検出した場合に比べて大きくしてもよい。

　より具体的には、第２探索領域画像Ｃｂｉにおいてのみ乗降部Ｄ１を検出した場合、すなわち、第３判定領域Ｑ３において乗降部Ｄ１を検出した場合、探索領域画像生成部３１は、乗降部Ｄ１が第１判定領域Ｑ１に位置するように第１領域Ｅａｉおよび第２領域Ｅｂｉをシフトさせてもよい。また、第１探索領域画像Ｃａｉおよび第２探索領域画像Ｃｂｉの何れについても乗降部Ｄ１を検出しなかった場合、探索領域画像生成部３１は、第３判定領域Ｑ３より機軸ＡＬ方向外側の領域が第１判定領域Ｑ１に位置するように第１領域Ｅａｉおよび第２領域Ｅｂｉをシフトさせてもよい。

　また、上記実施の形態では、第１カメラ２１ａが第２カメラ２１ｂとキャブ６における前後方向位置が同じで第２カメラ２１ｂより高い位置に設けられる態様を例示したが、これに限られない。図１１は、変形例１における第１カメラおよび第２カメラの位置関係を示す図である。図１１に示すように、第１カメラ２１ａと第２カメラ２１ｂとの高さ位置が同じでキャブ６における前後方向位置が異なるように、第１カメラ２１ａおよび第２カメラ２１ｂが配置されてもよい。第１カメラ２１ａのキャブ６における前後方向位置が第２カメラ２１ｂのキャブ６における前後方向位置より前方（接続部６ａに近接する位置）に配置される。この場合も、第１カメラ２１ａの光学中心と第１カメラ２１ａで撮影する物体側の所定位置ＶＯとを結ぶ第１仮想線Ｖ１の水平面Ｈに対する第１角度δ１が、第２カメラ２１ｂの光学中心と所定位置ＶＯとを結ぶ第２仮想線Ｖ２の水平面Ｈに対する第２角度δ２とが異なる角度（第１角度δ１が第２角度δ２より大きい角度）となる。また、第１カメラ２１ａおよび第２カメラ２１ｂは、高さ位置が互いに異なりかつキャブ６における前後方向位置が互いに異なるように、配置されてもよい。

　また、上記実施の形態では、上下方向に広い領域を有する第１探索領域画像Ｃａｉを生成するための第１撮影画像Ｇ１を撮影する第１カメラ２１ａが、第２カメラ２１ｂより上方（または前方）に配置される態様を例示したが、図１２に示すように、第１カメラ２１ａが第２カメラ２１ｂより下方（または後方）に配置されてもよい。図１２は、変形例２における第１カメラおよび第２カメラの位置関係を示す図である。図１２の例において、上記実施の形態（図２の例）と異なる点は、第１カメラ２１ａの位置と第２カメラ２１ｂの位置とが入れ替わっていることである。図１２の例において所定位置ＶＯは、キャブ６の上方に設定される。このため、本例においても、第１角度δ１が第２角度δ２より大きい角度を有している。

　例えば、ドアの基準点がドアの上端部に設定される場合には、キャブ６の接続部６ａの内側上部に配置された第２カメラ２１ｂの高さ位置が航空機３の乗降部Ｄ１におけるドアの基準点の高さ位置より下方に位置すると、第２カメラ２１ｂの撮影範囲（第２撮影画像Ｇ２）には、キャブ６の天井により上部が遮られ、ドアの基準点が写らない恐れがある。このため、第１カメラ２１ａにより撮影された第１撮影画像Ｇ１に基づいて生成される第１探索領域画像Ｃａｉでドアが検出され、第２カメラ２１ｂにより撮影された第２撮影画像Ｇ２に基づいて生成される第２探索領域画像Ｃｂｉでドアが検出されなかった場合、第２カメラ２１ｂの高さ位置が航空機３の乗降部Ｄ１におけるドアの基準点の高さ位置より下方に位置していると考えられる。この場合、制御器３０は、カメラ２１ａ，２１ｂの高さ位置をより高い位置に変更するように高さ変更機構３６を制御する。

　また、上記実施の形態では、航空機３の機軸ＡＬ方向前方側から後方側に探索が行われる態様を例示したが、これに限られず、航空機３の機軸ＡＬ方向後方側から前方側に探索が行われてもよい。例えば、旅客搭乗橋１１の接続部６ａを航空機３の後方側に位置する乗降部Ｄ２に接続させる際には、航空機３の機軸ＡＬ方向後方側から前方側に探索が行われる方が好ましい。

　また、上記実施の形態では、１つの旅客搭乗橋１１を備えたシステムを例示したが、本検出システム２０は、２以上の旅客搭乗橋を含んでもよい。例えば、第１搭乗橋と第２搭乗橋との２つの旅客搭乗橋を含むシステムにおいても、本開示の検出システム２０は、適用可能である。

　例えば、第１搭乗橋におけるキャブ６の接続部６ａを航空機３の前方側の乗降部Ｄ１に接続し、第２搭乗橋におけるキャブ６の接続部６ａを航空機３の後方側の乗降部Ｄ２に接続する。この場合、第１搭乗橋が接続する乗降部Ｄ１の探索処理においては、第１搭乗橋について予め定められている探索範囲の機軸ＡＬ方向前方側から後方側へ探索が行われる。すなわち、第１搭乗橋が接続する乗降部Ｄ１の探索処理においては、上述したように、撮影画像Ｇ１，Ｇ２上において機軸ＡＬ方向前方側から後方側へ領域Ｅａｉ，Ｅｂｉを移動させる。さらに、必要に応じてカメラ２１ａ，２１ｂの撮影方向を航空機３の前方側から後方側へ変更させて再撮影が行われる。

　一方、第２搭乗橋が接続する乗降部Ｄ２の探索処理においては、第２搭乗橋について予め定められている探索範囲の機軸ＡＬ方向後方側から前方側へ探索が行われる。すなわち、第２搭乗橋が接続する乗降部Ｄ２の探索処理においては、撮影画像Ｇ１，Ｇ２上において機軸ＡＬ方向後方側から前方側へ領域Ｅａｉ，Ｅｂｉを移動させる。さらに、必要に応じてカメラ２１ａ，２１ｂの撮影方向を航空機３の後方側から前方側へ変更させて再撮影が行われる。

　これにより、第１搭乗橋に設置されたカメラ２１ａ，２１ｂで撮影された撮影画像Ｇ１，Ｇ２に基づいて航空機３の前方にある乗降部Ｄ１を優先的に検出することができ、第２搭乗橋に設置されたカメラ２１ａ，２１ｂで撮影された撮影画像Ｇ１，Ｇ２に基づいて航空機３の後方にある乗降部Ｄ２を優先的に検出することができる。このため、複数の搭乗橋に対して同じ乗降部を検出する可能性を低減することができる。したがって、第１搭乗橋が接続するべき乗降部Ｄ１と第２搭乗橋が接続するべき乗降部Ｄ２とを正確かつ短時間で探索することができる。

　さらに、例えば、３つの搭乗橋を含むシステムにおいても、本開示の検出システム２０は、適用可能である。この場合、航空機３が１階部分および２階部分に乗降部を有する場合が想定され得る。

　この場合、例えば、第１搭乗橋を１階部分の機軸ＡＬ方向前方側にある乗降部に接続させるために、第１探索範囲において機軸ＡＬ方向前方側から後方側へ第１探索を行う。また、第２搭乗橋を１階部分の機軸ＡＬ方向後方側にある乗降部に接続させるために、第２探索範囲において機軸ＡＬ方向後方側から前方側へ第２探索を行う。さらに、第３搭乗橋を２階部分にある乗降部に接続させるために、第１探索における第１探索範囲より高い位置に設定された第３探索範囲において機軸ＡＬ方向前方側から後方側へ第３探索を行う。

　なお、第２搭乗橋が接続するべき乗降部Ｄ２の探索も、第１搭乗橋が接続するべき乗降部Ｄ１の探索と同様に、機軸ＡＬ方向前方側から後方側へ探索を行うようにしてもよい。

　また、上記実施の形態において、１つの制御器３０が旅客搭乗橋１１、撮影方向変更機構３４および高さ変更機構３６の何れの動作も制御する態様を例示したが、これらの構成１１，３４，３６の一部または全部に対して互いに異なる制御器が設けられてもよい。

　［開示のまとめ］
　以下の項目のそれぞれは、好ましい実施の形態の開示である。

　［項目１］
　本開示のある態様に係る検出システムは、航空機の乗降部を検出するための検出システムであって、ターミナルビルに接続される旅客搭乗橋と、前記旅客搭乗橋に設けられた第１カメラおよび第２カメラと、前記第１カメラおよび前記第２カメラの高さ位置を変更可能な高さ変更機構と、前記高さ変更機構の動作を制御する制御器と、前記第１カメラで撮影された第１撮影画像および前記第２カメラで撮影された第２撮影画像から前記航空機の乗降部を検出する画像処理装置と、を備え、前記第１カメラの光学中心と前記第１カメラで撮影する物体側の所定位置とを結ぶ第１仮想線の水平面に対する第１角度が、前記第２カメラの光学中心と前記所定位置とを結ぶ第２仮想線の前記水平面に対する第２角度とは異なる角度となるように、前記第１カメラおよび前記第２カメラが配設され、前記画像処理装置は、前記第１撮影画像から第１探索領域画像を生成するとともに、前記第２撮影画像から第２探索領域画像を生成し、前記第１探索領域画像は、前記第２探索領域画像より上下方向に広い領域を有し、前記制御器は、前記画像処理装置が、前記第１探索領域画像から前記乗降部を検出し、かつ、前記第２探索領域画像から前記乗降部を検出しなかった場合に、前記第１カメラおよび前記第２カメラの高さ位置を変更するように、前記高さ変更機構を制御する。

　上記構成によれば、第１カメラで撮影された画像から航空機の乗降部の検出判定を行う第１探索領域画像が生成され、第２カメラで撮影された画像から航空機の乗降部の検出判定を行う第２探索領域画像が生成される。第１探索領域画像から乗降部が検出され、第２探索領域画像から乗降部が検出されなかった場合、第１カメラおよび第２カメラの高さ位置が変更される。第１探索領域画像は、第２探索領域画像に比べて上下方向に広い領域を有するため、第１探索領域画像において乗降部が検出でき、第２探索領域画像において乗降部が検出できない場合、第１カメラおよび第２カメラの高さが適切ではない。上記構成によれば、航空機と旅客搭乗橋との位置関係によって第１カメラおよび第２カメラの高さ位置が航空機の乗降部を検出するための位置として適切ではない場合でも、第１カメラおよび第２カメラの高さ位置が自動的に変更される。これにより、乗降部の探索領域の高さ位置を航空機の乗降部の位置に合わせて自動的に変更することができる。したがって、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる。

　［項目２］
　項目１の検出システムにおいて、前記画像処理装置は、前記第１撮影画像のうちの一部を含む第１領域を区切って、前記第１領域に基づいて区画される前記第１撮影画像の一部領域を含む前記第１探索領域画像を生成するとともに、前記第２撮影画像のうちの一部を含む第２領域を区切って、前記第２領域に基づいて区画される前記第２撮影画像の一部領域を含む前記第２探索領域画像を生成し、前記第１領域および前記第２領域は、実空間において互いに同じ領域に設定され、前記第１撮影画像の一部領域は、前記第２撮影画像の一部領域より上下方向に広い領域を有してもよい。

　上記構成によれば、互いに同じ画角を有する第１カメラおよび第２カメラを用いても、高さ位置が適切かどうかの判定を容易に行うことができる。

　［項目３］
　項目２の検出システムにおいて、前記画像処理装置は、前記第１探索領域画像から前記乗降部を検出しなかった場合に、前記第１撮影画像上において前記第１領域を前記航空機の機軸方向一方側から他方側に移動させることにより、前記第１探索領域画像を順次生成するとともに、前記第２撮影画像上において前記第２領域を前記航空機の機軸方向一方側から他方側に移動させることにより、前記第２探索領域画像を順次生成し、順次生成された複数の前記第１探索領域画像を用いて、前記第１探索領域画像を変えながら前記探索を繰り返し行うとともに、順次生成された複数の前記第２探索領域画像を用いて、前記第２探索領域画像を変えながら前記探索を繰り返し行ってもよい。

　上記構成によれば、第１カメラで撮影された第１撮影画像から、その一部を含む第１領域ごとに区切られた複数の第１探索領域画像が生成される。同様に、第２カメラで撮影された第２撮影画像から、その一部を含む第２領域ごとに区切られた複数の第２探索領域画像が生成される。複数の第１探索領域画像および複数の第２探索領域画像は、第１領域または第２領域を航空機の機軸方向一方側から他方側に移動させて生成される。したがって、順次生成された複数の探索領域画像を用いて探索領域画像を変えながら乗降部の探索を繰り返し行うことにより、探索領域を航空機の機軸に沿った方向に移動させながら撮影画像全体の乗降部の探索を行うことができる。これにより、航空機の種類またはゲート配置によらず、乗降部の探索を一律に行うことができる。したがって、航空機の乗降部の位置を様々なゲート配置に対応して正確に検出することができる。

　［項目４］
　項目１から３の何れかの検出システムにおいて、前記第１カメラは、前記第２カメラより上方に配置されてもよい。

　［項目５］
　項目１から４の何れかの検出システムにおいて、前記旅客搭乗橋は、前記航空機の前記乗降部に接続される接続部を有するキャブと、前記キャブを昇降させる昇降装置と、を備え、前記第１カメラおよび前記第２カメラは、前記キャブに設けられ、前記高さ変更機構は、前記昇降装置であってもよい。

　上記構成によれば、第１カメラおよび第２カメラの高さ位置を変更する機構を別途設ける必要がなくなるとともに、旅客搭乗橋側の接続部を航空機の乗降部に接続する際に、旅客搭乗橋の高さ位置を当該乗降部に位置合わせするための調整量を低減することができる。

　［項目６］
　項目３の検出システムにおいて、水平面に交差する方向に延びる所定の回転軸回りに回動することにより前記第１カメラおよび前記第２カメラの撮影方向を変更する撮影方向変更機構を備え、前記画像処理装置は、移動後の前記第１領域が予め定められた探索範囲内かつ前記第１撮影画像内であるか否かを判定し、前記制御器は、移動後の前記第１領域が前記探索範囲内であるが、前記第１撮影画像内ではないと判定された場合、前記撮影方向変更機構により前記第１カメラおよび前記第２カメラの撮影方向を変更して、前記第１カメラおよび前記第２カメラによる撮影を再度行ってもよい。

　上記構成によれば、カメラの撮影方向を変更しつつ複数回撮影することにより、探索範囲全体の撮影画像を、複数の撮影画像として取得することができる。したがって、一撮影画像あたりの撮影範囲を比較的狭くすることができるため、撮影画像から得られる探索領域画像の解像度を高くすることができる。もしくは探索範囲をカメラの視野以上に広く設定することが可能となる。

２　ターミナルビル
３　航空機
６　キャブ
８　昇降装置
１１　旅客搭乗橋
１２　第２搭乗橋
２０　検出システム
２１ａ　第１カメラ
２１ｂ　第２カメラ
２３　画像処理装置
３０　制御器
３４　撮影方向変更機構
３６　高さ変更機構
Ｄ１，Ｄ２　乗降部

Claims (6)

1. 　航空機の乗降部を検出するための検出システムであって、
   　ターミナルビルに接続される旅客搭乗橋と、
   　前記旅客搭乗橋に設けられた第１カメラおよび第２カメラと、
   　前記第１カメラおよび前記第２カメラの高さ位置を変更可能な高さ変更機構と、
   　前記高さ変更機構の動作を制御する制御器と、
   　前記第１カメラで撮影された第１撮影画像および前記第２カメラで撮影された第２撮影画像から前記航空機の乗降部を検出する画像処理装置と、を備え、
   　前記第１カメラの光学中心と前記第１カメラで撮影する物体側の所定位置とを結ぶ第１仮想線の水平面に対する第１角度が、前記第２カメラの光学中心と前記所定位置とを結ぶ第２仮想線の前記水平面に対する第２角度とは異なる角度となるように、前記第１カメラおよび前記第２カメラが配設され、
   　前記画像処理装置は、前記第１撮影画像から第１探索領域画像を生成するとともに、前記第２撮影画像から第２探索領域画像を生成し、
   　前記第１探索領域画像は、前記第２探索領域画像より上下方向に広い領域を有し、
   　前記制御器は、前記画像処理装置が、前記第１探索領域画像から前記乗降部を検出し、かつ、前記第２探索領域画像から前記乗降部を検出しなかった場合に、前記第１カメラおよび前記第２カメラの高さ位置を変更するように、前記高さ変更機構を制御する、検出システム。
2. 　前記画像処理装置は、前記第１撮影画像のうちの一部を含む第１領域を区切って、前記第１領域に基づいて区画される前記第１撮影画像の一部領域を含む前記第１探索領域画像を生成するとともに、前記第２撮影画像のうちの一部を含む第２領域を区切って、前記第２領域に基づいて区画される前記第２撮影画像の一部領域を含む前記第２探索領域画像を生成し、
   　前記第１領域および前記第２領域は、実空間において互いに同じ領域に設定され、
   　前記第１撮影画像の一部領域は、前記第２撮影画像の一部領域より上下方向に広い領域を有する、請求項１に記載の検出システム。
3. 　前記画像処理装置は、
   　前記第１探索領域画像から前記乗降部を検出しなかった場合に、前記第１撮影画像上において前記第１領域を前記航空機の機軸方向一方側から他方側に移動させることにより、前記第１探索領域画像を順次生成するとともに、前記第２撮影画像上において前記第２領域を前記航空機の機軸方向一方側から他方側に移動させることにより、前記第２探索領域画像を順次生成し、
   　順次生成された複数の前記第１探索領域画像を用いて、前記第１探索領域画像を変えながら前記探索を繰り返し行うとともに、順次生成された複数の前記第２探索領域画像を用いて、前記第２探索領域画像を変えながら前記探索を繰り返し行う、請求項２に記載の検出システム。
4. 　前記第１カメラは、前記第２カメラより上方に配置される、請求項１から３の何れかに記載の検出システム。
5. 　前記旅客搭乗橋は、前記航空機の前記乗降部に接続される接続部を有するキャブと、前記キャブを昇降させる昇降装置と、を備え、
   　前記第１カメラおよび前記第２カメラは、前記キャブに設けられ、
   　前記高さ変更機構は、前記昇降装置である、請求項１から３の何れかに記載の検出システム。
6. 　水平面に交差する方向に延びる所定の回転軸回りに回動することにより前記第１カメラおよび前記第２カメラの撮影方向を変更する撮影方向変更機構を備え、
   　前記画像処理装置は、移動後の前記第１領域が予め定められた探索範囲内かつ前記第１撮影画像内であるか否かを判定し、
   　前記制御器は、移動後の前記第１領域が前記探索範囲内であるが、前記第１撮影画像内ではないと判定された場合、前記撮影方向変更機構により前記第１カメラおよび前記第２カメラの撮影方向を変更して、前記第１カメラおよび前記第２カメラによる撮影を再度行う、請求項３に記載の検出システム。
    

Images