JP7253740B2

JP7253740B2 - カメラの制御システム

Info

Publication number: JP7253740B2
Application number: JP2019177329A
Authority: JP
Inventors: 淳山下; 一淺間; 圭司永谷; 雄介田村; 彰太筑紫; 浩光藤井; 湧志森山; 拓史千葉; 郁也坂井; 新吾山本
Original assignee: Fujita Corp; University of Tokyo NUC
Current assignee: Fujita Corp; University of Tokyo NUC
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2023-04-07
Anticipated expiration: 2039-09-27
Also published as: JP2021057694A

Description

本発明は、カメラの制御システムに関する。

自然災害が発生した場合等において、被害の拡大を防ぐために、速やかな復旧工事が必要となる。しかし、災害発生現場においては二次災害が発生する可能性がある。作業者が二次災害に巻き込まれないようにするため、建設機械を遠隔操作によって操縦する技術が知られている。特許文献１には、建設機械の遠隔操作に関する技術の一例が記載されている。

特開２００６－２１９８９４号公報

ところで、建設機械の遠隔操作に必要な情報を得るために、建設機械の周囲から建設機械を撮影するカメラが用いられることがある。建設機械は移動し且つ姿勢を変えるので、カメラの撮影範囲を調整し続ける必要がある。しかし、建設機械を遠隔操作する作業者がカメラも操作する場合、作業者の負担が増加する。このため、撮影範囲を適切に変更できるカメラの制御システムが望まれている。

本開示は、上記の課題に鑑みてなされたものであって、建設機械を遠隔操作する作業者が必要とする画像の撮影を容易にできるカメラの制御システムを提供することを目的とする。

上記の目的を達成するため、本開示の一態様のカメラの制御システムは、ボディ、前記ボディに対して回転できるブーム、前記ブームに対して回転できるアーム、前記アームに対して回転できるバケット、前記アームに設けられる第１ＡＲマーカ、前記ブームに設けられる第２ＡＲマーカ、及び前記ボディに設けられる第３ＡＲマーカを備える建設機械と、左右への旋回、上下への旋回、撮影画像の拡大、及び撮影画像の縮小ができるカメラと、前記カメラを制御する制御装置と、を備え、前記制御装置は、前記カメラの撮影画像における前記第１ＡＲマーカの座標に基づき、前記バケットの回転中心の位置に対応する第１座標を算出する第１座標演算部と、前記カメラの撮影画像における前記第２ＡＲマーカの座標に基づき、前記アームの回転中心の位置に対応する第２座標を算出する第２座標演算部と、前記カメラの撮影画像における前記第３ＡＲマーカの座標に基づき、前記ボディの位置に対応する第３座標を算出する第３座標演算部と、前記第１座標、前記第２座標、及び前記第３座標に基づき、前記カメラを制御する制御部と、を備える。

カメラの制御システムの望ましい態様として、前記制御装置は、前記第１座標、前記第２座標、及び前記第３座標に基づき長方形を描画する長方形描画部を備え、前記制御部は、前記長方形の右辺の位置、左辺の位置、上辺及び下辺の位置が所定の条件を満たすように前記カメラを制御する。

カメラの制御システムの望ましい態様として、前記第１座標演算部が前記第１座標を算出できず、前記第２座標演算部が前記第２座標を算出できた場合、前記制御部は、前記第２座標が前記カメラの撮影画像の中央に近付くように前記カメラを右又は左に旋回させ、且つ前記カメラを下に旋回させる。

カメラの制御システムの望ましい態様として、前記建設機械は、前記ボディの右側面に設けられる前記第３ＡＲマーカと、前記ボディの左側面に設けられる第６ＡＲマーカと、を備え、前記第３座標演算部は、前記カメラの撮影画像における前記第３ＡＲマーカ又は前記第６ＡＲマーカの座標に基づき前記第３座標を算出する。

カメラの制御システムの望ましい態様として、前記第１座標演算部が前記第１座標を算出できず、前記第２座標演算部が前記第２座標を算出できず、且つ前記第３座標演算部が前記第３ＡＲマーカの座標に基づいて前記第３座標を算出できた場合、前記制御部は、前記カメラを右に旋回させる。

カメラの制御システムの望ましい態様として、前記第１座標演算部が前記第１座標を算出できず、前記第２座標演算部が前記第２座標を算出できず、且つ前記第３座標演算部が前記第６ＡＲマーカの座標に基づいて前記第３座標を算出できた場合、前記制御部は、前記カメラを左に旋回させる。

カメラの制御システムの望ましい態様として、前記制御装置は、前記建設機械の初期位置を記憶する記憶部を備え、前記制御部は、前記カメラの起動時において、前記初期位置に基づいて、前記建設機械が前記カメラで撮影されるように前記カメラを制御する。

カメラの制御システムの望ましい態様として、前記第１座標演算部が前記第１座標を算出できず、前記第２座標演算部が前記第２座標を算出できず、且つ前記第３座標演算部が前記第３座標を算出できない場合、前記制御部は、前記カメラの撮影画像を拡大させる。

カメラの制御システムの望ましい態様として、前記第１座標演算部が前記第１座標を算出でき、且つ前記第２座標演算部が前記第２座標を算出できない場合、前記制御部は、前記第１座標が前記カメラの撮影画像の中央に近付くように前記カメラを右又は左に旋回させ、且つ前記カメラを上に旋回させる。

カメラの制御システムの望ましい態様として、前記第１座標演算部が前記第１座標を算出でき、前記第２座標演算部が前記第２座標を算出でき、前記第３座標演算部が前記第３座標を算出できず、且つ前記第１座標と前記第２座標との間の距離が所定値を超える場合、前記制御部は、前記カメラの撮影画像を縮小させる。

カメラの制御システムの望ましい態様として、前記建設機械は、前記アームの右側面に設けられる前記第１ＡＲマーカと、前記アームの左側面に設けられる第４ＡＲマーカと、を備え、前記第１座標演算部は、前記カメラの撮影画像における前記第１ＡＲマーカ又は前記第４ＡＲマーカの座標に基づき前記第１座標を算出する。

カメラの制御システムの望ましい態様として、前記第１座標と前記第２座標との間の距離が所定値以下であり、且つ前記第１座標演算部が前記第１ＡＲマーカの座標に基づいて前記第１座標を算出した場合、前記制御部は、前記カメラを左に旋回させる。

カメラの制御システムの望ましい態様として、前記第１座標と前記第２座標との間の距離が所定値以下であり、且つ前記第１座標演算部が前記第４ＡＲマーカの座標に基づいて前記第１座標を算出した場合、前記制御部は、前記カメラを右に旋回させる。

カメラの制御システムの望ましい態様として、前記建設機械は、前記ブームの右側面に設けられる前記第２ＡＲマーカと、前記ブームの左側面に設けられる第５ＡＲマーカと、を備え、前記第２座標演算部は、前記カメラの撮影画像における前記第２ＡＲマーカ又は前記第５ＡＲマーカの座標に基づき前記第２座標を算出する。

カメラの制御システムの望ましい態様として、前記第１座標と前記第２座標との間の距離が所定値以下であり、且つ前記第２座標演算部が前記第２ＡＲマーカの座標に基づいて前記第２座標を算出した場合、前記制御部は、前記カメラを左に旋回させる。

カメラの制御システムの望ましい態様として、前記第１座標と前記第２座標との間の距離が所定値以下であり、且つ前記第２座標演算部が前記第５ＡＲマーカの座標に基づいて前記第２座標を算出した場合、前記制御部は、前記カメラを右に旋回させる。

本開示のカメラの制御システムによれば、建設機械を遠隔操作する作業者が必要とする画像の撮影を容易にできる。

図１は、本実施形態のカメラの制御システムを示す模式図である。図２は、本実施形態のカメラの制御システムを示す模式図である。図３は、建設機械の右側面を示す図である。図４は、建設機械の左側面を示す図である。図５は、カメラの撮影画像を示す図である。図６は、建設機械のアームの右側面図である。図７は、第１ＡＲマーカの拡大図である。図８は、建設機械のボディの右側面図である。図９は、本実施形態のカメラの制御システムの制御フローのフローチャートである。図１０は、第１座標が算出できない場合を示す図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、本発明を実施するための形態（以下、実施形態という）により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、下記実施形態で開示した構成要素は適宜組み合わせることが可能である。

（実施形態）
図１は、本実施形態のカメラの制御システムを示す模式図である。図２は、本実施形態のカメラの制御システムを示す模式図である。図３は、建設機械の右側面を示す図である。図４は、建設機械の左側面を示す図である。

本実施形態のカメラの制御システム１は、建設機械１０を撮影するカメラ２０を自動的に制御するシステムである。カメラの制御システム１は、建設機械１０を遠隔操作する必要がある場合等に用いられる。建設機械１０は、建築工事又は土木工事等が行われる工事現場で使用される。例えば、工事現場が災害現場であることがある。災害現場においては、２次災害が発生する可能性がある。作業者が２次災害に巻き込まれないようにするために、建設機械１０は、災害現場から離れた遠隔操作室にいる作業者によって遠隔操作される。例えば、建設機械１０は、無線通信機及び車載カメラを備える。建設機械１０は、遠隔操作室にいる作業者の操作を無線通信機で受信できる。車載カメラは、例えば建設機械１０のキャビン（操縦室）に設けられ、キャビンの内部から建設機械１０の前方等を撮影する。

建設機械１０を適切に遠隔操作するためには、建設機械１０の周囲から建設機械１０を撮影した画像を作業者に提供することが望ましい。このため、建設機械１０の周囲にはカメラ２０が配置される。しかし、建設機械１０は、カメラ２０に対して移動し且つ変形する。このため、カメラ２０は、建設機械１０を適切に撮影し続けるために、建設機械１０の移動及び変形に応じて、撮影方向及び倍率を調整する必要がある。本実施形態のカメラの制御システム１は、カメラ２０の撮影方向及び倍率を自動的に制御するシステムである。

図１に示すように、カメラの制御システム１は、建設機械１０と、カメラ２０と、中継機３１と、モニタ３３と、制御装置５０と、を備える。建設機械１０、カメラ２０及び中継機３１は、工事現場に配置される。モニタ３３及び制御装置５０は、工事現場から離れた遠隔操作室に配置される。

図２に示すように、建設機械１０は、バックホウである。建設機械１０は、走行装置１９と、ボディ１７と、ブーム１５と、アーム１３と、バケット１１と、第１ＡＲマーカ９１と、第２ＡＲマーカ９２と、第３ＡＲマーカ９３と、第４ＡＲマーカ９４と、第５ＡＲマーカ９５と、第６ＡＲマーカ９６と、を備える。走行装置１９は、地面に接する履帯を備える。走行装置１９は、エンジンによって履帯を駆動する。建設機械１０は、走行装置１９によって不整地を移動することができる。

図２に示すように、ボディ１７は、走行装置１９の上に配置される。ボディ１７は、軸受等を含むジョイントを介して走行装置１９と接続される。ボディ１７は、走行装置１９に対して回転できる。ボディ１７は、地面に対して直交する軸を中心に回転できる。ボディ１７は、キャビンを備える。

図２に示すように、ブーム１５は、ボディ１７に支持される。ブーム１５は、ボディ１７に設けられるキャビンの隣りに配置される。ブーム１５は、軸受等を含むジョイントを介してボディ１７と接続される。ブーム１５は、ボディ１７に対して回転できる。ブーム１５は、地面と平行な軸を中心に回転できる。例えば、ブーム１５の角度は、ボディ１７及びブーム１５に接続される油圧シリンダーによって変えられる。

図２に示すように、アーム１３は、ブーム１５に支持される。アーム１３は、軸受等を含むジョイントを介してブーム１５と接続される。アーム１３は、ブーム１５に対して回転できる。アーム１３は、地面と平行な軸を中心に回転できる。例えば、アーム１３の角度は、ブーム１５及びアーム１３に接続される油圧シリンダーによって変えられる。

図２に示すように、バケット１１は、アーム１３に支持される。バケット１１は、軸受等を含むジョイントを介してアーム１３と接続される。バケット１１は、アーム１３に対して回転できる。バケット１１は、地面と平行な軸を中心に回転できる。例えば、バケット１１の角度は、アーム１３及びバケット１１に接続される油圧シリンダーによって変えられる。

第１ＡＲマーカ９１、第２ＡＲマーカ９２、第３ＡＲマーカ９３、第４ＡＲマーカ９４、第５ＡＲマーカ９５、及び第６ＡＲマーカ９６は、正方形状のであって、それぞれ異なる模様を有するＡＲ（Augmented Reality）マーカである。

図３に示すように、第１ＡＲマーカ９１は、アーム１３に設けられる。本実施形態においては、３つの第１ＡＲマーカ９１が、アーム１３の右側面に設けられる。右側面とは、仮にキャビンに搭乗した作業者から見た場合に右側にある側面を意味し、以下において同様の意味で用いられる。３つの第１ＡＲマーカ９１は、アーム１３の長手方向に沿って隣接して並べられる。３つの第１ＡＲマーカ９１は、それぞれ異なる模様を有するＡＲマーカである。

図３に示すように、第２ＡＲマーカ９２は、ブーム１５に設けられる。本実施形態においては、３つの第２ＡＲマーカ９２が、ブーム１５の右側面に設けられる。３つの第２ＡＲマーカ９２は、ブーム１５の長手方向に沿って隣接して並べられる。３つの第２ＡＲマーカ９２は、それぞれ異なる模様を有するＡＲマーカである。

図３に示すように、第３ＡＲマーカ９３は、ボディ１７に設けられる。本実施形態においては、２つの第３ＡＲマーカ９３が、ボディ１７の右側面に設けられる。２つの第３ＡＲマーカ９３は、地面と平行な方向に沿って隣接して並べられる。２つの第３ＡＲマーカ９３は、それぞれ異なる模様を有するＡＲマーカである。

図４に示すように、第４ＡＲマーカ９４は、アーム１３に設けられる。本実施形態においては、３つの第４ＡＲマーカ９４が、アーム１３の左側面に設けられる。左側面とは、仮にキャビンに搭乗した作業者から見た場合に左側にある側面を意味し、以下において同様の意味で用いられる。３つの第４ＡＲマーカ９４は、アーム１３の長手方向に沿って隣接して並べられる。３つの第４ＡＲマーカ９４は、それぞれ異なる模様を有するＡＲマーカである。

図４に示すように、第５ＡＲマーカ９５は、ブーム１５に設けられる。本実施形態においては、３つの第５ＡＲマーカ９５が、ブーム１５の左側面に設けられる。３つの第５ＡＲマーカ９５は、ブーム１５の長手方向に沿って隣接して並べられる。３つの第５ＡＲマーカ９５は、それぞれ異なる模様を有するＡＲマーカである。

図４に示すように、第６ＡＲマーカ９６は、ボディ１７に設けられる。本実施形態においては、２つの第６ＡＲマーカ９６が、ボディ１７の左側面に設けられる。２つの第６ＡＲマーカ９６は、地面と平行な方向に沿って隣接して並べられる。３つの第６ＡＲマーカ９６は、それぞれ異なる模様を有するＡＲマーカである。

図２に示すように、カメラ２０は、建設機械１０の周囲から建設機械１０を撮影する。カメラ２０は、連続して画像を撮影できる。すなわち、カメラ２０は、動画を撮影できる。カメラ２０は、工事現場に配置される台車３５に載せられる。カメラ２０は、台車３５によって移動できる。また、カメラ２０は、左右への旋回（パン）、上下への旋回（チルト）、撮影画像の拡大（ズームイン）、及び撮影画像の縮小（ズームアウト）ができる。

カメラ２０は、撮影動作を制御する撮影制御部２１と、左右への旋回及び上下への旋回を可能にする駆動部２３と、撮影画像の拡大及び縮小を可能にする倍率制御部２５と、を備える。撮影制御部２１は、外部から受信する電気信号に応じて、撮影を開始又は終了させる。駆動部２３は、例えばカメラ２０の本体の下部に設けられる。駆動部２３が台車３５に載せられ、駆動部２３の上にカメラ２０の本体が載せられる。駆動部２３は、外部から受信する電気信号に応じて、カメラ２０を左右又は上下へ旋回させる。倍率制御部２５は、外部から受信する電気信号に応じて、撮影画像を拡大又は縮小する。

中継機３１は、カメラ２０の撮影画像のデータを無線通信によって遠隔操作室へ送る装置である。中継機３１は、カメラ２０から受信したデータを、モニタ３３及び制御装置５０に送信される。モニタ３３は、中継機３１から受信したデータに基づき、カメラ２０の撮影画像を表示する。遠隔操作室にいる作業者は、モニタ３３の表示画像を見ることによって、建設機械１０の状態を知ることができる。

制御装置５０は、コンピュータであり、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、入力インターフェース、及び出力インターフェースを含む。ＣＰＵ、ＲＯＭ、ＲＡＭ、入力インターフェース、及び出力インターフェースは、内部バスによって接続されている。図１に示すように、制御装置５０は、第１座標演算部５１と、第２座標演算部５２と、第３座標演算部５３と、記憶部５４と、長方形描画部５５と、制御部５６と、を備える。制御装置５０の各機能は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力インターフェース、及び出力インターフェースが連携することによって実現される。

図５は、カメラの撮影画像を示す図である。図６は、建設機械のアームの右側面図である。図７は、第１ＡＲマーカの拡大図である。図８は、建設機械のボディの右側面図である。制御装置５０は、図５に示す第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３を算出する。第１座標Ｃ１は、撮影画像におけるバケット１１の回転中心の位置に対応する座標である。第２座標Ｃ２は、撮影画像におけるアーム１３の回転中心の位置に対応する座標である。第３座標Ｃ３は、撮影画像におけるボディ１７の位置に対応する座標である。

第１座標演算部５１は、第１座標Ｃ１を算出する。まず、第１座標演算部５１は、撮影画像に含まれる画像と、記憶部５４に記憶された第１ＡＲマーカ９１及び第４ＡＲマーカ９４の画像と、を比較する。第１座標演算部５１は、撮影画像に含まれる画像と記憶部５４に記憶された第１ＡＲマーカ９１との間の一致率が閾値以上である場合に、撮影画像に含まれる画像が第１ＡＲマーカ９１であると判定する。第１座標演算部５１は、撮影画像に含まれる画像と記憶部５４に記憶された第４ＡＲマーカ９４との間の一致率が閾値以上である場合に、撮影画像に含まれる画像が第４ＡＲマーカ９４であると判定する。このように、第１座標演算部５１は、第１ＡＲマーカ９１又は第４ＡＲマーカ９４を検出する。

第１座標演算部５１は、第１ＡＲマーカ９１を検出した場合、第１ＡＲマーカ９１の頂点の座標を算出する。第１座標演算部５１は、第１ＡＲマーカ９１の頂点の座標に基づいて、第１座標Ｃ１を算出する。図６に示すように、３つの第１ＡＲマーカ９１は、２つの頂点を通る直線がバケット１１の回転中心を通るように配置される。３つの第１ＡＲマーカ９１を、バケット１１に近い方から、第１ＡＲマーカ９１１、第１ＡＲマーカ９１２、第１ＡＲマーカ９１３とする。バケット１１の回転中心を通る直線上にある第１ＡＲマーカ９１１の頂点を、バケット１１に近い方から、頂点ａ１、頂点ｂ１とする。バケット１１の回転中心を通る直線上にある第１ＡＲマーカ９１２の頂点を、バケット１１に近い方から、頂点ａ２、頂点ｂ２とする。バケット１１の回転中心を通る直線上にある第１ＡＲマーカ９１３の頂点を、バケット１１に近い方から、頂点ａ３、頂点ｂ３とする。バケット１１の回転中心から頂点ａ１までの距離をｌ_ｂｕｃとする。図７に示すように、第１ＡＲマーカ９１の辺の長さをｐとする。第１ＡＲマーカ９１の外側に設けられた余白の長さをｑとする。ｌ_ｂｕｃ、ｐ、ｑの値は、記憶部５４に記憶されている。

以下の説明において、ｕｖ座標が用いられる。ｕ軸は、撮影画像における横軸である。ｖ軸は、撮影画像における縦軸である。撮影画像の左上の隅をｕｖ座標の原点とする。

例えば、第１座標演算部５１は、第１ＡＲマーカ９１１、第１ＡＲマーカ９１２及び第１ＡＲマーカ９１３を検出できた場合、下記式（１）に基づいて第１座標Ｃ１を算出する。ｘ_ｂｕｃは、第１座標Ｃ１のｕ座標である。ｙ_ｂｕｃは、第１座標Ｃ１のｖ座標である。ｘ_ａ１は、頂点ａ１のｕ座標である。ｘ_ｂ３は、頂点ｂ３のｕ座標である。ｙ_ａ１は、頂点ａ１のｖ座標である。ｙ_ｂ３は、頂点ｂ３のｖ座標である。

例えば、第１座標演算部５１は、第１ＡＲマーカ９１２及び第１ＡＲマーカ９１３のみを検出できた場合、下記式（２）に基づいて第１座標Ｃ１を算出する。ｘ_ｂｕｃは、第１座標Ｃ１のｕ座標である。ｙ_ｂｕｃは、第１座標Ｃ１のｖ座標である。ｘ_ａ２は、頂点ａ２のｕ座標である。ｘ_ｂ３は、頂点ｂ３のｕ座標である。ｙ_ａ２は、頂点ａ２のｖ座標である。ｙ_ｂ３は、頂点ｂ３のｖ座標である。

第１座標演算部５１は、第４ＡＲマーカ９４を検出した場合、第４ＡＲマーカ９４の頂点の座標を算出する。第１座標演算部５１は、第４ＡＲマーカ９４の頂点の座標に基づいて、第１座標Ｃ１を算出する。第１座標Ｃ１を算出する方法は、第１ＡＲマーカ９１が検出された場合と同様である。

第２座標演算部５２は、第２座標Ｃ２を算出する。まず、第２座標演算部５２は、撮影画像に含まれる画像と、記憶部５４に記憶された第２ＡＲマーカ９２及び第５ＡＲマーカ９５の画像と、を比較する。第２座標演算部５２は、撮影画像に含まれる画像と記憶部５４に記憶された第２ＡＲマーカ９２との間の一致率が閾値以上である場合に、撮影画像に含まれる画像が第２ＡＲマーカ９２であると判定する。第２座標演算部５２は、撮影画像に含まれる画像と記憶部５４に記憶された第５ＡＲマーカ９５との間の一致率が閾値以上である場合に、撮影画像に含まれる画像が第５ＡＲマーカ９５であると判定する。このように、第２座標演算部５２は、第２ＡＲマーカ９２又は第５ＡＲマーカ９５を検出する。

第２座標演算部５２は、第２ＡＲマーカ９２を検出した場合、第２ＡＲマーカ９２の頂点の座標を算出する。第２座標演算部５２は、第２ＡＲマーカ９２の頂点の座標に基づいて、第２座標Ｃ２を算出する。図５に示すように、３つの第２ＡＲマーカ９２は、２つの頂点を通る直線がアーム１３の回転中心を通るように配置される。アーム１３の回転中心から最も近い第２ＡＲマーカ９２の頂点までの距離（ｌ_ａｒｍ）は、記憶部５４に記憶されている。第２座標演算部５２による第２座標Ｃ２の算出方法は、上述した第１座標演算部５１による第１座標Ｃ１の算出方法と同様である。

第２座標演算部５２は、第５ＡＲマーカ９５を検出した場合、第５ＡＲマーカ９５の頂点の座標を算出する。第２座標演算部５２は、第５ＡＲマーカ９５の頂点の座標に基づいて、第２座標Ｃ２を算出する。第２座標Ｃ２を算出する方法は、第２ＡＲマーカ９２が検出された場合と同様である。

第３座標演算部５３は、第３座標Ｃ３を算出する。まず、第３座標演算部５３は、撮影画像に含まれる画像と、記憶部５４に記憶された第３ＡＲマーカ９３及び第６ＡＲマーカ９６の画像と、を比較する。第３座標演算部５３は、撮影画像に含まれる画像と記憶部５４に記憶された第３ＡＲマーカ９３との間の一致率が閾値以上である場合に、撮影画像に含まれる画像が第３ＡＲマーカ９３であると判定する。第３座標演算部５３は、撮影画像に含まれる画像と記憶部５４に記憶された第６ＡＲマーカ９６との間の一致率が閾値以上である場合に、撮影画像に含まれる画像が第６ＡＲマーカ９６であると判定する。このように、第３座標演算部５３は、第３ＡＲマーカ９３又は第６ＡＲマーカ９６を検出する。

第３座標演算部５３は、第３ＡＲマーカ９３を検出した場合、第３ＡＲマーカ９３の頂点の座標を算出する。図８に示すように、２つの第３ＡＲマーカ９３の一方を、第３ＡＲマーカ９３１とし、他方を第３ＡＲマーカ９３２とする。第３ＡＲマーカ９３１の頂点を、第３ＡＲマーカ９３２から遠い方から頂点ａ４、頂点ｂ４とする。第３ＡＲマーカ９３２の頂点を、第３ＡＲマーカ９３１に近い方から頂点ａ５、頂点ｂ５とする。第３座標Ｃ３は、頂点ｂ４と頂点ａ５とを結ぶ線分の中点である。

例えば、第３座標演算部５３は、第３ＡＲマーカ９３１のみを検出できた場合、下記式（３）に基づいて第３座標Ｃ３を算出する。ｘ_ｂｏｄは、第３座標Ｃ３のｕ座標である。ｙ_ｂｏｄは、第３座標Ｃ３のｖ座標である。ｘ_ａ４は、頂点ａ４のｕ座標である。ｘ_ｂ４は、頂点ｂ４のｕ座標である。ｙ_ａ４は、頂点ａ４のｖ座標である。ｙ_ｂ４は、頂点ｂ４のｖ座標である。

第３座標演算部５３は、第６ＡＲマーカ９６を検出した場合、第６ＡＲマーカ９６の頂点の座標を算出する。第３座標演算部５３は、第６ＡＲマーカ９６の頂点の座標に基づいて、第３座標Ｃ３を算出する。第３座標Ｃ３を算出する方法は、第３ＡＲマーカ９３が検出された場合と同様である。

記憶部５４は、第１ＡＲマーカ９１、第２ＡＲマーカ９２、第３ＡＲマーカ９３、第４ＡＲマーカ９４、第５ＡＲマーカ９５、及び第６ＡＲマーカ９６の画像を記憶している。記憶部５４は、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３を算出するために必要であって、予め測定可能な値を記憶している。すなわち、記憶部５４は、上述したｌ_ｂｕｃ、ｌ_ａｒｍ、ｐ、ｑの値を記憶している。また、記憶部５４は、建設機械１０の初期位置を記憶している。初期位置の記憶部５４への入力方法は、特に限定されない。例えば、制御装置５０は、建設機械１０に取り付けられたＧＰＳ受信機から得られる情報に基づき建設機械１０の初期位置を算出し、記憶部５４に記憶してもよい。建設機械１０の初期位置は、作業者によって予め制御装置５０に入力されてもよい。

長方形描画部５５は、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３に基づいて、撮影映像に長方形９９を描画する。長方形描画部５５は、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３に基づき、長方形９９の右辺、左辺、上辺、及び下辺を定義する。右辺は、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３のうちｕｖ座標で最も右にある（ｕ座標が最も大きい）座標を通り且つｖ軸と平行な直線である。左辺は、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３のうちｕｖ座標で最も左にある（ｕ座標が最も小さい）座標を通り且つｖ軸と平行な直線である。上辺は、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３のうちｕｖ座標で最も上にある（ｖ座標が最も小さい）座標を通り且つｕ軸と平行な直線である。下辺は、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３のうちｕｖ座標で最も下にある（ｖ座標が最も大きい）座標を通り且つｕ軸と平行な直線である。長方形描画部５５は、作成した長方形９９を撮影画像と合成してモニタ２２に表示させる。

制御部５６は、カメラ２０を制御する。具体的には、制御部５６は、カメラ２０が備える撮影制御部２１、駆動部２３、及び倍率制御部２５を制御する。制御部５６は、中継機３１を介して、カメラ２０の撮影制御部２１、駆動部２３、及び倍率制御部２５を制御するための制御信号を送信する。これにより、制御部５６は、カメラ２０に撮影させ、カメラ２０を左右及び上下に旋回させ、且つ撮影画像の倍率を拡大及び縮小させることができる。

制御部５６は、長方形描画部５５が作成した長方形９９の各辺の位置が所定の条件を満たすようにカメラ２０を制御する。具体的には、制御部５６は、下記式（４）を満たすようにカメラ２０を制御する。ｗは、撮影画像の横方向の画素数であり、ｕ座標の最大値である。ｈは、撮影画像の縦方向の画素数であり、ｖ座標の最大値である。撮影画像の解像度が例えば７２０×４８０である場合、ｗが７２０であり、ｈが４８０である。ｘ_ｒは、長方形９９の右辺のｕ座標である。ｘ_ｌは、長方形９９の左辺のｕ座標である。ｙ_ｂは、長方形９９の下辺のｖ座標である。ｙ_ｔは、長方形９９の上辺のｖ座標である。ｐ_１、Ｐ_１、ｐ_２、Ｐ_２、ｔ、Ｔ、ｚ、Ｚは、定数である。

制御部５６は、バケット１１がボディ１７に対して左右のどちらにあるか判定できる。例えば、第１座標演算部５１が第１ＡＲマーカ９１に基づき第１座標Ｃ１を算出した場合、制御部５６は、バケット１１がボディ１７に対して右にあると判定する。第１座標演算部５１が第４ＡＲマーカ９４に基づき第１座標Ｃ１を算出した場合、制御部５６は、バケット１１がボディ１７に対して左にあると判定する。なお、制御部５６は、第２座標演算部５２が第２ＡＲマーカ９２及び第５ＡＲマーカ９５のいずれに基づき第２座標Ｃ２を算出したかによって、バケット１１がボディ１７に対して左右のどちらにあるか判定してもよい。制御部５６は、第３座標演算部５３が第３ＡＲマーカ９３及び第６ＡＲマーカ９６のいずれに基づき第３座標Ｃ３を算出したかによって、バケット１１がボディ１７に対して左右のどちらにあるか判定してもよい。

例えば、バケット１１がボディ１７に対して右方向にある場合（図５に示す状態の場合）、下記式（４）の各定数は下記であることが望ましい。すなわち、ｐ_１は、０．４であることが望ましい。Ｐ_１は、０．７５であることが望ましい。ｐ_２は、０であることが望ましい。Ｐ_２は、０．２５であることが望ましい。ｔは、０であることが望ましい。Ｔは、０．８であることが望ましい。ｚは、０であることが望ましい。Ｚは、０．５であることが望ましい。

図９は、本実施形態のカメラの制御システムの制御フローのフローチャートである。図１０は、第１座標が算出できない場合を示す図である。

図９に示すように、制御装置５０がカメラ２０と通信できた場合（ステップ１０１，ＹＥＳ）、制御部５６は、カメラ２０の上下方向の傾き及び倍率を初期状態に戻す（ステップ１０３）。例えば、初期状態は、撮影画像の縦方向が鉛直方向と平行であって、倍率が１倍である状態である。

次に、制御部５６は、記憶部５４に記憶された建設機械１０の初期位置に基づき、建設機械１０のある方向にカメラ２０を旋回させる（ステップ１０５）。これにより、建設機械１０の少なくとも一部がカメラ２０の撮影範囲に入る。

次に、制御部５６は、カメラ２０に撮影を開始させ、撮影画像を取得する（ステップ１０７）。取得した撮影画像は、記憶部５４に記憶される。

第１座標演算部５１が第１座標Ｃ１を算出できず（ステップ１０９，ＮＯ）、且つ第２座標Ｃ２を算出できた場合（ステップ１１１，ＹＥＳ）、制御部５６は、第２座標Ｃ２が撮影画像の中央に近付くようにカメラ２０を右又は左に旋回させ、且つカメラ２０を下に旋回させる（ステップ１１３）。図１０に示すように、第２座標Ｃ２が撮影画像の端にあり、第１ＡＲマーカ９１（第４ＡＲマーカ９４）が撮影範囲外にある場合、カメラ２０を単に下に旋回させるだけでは第１ＡＲマーカ９１（第４ＡＲマーカ９４）が撮影範囲に入らない。第２座標Ｃ２が撮影画像の中央に近付くようにカメラ２０が右又は左に旋回することによって、第１ＡＲマーカ９１（第４ＡＲマーカ９４）が撮影範囲に入りやすくなる。

第１座標演算部５１が第１座標Ｃ１を算出できず（ステップ１０９，ＮＯ）、第２座標演算部５２が第２座標Ｃ２を算出できず（ステップ１１１，ＮＯ）、且つ第３座標演算部５３が第３ＡＲマーカ９３によって第３座標Ｃ３を算出できた場合（ステップ１１５，ＹＥＳ）、制御部５６は、カメラ２０を右に旋回させる（ステップ１１７）。第３ＡＲマーカ９３によって第３座標Ｃ３が算出された場合、バケット１１はボディ１７に対して右にあるはずである。ステップ１１７によって、カメラ２０の撮影範囲がバケット１１のある方向に移動する。

第１座標演算部５１が第１座標Ｃ１を算出できず（ステップ１０９，ＮＯ）、第２座標演算部５２が第２座標Ｃ２を算出できず（ステップ１１１，ＮＯ）、且つ第３座標演算部５３が第６ＡＲマーカ９６によって第３座標Ｃ３を算出できた場合（ステップ１１９，ＹＥＳ）、制御部５６は、カメラ２０を左に旋回させる（ステップ１２１）。第６ＡＲマーカ９６によって第３座標Ｃ３が算出された場合、バケット１１はボディ１７に対して左にあるはずである。ステップ１２１によって、カメラ２０の撮影範囲がバケット１１のある方向に移動する。

第１座標演算部５１が第１座標Ｃ１を算出できず（ステップ１０９，ＮＯ）、第２座標演算部が第２座標Ｃ２を算出できず（ステップ１１１，ＮＯ）、且つ第３座標演算部５３が第３座標Ｃ３を算出できない場合（ステップ１１９，ＮＯ）、制御部５６は、カメラ２０の撮影画像を拡大させる（ステップ１２３）。撮影画像に映るＡＲマーカが小さすぎる場合、ＡＲマーカが検出されない。ステップ１２３によって、撮影画像に映るＡＲマーカが大きくなるので、ＡＲマーカが検出されやすくなる。

第１座標演算部５１が第１座標Ｃ１を算出でき（ステップ１０９，ＹＥＳ）、且つ第２座標演算部５２が第２座標Ｃ２を算出できない場合（ステップ１２５，ＮＯ）、制御部５６は、第１座標Ｃ１が撮影画像の中央に近付くようにカメラ２０を右又は左に旋回させ、且つカメラ２０を上に旋回させる（ステップ１２７）。これにより、第２ＡＲマーカ９２（第５ＡＲマーカ９５）が撮影範囲に入りやすくなる。

第１座標演算部５１が第１座標Ｃ１を算出でき（ステップ１０９，ＹＥＳ）、第２座標演算部５２が第２座標Ｃ２を算出でき（ステップ１２５，ＹＥＳ）、第３座標演算部５３が第３座標Ｃ３を算出できず（ステップ１２９，ＮＯ）、且つ第１座標Ｃ１と第２座標Ｃ２との間の距離が所定値を超える場合（ステップ１３１，ＮＯ）、制御部５６は、カメラ２０の撮影画像を縮小させる（ステップ１３３）。カメラ２０の倍率が大きすぎると、カメラ２０を左右に旋回させたとしても、第３ＡＲマーカ９３（第６ＡＲマーカ９６）が撮影範囲に入る前に、第１ＡＲマーカ９１（第４ＡＲマーカ９４）又は第２ＡＲマーカ９２（第５ＡＲマーカ９５）が撮影範囲から外れる可能性がある。ステップ１３３によって、第１ＡＲマーカ９１（第４ＡＲマーカ９４）、第２ＡＲマーカ９２（第５ＡＲマーカ９５）、及び第３ＡＲマーカ９３（第６ＡＲマーカ９６）が撮影範囲に入りやすくなる。

第１座標Ｃ１と第２座標Ｃ２との間の距離が所定値以下であり（ステップ１３１，ＹＥＳ）、且つ第１座標演算部５１が第１ＡＲマーカ９１によって第１座標Ｃ１を算出した場合（ステップ１３５，ＹＥＳ）、制御部５６は、カメラ２０を左に旋回させる（ステップ１３７）。第１ＡＲマーカ９１によって第１座標Ｃ１が算出された場合、ボディ１７はバケット１１に対して左にあるはずである。ステップ１３７によって、カメラ２０の撮影範囲がボディ１７のある方向に移動する。

第１座標Ｃ１と第２座標Ｃ２との間の距離が所定値以下であり（ステップ１３１，ＹＥＳ）、且つ第１座標演算部５１が第４ＡＲマーカ９４によって第１座標Ｃ１を算出した場合（ステップ１３５，ＮＯ）、制御部５６は、カメラ２０を右に旋回させる（ステップ１３９）。第４ＡＲマーカ９４によって第１座標Ｃ１が算出された場合、ボディ１７はバケット１１に対して右にあるはずである。ステップ１３９によって、カメラ２０の撮影範囲がボディ１７のある方向に移動する。

なお、ステップ１３５においては、第１ＡＲマーカ９１（第４ＡＲマーカ９４）に代えて、第２ＡＲマーカ９２（第５ＡＲマーカ９５）が用いられてもよい。すなわち、第２座標演算部５２が第２ＡＲマーカ９２によって第２座標Ｃ２を算出した場合に、制御部５６は、カメラ２０を左に旋回させてもよい。第２座標演算部５２が第４ＡＲマーカ９４によって第２座標Ｃ２を算出した場合に、制御部５６は、カメラ２０を右に旋回させてもよい。

第１座標演算部５１が第１座標Ｃ１を算出でき（ステップ１０９，ＹＥＳ）、第２座標演算部５２が第２座標Ｃ２を算出でき（ステップ１２５，ＹＥＳ）、第３座標演算部５３が第３座標Ｃ３を算出できた場合（ステップ１２９，ＹＥＳ）、長方形描画部５５は、長方形９９を描画する（ステップ１４１）。

長方形９９の左辺の位置が所定範囲外である場合（ステップ１４３，ＮＯ）、制御部５６は、左辺が所定範囲に入るようにカメラ２０を右又は左に旋回させる。

長方形９９の左辺の位置が所定範囲内であり（ステップ１４３，ＹＥＳ）、長方形９９の右辺の位置が所定範囲外である場合（ステップ１４７，ＮＯ）、制御部５６は、右辺が所定範囲に入るように撮影画像を拡大又は縮小する（ステップ１４９）。仮にステップ１４９でカメラ２０を右又は左に旋回させると、左辺の位置が所定範囲から外れる可能性がある。撮影画像の拡大又は縮小によって右辺の位置を所定範囲に入れることによって、左辺及び右辺の両方の位置が所定範囲に収まる。

長方形９９の下辺の位置が所定範囲外である場合（ステップ１５１，ＮＯ）、制御部５６は、カメラ２０を上に旋回させる。

長方形９９の左辺、右辺、及び下辺の位置が所定範囲内である場合（ステップ１５１，ＹＥＳ）、制御部５６は、カメラ２０の姿勢及び倍率を保持する（ステップ１５５）。これにより、長方形９９の左辺、右辺、及び下辺の位置が所定範囲内にある状態が維持される。

なお、第１ＡＲマーカ９１、第２ＡＲマーカ９２、第３ＡＲマーカ９３、第４ＡＲマーカ９４、第５ＡＲマーカ９５、及び第６ＡＲマーカ９６のそれぞれの数は、必ずしも上述した数でなくてもよい。それぞれのＡＲマーカの数は、１つであってもよい。ただし、各ＡＲマーカをより検出しやすくするために、各ＡＲマーカは複数設けられることが望ましい。また、ＡＲマーカは、必ずしも建設機械１０の右側面及び左側面の両方に設けられなくてもよい。ＡＲマーカは、建設機械１０の右側面及び左側面の少なくとも一方に設けられていればよい。

以上で説明したように、本実施形態のカメラの制御システム１は、建設機械１０と、カメラ２０と、制御装置５０と、を備える。建設機械１０は、ボディ１７、ボディ１７に対して回転できるブーム１５、ブーム１５に対して回転できるアーム１３、アーム１３に対して回転できるバケット１１、アーム１３に設けられる第１ＡＲマーカ９１、ブーム１５に設けられる第２ＡＲマーカ９２、及びボディ１７に設けられる第３ＡＲマーカ９３を備える。カメラ２０は、左右への旋回、上下への旋回、撮影画像の拡大、及び撮影画像の縮小ができる。制御装置５０は、カメラ２０を制御する。制御装置５０は、カメラ２０の撮影画像における第１ＡＲマーカ９１の座標に基づき、バケット１１の回転中心の位置に対応する第１座標Ｃ１を算出する第１座標演算部５１と、カメラ２０の撮影画像における第２ＡＲマーカ９２の座標に基づき、アーム１３の回転中心の位置に対応する第２座標Ｃ２を算出する第２座標演算部５２と、カメラ２０の撮影画像における第３ＡＲマーカ９３の座標に基づき、ボディ１７の位置に対応する第３座標Ｃ３を算出する第３座標演算部５３と、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３に基づき、カメラ２０を制御する制御部５６と、を備える。

建設機械１０を遠隔操作する作業者は、バケット１１、アーム１３の回転中心、及びボディ１７の履帯の位置に関する情報を得ることによって、建設機械１０を円滑に操作できるようになる。本実施形態のカメラの制御システム１によれば、バケット１１の回転中心、アーム１３の回転中心、及びボディ１７が撮影されるように、カメラ２０の向き及び撮影画像の倍率が自動的に制御される。カメラの制御システム１は、撮影範囲を適切に変更できる。したがって、カメラの制御システム１は、建設機械１０を遠隔操作する作業者が必要とする画像の撮影を容易にできる。

カメラの制御システム１において、制御装置５０は、第１座標Ｃ１、第２座標Ｃ２、及び第３座標Ｃ３に基づき長方形９９を描画する長方形描画部５５を備える。制御部５６は、長方形９９の右辺の位置、左辺の位置、上辺及び下辺の位置が所定の条件を満たすようにカメラ２０を制御する。

これにより、カメラの制御システム１は、撮影範囲をより適切に変更できる。また、長方形９９が表示されることによって、作業者は、カメラの制御システム１が適切にカメラ２０を制御していることを認識しやすくなる。

カメラの制御システム１において、第１座標演算部５１が第１座標Ｃ１を算出できず、且つ第２座標Ｃ２を算出できた場合、制御部５６は、第２座標Ｃ２が撮影画像の中央に近付くようにカメラ２０を右又は左に旋回させ、且つカメラ２０を下に旋回させる。

第２座標Ｃ２が撮影画像の端にあり、第１ＡＲマーカ９１（第４ＡＲマーカ９４）が撮影範囲外にある場合、カメラ２０を単に下に旋回させるだけでは第１ＡＲマーカ９１（第４ＡＲマーカ９４）が撮影範囲に入らない。第２座標Ｃ２が撮影画像の中央に近付くようにカメラ２０が右又は左に旋回することによって、第１ＡＲマーカ９１（第４ＡＲマーカ９４）が撮影範囲に入りやすくなる。

カメラの制御システム１において、建設機械１０は、ボディ１７の右側面に設けられる第３ＡＲマーカ９３と、ボディ１７の左側面に設けられる第６ＡＲマーカ９６と、を備える。第３座標演算部５３は、カメラ２０の撮影画像における第３ＡＲマーカ９３又は第６ＡＲマーカ９６の座標に基づき第３座標Ｃ３を算出する。

これにより、制御装置５０は、カメラ２０がボディ１７の右側面及び左側面のどちらを撮影しているか判定できる。このため、カメラの制御システム１は、撮影範囲をより適切に変更できる。

カメラの制御システム１において、第１座標演算部５１が第１座標Ｃ１を算出できず、第２座標演算部５２が第２座標Ｃ２を算出できず、且つ第３座標演算部５３が第３ＡＲマーカ９３によって第３座標Ｃ３を算出できた場合、制御部５６は、カメラ２０を右に旋回させる。

これにより、バケット１１の回転中心及びアーム１３の回転中心の位置を特定できない場合に、制御部５６が、カメラ２０の撮影範囲をバケット１１に近付く方向に移動させることになる。このため、カメラの制御システム１は、第１座標Ｃ１及び第２座標Ｃ２を算出できるようになるまでの時間を短縮させることができる。

カメラの制御システム１において、第１座標演算部５１が第１座標Ｃ１を算出できず、第２座標演算部５２が第２座標Ｃ２を算出できず、且つ第３座標演算部５３が第６ＡＲマーカ９６によって第３座標Ｃ３を算出できた場合、制御部５６は、カメラ２０を左に旋回させる。

カメラの制御システム１において、制御装置５０は、建設機械１０の初期位置を記憶する記憶部５４を備える。制御部５６は、カメラ２０の起動時において、初期位置に基づいて、建設機械１０のある方向にカメラ２０を旋回させる。

これにより、カメラの制御システム１は、建設機械１０がカメラ２０の撮影範囲に入っていない状態を回避できる。このため、カメラの制御システム１は、少なくとも１つのＡＲマーカを検出するまでの時間を短縮できる。

カメラの制御システム１において、第１座標演算部５１が第１座標Ｃ１を算出できず、第２座標演算部が第２座標Ｃ２を算出できず、且つ第３座標演算部５３が第３座標Ｃ３を算出できない場合、制御部５６は、カメラ２０の撮影画像を拡大させる。

制御部５６が建設機械１０のある方向にカメラ２０を旋回させた後、カメラ２０の撮影画像を拡大すれば、ＡＲマーカが拡大される。このため、ＡＲマーカが検出される可能性が高くなる。カメラの制御システム１は、少なくとも１つのＡＲマーカを検出するまでの時間をより短縮できる。

カメラの制御システム１において、第１座標演算部５１が第１座標Ｃ１を算出でき、且つ第２座標演算部５２が第２座標Ｃ２を算出できない場合、制御部５６は、第１座標Ｃ１が撮影画像の中央に近付くようにカメラ２０を右又は左に旋回させ、且つカメラ２０を上に旋回させる。

これにより、第２ＡＲマーカ９２（第５ＡＲマーカ９５）が撮影範囲に入りやすくなる。このため、カメラの制御システム１は、第２ＡＲマーカ９２（第５ＡＲマーカ９５）を検出するまでの時間を短縮できる。

カメラの制御システム１において、第１座標演算部５１が第１座標Ｃ１を算出でき、第２座標演算部５２が第２座標Ｃ２を算出でき、第３座標演算部５３が第３座標Ｃ３を算出できず、且つ第１座標Ｃ１と第２座標Ｃ２との間の距離が所定値を超える場合、制御部５６は、カメラ２０の撮影画像を縮小させる。

カメラ２０の倍率が大きすぎると、カメラ２０を左右に旋回させたとしても、第３ＡＲマーカ９３が撮影範囲に入る前に、第１ＡＲマーカ９１又は第２ＡＲマーカ９２が撮影範囲から外れる可能性がある。これに対して、第１座標Ｃ１と第２座標Ｃ２との間の距離に基づいてカメラ２０の撮影画像が縮小されることによって、第１ＡＲマーカ９１、第２ＡＲマーカ９２、及び第３ＡＲマーカ９３の全てが撮影範囲に入りやすくなる。このため、カメラの制御システム１は、全てのＡＲマーカを検出するまでの時間を短縮できる。

カメラの制御システム１において、建設機械１０は、アーム１３の右側面に設けられる第１ＡＲマーカ９１と、アーム１３の左側面に設けられる第４ＡＲマーカ９４と、を備える。第１座標演算部５１は、カメラ２０の撮影画像における第１ＡＲマーカ９１又は第４ＡＲマーカ９４の座標に基づき第１座標Ｃ１を算出する。

これにより、制御装置５０は、カメラ２０がアーム１３の右側面及び左側面のどちらを撮影しているか判定できる。このため、カメラの制御システム１は、撮影範囲をより適切に変更できる。

カメラの制御システム１において、第１座標Ｃ１と第２座標Ｃ２との間の距離が所定値以下であり、且つ第１座標演算部５１が第１ＡＲマーカ９１によって第１座標Ｃ１を算出した場合、制御部５６は、カメラ２０を左に旋回させる。

これにより、ボディ１７の位置を特定できない場合に、制御部５６が、カメラ２０の撮影範囲をボディ１７に近付く方向に移動させることになる。このため、カメラの制御システム１は、第３座標Ｃ３を算出できるようになるまでの時間を短縮させることができる。

カメラの制御システム１において、第１座標Ｃ１と第２座標Ｃ２との間の距離が所定値以下であり、且つ第１座標演算部５１が第４ＡＲマーカ９４によって第１座標Ｃ１を算出した場合、制御部５６は、カメラ２０を右に旋回させる。

カメラの制御システム１において、建設機械１０は、ブーム１５の右側面に設けられる第２ＡＲマーカ９２と、ブーム１５の左側面に設けられる第５ＡＲマーカ９５と、を備える。第２座標演算部５２は、カメラ２０の撮影画像における第２ＡＲマーカ９２又は第５ＡＲマーカ９５の座標に基づき第２座標Ｃ２を算出する。

これにより、制御装置５０は、カメラ２０がブーム１５の右側面及び左側面のどちらを撮影しているか判定できる。このため、カメラの制御システム１は、撮影範囲をより適切に変更できる。

１制御システム
１０建設機械
１１バケット
１３アーム
１５ブーム
１７ボディ
１９走行装置
２０カメラ
２１撮影制御部
２３駆動部
２５倍率制御部
３１中継機
３３モニタ
３５台車
５０制御装置
５１第１座標演算部
５２第２座標演算部
５３第３座標演算部
５４記憶部
５５長方形描画部
５６制御部
９１、９１１、９１２、９１３第１ＡＲマーカ
９２第２ＡＲマーカ
９３、９３１、９３２第３ＡＲマーカ
９４第４ＡＲマーカ
９５第５ＡＲマーカ
９６第６ＡＲマーカ
９９長方形
Ｃ１第１座標
Ｃ２第２座標
Ｃ３第３座標

Claims

ボディ、前記ボディに対して回転できるブーム、前記ブームに対して回転できるアーム、前記アームに対して回転できるバケット、前記アームに設けられる第１ＡＲマーカ、前記ブームに設けられる第２ＡＲマーカ、及び前記ボディに設けられる第３ＡＲマーカを備える建設機械と、
左右への旋回、上下への旋回、撮影画像の拡大、及び撮影画像の縮小ができるカメラと、
前記カメラを制御する制御装置と、
を備え、
前記制御装置は、
前記カメラの撮影画像における前記第１ＡＲマーカの座標に基づき、前記バケットの回転中心の位置に対応する第１座標を算出する第１座標演算部と、
前記カメラの撮影画像における前記第２ＡＲマーカの座標に基づき、前記アームの回転中心の位置に対応する第２座標を算出する第２座標演算部と、
前記カメラの撮影画像における前記第３ＡＲマーカの座標に基づき、前記ボディの位置に対応する第３座標を算出する第３座標演算部と、
前記第１座標、前記第２座標、及び前記第３座標に基づき、前記カメラを制御する制御部と、
を備えるカメラの制御システム。
前記制御装置は、前記第１座標、前記第２座標、及び前記第３座標に基づき長方形を描画する長方形描画部を備え、
前記制御部は、前記長方形の右辺の位置、左辺の位置、上辺及び下辺の位置が所定の条件を満たすように前記カメラを制御する
請求項１に記載のカメラの制御システム。
前記第１座標演算部が前記第１座標を算出できず、且つ前記第２座標演算部が前記第２座標を算出できた場合、前記制御部は、前記第２座標が前記カメラの撮影画像の中央に近付くように前記カメラを右又は左に旋回させ、且つ前記カメラを下に旋回させる
請求項１又は２に記載のカメラの制御システム。
前記建設機械は、前記ボディの右側面に設けられる前記第３ＡＲマーカと、前記ボディの左側面に設けられる第６ＡＲマーカと、を備え、
前記第３座標演算部は、前記カメラの撮影画像における前記第３ＡＲマーカ又は前記第６ＡＲマーカの座標に基づき前記第３座標を算出する
請求項１から３のいずれか１項に記載のカメラの制御システム。
前記第１座標演算部が前記第１座標を算出できず、前記第２座標演算部が前記第２座標を算出できず、且つ前記第３座標演算部が前記第３ＡＲマーカの座標に基づいて前記第３座標を算出できた場合、前記制御部は、前記カメラを右に旋回させる
請求項４に記載のカメラの制御システム。
前記第１座標演算部が前記第１座標を算出できず、前記第２座標演算部が前記第２座標を算出できず、且つ前記第３座標演算部が前記第６ＡＲマーカの座標に基づいて前記第３座標を算出できた場合、前記制御部は、前記カメラを左に旋回させる
請求項４又は５に記載のカメラの制御システム。
前記制御装置は、前記建設機械の初期位置を記憶する記憶部を備え、
前記制御部は、前記カメラの起動時において、前記初期位置に基づいて、前記建設機械のある方向に前記カメラを旋回させる
請求項１から６のいずれか１項に記載のカメラの制御システム。
前記第１座標演算部が前記第１座標を算出できず、前記第２座標演算部が前記第２座標を算出できず、且つ前記第３座標演算部が前記第３座標を算出できない場合、前記制御部は、前記カメラの撮影画像を拡大させる
請求項７に記載のカメラの制御システム。
前記第１座標演算部が前記第１座標を算出でき、且つ前記第２座標演算部が前記第２座標を算出できない場合、前記制御部は、前記第１座標が前記カメラの撮影画像の中央に近付くように前記カメラを右又は左に旋回させ、且つ前記カメラを上に旋回させる
請求項１から８のいずれか１項に記載のカメラの制御システム。
前記第１座標演算部が前記第１座標を算出でき、前記第２座標演算部が前記第２座標を算出でき、前記第３座標演算部が前記第３座標を算出できず、且つ前記第１座標と前記第２座標との間の距離が所定値を超える場合、前記制御部は、前記カメラの撮影画像を縮小させる
請求項１から９のいずれか１項に記載のカメラの制御システム。
前記建設機械は、前記アームの右側面に設けられる前記第１ＡＲマーカと、前記アームの左側面に設けられる第４ＡＲマーカと、を備え、
前記第１座標演算部は、前記カメラの撮影画像における前記第１ＡＲマーカ又は前記第４ＡＲマーカの座標に基づき前記第１座標を算出する
請求項１０に記載のカメラの制御システム。
前記第１座標と前記第２座標との間の距離が所定値以下であり、且つ前記第１座標演算部が前記第１ＡＲマーカの座標に基づいて前記第１座標を算出した場合、前記制御部は、前記カメラを左に旋回させる
請求項１１に記載のカメラの制御システム。
前記第１座標と前記第２座標との間の距離が所定値以下であり、且つ前記第１座標演算部が前記第４ＡＲマーカの座標に基づいて前記第１座標を算出した場合、前記制御部は、前記カメラを右に旋回させる
請求項１１又は１２に記載のカメラの制御システム。
前記建設機械は、前記ブームの右側面に設けられる前記第２ＡＲマーカと、前記ブームの左側面に設けられる第５ＡＲマーカと、を備え、
前記第２座標演算部は、前記カメラの撮影画像における前記第２ＡＲマーカ又は前記第５ＡＲマーカの座標に基づき前記第２座標を算出する
請求項１０に記載のカメラの制御システム。
前記第１座標と前記第２座標との間の距離が所定値以下であり、且つ前記第２座標演算部が前記第２ＡＲマーカの座標に基づいて前記第２座標を算出した場合、前記制御部は、前記カメラを左に旋回させる
請求項１４に記載のカメラの制御システム。
前記第１座標と前記第２座標との間の距離が所定値以下であり、且つ前記第２座標演算部が前記第５ＡＲマーカの座標に基づいて前記第２座標を算出した場合、前記制御部は、前記カメラを右に旋回させる
請求項１４又は１５に記載のカメラの制御システム。