以下では、図面を参照しながら本発明に係る操作支援システムの実施形態について説明する。図面の説明において、同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。また、図面は、理解の容易のため、一部を簡略化又は誇張して描いている場合があり、寸法等は図面に記載のものに限定されない。
(第1実施形態)
図1は、第1実施形態に係る操作支援システム1が適用される例である現場A1を示す図である。図2は、操作支援システム1の概略構成図である。現場A1は、例えば、吊荷P1(荷)を対象箇所T1(吊り降ろし地点)である建物B1の屋上B11に吊り降ろす現場を示しており、吊荷P1を吊り降ろす操作はクレーンCの操作者Mによって行われる。クレーンCの操作者MはクレーンCのキャビンC1でモニタC2を見ながら遠隔操作を行う。
一例として、クレーンCは、キャリアに設けられると共にキャビンC1を含む旋回台C3と、旋回台C3に上下揺動自在に取り付けられた伸縮ブームC5と、伸縮ブームC5の先端から下方に延び出すワイヤロープC6と、ワイヤロープC6の下端に位置するフックを有する吊り下げ部C7とを備える。吊り下げ部C7のフックには、例えば、吊荷P1を吊り下げると共に吊荷P1から上方に延び出す複数の紐P11が引っ掛けられる。一例として、伸縮ブームC5は、基端ブームC51と先端ブームC52が入れ子式に嵌挿されて構成され、内部に設けられた伸縮シリンダの作動によって伸縮自在とされている。なお、前述したクレーンCの構成は一例であり適宜変更可能である。
例えば、建物B1はクレーンCのキャビンC1に対して高く延びており、キャビンC1の中で操作を行う操作者Mからは建物B1の屋上B11を見ることができない。しかしながら、本実施形態に係る操作支援システム1は、対象箇所T1を撮影する複数のカメラ2を備えており、カメラ2によって撮影された画像をモニタC2に表示する。
カメラ2によって対象箇所T1を含む現場A1の領域をモニタC2に表示することによって、操作者MはモニタC2を見ながら吊荷P1を吊り降ろす操作を行うことが可能となる。例えば、カメラ2は、建物B1の屋上B11に設けられるが、クレーンCに設けられてもよく、カメラ2の数及び配置場所は適宜変更可能である。
ところで、単に対象箇所T1を含む現場A1の領域をモニタC2に表示するだけでは、実際の吊荷P1の位置と対象箇所T1の位置との位置関係が分からないため、操作者Mは安全且つ容易に吊荷P1を吊り降ろす操作を行うことができないという問題がある。よって、従来は対象箇所T1の付近に合図者を配置して操作者Mが合図者の合図に従いながら作業を行っていた。しかしながら、合図者は合図を上手く行えなかったり、操作者Mは合図を上手く認識できなかったりすることがあるので、吊り降ろしの作業が煩雑であるという問題がある。
本実施形態に係る操作支援システム1は、制御部10を備えており、制御部10が、カメラ2の撮影画像と共に、対象箇所T1への経路を示すARモデルF1(図形)、及び吊荷P1の移動可能範囲を示すARモデルF2(図形)をモニタC2に表示することによって前述した問題を解決している。すなわち、キャビンC1の中で操作を行う操作者Mは、対象箇所T1への経路を示すARモデルF1、及び吊荷P1の移動可能範囲を示すARモデルF2をモニタC2で見ることにより、合図者を削減しても適切に吊荷P1を対象箇所T1に移動させることができる。
一例として、ARモデルF1の形状は円柱状であり、ARモデルF2の形状は角柱状であるが、これらの形状は適宜変更可能である。例えば、ARモデルF1及びARモデルF2は、ARモデルF1及びARモデルF2の向こう側が視認できるように、半透明に表示される。なお、制御部10の詳細については後述する。
なお、本明細書において、ARモデルとは、AR(Augmented Reality)技術によって生成された仮想画像を示している。本実施形態に係る操作支援システム1では、カメラ2が撮影した現場A1の画像に操作支援用のARモデルが重ねて表示されることにより、荷を移動させる操作者Mの操作支援を実現させている。
対象箇所T1への経路を示すARモデルF1は、対象箇所T1から延び出す態様で表示され、一例として対象箇所T1から鉛直方向に延びるように表示される。また、吊荷P1の移動可能範囲を示すARモデルF2は、吊荷P1から延び出す態様で表示され、一例として吊荷P1から鉛直方向(鉛直下方)に延びるように表示される。ARモデルF1が対象箇所T1から延び出す態様で表示されることにより操作者Mは対象箇所T1への経路を確実に把握することができる。また、ARモデルF2が吊荷P1から延び出す態様で表示されることにより操作者Mは吊荷P1の移動操作をどのように行えばよいかを確実に把握することができる。
なお、「対象箇所から延びる」とは、対象箇所そのものから延びる場合のほか、対象箇所に対して若干離れた位置から延びることも含んでいる。また、「荷(吊荷P1)から延びる」とは、荷そのものから延びる場合のほか、荷に対して若干離れた位置から延びることも含んでいる。
操作支援システム1は、対象箇所T1の位置を取得する対象箇所位置取得手段3と、吊荷P1の位置を取得する荷位置取得手段4とを備える。例えば、対象箇所位置取得手段3はARマーカー3aを含んでおり、荷位置取得手段4はARマーカー4aを含んでいる。操作支援システム1では、ARマーカー3aがカメラ2で撮影されることによって対象箇所T1の位置が取得され、ARマーカー4aがカメラ2で撮影されることによって吊荷P1の位置が取得される。
本明細書において、ARマーカーとは、ARモデルを表示する位置を指定するための標識を示しており、予め定められたパターンを有する。ARマーカーには、図形、静止画像、動画又は音声等の各種情報を対応付けることができ、ARマーカーに対応付けられる情報を適宜書き換えることが可能である。本実施形態では、ARマーカー3aに対象箇所T1への経路を示す図形(ARモデルF1)を対応付ける例、及びARマーカー4aに吊荷P1の移動可能経路を示す図形(ARモデルF2)を対応付ける例、について説明する。
例えば、対象箇所T1には1つのARマーカー3aが設けられ、吊荷P1の上方に位置する吊り下げ部C7には複数のARマーカー4aが設けられる。一例として、複数のARマーカー4aは、吊り下げ部C7に対して互いに対称となる位置に一対に設けられる。このように、複数のARマーカー4aが設けられることにより、たとえ吊り下げ部C7が回転したとしても確実にARマーカー4aを撮影することが可能となる。
次に、操作支援システム1のシステム構成について説明する。図2及び図3に示されるように、操作支援システム1は、前述したカメラ2、対象箇所位置取得手段3及び荷位置取得手段4と、制御部10と、モニタC2とを備える。制御部10は、例えば、CPU(Central Processing Unit)と、ROM(Read Only Memory)及びRAM(Random Access Memory)を含む記憶部13とを備えて構成されている。制御部10の各機能は、ROMに記憶されているプログラムをRAMにロードし、CPUで実行することによって実現される。制御部10は、一例としてキャビンC1に設けられたコンピュータ(端末)であるが、制御部10の形態及び配置場所については特に限定されない。
モニタC2は、前述したカメラ2の撮影画像及びARモデルF1,F2のほか、制御部10による各制御の内容を表示してもよいし、ARモデルF1,F2を拡大した画像を表示してもよい。モニタC2は、一例として、対象箇所T1及び吊荷P1から離れた位置に設けられたコンピュータ(例えば制御部10)のディスプレイである。また、制御部10は操作支援システム1を構成する操作支援アプリケーションを含んでいてもよく、この場合、操作者MはモニタC2を見ながら当該操作支援アプリケーションによる操作支援を受けることが可能となる。
制御部10には、カメラ2が撮影した対象箇所T1及び吊荷P1を含む現場A1の画像が入力される。制御部10に入力される画像には、カメラ2が撮影したARマーカー3a及びARマーカー4aの画像が含まれる。制御部10は、モニタC2に画像を表示する表示手段である表示制御部11と、吊荷P1が適切に移動できているか否かを通知する通知手段である通知部12と、ARモデルF1,F2を含む各種情報を記憶する記憶部13とを備える。
図4に示されるように、表示制御部11は、カメラ2によって撮影された対象箇所T1及び吊荷P1の画像にARモデルF1を付加してモニタC2に表示する。例えば、表示制御部11は、カメラ2によって撮影されたARマーカー3aを認識して対象箇所T1から延び出すARモデルF1を表示する。また、表示制御部11は、カメラ2によって撮影されたARマーカー4aを認識して吊り下げ部C7からARモデルF1に向かって延び出すARモデルF3を表示してもよい。ARモデルF3は、一例として、吊り下げ部C7からARモデルF1に向かって延び出す矩形状の図形として表示される。このように対象箇所T1から延び出すARモデルF1とARモデルF3とをモニタC2に表示することにより、操作者Mは吊荷P1の移動経路を視覚的に把握することができる。
また、図5に示されるように、表示制御部11は、カメラ2によって撮影された対象箇所T1及び吊荷P1の画像にARモデルF1,F3の他に更にARモデルF2を付加してモニタC2に表示してもよい。この場合、表示制御部11は、カメラ2によって撮影されたARマーカー4aを認識すると共に、撮影された吊荷P1の輪郭P12を認識して吊荷P1から延び出すARモデルF2を表示する。例えば、吊荷P1の輪郭P12は、認識しやすい吊荷P1の角部であってもよい。このように吊荷P1から延び出すと共に吊荷P1の移動可能範囲を示すARモデルF2をモニタC2に表示することにより、操作者Mは吊荷P1の移動可能範囲を視覚的に把握することができる。
また、現場A1の進入禁止領域(例えば、障害物がある所等の揚重制限範囲)を事前に設定し、設定された進入禁止領域を避けるように表示制御部11が経路を示すARモデルF1を表示してもよい。更に、表示制御部11は、最初に経路を示すARモデルF1を表示した後に、進入禁止領域を避けた経路を示すARモデルを表示し直してもよい。このように、表示制御部11の経路表示のさせ方は適宜変更可能である。
通知部12は、例えば、吊荷P1が所定の経路に沿って移動されているか否かをモニタC2を通じて操作者Mに通知する。一例として、通知部12は、対象箇所T1への経路を示すARモデルF1の色彩を変更することによって吊荷P1が所定の経路に沿って移動されているか否かを通知する。また、通知部12は、吊荷P1(吊荷P1から延び出すARモデルF2)が対象箇所T1への経路を示すARモデルF1から外れたときに警告を出力する警告部12a(警告手段)を有する。警告部12aは、吊荷P1が所定の経路から外れたことをモニタC2を通じて操作者Mに通知し、例えば、対象箇所T1への経路を示すARモデルF1の色彩を変更することによって警告を行う。
また、警告部12a(警告手段)は、前述した進入禁止領域に吊荷P1が入ったときに警告を行ってもよい。更に、警告部12a(警告手段)は、現場A1のパトライト(登録商標)又はスピーカ等の警報機器に出力信号を発信し、パトライト又はスピ―カ等を作動させることによって警告を行ってもよい。このように、現場Aの警報機器に警告部12a(警告手段)が出力信号を発信することにより、安全性を一層高めることが可能となる。
具体例として、図5、図6(a)及び図6(b)に示されるように、警告部12aを備える通知部12は、吊荷P1から延び出すARモデルF2が対象箇所T1への経路を示すARモデルF1に到達する前にはARモデルF1を桃色で表示し、ARモデルF2がARモデルF1に含まれたときにはARモデルF1を水色で表示する。なお、ARモデルF2がARモデルF1に含まれたときに変更するARモデルF1の色彩は、桃色又は水色以外の色彩であってもよい。当該水色は、安全に吊荷P1を移動できていることを示す色彩の一例を示している。
そして、ARモデルF2がARモデルF1に含まれた後にARモデルF2がARモデルF1から外れると、警告部12aがARモデルF1を赤色で表示する。このように警告部12aがARモデルF1の色彩を赤色に変更することにより、操作者Mは、安全に吊荷P1を移動できていないことを把握できる。なお、ARモデルF2がARモデルF1に含まれなくなったときに変更するARモデルF1の色彩は、赤色以外の色彩であってもよい。当該赤色は、安全に吊荷P1を移動できていないことを示す色彩の一例を示している。
警告部12aは、ARモデルF2がARモデルF1から外れたときに警告の音声を出力する音声出力部を備えていてもよい。音声出力部は、例えば、キャビンC1の内部に設けられたスピーカから警告に関する音声を出力する。このように、警告部12aが警告の音声を出力することにより、操作者Mに吊荷P1が対象箇所T1への経路から外れたことを注意喚起することができる。その結果、操作者Mに安全な操作を促すことができる。
例えば、表示制御部11は、吊荷P1から延び出すARモデルF2が対象箇所T1への経路を示すARモデルF1と重なるときに、ARモデルF2とARモデルF1の前後関係(ARモデルF1及びARモデルF2のうちどちらがカメラ2側(手前)に位置しているか)が分かるようにARモデルF1,F2の表示を変更してもよい。
具体例として、ARモデルF1及びARモデルF2のうち手前側に位置する方を実線で表示すると共に奥側に位置する方を破線で表示してもよい。また、ARモデルF1及びARモデルF2のうち手前側に位置する方を太線で表示すると共に奥側に位置する方を細線で表示してもよい。更に、ARモデルF1及びARモデルF2のうち手前側に位置する方の線の色彩を薄くすると共に奥側に位置する方の線の色彩を濃くしてもよい。このように、ARモデルF1とARモデルF2の前後関係が分かるように表示を行うことにより、操作者Mは、対象箇所T1への経路の位置と吊荷P1の位置との前後関係を把握することができる。
記憶部13には、例えば、ARマーカー3a,4aが撮影されることによってモニタC2に表示されるARモデルF1,F2,F3が予め記憶される。以下では、ARモデルF1,F2,F3を記憶部13に事前に登録する登録方法の例について図7を参照しながら説明する。まず、ARマーカー3a,4aを撮影するカメラのキャリブレーションを行い(ステップS1)、ARマーカー3a,4aの画像をキャプチャーする(ステップS2)。
そして、前述した操作支援システム1の操作支援アプリケーションがARマーカー3a,4aのパターンを検出して当該パターンを登録する(ステップS3,S4)。その後、当該パターンに対応付けられるARモデルF1,F2,F3を作成した後に、ARモデルF1,F2,F3が記憶部13に記憶される(ステップS5)。
次に、ARモデルF1,F2,F3を表示する各工程について説明する。まず、ARマーカー3a,4aを撮影するカメラを起動してARマーカー3a,4aの映像をキャプチャーする(ステップS6,S7)。そして、操作支援アプリケーションがARマーカー3a,4aを検出し(ステップS8)、ARマーカー3a,4aのパターンの特徴点を抽出した後に抽出したパターンを記憶部13に記憶されているパターンにマッチングさせる(ステップS9,S10)。
操作支援アプリケーションは、前述したように抽出したパターンが記憶されているARマーカー3a,4aのパターンに正しくマッチングするか否かを判定する(ステップS11)。そして、抽出したパターンが正しくマッチングしていると判定した場合には、ARマーカー3a,4aに対応付けられたARモデルF1,F2,F3をモニタ2aに表示する(ステップS12)。一方、抽出したパターンが正しくマッチングしていないと判定した場合には、再度ステップS8に移行してARマーカー3a,4aの映像のキャプチャーを行う。
次に、吊荷P1の輪郭P12(例えば角部)から移動可能範囲を示すARモデルF2を作成する各工程の例について図8(a)を参照しながら説明する。まず、吊荷P1を撮影するカメラのキャリブレーションを行い(ステップS21)、複数の吊荷P1の画像をキャプチャーする(ステップS22)。そして、操作支援アプリケーションは、吊荷P1のポーズ(姿勢)の初期化を行った後に例えば吊荷P1の輪郭P12(角部)を検出して輪郭P12のパターンを登録する(ステップS23,S24,S25)。その後、輪郭P12のパターンに対応付けられるARモデルF2を作成し、作成されたARモデルF2が記憶部13に記憶される(ステップS26)。
続いて、ステップS26で作成したARモデルF2を表示するときの各工程について図8(b)を参照しながら説明する。まず、吊荷P1を撮影するカメラを起動して吊荷P1の映像をキャプチャーして吊荷P1を検出する(ステップS27,S28,S29)。そして、吊荷P1のコントロールポイントのサンプリング、輪郭P12(角部)の検出及びパターンの対象検索を行って(ステップS30,S31,S32)、撮影した吊荷P1の形状とポーズを推定した後にARモデルF2を表示する(ステップS33,S34)。
以上のように構成された操作支援システム1を用いて現場A1で吊荷P1を移動させる操作を支援する操作支援方法の例について図9を参照しながら説明する。図9は、現場A1で吊荷P1を対象箇所T1に吊り降ろす操作を支援する操作支援方法の一例を示している。まず、予め吊荷P1及び対象箇所T1を撮影可能な箇所にカメラ2を設置すると共に(ステップS41)、ARマーカー3a,4aの設置を事前に行う。
続いて、カメラ2が現場A1を撮影してモニタC2に対象箇所T1を含む現場A1を表示すると共に、操作者MがクレーンCによって吊荷P1の荷下ろしを行う。このとき、カメラ2が対象箇所T1のARマーカー3a及び吊荷P1のARマーカー4aを撮影すると、撮影画像がカメラ2から制御部10に出力されて表示制御部11がARマーカー3a,4aを認識する(ステップS42)。
ARマーカー3a,4aの認識に伴って、表示制御部11は、カメラ2の撮影画像と共に、例えば、予め記憶部13に記憶した対象箇所T1から延びるARモデルF1と吊荷P1から延びるARモデルF2,F3をモニタC2に表示する(ステップS43)。操作者Mは、モニタC2を見ながら、例えば、ARモデルF2がARモデルF1に近づくようにクレーンCの操作を行う。
前述したように操作者Mが操作を行っているときに、制御部10は、吊荷P1から延び出すARモデルF2が対象箇所T1から延び出すARモデルF1に入ったか否かを判定する(ステップS44)。制御部10は、ARモデルF2がARモデルF1に入っていないと判定したときにはステップS44に戻って引き続き上記の判定を行う。このとき、吊荷P1は未だ対象箇所T1から延び出すARモデルF1に含まれていない。よって、通知部12は、例えばARモデルF1の色彩を桃色にして、吊荷P1が未だにARモデルF1に入っていない旨を操作者Mに通知する。
制御部10は、ARモデルF2がARモデルF1に入ったと判定したときには(ステップS44でYES)、例えば、ARモデルF1の色彩を変更する(ステップS45)。このとき、通知部12は、ARモデルF1の色彩を例えば水色に変更して、吊荷P1が対象箇所T1から延び出す経路であるARモデルF1に入ったことを操作者Mに通知する。
その後、制御部10は、吊荷P1がARモデルF1から出ているか否かを判定する(ステップS46)。制御部10は、吊荷P1がARモデルF1から出たと判定した場合には、操作者Mへの警告を行う(ステップS47)。例えば、警告部12aは、ARモデルF1を変更することによって吊荷P1がARモデルF1から外れた旨の警告を行い、一例としてARモデルF1の色彩を赤色に変更すると共に音声を出力して操作者Mに注意喚起する。
続いて、制御部10は、吊荷P1が対象箇所T1に到達したか否かを判定する(ステップS48)。制御部10は、吊荷P1が対象箇所T1に到達していないと判定した場合には、ステップS46に戻り、再度吊荷P1がARモデルF1から出ているか否かの判定を行う。一方、制御部10は、吊荷P1が対象箇所T1に到達したと判定したときには、一連の工程を終了する。
次に、本実施形態に係る操作支援システム1から得られる作用効果について詳細に説明する。図1に示されるように、操作支援システム1では、対象箇所位置取得手段3(ARマーカー3a)が、クレーンCによって吊荷P1を移動させる対象である対象箇所T1の位置を取得する。表示制御部11は、カメラ2によって撮影された画像と共に、対象箇所位置取得手段3によって取得された対象箇所T1の位置を基に対象箇所T1への経路を示すARモデルF1を表示する。表示制御部11によって、対象箇所T1への経路を示すARモデルF1は対象箇所T1から延びる図形として表示される。よって、操作者Mは、カメラ2の撮影画像と共に、対象箇所T1から延びており且つ対象箇所T1への経路を示すARモデルF1を見ることによって対象箇所T1への経路を視覚的に把握することができる。
従って、対象箇所T1自体が建物B1によって遮られるとしても対象箇所T1から延びるARモデルF1をモニタC2で見ることによって、操作者Mは、対象箇所T1への経路を把握することができる。その結果、操作者Mは、表示されたARモデルF1に沿って吊荷P1が移動するように操作を行えばよいので、吊荷P1が落下したり建物B1等に衝突したりする問題の発生を抑制することができる。
また、操作者Mは、対象箇所T1から延びるARモデルF1を見ることによって操作を容易に行うことができるので、合図者を削減することができる。更に、対象箇所T1への経路を示すARモデルF1を対象箇所T1から延び出す図形として表示することにより、操作者Mは、吊荷P1を移動させる経路を視覚的に把握することができる。よって、操作者Mは、吊荷P1を対象箇所T1に移動させる操作の方法を容易に判断することができるので、吊荷P1を移動させる操作の操作性を高めることができる。従って、吊荷P1を対象箇所T1に移動させる操作を安全且つ容易に行うことができる。
また、操作支援システム1は、吊荷P1の位置を取得する荷位置取得手段4(ARマーカー4a)を備え、表示制御部11は、吊荷P1から延びると共に吊荷P1の移動可能範囲を示すARモデルF2を、カメラ2の画像及びARモデルF1と共に表示してもよい。この場合、ARマーカー4aがクレーンCによる移動対象の吊荷P1の位置を取得し、表示制御部11は、カメラ2によって撮影された画像と共に、ARマーカー4aによって取得された位置にある吊荷P1の移動可能範囲を示すARモデルF2を表示する。
表示制御部11によって、吊荷P1の移動可能範囲を示すARモデルF2は、吊荷P1から延びる図形として表示される。よって、操作者Mは、カメラ2の撮影画像、及び対象箇所T1への経路を示すARモデルF1と共に、吊荷P1の移動可能範囲を示すARモデルF2を見ることによって、操作によって吊荷P1が移動する範囲を視覚的に把握することができる。
従って、吊荷P1の移動可能範囲を示すARモデルF2と、対象箇所T1への経路を示すARモデルF1とを見ることにより、操作者Mは、対象箇所T1への経路の位置と吊荷P1の移動可能範囲との位置関係を視覚的に把握することができる。その結果、操作者Mは、吊荷P1の移動可能範囲を示すARモデルF2が対象箇所T1への経路を示すARモデルF1に近づくように操作をすればよいので、吊荷P1を対象箇所T1に移動させる操作の操作性を高めることができる。
また、操作支援システム1は、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれるか否かを通知する通知部12を備える。通知部12は、対象箇所T1への経路を示すARモデルF1に吊荷P1が含まれるか否かを操作者Mに通知する。従って、操作者Mは、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれている状態を知ることができるので、この場合は安心して吊荷P1を移動させる操作を行うことができる。
一方、操作者Mは、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれないことを知ることができる。従って、この場合は吊荷P1を安全に移動させるべく、吊荷P1が対象箇所T1を示すARモデルF1に含まれるように操作しなければならないことを操作者Mに促すことができる。よって、操作者Mに操作を安全に行えているかどうかを把握させることができるので、より安全に吊荷P1を移動させる操作を行うことができる。
また、通知部12は、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれなくなったときに警告する警告部12aを備える。よって、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれなくなったときに警告部12aが操作者Mに警告を行う。従って、警告部12aにより、吊荷P1が経路から外れたときに操作者Mに注意喚起することができるので、安全に荷を移動させる操作を操作者Mに促すことができる。
また、警告部12aは、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれなくなったときに、対象箇所T1への経路を示すARモデルF1を異ならせる。すなわち、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれなくなったときに警告部12aがARモデルF1の態様を変更する。従って、警告部12aがARモデルF1を変更することにより、操作者Mは吊荷P1が経路から外れたことを視覚的に把握することができる。その結果、吊荷P1を安全に移動させる操作を操作者Mにより確実に促すことができる。
また、警告部12aは、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれなくなったときに、対象箇所T1への経路を示すARモデルF1の色彩を異ならせる。すなわち、警告部12aは、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれなくなったときにARモデルF1の色彩を変更する。従って、警告部12aがARモデルF1の色彩を変更することにより、操作者Mは吊荷P1が経路から外れたことを色彩の変化によって一層容易に把握することができる。また、警告部12aはARモデルF1の色彩を変更するので、ARモデルF1の形状等を変更する場合と比較して、警告処理にかかる負荷を抑えることができる。
また、警告部12aは、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれなくなったときに音声を出力してもよい。この場合、吊荷P1が対象箇所T1への経路を示すARモデルF1に含まれなくなったときに警告部12aが音声を出力する。よって、警告部12aが音声を出力することにより、操作者Mは吊荷P1が経路から外れたことを音声によって把握することができる。従って、吊荷P1を安全に移動させる操作を操作者Mに一層確実に促すことができる。
また、対象箇所位置取得手段3はARマーカー3aを含んでおり、表示制御部11は、カメラ2によって撮影されたARマーカー3aを認識して、経路を示すARモデルF1を表示する。よって、カメラ2が撮影した画像と同一のスケールで図形をARモデルF1として表示することができる。従って、カメラ2が撮影した現実の空間に対象箇所T1への経路を示す図形をARモデルF1として表示することができるので、実際の現場の様子を確認しながら吊荷P1を移動させる操作を行うことができる。よって、更に安全に吊荷P1を移動させる操作を行うことができる。
また、荷位置取得手段4はARマーカー4aを含んでおり、表示制御部11は、カメラ2によって撮影されたARマーカー4a、及び吊荷P1の輪郭P12の少なくともいずれか一方を認識して、吊荷P1の移動可能範囲を示す図形をARモデルF2として表示してもよい。よって、当該図形をARモデルF2として表示することができると共に、ARマーカー4a及び吊荷P1の輪郭P12の少なくともいずれか一方を認識させて当該図形を表示することができる。従って、吊荷P1を移動させる作業を更に容易に行うことができる。更に、吊荷P1の輪郭P12を認識させてARモデルF2の表示を行うことにより、吊荷P1にマーカー等を貼り付けることを不要とすることができる。その結果、吊荷P1を移動させる作業を更に容易に行うことができる。
(第2実施形態)
次に、第2実施形態に係る操作支援システムについて図10を参照しながら説明する。第2実施形態に係る操作支援システムの構成は、第1実施形態に係る操作支援システム1の構成と同様であり、モニタC2に表示する図形が第1実施形態と異なる。以下では、第1実施形態と重複する説明を適宜省略する。
第2実施形態に係る操作支援システムは、カメラ2と、荷位置取得手段4と、表示制御部11を有する制御部10と、モニタC2とを備える。表示制御部11は、カメラ2によって撮影された吊荷P1の画像にARモデルF4,F5,F6を付加してモニタC2に表示する。ARモデルF4は、ARモデルF2と同様、吊荷P1の移動可能範囲を示す図形を示しており、例えば、吊荷P1から鉛直方向に延び出している。一例として、ARモデルF4は、吊荷P1から下方に延び出す半透明の円柱状とされている。また、表示制御部11は、第1実施形態と同様、カメラ2によって撮影された荷位置取得手段4のARマーカー4aを認識してARモデルF4を表示する。
ARモデルF5はクレーンCの伸縮ブームC5の移動可能範囲を示す図形を示しており、ARモデルF6は旋回台C3による吊り下げ部C7の旋回可能範囲を示す図形を示している。本実施形態において、例えば、ARモデルF4,F5,F6は、ある単一操作による吊荷P1の移動軌跡を示している。例えば、ARモデルF5は平面状に表示され、ARモデルF6は曲面状に表示される。ARモデルF5は伸縮ブームC5の方向が分かる運転支援画像に相当し、ARモデルF6は旋回による吊り下げ部C7の軌跡が分かる運転支援画像に相当する。一例として、ARモデルF5,F6は、伸縮ブームC5及び吊り下げ部C7の現在位置と予め記憶された伸縮ブームC5の諸元とに基づいて作成される。しかしながら、ARモデルF4,F5,F6の作成手段は適宜変更可能である。
以上、第2実施形態に係る操作支援システムでは、荷位置取得手段4がクレーンCによって移動される吊荷P1の位置を取得し、表示制御部11がカメラ2によって撮影された画像と共に、荷位置取得手段4によって取得された吊荷P1の移動可能範囲を示すARモデルF4を表示する。表示制御部11によって吊荷P1の移動可能範囲を示す図形は吊荷P1から延びるARモデルF4として表示される。よって、操作者Mは、カメラ2の撮影画像と共に、吊荷P1から延びると共に吊荷P1の移動可能範囲を示すARモデルF4を見ることによって吊荷P1の移動可能範囲を視覚的に把握することができる。
従って、吊荷P1を移動させる対象である対象箇所T1と吊荷P1の移動可能範囲との関係を視覚的に把握することができる。その結果、操作者Mは、吊荷P1の移動可能範囲が対象箇所T1に近づくように操作を行えばよいので、操作支援システム1と同様、操作を安全且つ容易に行うことができる。
また、表示制御部11は、吊荷P1の移動可能範囲を示す図形を吊荷P1から鉛直方向に延びる態様で表示する。よって、吊荷P1から鉛直方向に延びるARモデルF4を見ることにより、操作者Mは、吊荷P1の平面位置と、吊荷P1を移動させる対象である対象箇所T1の平面位置との関係を視覚的に把握することができる。従って、操作者Mは、吊荷P1を対象箇所T1に移動させる操作を一層容易に行うことができる。
更に、表示制御部11は、伸縮ブームC5の移動可能範囲を示すARモデルF5、及び吊り下げ部C7の旋回可能範囲を示すARモデルF6を表示するので、操作者Mは、クレーンCの各部の移動範囲をモニタC2から容易に把握することができる。従って、クレーンCによる吊荷P1の移動の操作を更に容易に行うことができる。また、第2実施形態から分かるように、表示するARモデルの種類が異なる場合であっても第1実施形態と同様の効果が得られる。更に、第2実施形態では、対象箇所位置取得手段3、及び対象箇所T1から延び出すARモデルF1を省略することも可能である。
(第3実施形態)
次に、図11を参照しながら第3実施形態に係る操作支援システムについて説明する。図11に示されるように、第3実施形態は、前述した現場A1とは異なる現場A2に適用される操作支援システムである点が前述した各実施形態とは異なっている。現場A2は、建物B2の外装のカーテンウォールP2を取り付ける作業を行う現場であり、カーテンウォールP2をクレーンCの吊り下げ部C7で対象箇所T2に移動させる。対象箇所T2には対象箇所位置取得手段3のARマーカー3aが設けられている。
第3実施形態に係る操作支援システムは、少なくとも、カメラ2と、対象箇所位置取得手段3と、表示制御部11を有する制御部10と、モニタC2とを備える。表示制御部11は、カメラ2によって撮影された現場A2の画像に、対象箇所T2への経路を示すARモデルF7を付加してモニタC2に表示する。ARモデルF7は、例えば、対象箇所T2から吊り下げ部C7に吊り下げられたカーテンウォールP2に向かって延びており、一例として、対象箇所T2から水平方向に延び出している。
以上、第3実施形態に係る操作支援システムでは、対象箇所位置取得手段3が対象箇所T2の位置を取得し、表示制御部11がカメラ2によって撮影された画像と共に、対象箇所位置取得手段3によって取得された対象箇所T2への経路を示すARモデルF7を表示する。よって、操作者Mは、カメラ2の撮影画像と共に対象箇所T2から延びており対象箇所T2への経路を示すARモデルF7を見ることによって対象箇所T2への経路を視覚的に把握することができる。従って、操作を安全且つ容易に行うことができるので、前述した各実施形態と同様の効果が得られる。また、第3実施形態から分かるように、本発明が適用される現場の種類、荷の種類、荷を移動させる方向、及びARモデルが延び出す方向は適宜変更可能である。
(第4実施形態)
続いて、図12を参照しながら第4実施形態に係る操作支援システムについて説明する。図12に示されるように、第4実施形態は、前述した各実施形態とは異なる現場A3に適用される操作支援システムであると共に、重機がマニピュレータNである点が前述の各実施形態とは異なっている。マニピュレータNは、例えば、自走可能なベースマシンN1と、揺動自在とされたアーム部N2と、アーム部N2の先端に設けられた把持部N3とを備える。一例として、ベースマシンN1の内部にはモニタC2と同様のモニタN4が設けられている。マニピュレータNは、把持部N3で取付け資材である荷P3を把持して荷P3を対象箇所T3に移動させ、対象箇所T3には対象箇所位置取得手段3のARマーカー3aが設けられている。
第4実施形態に係る操作支援システムにおいて、表示制御部11は、カメラ2によって撮影された現場A3に、対象箇所T3への経路を示すARモデルF8を付加してモニタC2に表示する。ARモデルF8は、例えば、対象箇所T3から把持部N3によって把持された荷P3に向かって延びており、一例として、対象箇所T3から斜め上方に延び出している。
以上、第4実施形態では、対象箇所位置取得手段3が対象箇所T3の位置を取得し、表示制御部11は、カメラ2によって撮影された画像と共に、対象箇所位置取得手段3によって取得された位置に基づいてARモデルF8を表示する。従って、前述した各実施形態と同様の効果が得られる。この第4実施形態から分かるように、重機の種類は適宜変更可能である。
(第5実施形態)
次に、図13を参照しながら第5実施形態に係る操作支援システムについて説明する。第5実施形態に係る操作支援システムは、吊荷P1の回転を制御する回転制御装置50を備える点が第1実施形態と異なる。例えば、回転制御装置50は、クレーンCの吊り下げ部C7のフックに引っ掛けられた吊荷P1に取り付けられる。一例として、回転制御装置50は、基体51と、メインユニット52と、制御ユニット54とを備えており、メインユニット52はメインフライホイール、第1駆動部及び第2駆動部を有する。
例えば、制御ユニット54は、第1駆動部を制御して鉛直方向に延びる軸線Lの周りにおける吊荷P1の姿勢が所望の姿勢となるようにメインフライホイールを動作させる第1制御と、メインフライホイールの角速度が所定の角速度に達したときに第2駆動部を制御してメインフライホイールの回転方向が逆向きとなるように制御する第2制御と、をこの順で繰り返し行う。
また、前述したように吊荷P1から延びるARモデルF2をモニタC2に表示する場合、回転制御装置50による吊荷P1の回転制御に伴ってARモデルF2が回転してもよい。第5実施形態に係る操作支援システムは、回転制御装置50による吊荷P1の回転制御と、ARモデルF2の回転データとを連動させることによって吊荷P1の回転を自動で制御してもよい。従って、クレーンCによる揚重中に吊荷P1が風等によって回転したとしても、吊荷P1の回転を自動制御することができるため、吊荷P1の移動の操作を一層容易に行うことができる。
以上、本発明に係る操作支援システムの実施形態について説明したが、本発明に係る操作支援システムは、前述の各実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。すなわち、本発明に係る操作支援システムの各部の構成は、各請求項の要旨を変更しない範囲において適宜変更することが可能である。
例えば、荷から延び出す図形(ARモデル)のモニタへの表示態様は適宜変更可能である。図14(a)に示されるように、表示制御部(表示手段)は、前述したARモデルF2に代えて、吊荷P1の外形を投影した図形F11をモニタに表示してもよいし、図14(b)に示されるように、吊り下げ部C7から鉛直下方に延びる線F12をモニタに表示してもよい。
また、図14(c)に示されるように、表示制御部(表示手段)は、吊荷P1の回転円を投影した図形F13をモニタに表示してもよいし、対象箇所(荷降ろし位置)に配置された別の吊荷P4の重心から鉛直上方に延びる線F14をモニタに表示してもよい。このように、モニタに表示する図形の形状及び種類、並びにモニタに表示する図形の場所については適宜変更可能である。
また、前述した実施形態では、表示制御部11がカメラ2によってリアルタイムで撮影される画像にARモデルを付加する例について説明した。しかしながら、表示手段は、予め撮影されている画像にARモデルを付加してもよい。更に、前述したように、カメラ2は、建物B1の屋上B11に限られず、例えば、クレーンのブーム、トロリ又はガーダ等、重機の移動する部分に設置されてもよい。
また、前述した実施形態では、カメラ2がARマーカー3aを撮影することによって対象箇所位置取得手段3が対象箇所T1の位置を取得し、カメラ2がARマーカー4aを撮影することによって荷位置取得手段4が吊荷P1の位置を取得する例について説明した。しかしながら、対象箇所位置取得手段及び荷位置取得手段は、ARマーカー以外の手段によって位置の取得を行ってもよい。例えば、対象箇所位置取得手段及び荷位置取得手段の少なくともいずれかは、GPS、又はトータルステーション等の測量機等によって位置の取得を行ってもよい。更に、ステレオカメラを用いて既存画像の中の既知の特徴点から表示手段がARモデルをモニタに表示してもよい。
また、表示手段は、クレーンの制御情報、又はクレーンに取り付けられたセンサ等によってカメラ2の位置又は向きを取得してARモデルをモニタに表示してもよいし、撮影範囲に目印を設置して目印の情報からカメラ2の位置又は向きを取得してARモデルをモニタに表示してもよい。このように、ARモデルを表示するときに用いられる情報は適宜変更可能である。更に、表示手段は、カメラ2が撮影した画像に画像処理を施して視点を変えた画像をモニタに表示してもよいし、複数の画像を合成した画像をモニタに表示してもよい。
また、前述した実施形態では、吊荷P1がARモデルF1に含まれなくなったときに、警告部12aがARモデルF1の色彩を変更したり音声を出力したりする例について説明した。しかしながら、警告部(警告手段)による警告の手段は適宜変更可能であり、通知部(通知手段)による通知の手段も適宜変更可能である。例えば、通知手段は、吊荷P1がARモデルF1に入ったときに、モニタに表示されている表示物(アイコン等)の色彩を変えたり、音声を出力したり、又は光を発したりすることによって操作者Mに通知してもよい。
また、警告手段は、荷が予め設定された進入禁止範囲に入ったとき、又は当該進入禁止範囲に接近したとき、操作者Mに警告してもよい。この場合、当該進入禁止範囲への荷の侵入を抑制する安全装置を提供することができる。更に、操作支援システムは、荷が当該進入禁止範囲に接近したときに、荷の移動を停止するように重機を制御してもよいし、荷の移動速度を低下させるように重機を制御してもよい。また、操作支援システムは、複数の重機を制御して複数の重機間の衝突を抑制してもよい。更に、操作支援システムは、クレーンC又はマニピュレータN以外の重機にも適用させることが可能である。