JP7127715B2 - 作業支援システムの制御方法、作業支援システムの制御プログラム - Google Patents

Description

本発明は、作業支援システムの制御方法、作業支援システムの制御プログラムに関し、例えば油圧ショベルに適用することができる。

従来、マシンガイダンスの機能を組み込んだ建設機械（いわゆるＩＣＴ建機である）が提供されている。
ここでマシンガイダンスは、トータルステーション（ＴＳ：Ｔｏｔａｌ Ｓｔａｔｉｏｎ）、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の計測技術を利用して建設機械の操作をサポートする技術である。このマシンガイダンスによれば、オペレータの作業を適切に支援して、作業効率、安全性、作業精度を向上することができる。
このようなＩＣＴ建機に関して、特許文献１には、油圧シリンダのストローク長のずれを補正する構成が開示されている。

特開２０１４－１３７３４３号公報

ところでマシンガイダンスの機能にあっては、後付でセンサ等を取り付けて既存の建設機械に導入することが考えられる。
しかしながらこのように後付によりセンサを配置する場合、センサが正しい位置に配置されていない場合も予測される。またメンテナンス等によりセンサを交換する場合も予測され、この場合も、センサが正しい位置に配置されていない場合が予測される。
ＩＣＴ建機では、このようにセンサが正しい位置に配置されない場合、オペレータの操作を正しく支援することが困難になる恐れがある。

本発明は以上の点を考慮してなされたものであり、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる作業支援システムの制御方法、作業支援システムの制御プログラムを提案することを目的とする。

係る課題を解決するため、本発明の第１の観点に係る作業支援システムの制御方法は、マシンガイダンスの機能によりオペレータの作業を支援する作業支援システムの制御方法において、
前記作業支援システムは、
作業機械の可動部に保持されて、センサにより姿勢情報を取得するセンサ部と、
前記センサ部とのデータ通信により前記センサ部で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
前記作業支援システムの制御方法は、
前記センサ部を備えた前記可動部を、前記作業機械の外部から撮像部により撮像した撮像結果を取得する撮像結果取得ステップと、
前記撮像結果を画像処理して、基準取り付け位置に対する前記センサ部の取り付け誤差を算出する誤差算出ステップと、
前記取り付け誤差により前記姿勢情報を補正する補正ステップとを備える。

当該第１の観点の構成によれば、基準取り付け位置に対するセンサ部の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。

また、本発明の第２の観点に係る作業支援システムの制御プログラムは、演算処理回路による実行により所定の処理手順を実行させる作業支援システムの制御プログラムにおいて、
前記作業支援システムは、
作業機械の可動部に保持されて、センサにより姿勢情報を取得するセンサ部と、
前記センサ部とのデータ通信により前記センサ部で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
前記処理手順は、
前記センサ部を備えた前記可動部を、前記作業機械の外部から撮像部により撮像した撮像結果を取得する撮像結果取得ステップと、
前記撮像結果を画像処理して、基準取り付け位置に対する前記センサ部の取り付け誤差を算出する誤差算出ステップと、
前記取り付け誤差により前記姿勢情報を補正する補正ステップとを備える。

当該第２の観点の構成によれば、基準取り付け位置に対するセンサ部の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。

本発明によれば、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。

本発明の第１実施形態に係る作業支援システムを示す図である。 図１の作業支援システムのブロック図である。 演算部の処理手順を示すフローチャートである。 図３の処理手順の説明に供する図である。 センサ部の位置ずれの説明に供する図である。 本発明の第２実施形態に係る携帯情報端末装置に操作支援に関するアイコンが表示された状態を示す図である。 同第２実施形態に係る撮像可能エリアアイコンが操作されたときの携帯端末装置を示す図である。 同第２実施形態に係る撮像可能エリアにて撮像対象が撮像された状態を示す図である。 本発明の第３実施形態に係るシルエットアイコンが操作されたときの携帯情報端末装置を示す図である。 本発明の第４実施形態に係る撮像例アイコンが操作されたときの携帯情報端末装置を示す図である。 本発明の第５実施形態に係るシルエット選択アイコンが操作されたときの携帯情報端末装置を示す図である。 本発明の第６実施形態に係る携帯情報端末装置に操作支援に関するアイコンが表示された状態を示す図である。 同第６実施形態に係る回動軸推定アイコンが操作されたときの携帯情報端末装置を示す図である。 （ａ）～（ｃ）は同第６実施形態に係るアームの位置を変化させたときの撮像状態を示す図である。 同第６実施形態に係る回動軸の推定の説明に供する図である。

（第１実施形態）図１は、本発明の第１実施形態に係る作業支援システム１を示す図であり、図２は、ブロック図である。
この作業支援システム１は、建設機械（作業機械）である油圧ショベル２において、マシンガイダンスの機能によりこの油圧ショベル２を操作するオペレータの作業を支援する。
ここで油圧ショベル２は、無限軌道により自走する本体３にブーム４、アーム５、バケット６が順次設けられる。なお作業支援システム１による支援対象は、油圧ショベルに限らず、例えば地盤改良に使用する建設機械等、土木、建築の作業に使用される各種建設機械を広く適用することができる。

作業支援システム１は、センサ部１１、通信部１２、携帯情報端末装置１３、通知部１４を備える。
ここでセンサ部１１は、油圧ショベル２の可動部であるアーム５に設けられ、センサにより姿勢情報を取得して通信部１２に出力する。ここで姿勢情報は、可動部であるアーム５の姿勢を検出可能な情報であり、この実施形態では水平方向に対するアーム５の角度情報が適用される。
なおセンサ部は、ブーム４、アーム５、バケット６にそれぞれ設けるようにしてもよく、ブーム４又はバケット６に設けるようにしてもよく、必要に応じて種々の部位に設けることができる。

これにより図２に示すように、センサ部１１は、図示しないバッテリの電力により動作して、センサを備えた検出部２１により３次元の加速度、角速度情報を取得する。また検出部２１で検出した情報を演算部２２で処理することにより姿勢情報を検出し、通信部２３による無線通信のデータ通信により通信部１２に送出する。このようにバッテリの電力により動作して無線通信により姿勢情報を送出することにより、センサ部１１は、電源供給用、データ通信用のケーブルをわざわざ設けることなく、所望する取り付け箇所に簡易に設置することができ、これにより作業支援システム１は、簡易に既存の工作機械にマシンガイダンスの機能を導入することができ、さらにはマシンガイダンスの機能を向上することができる。

より具体的に、検出部２１のセンサには、ＩＭＵ（ＩＮＥＲＴＩＡＬ ＭＥＡＳＵＲＥＭＥＮＴ ＵＮＩＴ）センサが適用され、通信部２３における無線通信には、ＢＬＵＥＴＯＯＴＨ（登録商標）が適用される。なお検出部２１には、姿勢情報を検出可能な種々の構成を広く適用することができ、また無線通信においても、データ通信可能な種々の構成を広く適用することができる。

通信部１２は、この油圧ショベル２の本体に設けられ、センサ部１１とのデータ通信によりセンサ部１１で取得した姿勢情報を収集して携帯情報端末装置１３に出力する。またこれとは逆に携帯情報端末装置１３から出力されるデータを取得して通知部１４に出力する。

通知部１４は、油圧ショベル２の運転席において、オペレータの操作を支援する情報をオペレータに通知する構成であり、この実施形態では、画像表示装置により形成される。このオペレータの操作を支援する情報には、施工目標に対する現在の施工位置等、オペレータの操作を支援可能な種々の情報を適用することができるものの、この実施形態では、基準方向（例えば水平方向）に対するアーム５の角度が適用され、これによりアーム５の傾きを簡易かつ精度良く確認できるように構成される。なお通知部１４は、音声、警報音によりオペレータの操作を支援する情報を通知するようにしてもよく、携帯情報端末装置１３により兼用するようにしてもよい。

携帯情報端末装置１３は、いわゆるスマートフォンやタブレット端末であり、通信部１２を介して得られるセンサ部１１による姿勢情報により、オペレータの操作を支援する情報を算出する。

より具体的に、携帯情報端末装置１３は、表示部３１、撮像部３２、操作部３３、演算部３４、通信部３５を備える。
ここで表示部３１は、液晶表示パネル等の画像表示パネルにより形成され、この携帯情報端末装置１３に係る各種の画像情報を表示し、操作部３３は、この表示部３１に配置されたタッチパネル等により形成され、オペレータの各種の操作を検出する。撮像部３２は、演算部３４の制御によりオペレータの操作に応動して撮像結果を取得する。
通信部３５は、無線通信によるデータ通信により通信部１２との間で姿勢情報、オペレータの操作を支援する情報等を入出力する。

演算部３４は、この作業支援システム１に係るアプリケーションソフトウェアを実行する演算処理回路であり、表示部３１に各種の画像情報を表示し、さらに操作部３３の操作によりこの携帯情報端末装置１３の動作を切り替え、さらには作業支援システム１の動作を切り替える。
演算部３４は、このようにして各部の動作を制御してオペレータによりセットアップの処理が指示されると、図３に示す処理手順を実行し、基準取り付け位置に対するセンサ部１１の取り付け誤差を算出し、センサ部１１で検出される姿勢情報を補正するためのデータを登録する。
演算部３４は、この登録したデータにより通信部１２、３５から入力される姿勢情報を補正し、この補正した姿勢情報をオペレータの操作を支援する情報として送出する。

具体的に演算部３４は、このセットアップの処理を開始すると、表示部３１の表示によりオペレータに誤差算出に供するセンサ部１１の撮像を指示し、撮像部３２を介して得られる撮像結果の画像情報を記録する（ＳＰ１－ＳＰ２－ＳＰ３）（撮像結果取得ステップ）。ここで撮像部３２は、表示部３１の表示により例えば図４に示すように、撮像対象であるセンサ部１１の取り付け誤差を十分に検出可能に、センサ部１１が設けられている可動部であるアーム５の両端回動軸５Ａ、６Ａを含む一定の大きさにより撮像結果の取得を指示する。このように本例では、携帯情報端末装置１３に備えられる撮像部３２で油圧ショベル２（例えばアーム５などの可動部）を撮像することで前記撮像結果を取得可能に構成される。

続いて演算部３４は、取り付け誤差の検出基準である理想取り付け位置（基準取り付け位置）の条件指定を受け付ける（ＳＰ４）。ここで理想取り付け位置は、センサ部１１を正しく位置決めして取り付ける取り付け位置である。演算部３４は、例えば選択可能な理想取り付け位置を表示部３１で表示してセンサ部１１に応じたオペレータの選択によりこの条件の指定を受け付ける。演算部３４は、この条件指定に応じて撮像結果を画像処理して取り付け誤差の検出基準を設定する。図４は、この条件の指定により回動軸５Ａ、６Ａの回動中心５Ｂ、６Ｂを結ぶ直線Ｌ１が取り付け誤差の検出基準に設定された場合の例である。なおこの図４において、センサ部１１による姿勢情報の検出基準の水平線を符号ＬＨにより示す。

続いて演算部３４は、撮像結果を画像処理して理想取り付け位置に係る直線Ｌ１に対するセンサ部１１の取り付け角度を検出することにより、この理想取り付け位置に対するセンサ部１１の取り付け誤差を算出する（ＳＰ５）（誤差算出ステップ）。この図４の例では、センサ部１１が平面視、長方形形状の外形形状により形成され、この長方形形状に係る長辺Ｌ２が直線Ｌ１と並行になる配置が、正しい取り付け位置である。これにより直線Ｌ１に対するセンサ部１１の取り付け角度は０度であり、センサ部１１により正しくアーム５の姿勢情報を検出することができる。

これに対して図５は、図４との対比によりセンサ部１１が位置ずれして傾いて取り付けられている例である。この場合、演算部３４は、直線Ｌ１に対する長辺Ｌ２の角度θ２が検出されることになる。
演算部３４は、このようにして検出した直線Ｌ１に対する長辺Ｌ２の角度θ２を、センサ部１１で検出される姿勢情報を補正するためのデータとして登録する。

これにより演算部３４は、この登録したデータにより通信部１２、３５から入力される姿勢情報を補正し（ＳＰ６）（補正ステップ）、この補正した姿勢情報をオペレータの操作を支援する情報として送出する（ＳＰ７）。
ここでこのようにして角度θ２により配置されたセンサ部１１による姿勢情報が、角度θ３により検出されるものとする。正しい取り付け位置に配置されている場合に検出される角度をθ１とすると、角度θ１、θ２、θ３は、θ１＝θ２＋θ３の関係式により表すことができる。これにより演算部３４は、通信部１２、３５から入力される姿勢情報の角度θ３に、登録したデータによる角度θ２を加算して姿勢情報を補正する。

以上の構成によれば、基準取り付け位置に対するセンサ部の取り付け誤差を算出して姿勢情報を補正することにより、センサが正しい位置に配置されていない場合でも、オペレータの操作を正しく支援することができる。
またさらに情報携帯端末を使用してオペレータによりセットアップすることができ、また撮像と理想取り付け位置の選択操作とによる簡易な操作によりセットアップすることができる。
またセンサ部１１の取り付け位置を修正する必要がないことにより、センサ部１１の取り付け作業を簡易に実行することができ、情報携帯端末の通信機能の利用により正しい姿勢情報を適宜提供することができる。

（第２実施形態）次に、図６、図７を用いて本発明の第２実施形態を説明する。この第２実施形態では、油圧ショベル２の撮像対象を撮像する撮像者（またはオペレータ）が撮像部３２で、図４に示すセンサ部１１が設けられているアーム５（可動部）の両端回動軸５Ａ、６Ａを少なくとも含む油圧ショベル２の撮像対象を撮像する前に、携帯情報端末装置１３の表示部３１に撮像支援情報４０を補助的に表示する構成としている。撮像支援情報４０は、撮像者（またはオペレータ）に対し、前記撮像対象の撮像の仕方がわからない場合に、撮像の仕方を支援する機能を有する。

なお、ここでは撮像者（またはオペレータ）が図示省略した表示部３１に表示された（操作部３３として設けられた）機能拡張アイコンをタッチ操作することで、表示部３１の上方には、撮像エリアアイコンＦ１と、シルエットアイコンＦ２と、撮像例アイコンＦ３と、シルエット選択アイコンＦ４とでなる撮像時における初期画面Ｆが表示されるものとする。この初期画面には、必要に応じて、操作部３３として機能するアイコンＦ１～Ｆ４の選択を指示するようなメッセージを適宜表示してもよい。

この第２実施形態による撮像支援情報４０は、図７に示すように例えば表示部３１に表示された撮像可能エリア情報４１と、同じく表示部３１に表示された撮像可能エリア情報４１に関連する報知情報４２とを含むように構成される。

撮像可能エリア情報４１は、撮像対象を撮像可能な範囲を画像として撮像者（オペレータ）に提示する略矩形状のマーク（目印）であり、撮像者（またはオペレータ）が初期画面Ｆにおいて撮像エリアアイコンＦ１をタッチ操作したときに表示部３１に表示される。撮像可能エリア情報４１は、例えば表示部３１の外縁部分を除いたエリア（例えば最大表示エリアの約８０％を占める表示エリア）に設定される。また、撮像可能エリア情報４１の形状は矩形状に限らず台形形状や平行四辺形等の任意の形状に設定することができる。なお、撮像者（またはオペレータ）が撮像エリアアイコンＦ１をタッチ操作したときにシルエットアイコンＦ２や撮像例アイコンＦ３、シルエット選択アイコンＦ４は非表示となる。

報知情報４２は、例えば「点線の範囲（撮像可能エリア情報４１）に収まるように撮像して下さい」といった文字表示（メッセージ）を適用することができ、撮像可能エリア情報４１の表示と連動して表示される。報知情報４２は、表示部３１における撮像可能エリア情報４１の下方に表示される。そして、撮像者（またはオペレータ）は撮像可能エリア情報４１内に撮像対象２Ａが納められている状態（図８参照）で表示部３１に表示された撮像アイコン（図示省略）をタッチ操作することで前記撮像結果の取得が行われ、その後、演算部３４は、前記理想取り付け位置の条件指定を受け付ける処理を実行する。

このように第２実施形態では、表示部３１に撮像可能エリア情報４１を表示し、報知情報４２を利用して撮像の仕方をわかりやすく報知することで、油圧ショベル２の撮像対象が撮像可能エリア情報４１の内部に収まるように撮像される構成としている。これにより撮像対象の撮像時に撮像画像の歪みが極力抑制されることになり、前記姿勢情報の精度をより高める（オペレータの操作をより正しく支援する）ことができる。

つまり、撮像部３２は、一般的に撮像素子と撮像素子の被写体（撮像対象）側に位置するレンズ（例えば両凸レンズ）とから主に構成されるが、レンズに起因する撮像画像の周縁部分の歪みが生じにくくなり、撮像可能エリア情報４１を採用することで、前記姿勢情報の精度を高めることができる。また、表示部３１に報知情報４２が表示されることで、撮像者（オペレータ）は、撮影の仕方を容易に把握することができる。

（第３実施形態）次に、本発明の第３実施形態を説明する。この第３実施形態では、上述した第２実施形態にて採用した撮像可能エリア情報４１に代えてシルエット画像からなる油圧ショベル２の模範撮像情報４３を採用した構成としている。つまり、この第３実施形態における撮像支援情報４０は、図９に示すように模範撮像情報４３と、当該模範撮像情報４３に関連する報知情報４４とを含むように構成される。

模範撮像情報４３は、油圧ショベル２の所要部（ここでは油圧ショベル２の全体とする）を示すシルエット画像を適用することができ、撮像者（またはオペレータ）が前記初期画面においてシルエットアイコンＦ２をタッチ操作したときに表示部３１（例えば表示部３１の前記外縁部分を除いたエリア）に表示される。なお、撮像者（またはオペレータ）がシルエットアイコンＦ２をタッチ操作したときに撮像エリアアイコンＦ１や撮像例アイコンＦ３、シルエット選択アイコンＦ４は非表示となる。

報知情報４４は、例えば「シルエットに重なるように撮像して下さい」といった文字表示（メッセージ）を適用することができ、模範撮像情報４３の表示と連動して表示される。報知情報４４は、表示部３１における模範撮像情報４３の下側に表示される。そして、撮像者（またはオペレータ）は撮像対象が模範撮像情報４３と概ね重なった状態で前記撮像アイコンをタッチ操作することで前記撮像結果の取得が行われ、その後、演算部３４は、前記理想取り付け位置の条件指定を受け付ける処理を実行する。

このように第３実施形態では、表示部３１に模範撮像情報４３を表示し、報知情報４４を利用して撮像の仕方をわかりやすく報知することで、油圧ショベル２の撮像対象（前記所要部）が模範撮像情報４３と概ね重なるように撮像される構成としている。このように構成した場合であっても、前記姿勢情報の精度をより高めることができるという利点がある。

つまり、撮像部３２は、一般的に撮像素子と撮像素子の被写体（撮像対象）側に位置するレンズ（例えば両凸レンズ）とから主に構成されるが、レンズに起因する撮像画像の周縁部分の歪みが生じにくくなり、模範撮像情報４３を採用することで、前記姿勢情報の精度をより高めることができる。また、表示部３１に報知情報４４が表示されることで、撮像者（オペレータ）は、撮影の仕方を容易に把握することができる。なお、この第３実施形態では、表示部３１に模範撮像情報４３を表示しているが、表示部３１に模範撮像情報４３が表示される際に、第２実施形態で採用した撮像可能エリア情報４１を追加して表示する構成としてもよい。

（第４実施形態）次に、本発明の第４実施形態を説明する。この第４実施形態では、上述した第３実施形態の構成に対して、表示部３１に所定時間だけ模範撮像情報４５を表示する構成としている。

この第４実施形態における撮像支援情報４０は、図１０に示すように模範撮像情報４５と、当該模範撮像情報４５に関連する報知情報４６とを含むように構成される。模範撮像情報４５は、前記第３実施形態にて採用した模範撮像情報４３に対しシルエットの処理が施されていない撮像例画像を適用することができ、撮像者（またはオペレータ）が前記初期画面において撮像例アイコンＦ３をタッチ操作したときに所定時間（例えば５～１０秒間）だけ表示部３１に表示される。所定時間経過後は、表示部３１は撮像対象を撮像可能な画面に自動的に遷移する。なお、撮像者（またはオペレータ）が撮像例アイコンＦ３をタッチ操作したときに撮像エリアアイコンＦ１やシルエットアイコンＦ２、シルエット選択アイコンＦ４は非表示となる。

報知情報４６は、例えば「この撮像例のように撮像して下さい」といった文字表示（メッセージ）を適用することができ、模範撮像情報４５の表示と連動して表示される。報知情報４６は、表示部３１における模範撮像情報４５の下側に表示される。そして、撮像者（またはオペレータ）は撮像対象が模範撮像情報４５と概ね同じであると判断した状態で前記撮像アイコンをタッチ操作することで前記撮像結果の取得が行われ、その後、演算部３４は、前記理想取り付け位置の条件指定を受け付ける処理を実行する。

このように第４実施形態では、表示部３１に模範撮像情報４５を表示し、報知情報４６を利用して撮像の仕方をわかりやすく報知することで、上述した第３実施形態と同様の作用効果を得ることができる。なお、模範撮像情報４５は前記所定時間経過後に自動的に撮像対象を撮像可能な画面に遷移するものであったが、表示部３１に表示された（操作部３３として設けられた）画面復帰アイコン（図示省略）のタッチ操作により撮像対象を撮像可能な画面に遷移する構成としてもよい。

（第５実施形態）次に、本発明の第５実施形態を説明する。この第５実施形態では、上述した第３実施形態にて採用したシルエット画像としての模範撮像情報４３を複数の中から選択できるように構成したものである。

この場合、撮像者（オペレータ）は前記初期画面においてシルエット選択アイコンＦ４をタッチ操作（操作）することで、表示部３１にはシルエット画像である模範撮像情報４３の選択候補が複数表示される。例えばここでは、シルエット選択アイコンＦ４の操作により、選択候補として第１の選択画像４７及び第２の選択画像４８が、表示部３１において上下に並ぶように表示される構成としている。この際、各選択画像４７、４８の表示に連動して、撮像対象に近いものを選んでくださいのごとき文字表示（報知情報）を表示部３１に表示する構成としてもよい。

そして、ここでの詳細図示は省略するが、例えば各選択画像４７、４８のうち撮像者（オペレータ）が第１の選択画像４７を選択した場合（第１の選択画像４７に対応する操作部３３箇所をタッチ操作した場合）、第１の選択画像４７に対応したシルエット画像が上述した第３実施形態（図９）の場合と同様に表示部３１に表示される。すなわち、このことは撮像者（オペレータ）が複数の選択候補（各選択画像４７、４８）のうち、１つの選択候補（例えば第１の選択画像４７）を選択することで、表示部３１には選択された第１の選択画像４７に対応するシルエット画像が表示されることを意味している。

そして、撮像者（オペレータ）は撮像対象が第１の選択画像４７に対応するシルエット画像と概ね重なった状態で前記撮像アイコンをタッチ操作することで前記撮像結果の取得が行われ、演算部３４は、前記理想取り付け位置の条件指定を受け付ける処理を実行する。このように構成した場合であっても、前記第３実施形態と同様の作用効果を得ることができる。

（第６実施形態）次に、図１２～図１５を用いて本発明の第６実施形態を説明する。この第６実施形態では、撮像者が撮像対象（油圧ショベル２の前記所要部）を撮像するにあたって、可動部であるアーム５の回動軸５ａ（回動中心５Ｂ）が撮像者側から不可視状態となっている状況下であっても、前記基準取り付け位置の設定を仮想的にできるようにしたものである。

まず、撮像者が前記機能拡張アイコンをタッチ操作することで、表示部３１の上方には、撮像エリアアイコンＦ１と、シルエットアイコンＦ２と、撮像例アイコンＦ３と、シルエット選択アイコンＦ４と、第１基準点推定アイコンＦ５とでなる初期画面Ｆａが表示されるものとする。なお、この図１２に示す初期画面Ｆａには、必要に応じて、操作部３３として機能する第１基準点推定アイコンＦ５の選択を指示するようなメッセージを適宜表示してもよい。

ここで、撮像者は、アーム５の回動軸５Ａ（回動中心５Ｂ）が撮像者側から視認できる状態であるか確認する。回動軸５Ａ（回動中心５Ｂ）が撮像対象（油圧ショベル２の前記所要部）を撮像する撮像者側から何らかの原因（例えば回動軸５Ａ付近から上方が視界不良）で不可視状態となっている場合には第１基準点推定アイコン（回動軸推定アイコン）Ｆ５をタッチ操作する。図１３は、第１基準点推定アイコンＦ５がタッチ操作された後の表示部３１を示している。この図１３において、アイコンＦ１～Ｆ４は非表示となり表示部３１の下方側には報知情報４９が表示される。報知情報４９は、例えば「撮像対象が画面に収まるように携帯端末を固定しアームのみを動かしながら複数回撮像してください」といった文字表示（メッセージ）を適用することができる。

次に、撮像者は、１回目の撮像を行う。撮像者は、図１４（ａ）に示すように、油圧ショベル２の前記所要部である撮像対象２Ｂを撮像する。ここでの撮像対象２Ｂは、油圧ショベル２の全体とする。その後、撮像者は、図１４（ａ）の状態から携帯情報端末装置１３を不動状態としたまま可動部であるアーム５を少し下げた状態で２回目の撮像を行う（図１４（ｂ）参照）。さらに、撮像者は、図１４（ｂ）の状態から携帯情報端末装置１３を不動状態としたまま可動部であるアーム５を少し手前に動かした状態で３回目の撮像を行う（図１４（ｃ）参照）。なお、３回目の撮像の実施後に、第１基準点推定アイコンＦ５の直下には第１基準点算出アイコンＦ６が表示される。

このように第６実施形態では、ブーム４、アーム５、バケット６のうちアーム５のみが可動するものとし、アーム５は、アーム５の操作時に位置が変化しない上述した回動中心５Ｂと、アーム５とバケット６との連結箇所付近に設けられ、アーム５の操作時に位置が変化する上述した回動中心６Ｂとを備えることになる。ここで、この第６実施形態における回動中心５Ｂ、６Ｂは、後述する特許請求の範囲に記載されている第１、第２基準点にそれぞれ相当し、以下、回動中心５Ｂを第１基準点５Ｂ、回動中心６Ｂを第２基準点６Ｂとして説明する。

次に、撮像者は、第１基準点算出アイコンＦ６をタッチ操作する。第１基準点算出アイコンＦ６のタッチ操作によって、表示部３１には図１５に示すように撮像対象２Ｂと撮像対象２Ｃと撮像対象２Ｄとが重なった状態の合成撮像画像される。ここで、アーム５とバケット６との連結箇所付近に設けられるバケット６の第２基準点６Ｂについて、撮像対象２Ｂに対応する第２基準点６Ｂを第１仮想点Ｐ１とし、撮像対象２Ｃに対応する第２基準点６Ｂを第２仮想点Ｐ２とし、撮像対象２Ｄに対応する第２基準点６Ｂを第３仮想点Ｐ３とする。

演算部３４は、アーム５を操作して油圧ショベル２の前記所要部を撮像することで得られる３箇所の第２基準点６Ｂ（つまり各仮想点Ｐ１～Ｐ３）を通る円Ｃの中心点Ｐ４を円の方程式を利用して演算する。演算部３４は、当該円Ｃの中心点Ｐ４をアーム５の第１基準点５Ｂとして仮想的に定める処理を実行する。

次に、演算部３４は、前記基準取り付け位置の条件指定の処理に移行する。ここでは、前記第１実施形態と同様に、演算部３４は、第１基準点５Ｂと、第２基準点６Ｂとを結ぶ直線Ｌを前記基準取り付け位置に設定する処理を実行する。その後、演算部３４は、前記基準取り付け位置に対するセンサ部１１の取り付け誤差を算出するとともに前記姿勢情報を補正し、この補正した姿勢情報をオペレータの操作を支援する情報として油圧ショベル２側に送出する処理を実行することになる。

なお、この第６実施形態のように第１基準点５Ｂを仮想的に定める場合、撮像対象２Ｂ～２Ｄの撮像に加えて、別途、新たな撮像対象を撮像することは不要であり、撮像対象２Ｂ～２Ｄの３つの画像うち何れか１つの画像（例えば撮像対象２Ｂの画像）を用いて、前記基準取り付け位置の設定、前記取り付け誤差の算出、前記姿勢情報の補正、補正した前記姿勢情報の油圧ショベル２側への送出処理を行えばよい。また、上述の撮像対象２Ｂ～２Ｄは、アーム５が一時的に静止しているときの状態を撮像するものであったが、アーム５が可動しているときの状態をある一定時間毎に複数回（例えば３回以上）撮像するものであってもよい。

（他の実施形態）
以上、本発明の実施に好適な具体的な構成を詳述したが、本発明は、本発明の趣旨を逸脱しない範囲で、上述の実施形態の構成を種々に変更することができる。

すなわち上述の各実施形態では、携帯情報端末装置側で姿勢情報を補正する場合について述べたが本発明はこれに限らず、油圧ショベル側で実行するようにしてもよい。

また上述の各実施形態では、アーム５の傾きによりオペレータの操作を支援する情報を提供する場合について述べたが本発明はこれに限らず、施工目標までの必要可動量によりオペレータの操作を支援する情報を提供する場合等に広く適用することができる。

また上述の各実施形態では、油圧ショベル２の操作を支援する情報を提供するものであったが、油圧ショベル２以外の作業機械、例えば農業用の作業機械の操作を支援する情報を提供するものであってもよい。

また上述の第６実施形態では、撮像者側から視認不可能となっているアーム５の回動中心（第１基準点）５Ｂを推定する例について説明したが、例えばセンサ部がブーム４やバケット６にも装着（固定）されている状況下にて、可動部であるブーム４の下端側に位置する回動中心が何らかの原因（例えば油圧ショベル２の操縦室で隠蔽されること）で撮像者側から視認不可能となっている場合や、あるいは可動部であるバケット６の回動中心６Ｂが撮像者側から視認不可能となっている場合にも適用可能であることは言うまでもない。

また、上述の第６実施形態では、３つの撮像対象２Ｂ～２Ｄの画像を用いて第１基準点５Ｂを推定するものであったが、４つ以上の撮像対象の画像を用いて第１基準点５Ｂを推定してもよい。なお、上述の第６実施形態では、図１４に示すようにアーム５を段階的に動かして画像を撮像していたが、アーム５を連続的に動かしたときの画像を３つ以上撮像してもよい。

１ 作業支援システム
２ 油圧ショベル
２Ａ 撮像対象
３ 本体
４ ブーム
５ アーム
５Ａ 回動軸
５Ｂ 回動中心（第１基準点）
６ バケット
６Ａ 回動軸
６Ｂ 回動中心（第２基準点）
１１ センサ部
１２、２３、３５ 通信部
１３ 携帯情報端末装置
１４ 通知部
２１ 検出部
２２、３４ 演算部
３１ 表示部
３２ 撮像部
３３ 操作部
４０ 撮像支援情報
４１ 撮像可能エリア情報
４２、４４、４６ 報知情報
４３、４５ 模範撮像画像
４７ 第１の選択画像
４８ 第２の選択画像
Ｃ 円
Ｆ 初期画面
Ｆ１ 撮像エリアアイコン
Ｆ２ シルエットアイコン
Ｆ３ 撮像例アイコン
Ｆ４ シルエット選択アイコン
Ｆ５ 第１基準点推定アイコン
Ｆ６ 第１基準点算出アイコン
Ｌ 直線
Ｐ４ 円の中心点

Claims (10)

1. マシンガイダンスの機能によりオペレータの作業を支援する作業支援システムの制御方法において、
   前記作業支援システムは、
   作業機械の可動部に保持されて、センサにより姿勢情報を取得するセンサ部と、
   前記センサ部とのデータ通信により前記センサ部で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
   前記作業支援システムの制御方法は、
   前記センサ部を備えた前記可動部を、前記作業機械の外部から撮像部により撮像した撮像結果を取得する撮像結果取得ステップと、
   前記撮像結果を画像処理して、基準取り付け位置に対する前記センサ部の取り付け誤差を算出する誤差算出ステップと、
   前記取り付け誤差により前記姿勢情報を補正する補正ステップとを備える
   作業支援システムの制御方法。
2. 前記携帯情報端末装置に備えられる前記撮像部で前記可動部を撮像することで前記撮像結果を取得可能であり、
   前記撮像部で前記可動部を撮像する前に、前記携帯情報端末装置の表示部に撮像支援情報を表示する
   請求項１記載の作業支援システムの制御方法。
3. 前記撮像支援情報は、前記表示部に表示された撮像可能エリア情報と、前記表示部に表示された前記作業機械の模範撮像情報とのうち少なくとも一方を含む
   請求項２記載の作業支援システムの制御方法。
4. 前記表示部には、前記撮像可能エリア情報または前記模範撮像情報に関連する報知情報が表示される
   請求項３記載の作業支援システムの制御方法。
5. 前記模範撮像画像は、シルエット画像である
   請求項３または請求項４記載の作業支援システムの制御方法。
6. 前記模範撮像画像は、前記表示部に表示された模範撮像アイコンを操作したときに所定時間だけ前記表示部に表示される
   請求項３または請求項４記載の作業支援システムの制御方法。
7. 前記表示部に表示されたシルエット選択アイコンを操作することで前記表示部に前記シルエット画像の選択候補が複数表示され、
   複数の選択候補のうち１つの選択候補を選択することで、前記表示部には選択された前記シルエット画像が表示される
   請求項５記載の作業支援システムの制御方法。
8. 前記可動部は、前記可動部の操作時に位置が変化しない第１基準点と、前記可動部の操作時に位置が変化する第２基準点とを備え、
   前記可動部を操作して前記作業機械の所要部を撮像することで得られる３箇所以上の前記第２基準点を通る円の中心点を前記第１基準点として仮想的に定める演算部を備える
   請求項１記載の作業支援システムの制御方法。
9. 前記演算部は、前記作業機械の所要部を撮像する撮像者側から不可視状態となっている前記第１基準点と、前記第２基準点と、を結ぶ直線を、仮想的な前記基準取り付け位置に設定する
   請求項８記載の作業支援システムの制御方法。
10. 演算処理回路による実行により所定の処理手順を実行させる作業支援システムの制御プログラムにおいて、
    前記作業支援システムは、
    作業機械の可動部に保持されて、センサにより姿勢情報を取得するセンサ部と、
    前記センサ部とのデータ通信により前記センサ部で取得した前記姿勢情報を取得し、前記姿勢情報に基づいてオペレータの操作を支援する情報を前記オペレータに通知する携帯情報端末装置とを備え、
    前記処理手順は、
    前記センサ部を備えた前記可動部を、前記作業機械の外部から撮像部により撮像した撮像結果を取得する撮像結果取得ステップと、
    前記撮像結果を画像処理して、基準取り付け位置に対する前記センサ部の取り付け誤差を算出する誤差算出ステップと、
    前記取り付け誤差により前記姿勢情報を補正する補正ステップとを備える
    作業支援システムの制御プログラム。
    

Images