JP7424784B2 - 制御装置、作業機械および制御方法 - Google Patents

Description

本開示は、制御装置、作業機械および制御方法に関する。

特許文献１には、モニタ画面表示を可能としつつ、タッチパネル上での誤操作入力を防止できる作業機械用タッチパネルモニタの入力制御方法が開示されている。

特開２０１５―２０２８４１号公報

作業機械の運転席等に取り付けられて、当該作業機械の状態を表示することでオペレータの運転を支援可能な制御装置が知られている。制御装置は、一つのモニタに、複数種類の表示画面を同時に表示できるものがある。表示画面の種類としては、例えば、作業機械の車体を横から見た状態を表示する側面図、作業機械の車体を上から見た状態を表示する上面図、作業機械の車体を正面から見た状態を表示する正面図の他、３Ｄ画面などがある。

このような制御装置の操作性を向上させたいというニーズがある。

上述の課題に鑑みて、本開示は、上記のような制御装置の操作性を向上させることを目的とする。

本開示の一態様によれば、制御装置は、タッチパネルモニタの制御装置であって、複数の表示画面を含む前記タッチパネルモニタに表示するための表示信号を生成する表示信号生成部と、複数の前記表示画面ごとにタッチ操作を受け付けて、当該受け付けたタッチ操作が、前記表示画面の種類ごとに定められた受付可能タッチ操作か否かを判定する判定部と、前記受け付けたタッチ操作が前記受付可能タッチ操作である場合に、前記表示画面に対して前記受け付けたタッチ操作に応じた制御を行う制御部と、を備える。

上記態様によれば、制御装置の操作性を向上させることができる。

第１の実施形態に係る作業機械の全体構成を示す図である。 第１の実施形態に係る作業機械の運転室の構成を示す図である。 第１の実施形態に係る制御装置の機能構成を示す図である。 第１の実施形態に係る制御装置の処理フローを示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、側面図におけるピンチアウトの例を示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、上面図におけるピンチアウトの例を示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、側面図におけるピンチインの例を示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、上面図におけるローテートの例を示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、側面図における１本指スワイプの例を示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、上面図における１本指スワイプの例を示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、側面図および上面図における同時操作の例を示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、３Ｄ画面における２本指スワイプの例を示す図である。 第１の実施形態に係る制御部による制御の例を示す図であって、３Ｄ画面における１本指スワイプおよび２本指スワイプの例を詳しく説明するための図である。

＜第１の実施形態＞

（作業機械の構造）
図１は、第１の実施形態に係る作業機械の構造を示す図である。
油圧ショベルである作業機械１は、作業現場等において土砂などを掘削、整地する。
図１に示すように、油圧ショベルである作業機械１は、走行するための下部走行体１１と、下部走行体１１の上部に設置され、鉛直方向の軸線周りに旋回可能な上部旋回体１２とを有してなる。また、上部旋回体１２には、運転室１２Ａ、作業機１２Ｂ、及び、２つのＧＮＳＳアンテナＮ１、Ｎ２が設けられている。

下部走行体１１は、左側履帯ＣＬと、右側履帯ＣＲとを有する。作業機械１は、左側履帯ＣＬ及び右側履帯ＣＲの回転により前進、旋回、後進する。

運転室１２Ａは、作業機械１のオペレータが搭乗し、操作、操縦を行う場所である。運転室１２Ａは、例えば、上部旋回体１２の前端部左側部分に設置される。作業機械１の運転室１２Ａには、制御装置２が搭載されている。

作業機１２Ｂは、ブームＢＭ、アームＡＲ及びバケットＢＫからなる。ブームＢＭは、上部旋回体１２の前端部に装着される。また、ブームＢＭにはアームＡＲが取り付けられる。また、アームＡＲにはバケットＢＫが取り付けられる。また、上部旋回体１２とブームＢＭとの間にはブームシリンダＳＬ１が取り付けられる。ブームシリンダＳＬ１を駆動することで上部旋回体１２に対しブームＢＭを動作することができる。ブームＢＭとアームＡＲとの間にはアームシリンダＳＬ２が取り付けられる。アームシリンダＳＬ２を駆動することで、ブームＢＭに対しアームＡＲを動作することができる。アームＡＲとバケットＢＫとの間にはバケットシリンダＳＬ３が取り付けられる。バケットシリンダＳＬ３を駆動することでアームＡＲに対しバケットＢＫが動作することができる。
油圧ショベルである作業機械１が具備する上述の上部旋回体１２、ブームＢＭ、アームＡＲ及びバケットＢＫは、作業機械１の可動部の一態様である。

なお、本実施形態に係る作業機械１は、上述の構成を備えるものとして説明したが、他の実施形態においては、作業機械１は必ずしも上述の構成の全てを備えていなくともよい。例えば、他の実施形態に係る作業機械１は、ＧＮＳＳアンテナＮ１、Ｎ２を具備しなくともよい。

（運転室の構成）
図２は、第１の実施形態に係る作業機械の運転室の構成を示す図である。

図２に示すように、運転室１２Ａには、操作レバーＬ１、Ｌ２と、フットペダルＦ１、Ｆ２と、走行レバーＲ１、Ｒ２と、が設けられている。
操作レバーＬ１及び操作レバーＬ２は、運転室１２Ａ内のシートＳＴの左右に配置される。また、フットペダルＦ１及びフットペダルＦ２は、運転室１２Ａ内、シートＳＴの前方、床面に配置される。

運転室前方に向かって左側に配置される操作レバーＬ１は、上部旋回体１２の旋回動作、及び、アームＡＲの掘削／ダンプ動作を行うための操作機構である。また、運転室前方に向かって右側に配置される操作レバーＬ２は、バケットＢＫの掘削／ダンプ動作、及び、ブームＢＭの上げ／下げ動作を行うための操作機構である。

また、走行レバーＲ１、Ｒ２は、下部走行体１１の動作制御、すなわち作業機械１の走行制御を行うための操作機構である。運転室前方に向かって左側に配置される走行レバーＲ１は、下部走行体１１の左側履帯ＣＬの回転駆動に対応する。運転室前方に向かって右側に配置される走行レバーＲ２は、下部走行体１１の右側履帯ＣＲの回転駆動に対応する。なお、フットペダルＦ１、Ｆ２は、それぞれ、走行レバーＲ１、Ｒ２と連動しており、フットペダルＦ１、Ｆ２によって、走行制御することもできる。

制御装置２は、運転室前方に向かって前方右側に設置される。以下、制御装置２の機能について詳細に説明する。なお、他の実施形態においては、制御装置情報提供装置２は、運転室前方に向かって前方左側等に設置されてもよい。

（制御装置の機能構成）
図３は、第１の実施形態に係る制御装置の機能構成を示す図である。
制御装置２はタッチパネルモニタの制御装置であって、図３に示すように、ＣＰＵ２０と、メモリ２１と、モニタ２２と、タッチセンサ２３と、通信インタフェース２４と、ストレージ２５とを備えている。なお、ＣＰＵ２０は、ＦＰＧＡ、ＧＰＵ等、これに類するものであれば如何なる態様のものであってもよい。

ＣＰＵ２０は、制御装置２の動作全体の制御を司るプロセッサである。ＣＰＵ２０が有する各種機能については後述する。

メモリ２１は、いわゆる主記憶装置である。メモリ２１には、ＣＰＵ２０がプログラムに基づいて動作するために必要な命令及びデータが展開される。

モニタ２２は、情報を視認可能に表示可能な一つのディスプレイパネルであって、例えば、液晶ディスプレイや有機ＥＬディスプレイなどである。

タッチセンサ２３は、モニタ２２と一体に形成され、当該モニタ２２に表示された画像の位置を指定可能な入力デバイスである。

通信インタフェース２４は、及び外部サーバとの間で通信するための通信インタフェースである。

ストレージ２５は、いわゆる補助記憶装置であって、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。

次に、ＣＰＵ２０が有する機能について詳しく説明する。ＣＰＵ２０は、所定のプログラムに基づいて動作することで、表示信号生成部２００、判定部２０１、制御部２０２、表示画面特定部２０３、および、タッチ操作種類特定部２０４としての機能を発揮する。
なお、上記所定のプログラムは、制御装置２に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置２は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ（Programmable Array Logic）、ＧＡＬ（Generic Array Logic）、ＣＰＬＤ（Complex Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

表示信号生成部２００は、複数の表示画面を一つのモニタ２２に表示するための表示信号を生成する。複数の表示画面には、以下のようにそれぞれ異なる態様で、作業機械１の状態が表示される。モニタ２２は、表示信号生成部２００が生成する信号に基づいて、表示画面を表示する。作業機械１の状態とは、例えば、作業機１２Ｂの可動部の動作状態や、作業機械１と周辺地形（設計面）との位置関係である。表示画面は、作業機械１の状態が変化するにつれ、それに合わせて逐次更新されて変化する。作業機械１のオペレータは、モニタ２２に表示された各種表示画面を視認しながら、作業機械１の操作、操縦を行う。

本実施形態に係る表示信号生成部２００が表示させる表示画面の種類は、以下のとおりである。
（１）側面図・・・作業機械１の車体およびその周辺地形を側面から見た状態を示す表示画面である。
（２）上面図・・・作業機械１の車体およびその周辺地形を上面から見た状態を示す表示画面である。
（３）正面図・・・作業機械１のバケットＢＫおよびその周辺地形を正面から見た状態を示す表示画面である。
（４）３Ｄ画面・・・作業機械１の車体およびその周辺地形を三次元映像として表示した表示画面である。

判定部２０１は、複数の表示画面ごとにタッチ操作を受け付けて、当該受け付けたタッチ操作が、表示画面の種類ごとに定められた受付可能タッチ操作か否かを判定する。

ここで、本実施形態に係る制御装置が受付可能なタッチ操作の種類は、以下のとおりである。
（ａ）１本指スワイプ・・・モニタ２２の表面上で１本の指を移動させる操作である。
（ｂ）２本指スワイプ・・・モニタ２２の表面上で２本の指の束を移動させる操作である。（ｃ）ピンチイン・・・モニタ２２の表面上で２本の指の間隔を狭めるように移動させる操作である。
（ｄ）ピンチアウト・・・モニタ２２の表面上で２本の間隔を広げるように移動させる操作である。
（ｅ）ローテート・・・モニタ２２の表面上で２本の指の間隔を一定にしたまま回転させる操作である。
なお、２本指スワイプは、少なくとも２点以上のタッチに基づくスワイプ操作の一例である。他の実施形態においては、例えば、タッチペンなどを用いる場合も含め、上記２本指スワイプに準ずる操作であれば如何なる態様のものであってよい。他のタッチ操作についても同様である。

本実施形態において、各表示画面の種類ごとに定められた受付可能タッチ操作は、以下のとおりである。
（ア）側面図の受付可能タッチ操作・・・（ａ）１本指スワイプ、（ｃ）ピンチイン、（ｄ）ピンチアウト
（イ）上面図の受付可能タッチ操作・・・（ａ）１本指スワイプ、（ｃ）ピンチイン、（ｄ）ピンチアウト、（ｅ）ローテート
（ウ）正面図の受付可能タッチ操作・・・（ａ）１本指スワイプ、（ｃ）ピンチイン、（ｄ）ピンチアウト
（エ）３Ｄ画面の受付可能タッチ操作・・・（ａ）１本指スワイプ、（ｂ）２本指スワイプ、（ｃ）ピンチイン、（ｄ）ピンチアウト
上記（ア）～（エ）のように規定される、表示画面の種類と受付可能タッチセンサとの対応関係は、例えば、メモリ２１、またはストレージ２５等に事前に記録されている。

制御部２０２は、ある表示画面の表示領域に受け付けたタッチ操作がその表示画面の受付可能タッチ操作であった場合に、その表示画面に対して受け付けたタッチ操作に応じた制御を行う。

本実施形態において、タッチ操作に応じた制御とは、例えば、以下のとおりである。
（Ａ）１本指スワイプを受け付けた場合の制御・・・表示画面に表示されている画像をスライド移動させる。３Ｄ画面においては、三次元空間内におけるカメラ位置を、所定平面上でスライド移動させる。
（Ｂ）２本指スワイプを受け付けた場合の制御・・・３Ｄ画面において受け付けた場合に、三次元空間内におけるカメラ位置を、所定点を中心に回転移動させる。
（Ｃ）ピンチインを受け付けた場合の制御・・・表示画面に表示されている画像を、画面中心で縮小させる。
（Ｄ）ピンチアウトを受け付けた場合の制御・・・表示画面に表示されている画像を、画面中心で拡大させる。
（Ｅ）ローテートを受け付けた場合の制御・・・表示画面に表示されている画像（上面図）を、車体中心で回転させる。

表示画面特定部２０３は、オペレータから、タッチセンサ２３を介してタッチ操作を受け付けた場合に、当該タッチ操作を受け付けた表示領域における表示画面の種類を特定する。

タッチ操作種類特定部２０４は、タッチセンサ２３を介して受け付けたタッチ操作の種類を特定する。

（制御装置の処理フロー）
図４は、第１の実施形態に係る制御装置の処理フローを示す図である。
図４に示す処理フローは、オペレータによって制御装置２に電源が投入された後、実行される。なお、制御装置２は、作業機械１の電源が投入されたことをきっかけに、自動的に起動するものであってもよい。

まず、ＣＰＵ２０は、ＧＮＳＳアンテナＮ１、Ｎ２および通信インタフェース２４等を介して、作業機械１の位置示す情報を取得する（ステップＳ０１）。ここで、作業機械１の位置を示す情報とは、グローバル座標系で示される三次元の座標情報である。また、ＣＰＵ２０は、取得したＧＮＳＳアンテナＮ１の位置と、ＧＮＳＳアンテナＮ２の位置に基づいて、作業機械１の旋回体の方位を算出する。
なお、制御装置２のストレージ２５には、三次元データとして取得された地形データである設計面が事前に記録されている。ＣＰＵ２０は、この地形データ、及び、ＧＮＳＳアンテナＮ１、Ｎ２に基づく作業機械１の測位情報に基づいて、各表示画面に周辺地形を表示する。

次に、ＣＰＵ２０は、バケットＢＫの刃先位置を計算する（ステップＳ０２）。ここで、ＣＰＵ２０は、シリンダＳＬ１、ＳＬ２、ＳＬ３の各々に取り付けられたセンサ、または、ＩＭＵ等の角度センサを通じて、作業機１２Ｂの各可動部の動作状態、即ち、上部旋回体１２に対するブームＢＭの角度、ブームＢＭに対するアームＡＲの角度、及び、アームＡＲに対するバケットＢＫの角度を計算する。
なお、ストレージ２５には、作業機１２Ｂの各可動部の形状、連結位置、サイズ等が事前に記録されている。作業機１２Ｂの各可動部の形状、連結位置、サイズ等を、以下、諸元情報とも記載する。ＣＰＵ２０は、各可動部の動作状態の計算結果及び地形データに加え、これらの諸元情報を組み合わせて、バケットＢＫの刃先から設計面までの間隔を演算する。なお、他の実施形態において、間隔は、バケットＢＫの刃先以外の部分から設計面までの間隔であってもよい。

次に、ＣＰＵ２０は、ステップＳ０１で取得した位置情報、および、ステップＳ０２で行った作業機１２Ｂの可動部の動作状態の計算結果に基づいて、各表示画面を表示、更新する（ステップＳ０３）。これにより、作業機械１の実際の動作状態が各表示画面に反映される。

次に、ＣＰＵ２０は、オペレータからタッチ操作を受け付けたか否かを判定する（ステップＳ０４）。オペレータからタッチ操作を受け付けていない場合（ステップＳ０４；ＮＯ）、ＣＰＵ２０は、特段の処理を行うことなく処理フローを終了し、上述のステップＳ０１から新たな処理フローを開始する。
他方、オペレータからタッチ操作を受け付けた場合（ステップＳ０４；ＹＥＳ）、ＣＰＵ２０は、以下の処理を行う。

ＣＰＵ２０の表示画面特定部２０３は、タッチ操作を受け付けた位置における表示画面の種類を特定する（ステップＳ０５）。具体的には、表示画面特定部２０３は、タッチセンサ２３を介してタッチを感知したモニタ２２上の位置を示すタッチ座標を取得する。そして、表示画面特定部２０３は、当該タッチ座標が、上述の（１）～（４）のいずれの表示画面の表示領域に属しているかを特定する。表示画面特定部２０３の具体的な処理は、以下のとおりである。まず、表示画面特定部２０３によってタッチの位置が特定された場合、表示画面特定部２０３は、当該位置を示す座標情報（Ｘ、Ｙ）を取得する。表示画面特定部２０３は、座標情報（Ｘ、Ｙ）を取得した時点で、その時点におけるモニタ２２において、どの位置にどの表示画面が表示されているかを取得する。そして、表示画面特定部２０３は、取得した座標情報（Ｘ、Ｙ）に表示されている表示画面が側面図、上面図、正面図、３Ｄ画面のいずれであるか、またはそれ以外の画面であるかを特定する。このようにして、表示画面特定部２０３は、タッチされた位置において、現時点のモニタ２２に表示されている表示画面を特定する。

次に、ＣＰＵ２０のタッチ操作種類特定部２０４は、タッチセンサ２３を介して受け付けたタッチ操作の種類を特定する（ステップＳ０６）。具体的には、タッチ操作種類特定部２０４は、オペレータから受け付けたタッチ位置の数や動きをトレースして、タッチ操作の種類が、上述の（ａ）～（ｅ）のいずれに該当するかを判定する。
例えば、タッチセンサ２３が、モニタ２２上の表面上で少なくとも１点の座標を感知し、感知した座標が所定の方向に移動することを感知した場合に、１本指スワイプと判定してよい。
また、例えば、タッチセンサ２３が、モニタ２２上の表面上で少なくとも２点の座標を感知し、感知した少なくとも２点の座標が同じ所定の方向に移動することを感知した場合に、２本指スワイプと判定してよい。
また、例えば、タッチセンサ２３が、モニタ２２上の表面上で少なくとも２点の座標を感知し、感知した少なくとも２点の座標がお互い近くなる方向に移動することを感知した場合に、ピンチインと判定してもよい。
また、例えば、タッチセンサ２３が、モニタ２２上の表面上で少なくとも２点の座標を感知し、感知した少なくとも２点の座標がお互い離れるなる方向に移動することを感知した場合に、ピンチアウトと判定してもよい。
また、例えば、タッチセンサ２３が、モニタ２２上の表面上で少なくとも２点以上の座標を感知し、感知した少なくとも２点の座標が、距離を所定の値にしたまま、回転する方向に移動することを感知した場合に、ローテートと判定してもよい。
なお、感知した座標が複数ある場合において、複数ある座標が近いものがある場合は、その座標は１点と判断してもよい。
なお、上記において、指を使用した操作の説明を行ったが、他の実施形態においては、タッチペンなど、タッチパネルモニタを感知させるその他の手段によって、操作して感知させてもよい。また、上述の（ａ）～（ｅ）の判定の仕方は、上記の態様に限られることはなく、通常用いられるその他の態様で判定を行ってもよい。

次に、ＣＰＵ２０の判定部２０１は、ステップＳ０４で受け付けたタッチ操作の種類が、表示画面の種類ごとに定められた受付可能タッチ操作であるか否かを判定する（ステップＳ０７）。具体的には、判定部２０１は、上述の（ア）～（エ）に規定された対応情報を参照しながら、ステップＳ０６で特定されたタッチ操作の種類が、ステップＳ０５で特定された表示画面の種類について定められた受付可能タッチ操作に該当するか否かを判定する。

ステップＳ０４で受け付けたタッチ操作の種類が、表示画面の種類ごとに定められた受付可能タッチ操作ではなかった場合（ステップＳ０７；ＮＯ）、ＣＰＵ２０は、特段の処理を行うことなく処理フローを終了し、上述のステップＳ０１から新たな処理フローを開始する。
他方、ステップＳ０４で受け付けたタッチ操作の種類が、表示画面の種類ごとに定められた受付可能タッチ操作であった場合（ステップＳ０７；ＹＥＳ）、ＣＰＵ２０の制御部２０２は、タッチ操作を受け付けた表示画面に対して、当該受け付けたタッチ操作に応じた制御を行う（ステップＳ０８）。具体的には、制御部２０２は、上述の（Ａ）～（Ｅ）のように定められた、タッチ操作の種類に応じた制御を、タッチ操作を受け付けた一つの表示画面に対して反映する。

なお、図４を用いて説明した各処理フローとのうちステップＳ０１、ステップＳ０２は、制御装置２の必須の構成ではなく、他の実施形態においてはこのようなステップを具備しないものであってもよい。

（制御部による制御の例）
図５～図１３は、第１の実施形態に係る制御部による制御の例を示す図である。
以下、図５～図１３を参照しながら、制御部２０２の制御内容について詳しく説明する。

まず、モニタ２２に表示される画像の初期状態の例について説明する。図５～図１３に示すように、モニタ２２に表示される情報は、ガイダンス画像Ｇ０と、３つの表示画面とを含んで構成される。３つの表示画面には、オペレータによる任意の選択により、側面図Ｇ１、上面図Ｇ２、正面図Ｇ３および３Ｄ画面Ｇ４（図１２参照）を表示可能とされる。

側面図Ｇ１、上面図Ｇ２、正面図Ｇ３および３Ｄ画面Ｇ４は、いずれも現在の作業機械１の動作状態、例えば、作業機１２Ｂを構成するブームＢＭ、アームＡＲ、及び、バケットＢＫの姿勢と、周辺地形との位置関係を示す図であって、それぞれ異なる視点から見た状態を示している。

図５を参照しながら、ガイダンス画像Ｇ０について簡単に説明する。
ガイダンス画像Ｇ０は、バケットＢＫの刃先と設計面との間隔を模式的に示す図である。
図５に示すように、ガイダンス画像Ｇ０は、縦方向に配列された複数の指標画像Ｇ４０で構成される。指標画像Ｇ４０は有色表示又は無色表示され、有色表示された指標画像Ｇ４０のうち最も下の指標画像Ｇ４０がバケットＢＫの刃先位置に対応する。
基準位置画像Ｇ４１が付された指標画像Ｇ４０は設計面に対応する。基準位置画像Ｇ４１が付された指標画像Ｇ４０よりも上の指標画像Ｇ４０は、設計面よりも高い位置に対応する。また、基準位置画像Ｇ４１が付された指標画像Ｇ４０よりも下の指標画像Ｇ４０は、設計面よりも低い位置に対応する。
有色表示された指標画像Ｇ４０のうち最も下方のものと基準位置画像Ｇ４１が付された指標画像Ｇ４０との間隔は、バケットＢＫの刃先と設計面との間隔に対応する。即ち、上述した、バケットＢＫの刃先と設計面との間隔の計算結果に基づき、有色表示される指標画像Ｇ４０が決定される。
バケットＢＫの刃先が設計面よりも下方に位置する場合には、基準位置画像Ｇ４１が付された指標画像Ｇ４０よりも下の指標画像Ｇ４０が有色表示される。
有色表示される際の指標画像Ｇ４０の色は、バケットＢＫの刃先と設計面との距離に応じて異なる色とされる。

（ピンチアウト（側面図））
図５は、側面図Ｇ１の表示領域においてピンチアウトの操作を受け付けた場合の制御の例を示している。図５＜操作前＞に示すように、オペレータが側面図Ｇ１の表示領域にて、ピンチアウトのタッチ操作を行ったとする。この場合、図５＜操作後＞に示すように、制御部２０２は、タッチ操作を受け付けた側面図Ｇ１の表示画像を、側面図Ｇ１の画面中心Ｃ１を基準に拡大する。
なお、図中に示した手は、タッチ操作を行うオペレータ自身の手、指の動きを模式的に表したものであり、実際の表示画面に表示される画像ではない。以下の図６～図１２においても同様である。また、図５、図６、図７、図８、図１１の図中に示す画面中心Ｃ１、画面中心Ｃ２、および、作業機械中心Ｃ２’を示す印は、説明のために表示画面上の位置を示したものであって、実際の表示画面に表示される画像ではない。
なお、この場合において、制御部２０２は、ガイダンス画像Ｇ０、上面図Ｇ２および正面図Ｇ３の表示領域に対しては何等の制御を行わない。

（ピンチアウト（上面図））
図６は、上面図Ｇ２の表示領域においてピンチアウトの操作を受け付けた場合の制御の例を示している。図６＜操作前＞に示すように、オペレータが上面図Ｇ２の表示領域にて、ピンチアウトのタッチ操作を行ったとする。この場合、図６＜操作後＞に示すように、制御部２０２は、タッチ操作を受け付けた上面図Ｇ２の表示画像を、上面図Ｇ２の画面中心Ｃ２を基準に拡大する。
なお、この場合において、制御部２０２は、ガイダンス画像Ｇ０、側面図Ｇ１および正面図Ｇ３の表示領域に対しては何等の制御を行わない。

（ピンチイン（側面図））
図７は、側面図Ｇ１の表示領域においてピンチインの操作を受け付けた場合の制御の例を示している。図７＜操作前＞に示すように、オペレータが側面図Ｇ１の表示領域にて、ピンチインのタッチ操作を行ったとする。この場合、図７＜操作後＞に示すように、制御部２０２は、タッチ操作を受け付けた側面図Ｇ１の表示画像を、側面図Ｇ１の画面中心Ｃ１を基準に縮小する。
なお、この場合において、制御部２０２は、ガイダンス画像Ｇ０、上面図Ｇ２および正面図Ｇ３の表示領域に対しては何等の制御を行わない。

（ローテート（上面図））
図８は、上面図Ｇ２の表示領域においてローテートの操作を受け付けた場合の制御の例を示している。図８＜操作前＞に示すように、オペレータが上面図Ｇ２の表示領域にて、ローテートのタッチ操作を行ったとする。この場合、図８＜操作後＞に示すように、制御部２０２は、タッチ操作を受け付けた上面図Ｇ２の表示画像を車体中心に、即ち、上面図Ｇ２における作業機械中心Ｃ２’を基準に回転させる。なお、上面図Ｇ２の表示画像は、上面図Ｇ２のどの領域においてローテートのタッチ操作を行ったとしても、作業機械中心Ｃ２’を基準に回転する。
なお、この場合において、制御部２０２は、ガイダンス画像Ｇ０、側面図Ｇ１および正面図Ｇ３の表示領域に対しては何等の制御を行わない。
また、例えば図８の上面図Ｇ２に重畳表示されたリセットボタンＲＥＳのタッチ操作を受け付けた場合、制御部２０２は、上面図Ｇ２の表示状態を、ローテートのタッチ操作を行う前の状態に戻す制御を行ってもよい。

（１本指スワイプ（側面図））
図９は、側面図Ｇ１の表示領域において１本指スワイプの操作を受け付けた場合の制御の例を示している。図９＜操作前＞に示すように、オペレータが側面図Ｇ１の表示領域にて、１本指スワイプのタッチ操作を行ったとする。この場合、図９＜操作後＞に示すように、制御部２０２は、タッチ操作を受け付けた側面図Ｇ１の表示画像をスライド移動させる。
なお、この場合において、制御部２０２は、ガイダンス画像Ｇ０、上面図Ｇ２および正面図Ｇ３の表示領域に対しては何等の制御を行わない。

（１本指スワイプ（上面図））
図１０は、上面図Ｇ２の表示領域において１本指スワイプの操作を受け付けた場合の制御の例を示している。図１０＜操作前＞に示すように、オペレータが上面図Ｇ２の表示領域にて、１本指スワイプのタッチ操作を行ったとする。この場合、図１０＜操作後＞に示すように、制御部２０２は、タッチ操作を受け付けた上面図Ｇ２の表示画像をスライド移動させる。
なお、この場合において、制御部２０２は、ガイダンス画像Ｇ０、側面図Ｇ１および正面図Ｇ３の表示領域に対しては何等の制御を行わない。

（同時操作の例）
図１１は、側面図Ｇ１の表示領域においてピンチアウトの操作を受け付け、さらに、同時に、上面図Ｇ２の表示領域においてローテートの操作を受け付けた場合の制御の例を示している。図１１＜操作前＞に示すように、オペレータが側面図Ｇ１の表示領域にてピンチアウトのタッチ操作を行い、さらに、同時に、上面図Ｇ２の表示領域にてローテートのタッチ操作を行ったとする。この場合、図１１＜操作後＞に示すように、制御部２０２は、ピンチアウトのタッチ操作を受け付けた側面図Ｇ１の表示画像を、画面中心Ｃ１を基準に拡大させるとともに、ローテートのタッチ操作を受け付けた上面図Ｇ２の表示画像を、作業機械中心Ｃ２’を基準に回転させる。
このように、制御部２０２は、複数の表示画面のそれぞれで同時にタッチ操作を受け付けた場合に、当該タッチ操作を受け付けた表示画面のそれぞれに対し、同時に、各タッチ操作に応じた制御を行う。

なお、同時のタッチ操作を行う表示画面の組み合わせ、および、タッチ操作の種類の組み合わせについては、図１１の例に限られず、任意の組み合わせで受け付け可能である。例えば、側面図Ｇ１で１本指スワイプ、ピンチイン、ピンチアウトのいずれかの操作を受け付けながら、正面図Ｇ３で１本指スワイプ、ピンチイン、ピンチアウトのいずれかの操作を受け付けることが可能である。同様に、上面図Ｇ２で１本指スワイプ、ピンチイン、ピンチアウト、ローテートのいずれかの操作を受け付けながら、正面図Ｇ３で１本指スワイプ、ピンチイン、ピンチアウトのいずれかの操作を受け付けることも可能である。さらに、例えば、側面図Ｇ１で１本指スワイプ、ピンチイン、ピンチアウトのいずれかの操作を受け付けながら、後述の３Ｄ画面Ｇ４で１本指スワイプ、２本指スワイプ、ピンチイン、ピンチアウトのいずれかの操作を受け付けることも可能である。

（２本指スワイプ（３Ｄ画面））
図１２は、３Ｄ画面Ｇ４の表示領域において、２本指スワイプの操作を受け付けた場合の制御の例を示している。図１２＜操作前＞に示すように、オペレータが３Ｄ画面Ｇ４の表示領域にて、２本指スワイプのタッチ操作を行ったとする。この場合、図１２＜操作後＞に示すように、制御部２０２は、タッチ操作を受け付けた３Ｄ画面Ｇ４を映すカメラの三次元空間内におけるカメラ位置を、所定点を中心に回転移動させる。
なお、この場合において、制御部２０２は、ガイダンス画像Ｇ０、側面図Ｇ１および正面図Ｇ３の表示領域に対しては何等の制御を行わない。

図１３を参照しながら、３Ｄ画面Ｇ４に対する２本指スワイプおよび１本指スワイプのタッチ操作と、三次元空間内Ｖにおけるカメラ位置の移動との関係について説明する。
３Ｄ画面Ｇ４の表示領域において２本指スワイプのタッチ操作を受け付けた場合、制御部２０２は、三次元画像を映すカメラＲの向きが常に所定の中心位置Ｏを向くように、三次元空間Ｖにおけるカメラ位置を、中心位置Ｏを中心とする球面ＳＰに沿って移動させる。これにより、オペレータは、中心位置Ｏを画面中心に捉えながら、見る角度を所望に変更することができる。
３Ｄ画面Ｇ４の表示領域において１本指スワイプのタッチ操作を受け付けた場合、制御部２０２は、カメラＲの向きを変更することなく、三次元空間Ｖにおけるカメラ位置を平面ＰＬに沿って移動させる。このようにすることで、三次元空間Ｖにおいて表示させたいエリアを所望に変更することができる。なお、この場合、カメラ位置のＲからＲ’への移動に併せて、中心位置の位置も、ＯからＯ’に平行移動する。
なお、図１３に示す例は、１本指スワイプのタッチ操作、２本指スワイプのタッチ操作のいずれも、オペレータがモニタ２２の横方向にスワイプさせた結果、カメラ位置が、三次元空間Ｖにおける水平方向に移動する例を示している。しかし、オペレータがモニタ２２の縦方向又は斜め方向にスワイプさせた場合には、１本指スワイプのタッチ操作、２本指スワイプのタッチ操作のいずれであっても、カメラ位置は、三次元空間Ｖにおける高さ方向にも移動する。

（その他の表示画面）
なお、制御部２０２は、ガイダンス画像Ｇ０の表示領域で、上述の（ａ）～（ｅ）のいかなるタッチ操作を受け付けたとしても、当該タッチ操作に応じた制御を行わないようにする。また、制御部２０２は、ガイダンス画像Ｇ０の他、例えば、アイコンや、ポップアップ形式のメニューウインドウ等が表示されている領域で、上述の（ａ）～（ｅ）のいかなるタッチ操作を受け付けたとしても、当該タッチ操作に応じた制御を行わないようにする。
なお、上記の制御を実現する上で、図４のステップＳ０５は、より詳細には以下のように実行されてよい。
即ち、オペレータによるタッチ操作を受け付けた場合において（ステップＳ０４；ＹＥＳ）、表示画面特定部２０３は、まず、当該タッチ操作を受け付けたモニタ２２上の位置が、上記（１）～（４）のいずれにも属さない表示領域か否かを判定する。上記（１）～（４）のいずれにも属さない表示領域、即ち、ガイダンス画像Ｇ０、アイコン、メニューウインドウ等の表示領域であった場合には、制御部２０２は、特段の制御を行うことなく処理を終了する。つまり、制御部２０２は、受け付けたタッチ操作に応じた制御を行わないようにする。他方、表示画面特定部２０３は、タッチ操作を受け付けたモニタ２２上の位置が上記（１）～（４）のいずれかに属する表示領域であった場合に、当該表示画面の種類を特定する。
このようにすることで、オペレータが、ガイダンス画像Ｇ０やメニューウインドウへの入力を意図してタッチ操作した場合において、各表示画面（１）～（４）に対する（ａ）～（ｅ）の操作として誤認されることを抑制することができる。

なお、各表示画面の拡大、縮小については、ピンチイン、ピンチアウト操作の他、各表示画面それぞれに重畳表示された専用のボタンをタッチ操作するものとしてもよい。例えば、制御装置２は、図５～図１２の各表示画面に重畳表示された「＋」、「－」のボタンのタッチ操作を受け付けることで、当該表示画面の拡大、縮小を行うものとしてもよい。

なお、モニタ２２に表示される画像は、図５～図１２に示す態様に限定されず、種々の画面構成で表示され得る。例えば、図５～図１２に示す画像は、いずれも、一画面を三分割し、側面図Ｇ１、上面図Ｇ２、正面画像Ｇ３および３Ｄ画面Ｇ４のうちのいずれか３つを含むものとされているが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置２は、一画面を二分割して、側面図Ｇ１、上面図Ｇ２、正面画像Ｇ３および３Ｄ画面Ｇ４のいずれか２つのみを含む態様とされていてもよい。また、他の実施形態に係る制御装置２は、一画面を分割せずに、側面図Ｇ１、上面図Ｇ２、正面画像Ｇ３および３Ｄ画面Ｇ４のいずれか１つのみを含む態様とされていてもよい。また、このような画面の分割数、及び、分割された各表示領域に表示する表示画面の種類をオペレータによって自由にカスタマイズできるものとされていてもよい。

上述した実施形態では、モニタ２２およびタッチセンサ２３は、制御装置２の筐体と一体形成されている、いわゆるタブレット型の端末装置である態様で説明したが、他の実施形態においてはこの態様に限定されない。
他の実施形態に係る制御装置２は、モニタ２２を備えないものであって、制御装置２とは別体のモニタに表示画像を表示させる信号を送信するものであってよい。同様に、他の実施形態に係る制御装置２は、タッチセンサ２３を備えないものであって、制御装置２と別体のタッチセンサからタッチ操作に関する信号を受信するものであってよい。
また、他の実施形態に係る制御装置２は、制御装置２とは別体のモニタおよびタッチセンサと、第１の実施形態に係る制御装置２の構成の一部ずつを備える２台以上の制御装置とからなるシステムから実現されてもよい。

上述した制御装置２の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル、又は差分プログラム等であってもよい。

以上、本開示のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

上述した実施形態では、作業機械１は、油圧ショベルとして説明したが、他の実施形態においては、ダンプトラック、ホイールローダ、ブルドーザなど種々の作業機械に適用可能である。

また、上述した実施形態では、１台の制御装置２が作業機械１に設置されるものとして説明したが、他の実施形態においては、制御装置２の一部の構成を他の制御装置に配置し、２台以上の制御装置からなる制御システムによって実現されてもよい。なお、上述の実施形態にかかる制御装置２も制御システムの一例である。

また、上述した実施形態に係る制御装置２は、作業機械に設置されるものとして説明したが、他の実施形態においては、制御装置２の一部、または全部の構成が作業機械の外部に設置されてもよい。

また、上述した実施形態では、モニタが作業機械に設置されるものとして説明したが、他の実施形態においては、モニタが作業機械の外に設置されるものであってもよい。例えば、作業現場から離れた地点にモニタを儲け、制御装置２は、モニタに表示画面を表示させる信号をインターネットなどのネットワークや無線通信を介して送信するものであってよい。

１ 作業機械、２ 制御装置、２０ ＣＰＵ、２００ 表示信号生成部、２０１ 判定部、２０２ 制御部、２０３ 表示画面特定部、２０４ タッチ操作種類特定部 ２１ メモリ、２２ モニタ、２３ タッチセンサ、２４ 通信インタフェース、２５ ストレージ

Claims (7)

1. タッチパネルモニタの制御装置であって、
   複数の表示画面を含む前記タッチパネルモニタに表示するための表示信号を生成する表示信号生成部と、
   複数の前記表示画面ごとにタッチ操作を受け付けて、当該受け付けたタッチ操作が、前記表示画面の種類ごとに定められた受付可能タッチ操作か否かを判定する判定部と、
   前記受け付けたタッチ操作が前記受付可能タッチ操作である場合に、前記表示画面に対して前記受け付けたタッチ操作に応じた制御を行う制御部と、
   を備え、
   前記表示画面の種類の一つである上面図の前記受付可能タッチ操作には、少なくともスライド操作およびローテート操作が含まれ、
   前記制御部は、
   前記上面図の表示画面に対して前記スライド操作を受け付けた場合に、前記上面図をスライド移動させ、
   前記上面図の表示画面に対して前記ローテート操作を受け付けた場合に、前記上面図内における車体中心の位置にかかわらず前記上面図を車体中心で回転させる、
   制御装置。
2. 前記表示画面の種類の一つである３Ｄ画面の前記受付可能タッチ操作には、少なくとも２点以上のタッチに基づくスワイプ操作が含まれる
   請求項１に記載の制御装置。
3. 前記制御部は、前記３Ｄ画面の表示画面に対して前記２点以上のタッチに基づくスワイプ操作を受け付けた場合には、三次元空間内におけるカメラ位置を、所定点を中心に回転移動させる
   請求項２に記載の制御装置。
4. 前記制御部は、複数の表示画面のそれぞれで同時にタッチ操作を受け付けた場合に、当該タッチ操作を受け付けた表示画面のそれぞれに対し、同時に、各タッチ操作に応じた制御を行う
   請求項１から請求項３のいずれか一項に記載の制御装置。
5. 前記制御部は、所定の表示画面が表示されている領域では、前記タッチ操作に応じた制御を禁止する
   請求項１から請求項４のいずれか一項に記載の制御装置。
6. 請求項１から請求項５のいずれか一項に記載の制御装置を備える
   作業機械。
7. タッチパネルモニタの制御方法であって、
   複数の表示画面を含む前記タッチパネルモニタに表示するための表示信号を生成するステップと、
   複数の前記表示画面ごとにタッチ操作を受け付けて、当該受け付けたタッチ操作が、前記表示画面の種類ごとに定められた受付可能タッチ操作か否かを判定するステップと、 前記受け付けたタッチ操作が前記受付可能タッチ操作である場合に、前記表示画面に対して前記受け付けたタッチ操作に応じた制御を行うステップと、
   を有し、
   前記表示画面の種類の一つである上面図の前記受付可能タッチ操作には、少なくともスライド操作およびローテート操作が含まれ、
   前記制御を行うステップでは、
   前記上面図の表示画面に対して前記スライド操作を受け付けた場合に、前記上面図をスライド移動させ、
   前記上面図の表示画面に対して前記ローテート操作を受け付けた場合に、前記上面図内における車体中心の位置にかかわらず前記上面図を車体中心で回転させる、
   制御方法。

Images