JP6913630B2 - ホイールローダの制御システム、その制御方法およびホイールローダの制御方法 - Google Patents

Description

本発明は、ホイールローダの制御システム等に関する。

従来より、ある場所から他の場所へ土類、岩石類、および他の物質（積込対象物とも称する）を移動するためにホイールローダが用いられる。例えばホイールローダによって、別の運搬機械、例えばダンプトラックに土類、岩石類、および／または他の物質を積載し、その後、ダンプトラックによって廃棄場所までその物質を運搬することができる。

一方で、ホイールローダには、掘削、積込等の作業を実行する作業機が設けられている。一般的に、作業者はホイールローダの前方に設けられた作業機の状態を見ながら掘削、積込等の作業を実行するが、作業機自体が作業者の視界を遮る場合もあり、その領域が見えない結果、作業機の作業効率の低下を招いていた。

この点で、特許文献１には、油圧ショベルの周囲にカメラを配置して撮像し、上方視点画像を生成することにより油圧ショベルの周囲確認を補助する方式が示されている。

特開２０１５−２１２４６号公報

しかしながら、上記特許文献１に示される方式は、油圧ショベルの周囲を監視することを目的として上方視点画像が表示されるため作業者の視界とは異なり、作業者が作業機を直観的に操作することは難しく、作業効率を改善する点で不十分であった。

本発明は、上記の課題を解決するためのものであって、作業効率を改善することが可能なホイールローダの制御システム、その制御方法およびホイールローダの制御方法を提供することを目的とする。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

ある局面に従うホイールローダの制御システムであって、表示部と、ホイールローダの作業機あるいは積込対象車両のベッセルの少なくとも一部を透過する透過画像を表示部に表示する制御部とを備える。

本発明によれば、制御部は、作業機あるいは積込対象車両のベッセルの少なくとも一部を透過する透過画像を表示部に表示するため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、制御部は、作業機のバケットあるいはベッセルの外形線を透過画像に合成して表示部に表示する。上記によれば、作業機のバケットあるいはベッセルの外形線を透過画像に合成して表示部に表示するため、外形形状を容易に把握することが可能であり、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、制御部は、バケットの側面視の外形線をバケット内の透過画像に合成して表示部に表示する。上記によれば、バケットの側面視の外形線をバケット内の透過画像に合成して表示部に表示するため、作業者による側面視からの作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、制御部は、運転席視点のバケットの外形線をバケット内の透過画像に合成して表示部に表示する。上記によれば、運転席視点のバケットの外形線をバケット内の透過画像に合成して表示部に表示するため、作業者による運転席視点からの作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、制御部は、表示部上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する遮断領域抽出部と、遮断領域抽出部により抽出された遮断領域の外形線を境界にして、遮断領域の外形線内の領域について、遮断領域よりも作業者の視線の先にある透過画像を合成して表示部に表示する表示制御部とを含む。上記によれば、表示制御部は、遮断領域よりも作業者の視線の先にある透過画像を合成して表示部に表示するため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、表示部は、光学透過型の表示部である。上記によれば、光学透過型の表示部に遮断領域よりも作業者の視線の先にある透過画像が合成されて表示されるため、作業者による作業機のより直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、遮断領域抽出部は、作業者の操作指示に基づいて遮断領域の少なくとも一部を抽出する。上記によれば、作業者の操作指示に基づいて遮断領域が特定されるため遮断領域を抽出する際の画像解析の処理負荷を軽減することが可能である。

好ましくは、ホイールローダの制御システムは、画像データを取得する撮像部と、撮像部で取得した画像データに基づいて遮断領域よりも作業者の視線の先にある透過画像を抽出する画像抽出部とをさらに備える。表示制御部は、遮断領域抽出部により抽出された遮断領域の外形線を境界にして、遮断領域の外形線内の領域について、画像抽出部により抽出された透過画像を合成して表示部に表示する。上記によれば、画像データに基づいて透過画像を抽出するため遮断領域よりも作業者の視線の先にある実際の透過画像が合成されるため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、遮断領域抽出部は、バケットによる掘削時において、作業機のバケットにより表示部上における運転席視点の作業者の視界が遮断される遮断領域を抽出する。画像抽出部は、掘削時において、抽出された遮断領域よりも作業者の視線の先にあるバケット内の透過画像を抽出する。表示制御部は、掘削時において、遮断領域抽出部により抽出されたバケットの外形線を境界にして、バケットの外形線内の領域について、画像抽出部により抽出されたバケット内の透過画像を合成して表示部に表示する。上記によれば、掘削時において、バケット内の透過画像が合成されるため、作業者による掘削時における作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、作業機は、バケットと車両本体とを接続する作業機リンクを含む。遮断領域抽出部は、ベッセルに対する積込時において、作業機リンクにより表示部上における運転席視点の作業者の視界が遮断される遮断領域を抽出する。画像抽出部は、積込時において、抽出された遮断領域よりも作業者の視線の先にあるベッセルの一部の透過画像を抽出する。表示制御部は、積込時において、遮断領域抽出部により抽出された作業機リンクの外形線を境界にして、作業機リンクの外形線内の領域について、画像抽出部により抽出された透過画像を合成して表示部に表示する。上記によれば、積込時において、ベッセルの透過画像が合成されるため、作業者による積込時における作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、遮断領域抽出部は、バケットによる排土時において、ベッセルにより表示部上における運転席視点の作業者の視界が遮断される遮断領域を抽出する。画像抽出部は、排土時において、抽出された遮断領域よりも作業者の視線の先にあるベッセル内の透過画像を抽出する。表示制御部は、排土時において、遮断領域抽出部により抽出されたベッセルの外形線を境界にして、ベッセルの外形線内の領域について、画像抽出部により抽出されたベッセル内の透過画像を合成して表示部に表示する。上記によれば、排土時において、ベッセル内の透過画像が合成されるため、作業者による排土時における作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

好ましくは、遮断領域抽出部は、バケットによる排土時において、バケットにより表示部上における運転席視点の作業者の視界が遮断される遮断領域をさらに抽出する。画像抽出部は、排土時において、抽出された遮断領域よりも作業者の視線の先にあるバケット内の透過画像をさらに抽出する。表示制御部は、排土時において、遮断領域抽出部により抽出されたバケットの外形線を境界にして、バケットの外形線内の領域について、画像抽出部により抽出されたバケット内の透過画像をさらに合成して表示する。上記によれば、排土時において、バケット内の透過画像が合成されるため、作業者による排土時における作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

ある局面に従うホイールローダの制御システムの制御方法であって、撮像した画像データを入力するステップと、画像データのうち作業機あるいは積込対象車両の少なくとも一部によりホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出するステップと、抽出された遮断領域よりも作業者の視線の先にある透過画像を合成して画像合成データを作成するステップと、画像合成データを表示部に表示するステップとを備える。

本発明の制御システムの制御方法によれば遮断領域よりも作業者の視線の先にある透過画像を合成して表示部に表示するため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

ある局面に従うホイールローダの制御方法であって、撮像した画像データを取得するステップと、画像データのうち作業機あるいは積込対象車両の少なくとも一部によりホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出するステップと、抽出された遮断領域よりも作業者の視線の先にある透過画像を合成して画像合成データを作成するステップと、画像合成データを表示部に表示するステップとを備える。

本発明のホイールローダの制御方法によれば、遮断領域よりも作業者の視線の先にある透過画像を合成して表示部に表示するため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。

本発明のホイールローダの制御システム、その制御方法およびホイールローダの制御方法は、作業効率を改善することが可能である。

実施形態１に基づく作業処理の概要を説明する図である。 実施形態１に基づくホイールローダ１の外観図である。 実施形態１に基づくホイールローダ１の構成を示す模式図である。 実施形態１に従う積込対象車両１４０の外観構成図である。 実施形態１に基づくホイールローダ１の制御部１０の機能ブロックを説明する図である。 実施形態１に基づくカメラ４０で撮像した画像データを説明する図である。 実施形態１に基づくカメラ４５で撮像した画像データを説明する図である。 実施形態１に基づく表示部５０に表示されるバケットを説明する図である。 実施形態１に基づく透過画像の合成表示に関する処理を説明するフロー図である。 実施形態１に基づくバケット７を横から見た場合の画像データを説明する図である。 実施形態１に基づくカメラ４６，４７について説明する図である。 実施形態１に基づく表示部５０に表示される別アングルのバケットを説明する図である。 実施形態１の変形例に基づくホイールローダ１Ａの外観図である。 実施形態１の変形例に基づくカメラ４０およびカメラ４１の撮像範囲を説明する図である。 実施形態１の変形例に基づくホイールローダ１Ａの制御部１０Ａの機能ブロックを説明する図である。 実施形態１の変形例に基づく遮断領域抽出部１０１における作業状態に基づいて遮断領域を抽出する対象を特定するフロー図である。 実施形態１の変形例に基づく積込作業時におけるカメラ４０で撮像した画像データを説明する図である。 実施形態１の変形例に基づく積込作業時におけるカメラ４１で撮像した画像データを説明する図である。 実施形態１の変形例に基づく積込作業時における表示部５０に表示される画像を説明する図である。 実施形態１の変形例に基づく排土作業時におけるカメラ４０で撮像した画像データを説明する図である。 実施形態１の変形例に基づく排土作業時におけるカメラ１５１で撮像した画像データを説明する図である。 実施形態１の変形例に基づく排土作業時における表示部５０に表示される画像を説明する図である。 実施形態２に基づくホイールローダ１の制御部１０Ｂの機能ブロックを説明する図である。 実施形態２に基づくホイールローダ１をモデル化した状態を説明する図である。 実施形態３に基づく表示部およびカメラの撮像範囲を説明する図である。 実施形態３に基づく表示部５０＃の一例を説明する図である。

以下、実施形態について図に基づいて説明する。なお、以下の説明において、「上」「下」「前」「後」「左」「右」とは、運転席に着座した作業者を基準とする用語である。また、ホイールローダについて、また、「積込対象車両」の一例であるダンプトラックについて、図面を参照しながら説明する。

（実施形態１）
＜作業処理＞
図１は、実施形態１に基づく作業処理の概要を説明する図である。

図１には、一例として、砕石場、鉱山などの土木現場でホイールローダおよび積込対象車両が配置されている場合の模式的構成が示されている。

土木現場には、積込対象物Ｘが示されている。
ホイールローダ１は、堆積された土砂等の積込対象物Ｘを掘削する掘削作業および積込対象車両１４０に積み込む積込作業を実行する。

ホイールローダ１は、積込対象物Ｘを掘削する掘削作業をした後、積込対象車両１４０に正対するように地点Ｖまで旋回しながら後進する。そして、地点Ｖから積込対象車両１４０に対して前進して、積込対象車両１４０に対して積込対象物Ｘを積み込む積込作業を実行する。積込対象車両１４０は、ホイールローダ１における積込作業が効率的に行えるように予め指定された位置に配置されている。なお、ホイールローダ１のルーフ側にはカメラ４０が配置されている。ここでは、カメラ４０が１つ設けられている場合が示されているが複数台配置することが望ましい。

＜ホイールローダおよび積込対象車両の全体構成＞
図２は、実施形態１に基づくホイールローダ１の外観図である。

図３は、実施形態１に基づくホイールローダ１の構成を示す模式図である。
図２および図３に示されるように、ホイールローダ１は、車輪４ａ，４ｂが回転駆動することにより自走可能であるとともに、作業機３を用いて所望の作業を行うことができる。

ホイールローダ１は、車体フレーム２、作業機３、車輪４ａ，４ｂ、運転室５を備えている。

車体フレーム２は、前車体部２ａと後車体部２ｂとを有している。前車体部２ａと後車体部２ｂとは互いに左右方向に揺動可能に連結されている。

前車体部２ａと後車体部２ｂとに渡って一対のステアリングシリンダ１１ａ，１１ｂが設けられている。ステアリングシリンダ１１ａ，１１ｂは、ステアリングポンプ１２（図３参照）からの作動油によって駆動される油圧シリンダである。ステアリングシリンダ１１ａ，１１ｂが伸縮することによって、前車体部２ａが後車体部２ｂに対して揺動する。これにより、車両の進行方向が変更される。

なお、図２および図３では、ステアリングシリンダ１１ａ，１１ｂの一方のみを図示しており他方を省略している。

前車体部２ａには、作業機３および一対の車輪４ａが取り付けられている。作業機３は、作業機ポンプ１３（図３参照）からの作動油によって駆動される。作業機３は、ブーム６と、一対のリフトシリンダ１４ａ，１４ｂと、バケット７と、ベルクランク９と、バケットシリンダ１５とを有する。

ブーム６は、前車体部２ａに回転可能に支持されている。リフトシリンダ１４ａ，１４ｂの一端は前車体部２ａに取り付けられている。リフトシリンダ１４ａ，１４ｂの他端は、ブーム６に取り付けられている。リフトシリンダ１４ａ，１４ｂが作業機ポンプ１３からの作動油によって伸縮することによって、ブーム６が上下に揺動する。

なお、図２および図３では、リフトシリンダ１４ａ，１４ｂのうちの一方のみを図示しており、他方は省略している。

バケット７は、ブーム６の先端に回転可能に支持されている。バケットシリンダ１５の一端は前車体部２ａに取り付けられている。バケットシリンダ１５の他端はベルクランク９を介してバケット７に取り付けられている。バケットシリンダ１５が、作業機ポンプ１３からの作動油によって伸縮することによって、バケット７が上下に揺動する。

本例においては、バケット７と、前車体部２ａとの間を連結するブーム６、リフトシリンダ１４ａ，１４ｂ等を作業機リンクとも称する。

後車体部２ｂには、運転室５及び一対の車輪４ｂが取り付けられている。運転室５は、車体フレーム２の上部に載置されており、作業者が着座するシートや、後述する操作部８などが内装されている。

また、図３に示すように、ホイールローダ１は、駆動源としてのエンジン２１、走行装置２２、作業機ポンプ１３、ステアリングポンプ１２、操作部８、制御部１０などを備えている。

エンジン２１は、ディーゼルエンジンであり、シリンダ内に噴射する燃料量を調整することによりエンジン２１の出力が制御される。この調整は、エンジン２１の燃料噴射ポンプ２４に付設された電子ガバナ２５が制御部１０によって制御されることで行われる。ガバナ２５としては、一般的にオールスピード制御方式のガバナが用いられ、エンジン回転数が、後述するアクセル操作量に応じた目標回転数となるように、負荷に応じてエンジン回転数と燃料噴射量とを調整する。すなわち、ガバナ２５は目標回転数と実際のエンジン回転数との偏差がなくなるように燃料噴射量を増減する。エンジン回転数は、エンジン回転数センサ９１によって検出される。エンジン回転数センサ９１の検出信号は、制御部１０に入力される。

走行装置２２は、エンジン２１からの駆動力により車両を走行させる装置である。走行装置２２は、トルクコンバータ装置２３、トランスミッション２６、及び上述した車輪４ａ及び車輪４ｂなどを有する。

トルクコンバータ装置２３は、ロックアップクラッチ２７とトルクコンバータ２８を有している。ロックアップクラッチ２７は、連結状態と非連結状態とに切換可能である。ロックアップクラッチ２７が非連結状態である場合には、トルクコンバータ２８が、オイルを媒体としてエンジン２１からの駆動力を伝達する。ロックアップクラッチ２７が連結状態である場合には、トルクコンバータ２８の入力側と出力側とが直結される。ロックアップクラッチ２７は、油圧作動式のクラッチであり、ロックアップクラッチ２７への作動油の供給がクラッチ制御弁３１を介して制御部１０によって制御されることにより、連結状態と非連結状態とが切り換えられる。

トランスミッション２６は、前進走行段に対応する前進クラッチＣＦと、後進走行段に対応する後進クラッチＣＲとを有している。前進クラッチＣＦおよび後進クラッチＣＲの連結状態・非連結状態が切り換えられることによって、車両の前進と後進とが切り換えられる。前進クラッチＣＦおよび後進クラッチＣＲが共に非連結状態のときは、車両は中立状態となる。また、トランスミッション２６は、複数の速度段に対応した複数の速度段クラッチＣ１−Ｃ４を有しており、減速比を複数段階に切り換えることができる。例えば、このトランスミッション２６では、４つの速度段クラッチＣ１−Ｃ４が設けられており、速度段を第１速から第４速までの４段階に切る換えることができる。各速度段クラッチＣ１−Ｃ４は、油圧作動式の油圧クラッチである。図示しない油圧ポンプからクラッチ制御弁３１を介して速度段クラッチＣ１−Ｃ４へ作動油が供給される。クラッチ制御弁３１が制御部１０によって制御されて、速度段クラッチＣ１−Ｃ４への作動油の供給が制御されることにより、各速度段クラッチＣ１−Ｃ４の連結状態及び非連結状態が切り換えられる。

トランスミッション２６の出力軸には、トランスミッション２６の出力軸の回転数を検出するＴ／Ｍ出力回転数センサ９２が設けられている。Ｔ／Ｍ出力回転数センサ９２からの検出信号は、制御部１０に入力される。制御部１０は、Ｔ／Ｍ出力回転数センサ９２の検出信号に基づいて車速を算出する。従って、Ｔ／Ｍ出力回転数センサ９２は車速を検出する車速検出部として機能する。なお、トランスミッション２６の出力軸ではなく他の部分の回転速度を検出するセンサが車速センサとして用いられてもよい。トランスミッション２６から出力された駆動力は、シャフト３２などを介して車輪４ａ，４ｂに伝達される。これにより、車両が走行する。トランスミッション２６の入力軸の回転数は、Ｔ／Ｍ入力回転数センサ９３によって検出される。Ｔ／Ｍ入力回転数センサ９３からの検出信号は、制御部１０に入力される。

エンジン２１の駆動力の一部は、ＰＴＯ軸３３を介して作業機ポンプ１３及びステアリングポンプ１２に伝達される。作業機ポンプ１３及びステアリングポンプ１２は、エンジン２１からの駆動力によって駆動される油圧ポンプである。作業機ポンプ１３から吐出された作動油は、作業機制御弁３４を介してリフトシリンダ１４ａ，１４ｂ及びバケットシリンダ１５に供給される。また、ステアリングポンプ１２から吐出された作動油は、ステアリング制御弁３５を介してステアリングシリンダ１１ａ，１１ｂに供給される。このように、作業機３は、エンジン２１からの駆動力の一部によって駆動される。

作業機ポンプ１３から吐出された作動油の圧力は、第１油圧センサ９４によって検出される。リフトシリンダ１４ａ，１４ｂに供給される作動油の圧力は、第２油圧センサ９５によって検出される。具体的には、第２油圧センサ９５は、リフトシリンダ１４ａ，１４ｂを伸長させるときに作動油が供給されるシリンダボトム室の油圧を検出する。バケットシリンダ１５に供給される作動油の圧力は、第３油圧センサ９６によって検出される。具体的には、第３油圧センサ９６は、バケットシリンダ１５を伸長させるときに作動油が供給されるシリンダボトム室の油圧を検出する。ステアリングポンプ１２から吐出された作動油の圧力は、第４油圧センサ９７によって検出される。第１油圧センサ９４〜第４油圧センサ９７からの検出信号は、制御部１０に入力される。

操作部８は、作業者によって操作される。操作部８は、アクセル操作部材８１ａ、アクセル操作検出装置８１ｂ、ステアリング操作部材８２ａ、ステアリング操作検出装置８２ｂ、ブーム操作部材８３ａ、ブーム操作検出装置８３ｂ、バケット操作部材８４ａ、バケット操作検出装置８４ｂ、変速操作部材８５ａ、変速操作検出装置８５ｂ、ＦＲ操作部材８６ａ、及び、ＦＲ操作検出装置８６ｂなどを有する。

アクセル操作部材８１ａは、例えばアクセルペダルであり、エンジン２１の目標回転数を設定するために操作される。アクセル操作検出装置８１ｂは、アクセル操作部材８１ａの操作量を検出する。アクセル操作検出装置８１ｂは、検出信号を制御部１０へ出力する。

ステアリング操作部材８２ａは、例えばステアリングハンドルであり、車両の進行方向を操作するために操作される。ステアリング操作検出装置８２ｂは、ステアリング操作部材８２ａの位置を検出し、検出信号を制御部１０に出力する。制御部１０は、ステアリング操作検出装置８２ｂからの検出信号に基づいてステアリング制御弁３５を制御する。これにより、ステアリングシリンダ１１ａ，１１ｂが伸縮して、車両の進行方向が変更される。

ブーム操作部材８３ａ及びバケット操作部材８４ａは、例えば操作レバーであり、作業機３を動作させるために操作される。具体的には、ブーム操作部材８３ａは、ブーム６を動作させるために操作される。バケット操作部材８４ａは、バケット７を動作させるために操作される。ブーム操作検出装置８３ｂは、ブーム操作部材８３ａの位置を検出する。バケット操作検出装置８４ｂは、バケット操作部材８４ａの位置を検出する。ブーム操作検出装置８３ｂ及びバケット操作検出装置８４ｂは、検出信号を制御部１０に出力する。制御部１０は、ブーム操作検出装置８３ｂ及びバケット操作検出装置８４ｂからの検出信号に基づいて作業機制御弁３４を制御する。これにより、リフトシリンダ１４ａ，１４ｂ及びバケットシリンダ１５が伸縮して、ブーム６及びバケット７が動作する。また、作業機３にはブーム角を検出するブーム角検出装置９８が設けられている。ブーム角は、前車体部２ａとブーム６との回転支持中心と、ブーム６とバケット７との回転支持中心とを結ぶ線と、前後の車輪４ａ，４ｂの軸中心を結ぶ線とに挟まれた角度をいう。ブーム角検出装置９８は、検出信号を制御部１０に出力する。制御部１０は、ブーム角検出装置９８が検出したブーム角に基づいて、バケット７の高さ位置を算出する。このため、ブーム角検出装置９８はバケット７の高さを検出する高さ位置検出部として機能する。

変速操作部材８５ａは、例えばシフトレバーである。変速操作部材８５ａは、自動変速モードが選択されているときには、速度段の上限を設定するために操作される。例えば、変速操作部材８５ａが第３速に設定されている場合には、トランスミッション２６は、第２速から第３速までの間で切り換えられ、第４速には切り換えられない。また、手動変速モードが選択されているときには、トランスミッション２６は変速操作部材８５ａによって設定された速度段に切り換えられる。変速操作検出装置８５ｂは、変速操作部材８５ａの位置を検出する。変速操作検出装置８５ｂは、検出信号を制御部１０に出力する。制御部１０は、変速操作検出装置８５ｂからの検出信号に基づいて、トランスミッション２６の変速を制御する。なお、自動変速モードと手動変速モードとは図示しない変速モード切換部材によって作業者によって切り換えられる。

ＦＲ操作部材８６ａは、車両の前進と後進とを切り換えるために操作される。ＦＲ操作部材８６ａは、前進、中立、及び後進の各位置に切り換えられることができる。ＦＲ操作検出装置８６ｂは、ＦＲ操作部材８６ａの位置を検出する。ＦＲ操作検出装置８６ｂは、検出信号を制御部１０に出力する。制御部１０は、ＦＲ操作検出装置８６ｂからの検出信号に基づいてクラッチ制御弁３１を制御する。これにより、前進クラッチＣＦ及び後進クラッチＣＲが制御され、車両の前進と後進と中立状態とが切り換えられる。

制御部１０は、一般的にＣＰＵ（Central Processing Unit）により各種のプログラムを読み込むことにより実現される。

制御部１０は、メモリ６０と接続され、当該メモリ６０は、ワークメモリとして機能するとともに、ホイールローダの機能を実現するための各種のプログラムを格納する。

制御部１０は、アクセル操作量に応じた目標回転数が得られるように、エンジン指令信号をガバナ２５に送る。

制御部１０は、カメラ４０と接続される。制御部１０は、カメラ４０で撮像した画像データの入力を受け付ける。カメラ４０は、ホイールローダ１の運転室５のルーフ側に設けられる。カメラ４０の視線方向は、ホイールローダ１の運転室５に着座した作業者の視線方向と同じ方向である。本例においては、水平方向である。

また、制御部１０は、カメラ４５とも接続される。制御部１０は、カメラ４５で撮像した画像データの入力を受け付ける。カメラ４５は、バケット７の内側に設けられる。カメラ４５の視線方向は、バケット７の内側を撮像する方向に向けられている。

制御部１０は、表示部５０とも接続される。
制御部１０は、外部と通信可能に設けられた通信部１９とも接続される。

図４は、実施形態１に従う積込対象車両１４０の外観構成図である。
図４には、積込対象車両１４０としてダンプトラックの例が示されている。

積込対象車両１４０は、例えば車輪１４２および１４４が回転駆動することにより自走可能である。積込対象車両１４０は、車輪１４２および１４４を駆動および他の構成部品の１つ以上を駆動するために駆動源としてのエンジン１４６を含む。例えば、ディーゼルエンジンである。

積込対象車両１４０は、土砂等の積込対象物を積載可能なベッセル１６０と、運転室１５２と、制御装置１５８と、通信装置１３４と、種々の検出器および／またはセンサおよび各構成部品を操作するための種々のアクチュエータとを含む。

ベッセル１６０は、例えばアクチュエータ１５０を介して排土ポジションに操作される。

運転室１５２は、閉鎖されたまたは部分的に閉鎖された運転台を含み、かつ操作者席１５４、操作部（図示せず）、および表示装置１５６等を含む。

制御装置１５８は、検出器の検出結果を受け付けるとともに、必要に応じて各種のアクチュエータを制御する。制御装置１５８は、中央処理装置（ＣＰＵ）およびメモリ、種々の入出力周辺機器を含む。

通信装置１３４は、制御装置１５８と接続され、ホイールローダ１の通信部１９との間でデータ通信することにより情報の授受が可能に設けられている。

ベッセル１６０には、カメラ１５１が設けられている。当該カメラ１５１によりベッセル内の画像を取得することが可能である。また、取得した当該画像を通信装置１３４を介してホイールローダ１に送信することも可能である。

＜制御構成＞
図５は、実施形態１に基づくホイールローダ１の制御部１０の機能ブロックを説明する図である。

図５に示されるように、制御部１０は、メモリ６０に格納されている各種のプログラムを実行することにより機能ブロックを実現する。

制御部１０は、ホイールローダ１の作業機３あるいは積込対象車両１４０のベッセル１６０の少なくとも一部を透過する透過画像を表示部５０に表示する。

具体的には、制御部１０は、遮断領域抽出部１０１と、画像データ取得部１０２と、画像解析部１０３と、画像抽出部１０４と、表示制御部１０５と、画像編集部１０６とを含む。

遮断領域抽出部１０１は、作業機３あるいは積込対象車両１４０により表示部上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。運転席視点とは、運転席に着座した作業者の視点を指す。

画像データ取得部１０２は、カメラ４０およびカメラ４５で撮像した画像データを取得する。

画像解析部１０３は、カメラ４０およびカメラ４５で撮像した画像データの解析処理を実行する。

画像抽出部１０４は、画像データ取得部１０２で取得した画像データに基づいて遮断領域よりも作業者の視線の先にある透過画像を抽出する。

画像編集部１０６は、画像抽出部１０４により抽出された透過画像を遮断領域に合成するために画像を編集する。

表示制御部１０５は、遮断領域抽出部１０１により抽出された遮断領域の外形線を境界にして、遮断領域の外形線内の領域について、遮断領域よりも作業者の視線の先にある透過画像を合成して表示部５０に表示する。表示制御部１０５は、遮断領域の外形線内の領域について、画像編集部１０６により編集された透過画像を合成して表示部５０に表示する。

図６は、実施形態１に基づくカメラ４０で撮像した画像データを説明する図である。
図６に示されるように、ここでは、カメラ４０により撮像した作業機３のバケット７を含む画像データＣＤＴが示されている。バケット７に接続されている作業機リンクについては省略している。

カメラ４０は、運転室５の上方に設けられ作業機３よりも後方に設けられている。したがって、作業機３のバケット７の内部を撮像することはできない。作業機３のバケット７の外殻によりその視界が遮断されるからである。

本例においては、表示部５０上に表示されるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。具体的には、画像解析部１０３は、画像データＣＤＴに基づき例えばパターンマッチング等によりバケット７を特定する。

遮断領域抽出部１０１は、画像データＣＤＴに基づき画像解析部１０３により特定されたバケット７を運転席視点の作業者の視界が遮断される遮断領域７００として抽出する。

図７は、実施形態１に基づくカメラ４５で撮像した画像データを説明する図である。
図７に示されるように、ここでは、カメラ４５により撮像した作業機３のバケット７の内部の画像を含む画像データＩＣＤＴが示されている。ここでは、バケット７の内部に積込対象物Ｘが含まれている場合が示されている。

本例においては、画像抽出部１０４は、画像データＩＣＤＴに基づいて遮断領域抽出部１０１により抽出された遮断領域よりも作業者の視線の先にある透過画像８００を抽出する。画像抽出部１０４は、画像データＩＣＤＴに含まれている所定領域の画像を透過画像８００として抽出する。ここでは、バケット７の外形線Ｌ１に基づいて透過画像８００を抽出する場合が示されている。当該透過画像８００は、バケット７の外殻によりその視界が遮断された遮断領域よりも作業者の視線の先にある画像である。

図８は、実施形態１に基づく表示部５０に表示されるバケットを説明する図である。
図８に示されるように、バケット７内の透過画像が合成表示されている場合が示されている。

実施形態１に基づく制御部１０は、作業機３のバケット７の外形線を透過画像に合成して表示部５０に表示する。本例においては、制御部１０は、運転席視点の作業機３のバケット７の外形線を透過画像に合成して表示部５０に表示する。

具体的には、画像編集部１０６は、遮断領域抽出部１０１により抽出された遮断領域７００の外形線を境界にして、外形線内の領域形状に合うように透過画像８００を編集する。

表示制御部１０５は、表示部５０上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部１０６により編集されたバケット７内の透過画像を遮断領域に合成して表示部５０に表示する。遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。

本例においては、画像抽出部１０４において、画像データＩＣＤＴに含まれている所定領域の画像を透過画像として抽出し、画像編集部１０６において、当該透過画像を遮断領域と合成させるために遮断領域の外形線内の領域形状に合うように透過画像を編集する場合について説明した。一方で、画像抽出部１０４において、遮断領域の外形線内の領域形状に合うように透過画像を抽出するようにしても良い。その場合には、画像編集部１０６における画像編集処理は省略される。

当該表示部５０における表示により、表示部５０上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域よりも作業者の視線の先にある透過画像を表示することが可能である。

本例においては、運転席視点の作業者の視界がバケット７の外殻により遮断されるバケット７の内部について、遮断領域７００に対して透過画像８００を合成した画像７１０を表示することにより運転席視点の作業者の視界が遮られる領域が表示されるため、バケット７の内部の状態を容易に把握することが可能である。

したがって、作業者が作業機３のバケット７を直観的に操作することが可能であり、作業効率を改善することが可能である。ここでは、スケルトン化された外形線が一点鎖線として示されている。

図９は、実施形態１に基づく透過画像の合成表示に関する処理を説明するフロー図である。

図９に示されるように、まず、制御部１０は、画像データを取得する（ステップＳ２）。画像データ取得部１０２は、カメラ４０およびカメラ４５で撮像した画像データをそれぞれ取得する。

次に、制御部１０は、遮断領域を抽出する（ステップＳ４）。遮断領域抽出部１０１は、作業機３あるいは積込対象車両１４０により表示部５０上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。例えば、画像解析部１０３によりカメラ４０により取得された画像データＣＤＴに含まれているバケット７を特定する。遮断領域抽出部１０１は、特定されたバケットを遮断領域７００として抽出する。本例においては、一例としてバケット７を遮断領域７００として抽出する。

次に、制御部１０は、透過画像を抽出する（ステップＳ６）。画像抽出部１０４は、画像データ取得部１０２で取得したカメラ４５により取得された画像データＩＣＤＴに基づいて所定領域の画像を透過画像として抽出する。当該透過画像は、作業機３あるいは積込対象車両１４０のベッセル１６０の少なくとも一部を透過した画像であり、遮断領域よりも作業者の視線の先にある画像である。本例においては、バケット７の内部の画像を透過画像８００として抽出する。

次に、制御部１０は、画像編集する（ステップＳ７）。画像編集部１０６は、画像抽出部１０４により抽出された透過画像８００を編集する。具体的には、遮断領域抽出部１０１により抽出された遮断領域の外形線を境界にして、外形線内の領域形状に合うように透過画像を編集する。

次に、制御部１０は、透過画像を合成する（ステップＳ８）。表示制御部１０５は、画像データＣＤＴのバケット７の遮断領域に対して、遮断領域の外形線を境界にして、画像編集部１０６により編集した透過画像を合成する。

次に、制御部１０は、合成した透過画像を表示する（ステップＳ１０）。表示制御部１０５は、画像データＣＤＴに対して透過画像を合成して表示部５０に表示する。

そして、処理を終了する（エンド）。
なお、本例においては、運転席視点の作業者の視界からみた、ホイールローダの運転席視点の作業者の視界が遮断される遮断領域に透過画像を合成する場合について説明したが、作業をサポートする点で別のアングルに基づく表示をすることも可能である。たとえば、バケット７を横から見た場合（側方視あるいは側面視）に視界が遮断される遮断領域に透過画像を合成して表示するようにしても良い。

図１０は、実施形態１に基づくバケット７を横から見た場合の画像データを説明する図である。

図１０に示されるように、ここでは、作業機３のバケット７を含む画像データＣＤＴＰが示されている。バケット７に接続されている作業機リンクについては省略している。一例としてバケット７を側面視した場合の画像データが示されている。なお、画像データＣＤＴＰについて、実際にバケット７を横から見た実画像データを用いても良いし、あるいは、仮想的にバケット７を横から見たモデル画像データを用いても良い。当該画像データＣＤＴＰは、制御部１０の図示しないメモリ等に格納されているものとする。

図１１は、実施形態１に基づくカメラ４６，４７について説明する図である。
図１１（Ａ）に示されるように、カメラ４６，４７はバケット７の内部を側方視可能な位置に取り付けられている。

図１１（Ｂ）には、カメラ４６により撮像した作業機３のバケット７の内部の画像を含む画像データＩＣＤＴＰが示されている。

カメラ４６は、バケット７の左側方から内部を撮像する。一方、カメラ４７は、右側方から内部を撮像する。カメラ４６，４７を設けることによりバケット７の左右の内部画像を含む画像データを取得することが可能であり、合成することにより精度の高い画像データを取得することが可能である。なお、本例においては、カメラ４６，４７を両方設けた構成について説明しているがいずれか一方とすることも可能である。

本例においては、バケット７の内部に積込対象物Ｘが含まれている場合が示されている。

なお、カメラ４５，４６，４７については、説明を簡易にするためにバケット７の内部から突き出しているように配置されている構成について説明しているが、バケット７の構成部材に穴を設け、その中にカメラ４５，４６，４７を挿入固定するようにしても良い。これにより、バケット内部での突出する量を抑えることが可能である。また、カメラ４６，４７は、バケット７の側方からバケット内部を撮像する場合について説明しているが、バケット７の背板の左右端部に斜めに穴を設け、当該中にカメラ４６，４７を挿入固定し、バケット内部側面を斜めから撮像するようにしてもよい。これにより、カメラ４６，４７の後部がバケット７の側面から突出する量を抑えることが可能である。

カメラ４０は、運転室５の上方に設けられ作業機３よりも後方に設けられている。したがって、積込対象物Ｘを掘削する際に作業機３のバケット７の内部を撮像することはできない。作業機３のバケット７の側面も外殻によりその視界が遮断されるからである。

本例においては、表示部５０上に表示されるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。具体的には、画像解析部１０３は、画像データＣＤＴＰに基づき例えばパターンマッチング等によりバケット７を特定する。本例においては、側面視した場合のバケット７を特定する。

遮断領域抽出部１０１は、画像データＣＤＴＰに基づき画像解析部１０３により特定されたバケット７を作業者の視界が遮断される遮断領域７００Ｐとして抽出する。

本例においては、画像抽出部１０４は、図１１（Ｂ）で説明したカメラ４５により撮像した作業機３のバケット７の内部の画像を含む画像データＩＣＤＴＰに基づいて遮断領域抽出部１０１により抽出された遮断領域よりも作業者の視線の先にある透過画像を抽出する。

一例として、画像抽出部１０４は、画像データＩＣＤＴＰに含まれている所定領域の画像について透過画像８１０として抽出する。当該透過画像は、バケット７の側面の外殻により側面視した際の視界が遮断された遮断領域よりも作業者の視線の先にある画像である。

図１２は、実施形態１に基づく表示部５０に表示されるバケットを説明する図である。
図１２に示されるように、側面視したバケット７内の透過画像が合成表示されている場合が示されている。

実施形態１に基づく制御部１０は、作業機３のバケット７の側面視の外形線を透過画像に合成して表示部５０に表示する。本例においては、制御部１０は、作業機３のバケット７の側面視の外形線を透過画像に合成して表示部５０に表示する。

具体的には、画像編集部１０６は、遮断領域抽出部１０１により抽出された遮断領域７００Ｐの外形線を境界にして、外形線内の領域形状に合うように透過画像８１０を編集する。

表示制御部１０５は、表示部５０上におけるホイールローダ１の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部１０６により編集されたバケット７内の透過画像８１０を遮断領域に合成して表示部５０に表示する。遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。

本例においては、作業者の視界がバケット７の側面の外殻により遮断されるバケット７の内部について、遮断領域７００Ｐに対して透過画像を合成した画像７１０Ｐを表示することにより作業者の視界が遮られる領域が表示されるため、側面方向からのバケット７の内部の状態を容易に把握することが可能である。

したがって、作業者は、作業機３のバケット７を直観的に操作することが可能であり、作業効率を改善することが可能である。ここでは、スケルトン化された外形線が一点鎖線として示されている。

なお、本例においては、バケット７の内部の画像としてカメラ４５により撮像した画像データを用いる場合について説明したが、バケット７の内部に設けられた知覚センサにより内部の状況を推定できる場合には、推定した状況に基づいて複数の予め設けられている透過画像の中から１つを選択して、当該選択した透過画像を合成することも可能である。また、推定した状況に基づいて算出した結果を合成することも可能である。

なお、本例においては、ホイールローダ１に設けられた制御部１０が透過画像を表示部に表示する方式について説明したが、制御部１０が全ての処理を実行するのではなく、他の装置と連携して制御システムとして実行することも可能である。

（変形例）
図１３は、実施形態１の変形例に基づくホイールローダ１Ａの外観図である。

図１３に示されるように、ホイールローダ１Ａは、ホイールローダ１と比較して、カメラ４０よりも上方に設けられたカメラ４１と、それを支持する支持ユニット４２をさらに追加した点が異なる。その他の構成については、実施形態１で説明したのと同様であるのでその詳細な説明については繰り返さない。

図１４は、実施形態１の変形例に基づくカメラ４０およびカメラ４１の撮像範囲を説明する図である。

図１４に示されるように、カメラ４０の撮像範囲は、作業機３の作業状態が含まれる。したがって、カメラ４０で撮像した画像データを表示部５０に表示する際には、表示部５０上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域が生じる。

カメラ４１は、カメラ４０よりも上方の位置に設けられており、カメラ４１の撮像範囲は、作業機３の作業状態にかかわらず作業機３が含まれないように設定される。本例においては、カメラ４１で撮像した画像データに基づいて遮断領域よりも作業者の視線の先にある透過画像を取得することが可能である。

図１５は、実施形態１の変形例に基づくホイールローダ１Ａの制御部１０Ａの機能ブロックを説明する図である。

図１５に示されるように、制御部１０Ａは、メモリ６０に格納されている各種のプログラムを実行することにより機能ブロックを実現する。

制御部１０Ａは、ホイールローダ１の作業機３あるいは積込対象車両１４０のベッセル１６０の少なくとも一部を透過する透過画像を表示部５０に表示する。

具体的には、制御部１０Ａは、制御部１０と比較して、作業状態判断部１００をさらに追加した点が異なる。

その他の構成については図５で説明したのと同様であるのでその詳細な説明については繰り返さない。

作業状態判断部１００は、操作部８の操作指示に従って作業機３の作業状態を判断する。例えば、作業機３の作業状態としてバケット７の高さおよびバケット７に対する操作指示で判断することが可能である。一例として、ブーム６のリフトシリンダの長さおよびバケットシリンダ１５の長さに基づいて作業機リンクの状態を特定しバケット７に対する高さを算出することが可能である。

具体的には、バケット７の高さとして所定の高さ未満における作業機３の作業状態でシリンダ圧が所定の圧力以上の場合には、掘削作業であると判断する。一例としてシリンダ圧は、リフトシリンダ１４のボトム圧とする。この点で第２油圧センサ９５の検出値を利用することが可能である。

また、シリンダ圧が所定の圧力以上で、かつバケット７の高さが所定の高さ以上であり、バケット７を動かさないかあるいは、バケット７を後方側に動かす場合には、作業機３の作業状態は、積込作業であると判断する。なお、シリンダ圧が所定の圧力以上であることを条件としているのは、バケット７に土砂等が含まれている状態を判断するためである。

また、シリンダ圧が所定の圧力以上で、かつバケット７の高さが所定の高さ以上であり、バケット７を前方側に動かす場合には、作業機３の作業状態は、排土作業であると判断する。

遮断領域抽出部１０１は、作業状態判断部１００で判断した作業状態に基づいて作業機３あるいは積込対象車両１４０により表示部上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。

図１６は、実施形態１の変形例に基づく遮断領域抽出部１０１における作業状態に基づいて遮断領域を抽出する対象を特定するフロー図である。

図１６に示されるように、遮断領域抽出部１０１は、作業状態判断部１００で判断した作業状態が掘削作業であるか否かを判断する（ステップＳ１０）。

ステップＳ１０において、遮断領域抽出部１０１は、作業状態が掘削作業であると判断した場合（ステップＳ１０においてＹＥＳ）には、遮断領域を抽出する対象をバケットとして特定する（ステップＳ１２）。

そして、処理を終了する（エンド）。
ステップＳ１０において、遮断領域抽出部１０１は、作業状態が掘削作業でないと判断した場合（ステップＳ１０においてＮＯ）には、作業状態判断部１００で判断した作業状態が積込作業であるか否かを判断する（ステップＳ１４）。

ステップＳ１４において、遮断領域抽出部１０１は、作業状態が積込作業であると判断した場合（ステップＳ１４においてＹＥＳ）には、遮断領域を抽出する対象を作業機リンクとして特定する（ステップＳ１６）。

そして、処理を終了する（エンド）。
ステップＳ１４において、遮断領域抽出部１０１は、作業状態が積込作業でないと判断した場合（ステップＳ１４においてＮＯ）には、作業状態判断部１００で判断した作業状態が排土作業であるか否かを判断する（ステップＳ１８）。

ステップＳ１８において、遮断領域抽出部１０１は、作業状態が排土作業であると判断した場合（ステップＳ１８においてＹＥＳ）には、遮断領域を抽出する対象をベッセルとバケットとして特定する（ステップＳ２０）。

そして、処理を終了する（エンド）。
ステップＳ１８において、遮断領域抽出部１０１は、作業状態が排土作業でないと判断した場合（ステップＳ１８においてＮＯ）には、作業状態を特定できないため処理を終了する（エンド）。したがって、この場合には遮断領域は抽出されない。

上記に従う方式により、遮断領域抽出部１０１は、掘削作業時において、バケット７を遮断領域として抽出する。また、積込作業時において、作業機リンクを遮断領域として抽出する。また、排土作業時において、ベッセル１６０およびバケット７を遮断領域として抽出する。

掘削作業時における表示については、上記の実施形態１で説明したのと同様である。
具体的には、遮断領域抽出部１０１は、バケット７を運転席視点の作業者の視界が遮断される遮断領域７００として抽出する。画像抽出部１０４は、遮断領域抽出部１０１により抽出された遮断領域よりも作業者の視線の先にある透過画像８００を抽出する。画像編集部１０６は、遮断領域抽出部１０１により抽出された遮断領域７００の外形線を境界にして、外形線内の領域形状に合うように透過画像８００を編集する。そして、表示制御部１０５は、表示部５０上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部１０６により編集されたバケット７内の透過画像を当該遮断領域に合成して表示部５０に表示する。

次に、積込作業時における表示について説明する。
図１７は、実施形態１の変形例に基づく積込作業時におけるカメラ４０で撮像した画像データを説明する図である。

図１７に示されるように、ここでは、カメラ４０により撮像した作業機３の作業機リンクを含む画像データＣＤＴＡが示されている。

カメラ４０は、運転室５の上方に設けられ作業機３よりも後方に設けられている。したがって、作業機３よりも前にあるベッセル１６０の一部を撮像することはできない。作業機３の作業機リンクにより、その視界が遮断されるからである。

本例においては、表示部５０上に表示されるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。具体的には、画像解析部１０３は、画像データＣＤＴＡに基づき例えばパターンマッチング等により作業機リンクを特定する。

遮断領域抽出部１０１は、画像データＣＤＴＡに基づき画像解析部１０３により特定された作業機リンクを運転席視点の作業者の視界が遮断される遮断領域７０２として抽出する。

図１８は、実施形態１の変形例に基づく積込作業時におけるカメラ４１で撮像した画像データを説明する図である。

図１８に示されるように、ここでは、カメラ４１により撮像した積込対象車両１４０のベッセル１６０を含む画像データＩＣＤＴＡが示されている。

カメラ４１の撮像範囲は、作業機３の作業状態にかかわらず作業機３が含まれないように設定される。なお、本例においては、カメラ４０と、カメラ４１とは視点位置が異なるため、カメラ４１の視点位置がカメラ４０と同じ視点位置となるように画像変換処理したものが示されている。

本例においては、画像抽出部１０４は、画像データＩＣＤＴＡに基づいて遮断領域抽出部１０１により抽出された遮断領域７０２よりも作業者の視線の先にある透過画像８０２を抽出する。画像抽出部１０４は、作業機リンクの外形線Ｌ２に基づいて画像データに含まれている透過画像８０２を抽出する。透過画像８０２は、作業機リンクによりその視界が遮断された遮断領域よりも作業者の視線の先にある画像である。

図１９は、実施形態１の変形例に基づく積込作業時における表示部５０に表示される画像を説明する図である。

図１９に示されるように、画像抽出部１０４により抽出された透過画像８０２が合成表示されている場合が示されている。

実施形態１の変形例に基づく制御部１０Ａは、作業機３の作業機リンクの外形線を透過画像に合成して表示部５０に表示する。本例においては、制御部１０Ａは、運転席視点の作業機３の作業機リンクの外形線を透過画像に合成して表示部５０に表示する。

具体的には、画像編集部１０６は、遮断領域抽出部１０１により抽出された遮断領域７０２の外形線を境界にして、外形線内の領域形状に合うように透過画像８０２を編集する。

表示制御部１０５は、表示部５０上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部１０６により編集された透過画像を当該遮断領域に合成して表示部５０に表示する。

遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。

本例においては、画像抽出部１０４において、画像データＩＣＤＴＡに含まれている作業機リンクの外形線Ｌ２に基づいて透過画像８０２を抽出し、画像編集部１０６において、当該透過画像を遮断領域と合成させるために遮断領域の外形線内の領域形状に合うように透過画像を編集する場合について説明した。一方で、画像抽出部１０４において、遮断領域の外形線内の領域形状に合うように透過画像を抽出するようにしても良い。その場合には、画像編集部１０６における画像編集処理は省略される。

当該表示部５０における表示により、表示部５０上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域よりも作業者の視線の先にある透過画像を表示することが可能である。

本例においては、運転席視点の作業者の視界が作業機リンクにより遮断されるベッセル１６０の一部について、作業機リンクに対して透過画像を合成して表示することにより作業者の視界が遮られる領域が表示されるため、ベッセル１６０の状態を容易に把握することが可能である。したがって、作業者は、ベッセル１６０に対する積込作業に関して作業機３を直観的に操作することが可能であり、作業効率を改善することが可能である。

次に、排土作業時における表示について説明する。
図２０は、実施形態１の変形例に基づく排土作業時におけるカメラ４０で撮像した画像データを説明する図である。

図２０に示されるように、ここでは、カメラ４０により撮像した作業機３のバケットおよび積込対象車両１４０のベッセル１６０を含む画像データＣＤＴＢが示されている。

カメラ４０は、運転室５の上方に設けられ作業機３よりも後方に設けられている。したがって、積込対象車両１４０のベッセル１６０の内部を撮像することはできない。ベッセル１６０の外殻によりその視界が遮断されるからである。また、作業機３のバケット７の内部を撮像することはできない。作業機３のバケット７の外殻によりその視界が遮断されるからである。

本例においては、表示部５０上に表示されるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。具体的には、画像解析部１０３は、画像データＣＤＴＢに基づき例えばパターンマッチング等によりベッセル１６０およびバケット７を特定する。

遮断領域抽出部１０１は、画像データＣＤＴＢに基づき画像解析部１０３により特定されたベッセルを運転席視点の作業者の視界が遮断される遮断領域７０３として抽出する。また、遮断領域抽出部１０１は、画像データＣＤＴＢに基づき画像解析部１０３により特定されたバケットを運転席視点の作業者の視界が遮断される遮断領域７０４として抽出する。

図２１は、実施形態１の変形例に基づく排土作業時におけるカメラ１５１で撮像した画像データを説明する図である。

図２１に示されるように、ここでは、カメラ１５１により撮像した積込対象車両１４０のベッセル１６０の内部の画像を含む画像データＩＣＤＴＢが示されている。ここでは、ベッセル１６０の内部に積込対象物Ｘが含まれている場合が示されている。

当該カメラ１５１で撮像された画像データＩＣＤＢは、通信装置１３４を介してホイールローダ１に送信される。そして、ホイールローダ１の画像データ取得部１０２は、通信部１９を介して当該画像データＩＣＤＢを取得する。

本例においては、画像抽出部１０４は、画像データＩＣＤＴＢに基づいて遮断領域抽出部１０１により抽出された遮断領域よりも作業者の視線の先にある透過画像８０４を抽出する。画像抽出部１０４は、画像データＩＣＤＴＢに含まれている所定領域の画像を透過画像８０４として抽出する。ここでは、ベッセル１６０の外形線Ｌ３に基づいて透過画像８０４を抽出する場合が示されている。当該透過画像８０４は、ベッセル１６０の外殻によりその視界が遮断された遮断領域よりも作業者の視線の先にある画像である。

図２２は、実施形態１の変形例に基づく排土作業時における表示部５０に表示される画像を説明する図である。

図２２に示されるように、ベッセル１６０内の透過画像が合成表示されている場合が示されている。

実施形態１の変形例に基づく制御部１０Ａは、積込対象車両１４０のベッセル１６０の外形線を透過画像に合成して表示部５０に表示する。本例においては、制御部１０Ａは、運転席視点のベッセル１６０の外形線を透過画像に合成して表示部５０に表示する。

具体的には、画像編集部１０６は、遮断領域抽出部１０１により抽出された遮断領域７０３の外形線を境界にして、外形線内の領域形状に合うように透過画像８０４を編集する。

表示制御部１０５は、表示部５０上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部１０６により編集された透過画像を当該遮断領域に合成して表示部５０に表示する。遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。

本例においては、画像抽出部１０４において、画像データＩＣＤＴＢに含まれている所定領域の画像を透過画像８０４を抽出し、画像編集部１０６において、当該透過画像を遮断領域と合成させるために遮断領域の外形線内の領域形状に合うように透過画像を編集する場合について説明した。一方で、画像抽出部１０４において、遮断領域の外形線内の領域形状に合うように透過画像を抽出するようにしても良い。その場合には、画像編集部１０６における画像編集処理は省略される。

また、本例においては、ベッセル１６０がスケルトン化されるのみならず、バケット７についてもスケルトン化された場合が示されている。

画像抽出部１０４は、画像データＩＣＤＴＢに基づいて遮断領域抽出部１０１により抽出された遮断領域７０４よりも作業者の視線の先にある透過画像を抽出する。当該透過画像は、実施形態１で説明したように、カメラ４５により撮像した作業機３のバケット７の内部の画像を含む画像データに基づいて抽出する。

画像編集部１０６は、遮断領域抽出部１０１により抽出された遮断領域７０４の外形線を境界にして、外形線内の領域形状に合うように当該透過画像を編集する。

表示制御部１０５は、表示部５０上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部１０６により編集されたバケット７内の透過画像を当該遮断領域に合成して表示部５０に表示する。遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。

当該表示部５０における表示により、表示部５０上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域よりも作業者の視線の先にある透過画像を表示することが可能である。

本例においては、運転席視点の作業者の視界がベッセル１６０の外殻により遮断されるベッセル１６０の内部について、ベッセル１６０に対して透過画像を合成して表示することにより運転席視点の作業者の視界が遮られる領域が表示されるため、ベッセル１６０の内部の状態を容易に把握することが可能である。本例においては、運転席視点の作業者の視界がバケット７の外殻により遮断されるバケット７の内部について、バケット７に対して透過画像を合成して表示することにより運転席視点の作業者の視界が遮られる領域が表示されるため、バケット７の内部の状態を容易に把握することが可能である。

作業者は、作業機３のベッセル１６０に対する排土作業に関して作業機３を直観的に操作することが可能であり、作業効率を改善することが可能である。

なお、本例においては、ベッセル１６０の内部の画像としてカメラ１５１により撮像した画像データを用いる場合について説明したが、ベッセル１６０の内部に設けられた知覚センサにより内部の状況を推定できる場合には、推定した状況に基づいて複数の予め設けられている透過画像の中から１つを選択して、当該選択した透過画像を合成することも可能である。また、推定した状況に基づいて算出した結果を合成することも可能である。

また、本例においては、ベッセル１６０およびバケット７を遮断領域とする場合について説明したが、作業機リンクも遮断領域としてスケルトン化するようにしても良い。

なお、作業をサポートする点でさらに画像を加工表示するようにしても良い。具体的には、制御部１０は、作業機リンクとベッセル１６０とが干渉する可能性がある部位を特定して、当該部位を強調表示するようにしても良い。たとえば、表示制御部１０５により干渉する可能性がある部位に色を付けるとともに色を変化させることにより強調表示するようにしても良い。干渉する可能性の度合に応じて色を変化させることも可能である。たとえば、可能性が低い場合には薄い赤色に設定して、可能性が高くなればなるほど濃い赤色に変化させるようにしても良い。干渉の可能性については両者の距離に基づいて判断することが可能である。

ベッセル１６０の距離については、画像解析部１０３により画像データＣＤＴＢに含まれるベッセル１６０からホイールローダ１との距離を算出することが可能である。また、作業機３の状態は、一例として、ブーム６のリフトシリンダの長さおよびバケットシリンダ１５の長さに基づいて作業機リンクの状態を特定することが可能である。表示制御部１０５は、これらの算出結果に基づく互いの位置関係に基づいて両者の距離を算出し、強調表示することが可能である。

（実施形態２）
上記の実施形態１およびその変形例においては、遮断領域抽出部１０１は、作業機３あるいは積込対象車両１４０により表示部上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する場合について説明した。具体的には、撮像した画像データに含まれる所定領域をパターンマッチングにより特定して遮断領域として抽出する方式について説明した。

実施形態２においては、別の方式で遮断領域を抽出する方式について説明する。
図２３は、実施形態２に基づくホイールローダ１の制御部１０Ｂの機能ブロックを説明する図である。

図２３に示されるように、制御部１０Ｂは、メモリ６０に格納されている各種のプログラムを実行することにより機能ブロックを実現する。

制御部１０Ｂは、ホイールローダ１の作業機３あるいは積込対象車両１４０のベッセル１６０の少なくとも一部を透過する透過画像を表示部５０に表示する。

具体的には、制御部１０Ｂは、作業機姿勢状態判断部１０７をさらに追加した点が異なる。

作業機姿勢状態判断部１０７は、操作部８の操作指示に従って作業機３の姿勢状態を判断する。

図２４は、実施形態２に基づくホイールローダ１をモデル化した状態を説明する図である。

図２４に示されるように、ここでは、ホイールローダの本体部分Ｐと、バケットＱと、本体部分Ｐと、バケットＱとを接続する作業機リンクＲとをモデル化した場合が示されている。

操作部８の操作指令に従いバケットＱおよび作業機リンクＲの状態（姿勢状態）は変化する。

ここでは、一例として水平面と接していたバケットＱの状態を初期状態とした場合に、操作部８の操作指令に従い作業機リンクＲがバケットＱをリフトアップして角度α回転した状態である場合が示されている。また、操作部８の操作指令に従いバケットＱの角度が変化して作業機リンクＲとの角度がβである場合が示されている。

角度α，βは、操作部８の操作指令量に基づき算出することが可能であり、作業機姿勢状態判断部１０７は、操作部８の操作指示に基づいて作業機３の姿勢状態を判断することが可能である。なお、角度α，βを角度センサを用いて検出し、作業機３の姿勢状態を判断するようにしても良い。また、リフトシリンダの長さおよびバケットシリンダの長さをストロークセンサの値に基づいて算出し、それに基づいて作業機３の姿勢状態を判断することも可能である。

遮断領域抽出部１０１は、作業機姿勢状態判断部１０７で判断した作業機３の姿勢状態に基づいて表示部上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域を特定し、当該遮断領域を抽出する。

以降の処理については、上記の実施形態１およびその変形例で説明したのと同様であるのでその詳細な説明については繰り返さない。

実施形態２に基づく方式により、画像解析することなく表示部上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域を特定することが可能であり、遮断領域を抽出する際の処理負荷を軽減することが可能である。

（実施形態３）
上記の実施形態においては、カメラ４０で撮像した画像データを表示部５０に表示する際に、表示部５０上におけるホイールローダの運転席視点の作業者の視界が遮断される領域を合成表示する場合について説明した。

実施形態３においては、作業者が目視している作業機あるいは積込対象車両に対して遮断領域を合成表示する場合について説明する。

制御部の構成については、実施形態１の変形例に基づく制御部１０Ａと基本的に同様である。

図２５は、実施形態３に基づく表示部およびカメラの撮像範囲を説明する図である。
図２５（Ａ）を参照して、ここでは、表示部５０＃の右側および左側にカメラ４０ＲＡおよび４０ＬＡが設けられている場合が示されている。また、表示部５０＃の右側および左側にカメラ４０ＲＢおよび４０ＬＢが設けられている場合が示されている。カメラ４０ＲＢは、表示部５０＃に対してカメラ４０ＲＡよりも表示部５０＃から離れた位置に設けられる。カメラ４０ＬＢは、表示部５０＃に対してカメラ４０ＬＡよりも離れた位置に設けられる。カメラ４０ＲＡおよび４０ＬＡの距離は表示部５０＃から同じ距離に設けられているものとする。カメラ４０ＲＢおよび４０ＬＢの距離は表示部５０＃から同じ距離に設けられているものとする。

作業者の前には光学透過（シースルー）型の表示部５０＃が設けられている。表示部５０＃を介して作業者は外部の情報を取得することが可能である。

本例においては、一例として、表示部５０＃を介して作業者が情報を取得する上下方向の撮像範囲αが示されている。

カメラ４０ＲＡ，４０ＲＢ，４０ＬＡ，４０ＬＢの上下方向の撮像範囲も同じ範囲に設定されている。

なお、本例においては、図示していないが、表示部５０＃を介して作業者が情報を取得する左右方向の撮像範囲と、カメラ４０ＲＡ，４０ＲＢ，４０ＬＡ，４０ＬＢの左右方向の撮像範囲も同じ範囲に設定されている。

なお、本例においては、一例として、表示部５０＃は、ホイールローダ１に固定されて設けられており、水平面に対する表示部５０＃の位置とカメラ４０ＲＡ，４０ＲＢ，４０ＬＡ，４０ＬＢの高さとは同じ高さに設定されているものとする。

本例においては、カメラ４０ＲＡ，４０ＬＡの撮像範囲には、ホイールローダ１の作業機３が含まれる。一方、カメラ４０ＲＢ，ＬＢの撮像範囲には、ホイールローダ１の作業機３は含まれないものとする。

図２５（Ｂ）は、カメラ４０ＲＡ，４０ＬＡの撮像範囲の画像データから作業者が表示部５０＃を介して取得する情報を抽出する方式を説明する図である。

図２５（Ｂ）に示されるように、右側のカメラ４０ＲＡの画像データＲＣＤＴＡと、左側のカメラ４０ＬＡの画像データＬＣＤＴＡとが示されている。ここで、画像データＲＣＤＴＡと、画像データＬＣＤＴＡとについて、任意の同じ地点が重なるように配置する。なお、ともに作業機３の一部が表示されているものとする。この場合、画像データＲＣＤＴＡと画像データＬＣＤＴＡの水平方向の長さがＬずれている場合には、表示部５０＃を介して作業者が情報を取得している範囲は画像データＲＣＤＴＡをＬ／２左にずらし、画像データＬＣＤＴＡをＬ／２右にずらした範囲である。本例においては、作業者が表示部５０＃を介して取得する範囲の情報を画像データＣＤＴＡ＃として抽出する。

ここでは、画像データＣＤＴＡ＃として図１７で説明した画像データＣＤＴＡと同じ画像データが示されている。

当該画像データＣＤＴＡ＃は、表示部５０＃を介して作業者が取得する遮断領域を含む情報である。当該画像データＣＤＴＡ＃に基づいて遮断領域を特定することが可能である。

図２５（Ｃ）は、カメラ４０ＲＢ，４０ＬＢの撮像範囲の画像データから作業者が表示部５０＃を介して取得する情報を抽出する方式を説明する図である。

図２５（Ｃ）に示されるように、右側のカメラ４０ＲＢの画像データＲＣＤＴＢと、左側のカメラ４０ＬＢの画像データＬＣＤＴＢとが示されている。ここで、画像データＲＣＤＴＢと、画像データＬＣＤＴＢとについて、任意の同じ地点が重なるように配置する。なお、ともに積込対象車両１４０の一部が表示されているものとする。この場合、画像データＲＣＤＴＢと画像データＬＣＤＴＢの水平方向の長さがＭずれている場合には、表示部５０＃を介して作業者が情報を取得している範囲は画像データＲＣＤＴＢをＭ／２左にずらし、画像データＬＣＤＴＢをＭ／２右にずらした範囲である。本例においては、作業者が表示部５０＃を介して取得する範囲の情報を画像データＣＤＴＢ＃として抽出する。

ここでは、画像データＣＤＴＢ＃として図１８で説明した画像データＩＣＤＴＡと同じ画像データが示されている。

当該画像データＣＤＴＢ＃は、表示部５０＃を介して作業者が取得する遮断領域を含まない情報である。当該画像データＣＤＴＢ＃に基づいて遮断領域よりも作業者の視線の先にある透過画像を取得することが可能である。

上記の実施形態１の変形例で説明したのと同様に、積込作業時における表示部５０＃上における表示について説明する。

積込作業時においては、作業機リンクを遮断領域として抽出する。
画像解析部１０３は、画像データＣＤＴＡ＃に基づき例えばパターンマッチング等により作業機リンクを特定する。

遮断領域抽出部１０１は、画像データＣＤＴＡ＃に基づき画像解析部１０３により特定された作業機リンクを運転席視点の作業者の視界が遮断される遮断領域として抽出する。

画像抽出部１０４は、画像データＣＤＴＢ＃に基づいて遮断領域抽出部１０１により抽出された遮断領域よりも作業者の視線の先にある透過画像を抽出する。

画像抽出部１０４は、作業機リンクの外形線Ｌ２に基づいて画像データＣＤＴＢ＃に含まれている透過画像を抽出する。当該透過画像は、作業機リンクによりその視界が遮断された遮断領域よりも作業者の視線の先にある画像である。

画像編集部１０６は、遮断領域抽出部１０１により抽出された遮断領域７０２の外形線を境界にして、外形線内の領域形状に合うように透過画像８０２を編集する。

表示制御部１０５は、表示部５０＃上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部１０６により編集された透過画像を当該遮断領域に合成して表示部５０＃に表示する。

図２６は、実施形態３に基づく表示部５０＃の一例を説明する図である。
図２６を参照して、本例においては、図２２で説明したのと同様に、遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。

なお、ここで、表示部５０＃に示されている積込対象車両１４０および作業機３の一部について、表示制御部１０５により表示されている部分は、遮断領域７０２に合成された透過画像８０２の部分のみである。それ以外の部分は、シースルー型の表示部５０＃を介して作業者により目視されているものであり、表示部５０＃に表示されたものではない。

なお、本例においては、積込作業時の場合の表示について説明したが、実施形態１の変形例で説明したのと同様に、掘削作業時および排土作業時についても同様の方式により表示部５０＃上におけるホイールローダ１の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部１０６により編集された透過画像を当該遮断領域に合成して表示部５０＃に表示することが可能である。

当該表示部５０＃における表示により、表示部５０＃上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域よりも作業者の視線の先にある透過画像を表示することが可能である。

したがって、作業者は、作業機３を直観的に操作することが可能であり、作業効率を改善することが可能である。

なお、本例においては、表示部５０＃は、ホイールローダ１に固定されている場合について説明したが、その高さを調整するようにしてもよい。例えば、表示部５０＃の高さに合わせてカメラ４０ＲＡ，４０ＲＢ，４０ＬＡ，４０ＬＢの高さも同じ高さに調節すればよい。

また、作業者が表示部５０＃を介して視認する視線方向も調整可能にしてもよい。表示部５０＃の向きに合わせて４０ＲＡ，４０ＲＢ，４０ＬＡ，４０ＬＢの視線方向も調節すればよい。

また、本例においては、４つのカメラ４０ＲＡ，４０ＲＢ，４０ＬＡ，４０ＬＢを用いた構成について説明したが、それよりも少ない個数のカメラで実現するようにしてもよい。なお、その場合には、カメラの撮像範囲は、作業者が表示部５０＃を介して情報を取得する範囲を含んでいるものとし、画像解析処理により、当該範囲を抽出する。

また、本例においては、表示部５０＃がホイールローダ１に固定されている場合について説明したが、特にこれに限られず、いわゆるヘッドマウントディスプレイの如く作業者に装着可能な形態等であっても良い。

（その他形態）
なお、上記の実施形態においては、ホイールローダ１の制御部について、遮断領域を抽出し、透過画像を合成して表示する主な処理を実行する場合について説明したが、制御部の各機能ブロックは、必ずしもホイールローダ１が有する必要はなく、一部の機能ブロックがネットワークと接続されたサーバに設けられた構成としても良いし、データ通信可能な積込対象車両側に設けられた構成であっても良い。

以上、本発明の実施形態について説明したが、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１，１Ａ ホイールローダ、２ 車体フレーム、２ａ 前車体部、２ｂ 後車体部、３ 作業機、４ａ，４ｂ，１４２，１４４ 車輪、５，１５２ 運転室、６ ブーム、７ バケット、８ 操作部、９ ベルクランク、１０，１０Ａ，１０Ｂ 制御部、１１ａ，１１ｂ ステアリングシリンダ、１２ ステアリングポンプ、１３ 作業機ポンプ、１４ａ，１４ｂ リフトシリンダ、１５ バケットシリンダ、１９ 通信部、２１，１４６ エンジン、２２ 走行装置、２３ トルクコンバータ装置、２４ 燃料噴射ポンプ、２６ トランスミッション、２７ ロックアップクラッチ、２８ トルクコンバータ、３１ クラッチ制御弁、３２ シャフト、３３ 軸、３４ 作業機制御弁、３５ ステアリング制御弁、４０，４５，１５１，４０ＬＡ，４０ＬＢ，４０ＲＡ，４０ＲＢ カメラ、５０，５０＃，５０３ 表示部、６０ メモリ、８１ａ アクセル操作部材、８１ｂ アクセル操作検出装置、８２ａ ステアリング操作部材、８２ｂ ステアリング操作検出装置、８３ａ ブーム操作部材、８３ｂ ブーム操作検出装置、８４ａ バケット操作部材、８４ｂ バケット操作検出装置、８５ａ 変速操作部材、８５ｂ 変速操作検出装置、８６ａ 操作部材、８６ｂ 操作検出装置、９１ エンジン回転数センサ、９２ 出力回転数センサ、９３ 入力回転数センサ、９４〜９７ 第１〜第４油圧センサ、９８ ブーム角検出装置、１００ 作業状態判断部、１０１ 遮断領域抽出部、１０２ 画像データ取得部、１０３ 画像解析部、１０４ 画像抽出部、１０５ 表示制御部、１０６ 画像編集部、１０７ 作業機姿勢状態判断部、１３４ 通信装置、１４０ 積込対象車両、１５０ アクチュエータ、１５４ 操作者席、１５８ 制御装置、１６０ ベッセル。

Claims (14)

1. ホイールローダの制御システムであって、
   画像を取得する画像データ取得部と、
   表示部と、
   取得した前記画像より前記ホイールローダのバケットあるいは積込対象車両のベッセルの内部の少なくとも一部を透過画像として抽出し、前記透過画像を前記表示部に表示する制御部とを備え、
   前記制御部は、前記バケットあるいは前記ベッセルの外形線と前記透過画像とを合成して前記表示部に表示する、ホイールローダの制御システム。
2. 前記制御部は、前記バケットの側面視の外形線を前記バケット内の透過画像に合成して前記表示部に表示する、請求項１記載のホイールローダの制御システム。
3. 前記制御部は、運転席視点の前記バケットの外形線を前記バケット内の透過画像に合成して前記表示部に表示する、請求項１記載のホイールローダの制御システム。
4. 前記制御部は、前記表示部上における前記ホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する遮断領域抽出部と、
   前記遮断領域抽出部により抽出された遮断領域の外形線を境界にして、前記遮断領域の外形線内の領域について、前記遮断領域よりも前記作業者の視線の先にある前記透過画像を合成して前記表示部に表示する表示制御部とを含む、請求項１記載のホイールローダの制御システム。
5. 前記表示部は、光学透過型の表示部である、請求項１〜４のいずれか一項に記載のホイールローダの制御システム。
6. 前記遮断領域抽出部は、前記作業者の操作指示に基づいて前記遮断領域の少なくとも一部を抽出する、請求項４記載のホイールローダの制御システム。
7. 前記画像データ取得部で取得した画像に基づいて前記遮断領域よりも前記作業者の視線の先にある前記透過画像を抽出する画像抽出部とをさらに備え、
   前記表示制御部は、前記遮断領域抽出部により抽出された遮断領域の外形線を境界にして、前記遮断領域の外形線内の領域について、前記画像抽出部により抽出された前記透過画像を合成して前記表示部に表示する、請求項４記載のホイールローダの制御システム。
8. 前記遮断領域抽出部は、前記バケットによる掘削時において、前記作業機のバケットにより前記表示部上における前記運転席視点の作業者の視界が遮断される遮断領域を抽出し、
   前記画像抽出部は、前記掘削時において、抽出された遮断領域よりも前記作業者の視線の先にある前記バケット内の前記透過画像を抽出し、
   前記表示制御部は、前記掘削時において、前記遮断領域抽出部により抽出された前記バケットの外形線を境界にして、前記バケットの外形線内の領域について、前記画像抽出部により抽出された前記バケット内の前記透過画像を合成して前記表示部に表示する、請求項７記載のホイールローダの制御システム。
9. ホイールローダの制御システムであって、
   表示部と、
   前記ホイールローダの作業機あるいは積込対象車両のベッセルの少なくとも一部を透過する透過画像を前記表示部に表示する制御部と、
   画像データを取得する撮像部と、
   前記撮像部で取得した画像データに基づいて前記遮断領域よりも前記作業者の視線の先にある前記透過画像を抽出する画像抽出部とを備え、
   前記制御部は、前記作業機のバケットあるいは前記ベッセルの外形線を前記透過画像に合成して前記表示部に表示し、
   前記作業機は、前記バケットと車両本体とを接続する作業機リンクを含み、
   前記制御部は、
   前記表示部上における前記ホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する遮断領域抽出部と、
   前記遮断領域抽出部により抽出された遮断領域の外形線を境界にして、前記遮断領域の外形線内の領域について、前記遮断領域よりも前記作業者の視線の先にある前記透過画像を合成して前記表示部に表示する表示制御部とを含み、
   前記遮断領域抽出部は、前記ベッセルに対する積込時において、前記作業機リンクにより前記表示部上における前記運転席視点の作業者の視界が遮断される遮断領域を抽出し、
   前記画像抽出部は、前記積込時において、抽出された遮断領域よりも前記作業者の視線の先にある前記ベッセルの一部の前記透過画像を抽出し、
   前記表示制御部は、前記積込時において、前記遮断領域抽出部により抽出された前記作業機リンクの外形線を境界にして、前記作業機リンクの外形線内の領域について、前記画像抽出部により抽出された前記透過画像を合成して前記表示部に表示する、ホイールローダの制御システム。
10. ホイールローダの制御システムであって、
    表示部と、
    前記ホイールローダの作業機あるいは積込対象車両のベッセルの少なくとも一部を透過する透過画像を前記表示部に表示する制御部と、
    画像データを取得する撮像部と、
    前記撮像部で取得した画像データに基づいて前記遮断領域よりも前記作業者の視線の先にある前記透過画像を抽出する画像抽出部とを備え、
    前記制御部は、前記作業機のバケットあるいは前記ベッセルの外形線を前記透過画像に合成して前記表示部に表示し、
    前記制御部は、
    前記表示部上における前記ホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する遮断領域抽出部と、
    前記遮断領域抽出部により抽出された遮断領域の外形線を境界にして、前記遮断領域の外形線内の領域について、前記遮断領域よりも前記作業者の視線の先にある前記透過画像を合成して前記表示部に表示する表示制御部とを含み、
    前記遮断領域抽出部は、前記バケットによる排土時において、前記ベッセルにより前記表示部上における前記運転席視点の作業者の視界が遮断される遮断領域を抽出し、
    前記画像抽出部は、前記排土時において、抽出された遮断領域よりも前記作業者の視線の先にある前記ベッセル内の前記透過画像を抽出し、
    前記表示制御部は、前記排土時において、前記遮断領域抽出部により抽出された前記ベッセルの外形線を境界にして、前記ベッセルの外形線内の領域について、前記画像抽出部により抽出された前記ベッセル内の前記透過画像を合成して前記表示部に表示する、ホイールローダの制御システム。
11. 前記遮断領域抽出部は、前記バケットによる排土時において、前記バケットにより前記表示部上における前記運転席視点の作業者の視界が遮断される遮断領域をさらに抽出し、
    前記画像抽出部は、前記排土時において、抽出された遮断領域よりも前記作業者の視線の先にある前記バケット内の前記透過画像をさらに抽出し、
    前記表示制御部は、前記排土時において、前記遮断領域抽出部により抽出された前記バケットの外形線を境界にして、前記バケットの外形線内の領域について、前記画像抽出部により抽出された前記バケット内の前記透過画像をさらに合成して表示する、請求項１０記載のホイールローダの制御システム。
12. 運転室を含む後車体部と、前記後車体部に接続される前車体部と、前車体部に取り付けられるリンクと前記リンクに取り付けられるバケットと含む作業機とを備えるホイールローダの制御システムであって、
    少なくとも前記作業機の画像を取得する画像データ取得部と、
    表示部と、
    取得した前記画像を抽出し、前記リンクの少なくとも一部を透過する透過画像として編集し、前記透過画像と前記バケットの画像とを合成して前記表示部に表示する制御部とを備える、ホイールローダの制御システム。
13. 抽出する前記透過画像は、前記リンクの外形線を含む、請求項１２記載のホイールローダの制御システム。
14. ホイールローダの制御方法であって、
    画像を取得するステップと、
    取得した前記画像より前記ホイールローダのバケットあるいは積込対象車両のベッセルの内部の少なくとも一部を透過画像として抽出するステップと、
    前記バケットあるいは前記ベッセルの外形線と前記透過画像を合成して画像合成データを作成するステップと、
    前記画像合成データを表示部に表示するステップとを備える、ホイールローダの制御方法。

Images