WO2023100889A1 - 操縦支援システム及び作業車両 - Google Patents

Abstract

操縦支援システムは、ブームを有する作業車両の操縦を支援する操縦支援システムであって、透明であり、画像を表示可能なディスプレイと、ブーム及び／またはブームとともに移動する部材を含む対象部材を示す仮想画像を生成する生成部と、ディスプレイの使用者が対象部材の位置を認識可能な態様で、ディスプレイ越しに見える風景と重なるように、ディスプレイに前記仮想画像を表示する制御部と、を備える。

Description

操縦支援システム及び作業車両

　本発明は、作業車両の操縦支援システム及び操縦支援システムを有する作業車両に関する。

　従来、作業車両である移動式クレーンを用いて荷物を搬送する場合、移動式クレーンの操縦者は、移動式クレーンのブームを操作するための旋回用操作具、起伏用操作具、伸縮用操作具、及び荷物を吊り上げまたは吊り下げるためのウインチ用操作具等の複数の操作具を操作する。また、操縦者は、複数の操作具を同時に操作しつつ、作業現場の構造物等に荷物が接触しないように移動式クレーンを操作しなくてはならない。そこで、操縦者は、荷物の位置についての情報及び地物の情報等を、玉掛け作業者等から取得することによって、操縦者が視認できない範囲及び時期の情報を補っている。つまり、操縦者は、操縦者の視覚による情報と外部の指示者からの情報とに基づいてクレーンの操縦を行う。

　また、移動式クレーンは、操縦者が操縦席から認識し難い領域の情報を取得するためにブームカメラ等を有している。移動式クレーンは、搬送中の荷物及び周囲の構造物等の上方からの画像をブームカメラによって取得することができる。例えば、特許文献１の如くである。

　特許文献１に記載のクレーンは、ブームの先端に設けられたブームカメラで作業現場の画像及びフックに吊り下げられている荷物の画像を取得するとともに、画像に荷物を中心とする基準線、目盛、荷物の移動方向を示す有向線分、及び荷物の旋回可能軌道等の少なくとも一つを重ねて表示する。クレーンの操縦者は、操縦者自身の視覚情報、指示者からの情報、及びブームカメラの画像情報を総合的に判断してクレーンを操縦する。

特開２０１９－１５６５３８号公報

　クレーン操縦者は、ブームの先端及びフック等が視認できない場合、指示者の指示内容及び指示のタイミングに合わせてクレーンを操作する。この際、クレーンの操縦者は、周囲の構造物とブーム及びフック等との位置関係を指示者の指示内容から推測する。よって、クレーンの操縦者は、指示者の指示内容が適切でないと効率よくクレーンを操縦できない。

　本発明の目的は、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーンを操縦することができる操縦支援システム及び作業車両を提供することである。

　本発明者らは、指示者から取得する情報が操縦に与える影響を抑制し、効率よく作業車両を操縦することができる操縦支援システム及び作業車両の構成について検討した。本発明者らは、鋭意検討の結果、以下のような構成に想到した。

　本発明に係る操縦支援システムの一態様は、
　ブームを有する作業車両の操縦を支援する操縦支援システムであって、
　透明であり、画像を表示可能なディスプレイと、
　ブーム及び／またはブームとともに移動する部材を含む対象部材を示す仮想画像を生成する生成部と、
　ディスプレイの使用者が対象部材の位置を認識可能な態様で、ディスプレイ越しに見える風景と重なるように、ディスプレイに仮想画像を表示する制御部と、を備える。

　本発明に係る作業車両の一態様は、上述の操縦支援システムを備える。

　本明細書で使用される専門用語は、特定の実施例のみを定義する目的で使用されるのであって、専門用語によって発明を制限する意図はない。

　本明細書で使用される「及び／または」は、一つまたは複数の関連して列挙された構成物のすべての組み合わせを含む。

　本明細書において、「含む、備える（ｉｎｃｌｕｄｉｎｇ）」「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」または「有する（ｈａｖｉｎｇ）」及びそれらの変形の使用は、記載された特徴、工程、要素、成分、及び／または、それらの等価物の存在を特定するが、工程、動作、要素、成分、及び／または、それらのグループのうちの１つまたは複数を含むことができる。

　本明細書において、「取り付けられた」、「接続された」、「結合された」、及び／または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な接続または結合を含むことができる。

　他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。

　一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。

　本発明の説明においては、いくつもの技術及び工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の１つ以上、または、場合によっては全てと共に使用することもできる。

　したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。

　本明細書では、本発明に係る作業車両の操縦支援システム及び操縦支援システムを備える作業車両の実施形態について説明する。

　以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。

　よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。

　［仮想画像］
　本明細書において、仮想画像とは、透過型表示装置において使用者が視認している透過型表示装置の背景（風景）以外の画像、映像であって、透過型表示装置が表示している線、図形、画像、映像、３次元画像、及び／または３次元映像を意味する。つまり、仮想画像は、実際に存在しない物体の画像を使用者の視点から見た形状の画像に変換することで使用者が視認している透過型表示装置の背景に違和感なく表示可能な画像である。仮想画像は、透過型表示装置おいて使用者が視認している透過型表示装置の背景に重ねて表示される。仮想画像は、第１仮想画像、第２仮想画像、第３仮想画像、第４仮想画像、及び第５仮想画像を含む。

　［視点］
　本明細書において、視点とは、対象を見るときの立脚点を意味する。使用者の視点とは、使用者が対象物を視認している際の使用者の対象物に対する位置を意味する。

　［仮想画像に関する情報］
　本明細書において、仮想画像に関する情報とは、透過型表示装置の使用者の視点から見た画像として透過型表示装置の表示画面に仮想画像を表示するために必要な情報を意味する。仮想画像に関する情報は、仮想画像の座標及び／または表示の状態等を含む。

　［軌道］
　本明細書において、軌道とは、作業車両の操作具毎の操作によって作業車両の基準部材が通過する複数の座標の集合を連続する線で表した図形を意味する。また、軌道には、操作具毎の操作によって作業車両の基準部材が通過する座標の集合を任意の基準面上の座標に変換し、連続する線で表した図形を含む。

　［通信装置］
　本明細書において、通信装置とは、画像処理装置と表示装置用制御装置、画像処理装置と入力装置、画像処理装置と作業車両の制御装置との間で情報を送受信する装置を意味する。通信装置は、表示装置用制御装置及び画像処理装置と一体に構成されていてもよい。

　［基準部材］
　本明細書において、基準部材とは、作業車両が有するブームの移動に伴って移動する部材であり、且つブームに設けられた撮影装置により撮影される部材である。つまり、基準部材は、撮影装置によって現在位置を認識される部材である。基準部材は、例えばブームから吊り下げられたメインフック、メインフックブロック、サブフック、サブフックブロック、メインワイヤロープ、及び、フック（メインフックまたはサブフック）により吊り下げられた荷物である。

　本発明によれば、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーンを操縦することができる操縦支援システム及び作業車両を提供できる。

図１は、本発明の実施形態１に係る作業車両の操縦支援システムにおける透過型表示装置が使用者に装着された斜視図を示す。 図２は、本発明の実施形態１に係る作業車両の操縦支援システムにおける透過型表示装置の斜視図を示す。 図３は、本発明の実施形態１に係る作業車両の操縦支援システムのブロック図を示す。 図４は、本発明の実施形態１に係る作業車両の操縦支援システムが接続されるクレーンの側面図を示す。 図５は、本発明の実施形態１に係る作業車両の操縦支援システムが接続されるクレーンの制御ブロック図を示す。 図６は、本発明の実施形態１に係る作業車両の操縦支援システムが仮想画像を表示するために必要な情報を生成する際のブロック図を示す。 図７は、本発明の実施形態１に係る作業車両の操縦支援システムが仮想画像を表示している状態の模式図を示す。 図８は、本発明の実施形態１に係る作業車両の操縦支援システムがブームの一部が視認できない状態で仮想画像を表示している状態の模式図を示す。 図９は、本発明の実施形態２に係る作業車両の操縦支援システムが仮想画像を表示するために必要な情報を生成する際のブロック図を示す。 図１０は、本発明の実施形態２に係る作業車両の操縦支援システムが地表面を基準面とした場合の仮想画像を表示している状態の模式図を示す。 図１１は、本発明の実施形態２に係る作業車両の操縦支援システムがブーム先端を含む水平面を基準面とした場合の仮想画像を表示している状態の模式図を示す。 図１２は、本発明の実施形態３に係る作業車両の操縦支援システムが仮想画像を表示するために必要な情報を生成する際のブロック図を示す。 図１３は、本発明の実施形態４に係る作業車両の操縦支援システムが仮想画像を表示するために必要な情報を生成する際のブロック図を示す。 図１４は、本発明の実施形態５に係る作業車両の操縦支援システムが仮想画像を表示するために必要な情報を生成する際のブロック図を示す。

　［実施形態１］
　以下に、図１から図３を用いて、本発明の実施形態１に係るブーム１９を有する作業車両であるクレーン１１の操縦支援システム１について説明する。図１は、本発明の実施形態１に係るクレーン１１の操縦支援システム１における透過型表示装置２が使用者に装着された斜視図である。図２は、クレーン１１の操縦支援システム１における透過型表示装置２の斜視図である。図３は、クレーン１１の操縦支援システム１のブロック図である。なお、本実施形態においては、作業車両としてラフテレーンクレーン（以下、単に「クレーン」と記す。）について説明する。しかしながら、作業車両は、オールテレーンクレーン、トラッククレーン、及び高所作業車等の旋回台を介して起伏可能なブームが設けられた作業車両であればよい。

　図１及び図２に示すように、作業車両であるクレーン１１（図４参照）の操縦支援システム１は、複合現実（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）を用いてクレーン１１の操縦を支援するシステムである。操縦支援システム１は、透過型表示装置２と、通信装置８と、画像処理装置９とを有する。

　操縦支援システム１は、ブーム１９を有するクレーン１１の操縦を支援するシステムである。本実施形態の操縦支援システム１は、透明であり、画像を表示可能なディスプレイ（具体的には、透過型ディスプレイ４）と、ブーム１９及び／またはブーム１９とともに移動する部材（具体的には、ワイヤロープ及び／またはフック）を含む対象部材を示す仮想画像（具体的には、第１仮想画像Ｉｍ１）を生成する生成部（画像処理装置９）と、画像処理装置９の使用者が対象部材の位置を認識可能な態様で、画像処理装置９越しに見える風景と重なるように、画像処理装置９に仮想画像を表示する制御部（表示装置用制御装置７）と、を備える。以下、操縦支援システム１の具体的構成について説明する。

　透過型表示装置２は、透過型表示装置２の使用者の視点から見た仮想画像を使用者の視点から見た透過型表示装置２の背景（風景）Ｌｓに重ねた状態で使用者に視認させる表示装置である。透過型表示装置２は、使用者が身体に装着して使用するウェアラブル端末である。本実施形態において、透過型表示装置２は、眼鏡型のウェアラブル端末として説明する。透過型表示装置２は、使用者であるクレーン１１の操縦者に装着されている。透過型表示装置２は、フレーム３と、透過型ディスプレイ４と、慣性計測装置５と、表示装置用カメラ６と、表示装置用制御装置７とを有する。

　フレーム３は、透過型ディスプレイ４と、慣性計測装置５と、表示装置用カメラ６と、表示装置用制御装置７とを支持する。フレーム３は、眼鏡型フレームとして構成されている。フレーム３は、透過型表示装置２の使用者の頭部に装着される。フレーム３は、使用者の鼻と両耳とによって支持される。

　透過型ディスプレイ４は、透過率が概ね５０％以上のディスプレイである。透過型ディスプレイ４は、バックライト、偏光フィルタ、及びカラーフィルタを有さない。透過型ディスプレイ４は、液晶ディスプレイ、有機ＥＬディスプレイ、または無機ＥＬディスプレイ等であってよい。つまり、透過型ディスプレイ４は、透過型表示装置２の使用者と対向している表示画面の背面を覆うバックライト及びフィルタ等の部材が存在しない。従って、透過型ディスプレイ４は、透過型表示装置２の使用者の視点から見て透過型ディスプレイ４と重複している背景が透過している。

　透過型ディスプレイ４は、表示画面に表示装置用制御装置７よって生成された第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５を表示する。なお、第１仮想画像Ｉｍ１は、ブーム１９の仮想画像である第１ブーム仮想画像Ｉｍ１ａと、基準部材Ｒｍの仮想画像である第１基準部材仮想画像Ｉｍ１ｂとのうち少なくとも一つを含む。第１仮想画像Ｉｍ１（第１ブーム仮想画像Ｉｍ１ａ及び第１基準部材仮想画像Ｉｍ１ｂ）は、対象部材を示す仮想画像の一例に該当する。

　透過型ディスプレイ４は、仮想画像を表示させない部分において背面から入光した光を透過させる。また、透過型ディスプレイ４は、仮想画像を表示させる部分において背面から入光した光の少なくとも一部を遮光する。更に、透過型ディスプレイ４は、遮光した部分に仮想画像を表示する。この際、透過型ディスプレイ４には、透過型表示装置２の使用者の視点から見た仮想画像が表示される。これにより、透過型ディスプレイ４は、透過型表示装置２の使用者の視点から見た背景Ｌｓに仮想画像が重なって表示された状態を透過型表示装置２の使用者に視認させる。透過型ディスプレイ４は、フレーム３に設けられている。

　透過型ディスプレイ４は、フレーム３を装着している使用者の右目の視野範囲と左目の視野範囲とを覆うように位置している。透過型ディスプレイ４は、右目用の仮想画像と左目用の仮想画像とを視差画像としてそれぞれ表示画面に表示可能に構成されている。これにより、透過型ディスプレイ４は、使用者の視野範囲のほぼ全域において立体的な仮想画像を表示させることができる。なお、透過型表示装置２において、使用者の視点から見た仮想画像を使用者の視野内に表示させる技術は公知である。

　慣性計測装置５（ＩＭＵ：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）は、透過型表示装置２の位置及び方位を算出する。慣性計測装置５は、フレーム３に位置している。慣性計測装置５は、Ｘ軸、Ｙ軸、及びＺ軸まわりの角度及び角加速度を算出する。つまり、慣性計測装置５は、任意の位置を基準として透過型表示装置２の移動方向及び移動量を算出する。

　表示装置用カメラ６は、透過型表示装置２を装着している使用者の視線の方向を撮影する。表示装置用カメラ６は、フレーム３に設けられている。表示装置用カメラ６は、透過型表示装置２の使用者の視点と略等しい位置から使用者の視野範囲と略等しい範囲を撮影する。なお、本実施形態において、表示装置用カメラ６は、フレーム３に設けられているが、透過型表示装置２の使用者の視点から透過型表示装置２の使用者の視野範囲を撮影することができる位置に設けられればよい。

　図３に示すように、表示装置用制御装置７は、透過型ディスプレイ４に第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び／または第５仮想画像Ｉｍ５を表示させる制御装置である。表示装置用制御装置７は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等がバスで接続されている。または、表示装置用制御装置７は、ワンチップのＬＳＩ等からなる構成であってもよい。表示装置は、透過型ディスプレイ４及び表示装置用カメラ６と接続されている。表示装置用制御装置７は、通信装置８を介して画像処理装置９と接続されている。

　表示装置用制御装置７は、表示装置用カメラ６が撮影した表示装置画像Ｐ１を取得することができる。表示装置用制御装置７は、表示装置画像Ｐ１に含まれる特定のマーカを認識することができる。表示装置用制御装置７は、予め特定のマーカの座標を取得している場合、特定のマーカを認識することで表示装置用カメラ６の位置及び／または姿勢等を算出することができる。

　特定のマーカは、例えば後述するクレーン１１のキャビン２７内の定められた箇所に位置する。更に、表示装置用制御装置７は、特定のマーカに基づいて算出した表示装置用カメラ６の位置及び／または姿勢等を基準として慣性計測装置５により表示装置用カメラ６の位置及び／または姿勢等を単位時間毎に算出する。これにより、表示装置用制御装置７は、過去の表示装置画像Ｐ１に特定のマーカが含まれている場合、現在の表示装置画像Ｐ１に特定のマーカが含まれていない状態でも現在の表示装置用カメラ６の位置及び／または姿勢等を算出することができる。

　透過型表示装置２の使用者の位置は、表示装置用カメラ６を基準として予め定められている。従って、表示装置用制御装置７は、算出した表示装置用カメラ６の位置及び／または姿勢等に基づいて透過型表示装置２の使用者の位置に関する情報Ｉｆａを生成することができる。使用者の位置に関する情報Ｉｆａは、透過型表示装置２の使用者が位置する緯度、経度、及び標高等の座標情報、並びに、透過型表示装置２の使用者が視認している方向等を含む。透過型表示装置２は、例えば後述するクレーン１１のキャビン２７内に位置するマーカを認識することで透過型表示装置２の使用者の位置に関する情報Ｉｆａを算出する。

　表示装置用制御装置７は、画像処理装置９から透過型ディスプレイ４に表示する第１仮想画像Ｉｍ１に関する情報Ｉｆ１、第２仮想画像Ｉｍ２に関する情報Ｉｆ２、第３仮想画像Ｉｍ３に関する情報Ｉｆ３、第４仮想画像Ｉｍ４に関する情報Ｉｆ４、及び／または第５仮想画像Ｉｍ５に関する情報Ｉｆ５を取得する。表示装置用制御装置７は、取得した第１仮想画像Ｉｍ１に関する情報Ｉｆ１、第２仮想画像Ｉｍ２に関する情報Ｉｆ２、第３仮想画像Ｉｍ３に関する情報Ｉｆ３、第４仮想画像Ｉｍ４に関する情報Ｉｆ４、及び／または第５仮想画像Ｉｍ５に関する情報Ｉｆ５に基づいて透過型表示装置２の使用者の視点から見た第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５を透過型ディスプレイ４に表示することができる。

　透過型表示装置２は、使用者が頭部に装着した状態で透過型ディスプレイ４の表示画面に第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び／または第５仮想画像Ｉｍ５を表示することができる。また、透過型表示装置２は、特定のマーカを認識することで第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び／または第５仮想画像Ｉｍ５を透過型ディスプレイ４に表示するために必要な使用者の位置に関する情報Ｉｆａを算出することができる。

　透過型表示装置２は、背景Ｌｓが透過している透過型ディスプレイ４の表示画面に透過型表示装置２の使用者の視点から見た第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５のうちの少なくとも一つを透過型ディスプレイ４に表示することができる。これにより、透過型表示装置２は、第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５の少なくとも一つを透過型表示装置２の背景Ｌｓに重ねた状態で透過型表示装置２の使用者に視認させることができる。

　図３に示すように、通信装置８は、透過型表示装置２と、画像処理装置９と、クレーン用制御装置３０との間で情報を送受信する装置である。通信装置８は、透過型表示装置２の表示装置用制御装置７及び画像処理装置９にそれぞれ設けられている。通信装置８は、クレーン用制御装置３０と画像処理装置９との間で情報を送信及び受信する。また、通信装置８は、表示装置用制御装置７と画像処理装置９との間で情報を送信及び受信する。

　画像処理装置９は、生成部の一例に該当し、第１仮想画像Ｉｍ１に関する情報Ｉｆ１、第２仮想画像Ｉｍ２に関する情報Ｉｆ２、第３仮想画像Ｉｍ３に関する情報Ｉｆ３、第４仮想画像Ｉｍ４に関する情報Ｉｆ４、及び第５仮想画像Ｉｍ５に関する情報Ｉｆ５を生成する制御装置である。画像処理装置９は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続されている。または、画像処理装置９は、ワンチップのＬＳＩ等からなる構成でもよい。本実施形態において、画像処理装置９は、透過型表示装置２に設けられている。つまり、画像処理装置９は、フレーム３に支持されている。

　画像処理装置９は、透過型表示装置２等の動作を制御したり画像データを処理したりするために種々のプログラム及びデータが格納されている。なお、画像処理装置９は、表示装置用制御装置７または後述する作業車両であるクレーン１１のクレーン用制御装置３０と一体に構成されていてもよい。

　画像処理装置９は、通信装置８を介して透過型表示装置２の表示装置用制御装置７に接続されている。画像処理装置９は、通信装置８を介して表示装置用制御装置７から使用者の位置に関する情報Ｉｆａを取得することができる。また、画像処理装置９は、通信装置８を介して表示装置用制御装置７から表示装置用カメラ６が撮影した表示装置画像Ｐ１を取得することができる。また、画像処理装置９は、通信装置８を介して撮影装置であるクレーン１１のブームカメラ１９ｂ（図４参照）が撮影した基準部材Ｒｍを含む所定の範囲を撮影した画像である基準部材画像Ｐ２を取得することができる。

　画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂを取得することができる。クレーン１１の位置に関する情報Ｉｆｂとは、クレーン１１の旋回中心が位置する緯度、経度、及び標高等の座標情報、並びに、車両１２の方位等を含む。

　画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の姿勢に関する情報Ｉｆｃを取得することができる。クレーン１１の姿勢に関する情報Ｉｆｃとは、クレーン１１の旋回角度、ブームの起伏角度、ブーム長さ、メインワイヤロープ２４の繰り出し長さ、サブワイヤロープ２６の繰り出し長さ、ブームカメラ１９ｂの画角等の諸元、並びにクレーン１１の各操作具の操作方向及び操作量を含む（図４及び図５参照）。

　画像処理装置９は、通信装置８を介してクレーン用制御装置３０または図示しない外部のサーバーからクレーン１１の形状に関する情報Ｉｆｉを取得することができる。クレーン１１の形状に関する情報Ｉｆｉとは、後述するブーム１９、ジブ１９ｃ、メインフックブロック２０、メインフック２０ａ、サブフックブロック２１、サブフック２１ａ、メインワイヤロープ２４及びサブワイヤロープ２６等のブーム１９に関係する部材の形状についての３次元座標（換言すれば、３次元画像）に関する情報である。また、クレーン１１の形状に関する情報Ｉｆｉは、ブーム１９に設けられたブームカメラ１９ｂの緯度、経度、標高の座標情報、及びブームカメラ１９ｂの撮影方向等を含む。

　画像処理装置９は、通信装置８を介してクレーン用制御装置３０または外部のサーバーが有するＢＩＭ等から基準部材Ｒｍの形状に関する情報Ｉｆｈを取得することができる。基準部材Ｒｍとは、ブーム１９の移動に伴って移動するメインフックブロック２０、メインフック２０ａ、サブフックブロック２１、サブフック２１ａ、メインワイヤロープ２４、サブワイヤロープ２６、及び荷物Ｗ等である。基準部材Ｒｍは、透過型表示装置２の使用者が任意に選択することができる。基準部材Ｒｍの形状に関する情報Ｉｆｈとは、基準部材Ｒｍについての３次元座標（換言すれば、３次元画像）に関する情報である。本実施形態において、基準部材Ｒｍは、メインフック２０ａとする。

　画像処理装置９は、通信装置８を介してクレーン用制御装置３０またはクレーン１１の撮影装置であるブームカメラ１９ｂから基準部材画像Ｐ２に関する情報Ｉｆｆを取得することができる。基準部材画像Ｐ２に関する情報Ｉｆｆとは、ブームカメラ１９ｂが撮影した基準部材画像Ｐ２及び基準部材画像Ｐ２を撮影した際のブームカメラ１９ｂの画角等である。基準部材画像Ｐ２に関する情報Ｉｆｆは、基準部材Ｒｍの姿勢に関する情報Ｉｆｇを含む。

　このように構成されるクレーン１１の操縦支援システム１は、画像処理装置９によって透過型表示装置２の使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、基準部材画像Ｐ２に関する情報Ｉｆｆ及びクレーン１１の形状に関する情報Ｉｆｉを取得する。

　以下に、図４と図５とを用いて、本発明の一実施形態に係る作業車両であるクレーン１１について説明する。図４は、操縦支援システム１が接続されるクレーン１１の側面図である。図５は、操縦支援システム１が接続されるクレーン１１の制御ブロック図である。

　図４と図５とに示すように、クレーン１１は、任意の場所に移動可能な移動式クレーンである。クレーン１１は、車両１２、クレーン装置１６、撮影装置であるブームカメラ１９ｂ、クレーン用制御装置３０を有する。

　車両１２は、クレーン装置１６を搬送する走行体である。車両１２は、複数の車輪１３を有する。車両１２は、エンジン１４を動力源として走行する。車両１２は、アウトリガ１５を有する。アウトリガ１５は、車両１２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとを有する。

　クレーン装置１６は、荷物Ｗをワイヤロープによって吊り上げる作業装置である。クレーン装置１６は、旋回台１７、クレーン用ＧＮＳＳ受信機１８、ブーム１９、メインフックブロック２０、サブフックブロック２１、起伏用油圧シリンダ２２、メインウインチ２３、メインワイヤロープ２４、サブウインチ２５、サブワイヤロープ２６、及びキャビン２７等を具備する。

　旋回台１７は、クレーン装置１６を旋回可能に構成する回転装置である。旋回台１７は、円環状の軸受を介して車両１２のフレーム上に設けられる。旋回台１７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台１７には、アクチュエータである油圧式の旋回用油圧モータ１７ａを有する。旋回台１７は、旋回用油圧モータ１７ａによって一方向と他方向とに旋回可能に構成されている。

　クレーン用ＧＮＳＳ受信機１８は、全球測位衛星システム（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）を構成する受信機である。クレーン用ＧＮＳＳ受信機１８は、衛星から測距電波を受信し、クレーン用ＧＮＳＳ受信機１８の絶対座標である緯度、経度、標高、及び方位等を検出する。クレーン用ＧＮＳＳ受信機１８は、旋回台１７に設けられている。クレーン用ＧＮＳＳ受信機１８は、クレーン１１の位置に関する情報Ｉｆｂを検出する。

　ブーム１９は、メインワイヤロープ２４及びサブワイヤロープ２６を支持する可動支柱である。ブーム１９は、複数のブーム部材から構成されている。ブーム１９は、ベースブーム部材の基端が旋回台１７の略中央に揺動可能に設けられている。ブーム１９は、各ブーム部材を伸縮させるアクチュエータである伸縮用油圧シリンダ１９ａとブーム部材を起伏させる起伏用油圧シリンダ２２を有する。

　ブーム１９は、伸縮用油圧シリンダ１９ａによって軸方向に伸縮させられる。ブーム１９には、撮影装置であるブームカメラ１９ｂを有する。さらに、ブーム１９は、延長用部材であるジブ１９ｃを有する。ブームカメラ１９ｂが撮影した画像である基準部材画像Ｐ２は、クレーン用制御装置３０の通信装置３０ａを介して画像処理装置９に送信される。

　メインフックブロック２０とサブフックブロック２１とは、荷物Ｗを吊る部品である。メインフックブロック２０は、メインワイヤロープ２４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック２０ａとを有する。サブフックブロック２１は、荷物Ｗを吊るサブフック２１ａを有する。

　メインウインチ２３は、メインワイヤロープ２４の繰り入れ（巻き上げ）及び繰り出し（巻き下げ）を行う装置である。サブウインチ２５は、サブワイヤロープ２６の繰り入れ（巻き上げ）及び繰り出し（巻き下げ）を行う装置である。メインウインチ２３は、メインワイヤロープ２４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転される。サブウインチ２５は、サブワイヤロープ２６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転させられる。

　キャビン２７は、操縦席を覆う筐体である。キャビン２７は、旋回台１７に搭載されている。キャビン２７には、図示しない操縦席が設けられている。操縦席には、車両１２を走行操作するための走行用操作具２８、クレーン装置１６の旋回用油圧モータ１７ａを操作する旋回用操作具２９ａ、伸縮用シリンダを操作する伸縮用操作具２９ｂ、起伏用油圧シリンダ２２を操作する起伏用操作具２９ｃ、メインウインチ２３を操作するメイン用操作具２９ｄ、及びサブウインチ２５を操作するサブ用操作具２９ｅを含むクレーン装置用操作具２９等が設けられている（図５参照）。

　図５に示すように、クレーン用制御装置３０は、クレーン１１の各アクチュエータを制御する。クレーン用制御装置３０は、キャビン２７内に設けられている。クレーン用制御装置３０は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続されている。またはクレーン用制御装置３０は、ワンチップのＬＳＩ等から構成される。

　クレーン用制御装置３０は、各アクチュエータ、切換え弁等の動作を制御したり画像データを処理したりするために種々のプログラム及びデータが格納されている。クレーン用制御装置３０は、通信装置３０ａを有している。通信装置３０ａは、操縦支援システム１の画像処理装置９との間で情報を送信及び受信する。

　クレーン用制御装置３０は、クレーン用ＧＮＳＳ受信機１８に接続されている。クレーン用制御装置３０は、クレーン１１の位置に関する情報Ｉｆｂを取得することができる。クレーン用制御装置３０は、走行用操作具２８及びクレーン装置用操作具２９に接続されている。クレーン用制御装置３０は、走行用操作具２８及びクレーン装置用操作具２９のそれぞれの操作信号を取得することができる。

　クレーン用制御装置３０は、走行用操作具２８の操作により生成される操作信号に基づいて、車両１２の制御信号を生成する。同様に、クレーン用制御装置３０は、クレーン装置用操作具２９の操作により生成される操作信号に基づいて、クレーン装置１６の制御信号を生成する。クレーン用制御装置３０は、生成した制御信号をクレーン装置１６の各アクチュエータに送信することができる。

　クレーン用制御装置３０は、取得したクレーン装置用操作具２９のそれぞれの操作信号からクレーン１１の姿勢に関する情報Ｉｆｃを生成することができる。クレーン用制御装置３０は、予めクレーン１１の形状に関する情報Ｉｆｉ及び基準部材Ｒｍの形状に関する情報Ｉｆｈを保持しているものとする。

　クレーン用制御装置３０は、通信装置３０ａを介して操縦支援システム１の画像処理装置９に接続されている。クレーン用制御装置３０は、画像処理装置９にクレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、クレーン１１の形状に関する情報Ｉｆｉ、基準部材Ｒｍの形状に関する情報Ｉｆｈ、及び基準部材画像Ｐ２に関する情報Ｉｆｆを送信することができる。

　このように構成されるクレーン１１は、走行用操作具２８の操作によって車両１２を任意の位置に移動させることができる。また、クレーン１１は、クレーン装置用操作具２９の操作によって、ブーム１９を旋回、起伏、伸縮させることで荷物Ｗを任意の位置に搬送することができる。また、クレーン１１は、操縦支援システム１に各種情報を送信することができる。

　＜ブーム１９及びメインフック２０ａの現在位置表示＞
　以下に、図６～図８を用いて、クレーン１１の操縦者に対する操縦支援システム１の第１実施形態としてブーム１９、メインフックブロック２０及びメインフック２０ａ（以下、単に「メインフック２０ａと記す）の現在位置表示について具体的に説明する。図６は、クレーン１１の操縦支援システム１が第１仮想画像Ｉｍ１を表示する際の制御ブロック図である。図７は、クレーン１１の操縦支援システム１が第１仮想画像Ｉｍ１、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５を表示している状態の模式図である。図８は、ブーム１９及びメインフック２０ａの一部が視認できない状態でクレーン１１の操縦支援システム１が第１ブーム仮想画像Ｉｍ１ａ及び第１基準部材仮想画像Ｉｍ１ｂを表示している状態の模式図である。

　クレーン１１の操縦者は、透過型表示装置２の使用者でもある。クレーン１１の操縦者は、透過型表示装置２を頭部に装着した状態でクレーン１１を操縦する。また、クレーン１１の操縦者は、クレーン１１のキャビン２７（図４参照）内に着席した状態でクレーン１１を操縦している。本実施形態において、基準部材Ｒｍは、クレーン１１のメインフック２０ａとする。

　図６に示すように、クレーン１１のクレーン用制御装置３０と接続されている操縦支援システム１の画像処理装置９は、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、及びクレーン１１の形状に関する情報Ｉｆｉに基づいて、現在のブーム１９の姿勢におけるブーム１９の３次元座標の集合である第１基準座標Ｃ１を算出する。更に、画像処理装置９は、使用者の位置に関する情報Ｉｆａ、及び第１基準座標Ｃ１に基づいて、透過型表示装置２の使用者の視点から見たブーム１９の形状を示す第１ブーム仮想画像Ｉｍ１ａを透過型ディスプレイ４の表示画面上に表示するための第１仮想画像Ｉｍ１に関する情報Ｉｆ１を生成する。換言すれば、画像処理装置９は、ディスプレイの使用者の位置に関する情報と、作業車の姿勢及び作業車の位置に基づいて算出された対象部材の位置に関する情報と、に基づいて、仮想画像（第１ブーム仮想画像Ｉｍ１ａ）を表示するディスプレイ上の位置を決定する。そして、画像処理装置９は、決定した仮想画像を表示するディスプレイ上の位置に関する情報を、表示装置用制御装置７に送る。尚、このように位置を決定する際、クレーン１１の形状に関する情報Ｉｆｉは、省略されてもよい。

　また、画像処理装置９は、基準部材Ｒｍの形状に関する情報Ｉｆｈと基準部材画像Ｐ２に関する情報Ｉｆｆとに基づいて、基準部材画像Ｐ２から基準部材Ｒｍを抽出する。更に、画像処理装置９は、基準部材画像Ｐ２から抽出した基準部材Ｒｍ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、及びクレーン１１の形状に関する情報Ｉｆｉに基づいて、基準部材Ｒｍの現在の緯度、経度、標高（ブーム１９の先端からの高さ）等の座標情報及び基準部材Ｒｍの方位等を含む基準部材Ｒｍの現在位置ＲＬｐを算出する。基準部材Ｒｍの現在位置ＲＬｐは、ブームカメラ１９ｂ（図５参照）が単位時間毎に撮影した基準部材画像Ｐ２に含まれる基準部材Ｒｍの位置から算出される。つまり、現在位置ＲＬｐは、基準部材Ｒｍの揺れ等による位置の変動等も含まれる。

　画像処理装置９は、基準部材Ｒｍの現在位置ＲＬｐ、クレーン１１の姿勢に関する情報Ｉｆｃ、及び基準部材Ｒｍの形状に関する情報Ｉｆｈに基づいて、基準部材Ｒｍの現在位置ＲＬｐにおける基準部材Ｒｍの３次元座標の集合である第２基準座標Ｃ２を算出する。更に、画像処理装置９は、使用者の位置に関する情報Ｉｆａ及び第２基準座標Ｃ２に基づいて、透過型表示装置２の使用者の視点から見た基準部材Ｒｍの形状を示す第１基準部材仮想画像Ｉｍ１ｂを透過型ディスプレイ４の表示画面上に表示するための第１仮想画像Ｉｍ１に関する情報Ｉｆ１を生成する。換言すれば、画像処理装置９は、ディスプレイの使用者の位置に関する情報と、作業車の姿勢及び作業車の位置に基づいて算出された対象部材の位置に関する情報と、に基づいて、仮想画像（第１基準部材仮想画像Ｉｍ１ｂ）を表示するディスプレイ上の位置を決定する。そして、画像処理装置９は、決定した仮想画像を表示するディスプレイ上の位置に関する情報を、表示装置用制御装置７に送る。尚、基準部材Ｒｍの現在位置ＲＬｐを算出する方法は、上述の方法に限定されない。基準部材Ｒｍの現在位置ＲＬｐは、例えば、クレーンの位置に関する情報及びクレーンの姿勢に関する情報に基づいて算出されてもよい。

　画像処理装置９は、生成した第１ブーム仮想画像Ｉｍ１ａと、第１基準部材仮想画像Ｉｍ１ｂとのうち少なくとも一つを透過型ディスプレイ４の表示画面上に表示するための第１仮想画像Ｉｍ１に関する情報Ｉｆ１を表示装置用制御装置７に送信する。

　表示装置用制御装置７は、通信装置８を介して画像処理装置９から第１仮想画像Ｉｍ１に関する情報Ｉｆ１を取得する。

　図７に示すように、表示装置用制御装置７は、第１仮想画像Ｉｍ１に関する情報Ｉｆ１に基づいて、透過型ディスプレイ４を通して透過型表示装置２の使用者が視認しているブーム１９と重なる透過型ディスプレイ４の表示画面上に透過型表示装置２の使用者の視点から見たブーム１９の形状を示す第１ブーム仮想画像Ｉｍ１ａと、使用者の視点から見た基準部材Ｒｍの形状を示す第１基準部材仮想画像Ｉｍ１ｂとのうち少なくとも一つを表示する。第１ブーム仮想画像Ｉｍ１ａは、透過型ディスプレイ４を通して透過型表示装置２の使用者が視認しているブーム１９に重なる。第１基準部材仮想画像Ｉｍ１ｂは、透過型ディスプレイ４を通して透過型表示装置２の使用者が視認している基準部材Ｒｍであるメインフック２０ａに重なる。

　図８に示すように、透過型表示装置２は、構造物Ｃ等に遮られて透過型表示装置２の使用者の視点からブーム１９の少なくとも一部が見えない場合でも透過型表示装置２の使用者の視点から見たブーム１９の形状を示す第１ブーム仮想画像Ｉｍ１ａを透過型ディスプレイ４上に表示する。同様に、透過型表示装置２は、構造物Ｃ等に遮られて透過型表示装置２の使用者の視点から基準部材Ｒｍの少なくとも一部が見えない場合でも使用者の視点から見た基準部材Ｒｍの形状を示す第１基準部材仮想画像Ｉｍ１ｂを透過型ディスプレイ４上に表示する。つまり、表示装置用制御装置７は、対象部材が障害物に隠れて視認不可能な場合、障害物に重なるように仮想画像（具体的には、第１ブーム仮想画像Ｉｍ１ａ及び第１基準部材仮想画像Ｉｍ１ｂ）を透過型ディスプレイ４に表示する。

　このように、画像処理装置９は、使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、及びクレーン１１の形状に関する情報Ｉｆｉに基づいて第１ブーム仮想画像Ｉｍ１ａを表示するための第１仮想画像Ｉｍ１に関する情報Ｉｆ１を生成している。また、画像処理装置９は、使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、基準部材Ｒｍの形状に関する情報Ｉｆｈ、及び基準部材画像Ｐ２に基づいて第１基準部材仮想画像Ｉｍ１ｂを表示するための第１仮想画像Ｉｍ１に関する情報Ｉｆ１を生成している。

　つまり、画像処理装置９は、第１仮想画像Ｉｍ１に関する情報Ｉｆ１を生成する際に透過型表示装置２の使用者の視点から見たブーム１９及び基準部材Ｒｍが含まれる画像情報を利用していない。従って、画像処理装置９は、透過型表示装置２の使用者の視点から見てブーム１９及び基準部材Ｒｍの少なくとも一部が遮られていても第１ブーム仮想画像Ｉｍ１ａ及び第１基準部材仮想画像Ｉｍ１ｂを表示するための第１仮想画像Ｉｍ１に関する情報Ｉｆ１を生成することができる。

　透過型表示装置２を使用しているクレーン１１の操縦者は、荷物Ｗの搬送中にブーム１９または荷物Ｗを吊り下げているメインフック２０ａがキャビン２７内から視認できない状態になっても、第１ブーム仮想画像Ｉｍ１ａと、第１基準部材仮想画像Ｉｍ１ｂとのうち少なくとも一つによって周囲の構造物Ｃとブーム１９及びメインフック２０ａとの位置関係を客観的に把握しながら操縦することができる。これにより、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

　＜実施形態２：ブームカメラの画像表示＞
　以下に、図９から図１１を用いて、クレーン１１の操縦者に対する操縦支援システム１の実施形態２として、任意の基準面Ｓ１におけるブームカメラ１９ｂの画像表示について具体的に説明する。図９は、クレーン１１の操縦支援システム１が第２仮想画像Ｉｍ２を表示するために必要な第２仮想画像に関する情報Ｉｆ２を生成する際のブロック図を示す。図１０は、クレーン１１の操縦支援システム１が地表面を基準面Ｓ１とした場合の第２仮想画像Ｉｍ２を表示している状態の模式図を示す。図１１は、クレーン１１の操縦支援システム１がブーム先端の現在位置ＢＬｐを含む水平面を基準面Ｓ１とした場合の第２仮想画像Ｉｍ２を表示している状態の模式図を示す。

　図９に示すように、クレーン１１の操縦支援システム１は、ブーム１９が有するブームカメラ１９ｂが撮影した基準部材Ｒｍを含む所定の範囲の画像である基準部材画像Ｐ２を任意の基準面Ｓ１上の第２仮想画像Ｉｍ２として透過型表示装置２（図３参照）に表示する。

　透過型表示装置２の表示装置用制御装置７は、使用者の位置に関する情報Ｉｆａ及び基準面Ｓ１に関する情報Ｉｆｄを有している。基準面Ｓ１に関する情報Ｉｆｄとは、使用者の視点から見た第２仮想画像Ｉｍ２を表示する位置の基準となる仮想平面の位置、傾きを含む。本実施形態において、基準面Ｓ１は、地表面とブーム１９の先端の現在位置ＢＬｐを含む水平面とのうち少なくとも一方であって、背景（風景）Ｌｓ内に予め設定される。なお、基準面Ｓ1は、使用者が任意に定めてもよい。

　表示装置用制御装置７と通信装置８を介して接続されている画像処理装置９は、表示装置用制御装置７から使用者の位置に関する情報Ｉｆａを取得する。また、クレーン用制御装置３０と通信装置８を介して接続されている画像処理装置９は、クレーン用制御装置３０からブームカメラ１９ｂが撮影した基準部材画像Ｐ２、クレーン１１の位置に関する情報Ｉｆｂ、及びクレーン１１の姿勢に関する情報Ｉｆｃを取得する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、及びクレーン１１の姿勢に関する情報Ｉｆｃとから基準面Ｓ１を決定する。

　図１０に示すように、画像処理装置９は、使用者の位置に関する情報Ｉｆａに基づいて使用者の視認している方向が水平方向よりも下方であると判断した場合、基準面Ｓ１を地表面とする。つまり、画像処理装置９は、ディスプレイの使用者が視認している方向に基づいて、基準面を設定する。

　図１１に示すように、画像処理装置９は、使用者の位置に関する情報Ｉｆａに基づいて使用者の視認している方向が水平方向よりも上方であると判断した場合、基準面Ｓ１をブーム１９の先端の現在位置ＢＬｐを含む水平面とする。

　図９に示すように、画像処理装置９は、基準面Ｓ１が現在位置ＢＬｐを含む水平面である場合、すなわち基準面Ｓ１が使用者の水平方向の視線の位置よりも高い場合、基準部材画像Ｐ２を表裏反転した画像を第２仮想画像Ｉｍ２として透過型ディスプレイ４の表示画面上に表示するための第２仮想画像Ｉｍ２に関する情報Ｉｆ２を生成する。画像処理装置９は、基準面Ｓ１地表面である場合、すなわち基準面Ｓ１が使用者の水平方向の視線の位置よりも低い場合、基準部材画像Ｐ２を表裏反転しない画像を第２仮想画像Ｉｍ２として透過型ディスプレイ４の表示画面上に表示するための第２仮想画像Ｉｍ２に関する情報Ｉｆ２を生成する。

　図１０及び図１１に示すように、透過型表示装置２の表示装置用制御装置７は、通信装置８を介して画像処理装置９から基準部材画像Ｐ２及び第２仮想画像Ｉｍ２に関する情報Ｉｆ２を取得する。更に、表示装置用制御装置７は、基準面Ｓ１上に使用者の視点から見た第２仮想画像Ｉｍ２を透過型ディスプレイ４の表示画面上に表示する。

　上述の構成では、クレーン１１の操縦支援システム１は、透過型表示装置２の使用者であるクレーン１１の操縦者が視認している透過型表示装置２の背景Ｌｓに、ブーム１９に設けられたブームカメラ１９ｂが撮影した基準部材画像Ｐ２を透過型表示装置２の使用者の視点から見た画像である第２仮想画像Ｉｍ２として表示するための第２仮想画像Ｉｍ２に関する情報Ｉｆ２を生成する。操縦支援システム１は、使用者が指定した任意の基準面Ｓ１上に第２仮想画像Ｉｍ２が重なるように透過型ディスプレイ４の表示画面に表示する。第２仮想画像Ｉｍ２は、ブーム１９の移動に伴って移動するメインフック２０ａの画像が含まれている場合、鉛直方向に見て、メインフック２０ａの画像がメインフック２０ａに重なるように表示される。クレーン１１の操縦者は、基準面Ｓ１上の第２仮想画像Ｉｍ２をメインフック２０ａの投影図として利用することができる。

　従って、クレーン１１の操縦者は、指示者からの指示が不十分であり、地表面の状態が視認できない状態でも、操縦者の視野内に第２仮想画像Ｉｍ２を表示することによってブーム１９を操縦するために必要なブーム１９及びメインフック２０ａと周囲の構造物Ｃとの位置関係に関する情報を補うことができる。これにより、クレーン１１の操縦者は、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

　＜実施形態３：ブーム１９の先端の現在位置ＢＬｐ及び軌道表示＞
　以下に、図７、図８、及び図１２を用いて、クレーン１１の操縦者に対する操縦支援システム１の実施形態３として、ブーム１９の先端の現在位置ＢＬｐにおける軌道表示について具体的に説明する。図１２は、クレーン１１の操縦支援システム１が第３仮想画像Ｉｍ３を表示する際の制御ブロック図である。

　図７に示すように、クレーン１１の操縦支援システム１は、クレーン装置用操作具２９が操作された場合にクレーン装置１６によって移動されるブーム１９の先端及び現在位置ＢＬｐにおけるブーム１９の先端の軌道を基準面Ｓ１上の第３仮想画像Ｉｍ３として透過型表示装置２（図３参照）に表示する。つまり、第３仮想画像Ｉｍ３は、ブームの姿勢に対応する、前記ブームの先端部の軌道を示す画像を含む。第３仮想画像Ｉｍ３は、対象部材を示す仮想画像に含まれる画像である。

　表示装置用制御装置７は、基準面Ｓ１に関する情報Ｉｆｄを有している。本実施形態において、基準面Ｓ１は、地表面とする。

　図１２に示すように、画像処理装置９は、通信装置８を介して表示装置用制御装置７から基準面Ｓ１に関する情報Ｉｆｄを取得することができる。基準面Ｓ１に関する情報Ｉｆｄとは、使用者の視点から見た第３仮想画像Ｉｍ３を表示する位置の基準となる仮想平面の位置及び傾きを含む。

　画像処理装置９は、クレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂ及びクレーン１１の姿勢に関する情報Ｉｆｃを取得する。画像処理装置９は、取得したクレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、及び基準面Ｓ１に関する情報Ｉｆｄに基づいてクレーン装置用操作具２９が操作された際のブーム１９の先端の現在位置ＢＬｐ及び現在位置ＢＬｐからのブーム１９の軌道座標を基準面Ｓ１上で表示するための座標の集合である第３基準座標Ｃ３を算出する。

　更に、画像処理装置９は、使用者の位置に関する情報Ｉｆａ及び第３基準座標Ｃ３に基づいて、透過型表示装置２の使用者の視点から見たブーム１９の現在位置ＢＬｐ及び現在位置ＢＬｐにおける軌道を示す第３仮想画像Ｉｍ３を透過型ディスプレイ４の表示画面上に表示するための第３仮想画像Ｉｍ３に関する情報Ｉｆ３を生成する。

　画像処理装置９は、生成した第３仮想画像Ｉｍ３に関する情報Ｉｆ３を表示装置用制御装置７に送信する。

　透過型表示装置２は、通信装置８を介して画像処理装置９から第３仮想画像Ｉｍ３に関する情報Ｉｆ３を取得する。

　図７に示すように、透過型表示装置２は、第１仮想画像Ｉｍ１仮想に加えて第３仮想画像Ｉｍ３を表示する。透過型表示装置２は、第３仮想画像Ｉｍ３に関する情報Ｉｆ３に基づいて、透過型ディスプレイ４の表示画面上に透過型表示装置２の使用者の視点から見たブーム１９の現在位置ＢＬｐ及び現在位置ＢＬｐにおける軌道を示す第３仮想画像Ｉｍ３を表示する。

　第３仮想画像Ｉｍ３は、透過型ディスプレイ４を通して透過型表示装置２の使用者が視認している基準面Ｓ１に重ねて表示される。基準面Ｓ１が地表面である場合、表示装置用制御装置７は、透過型ディスプレイ４を通して透過型表示装置２の使用者が視認している地表面と重複する透過型ディスプレイ４の表示画面上に使用者の視点から見た地表面上のブーム１９の現在位置ＢＬｐ及び現在位置ＢＬｐからの軌道を第３仮想画像Ｉｍ３として表示する。

　図８に示すように、透過型表示装置２の使用者は、透過型表示装置２によって実際の背景Ｌｓである作業現場の地表面上に表示されているブーム１９の先端の現在位置ＢＬｐ及び現在位置ＢＬｐからの軌道を視認する。透過型表示装置２の使用者である操縦者は、構造物Ｃ等によって操縦席からブーム１９の先端または基準部材Ｒｍが視認できない状態でもブーム１９の先端の現在位置ＢＬｐ及び現在位置ＢＬｐからの軌道を地表面上に表示された第３仮想画像Ｉｍ３によって確認することができる。

　操縦支援システム１は、図７及び図８に示すように、第１仮想画像Ｉｍ１及び第３仮想画像Ｉｍ３を透過型表示装置２の使用者の視野内の背景Ｌｓに表示することで、ブーム１９の先端の現在位置ＢＬｐ、メインフック２０ａの現在位置ＲＬｐ、並びに、ブーム１９及びメインフック２０ａと構造物Ｃとの位置関係を把握するための情報を透過型表示装置２の使用者に提供する。また、操縦支援システム１は、透過型表示装置２の使用者が所望する任意の方向及び位置からのブーム１９の現在位置ＢＬｐ及び現在位置ＢＬｐからの軌道を透過型表示装置２の使用者の視野内に表示する。

　従って、透過型表示装置２の使用者は、玉掛担当の指示者からの指示が不十分であっても、透過型表示装置２の使用者の視野内に表示されているブーム１９の現在位置ＢＬｐ及び現在位置ＢＬｐからの軌道によってクレーン１１を操縦するために必要な情報を補うことができる。これにより、透過型表示装置２の使用者は、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

　＜実施形態４：基準部材Ｒｍの目標位置ＲＬｔ表示＞
　次に、図７及び図１３を用いて、クレーン１１の操縦者に対する操縦支援システム１の第４実施形態として、基準部材Ｒｍの目標位置ＲＬｔの表示について具体的に説明する。図１３は、クレーン１１の操縦支援システム１が第４仮想画像Ｉｍ４を表示するために必要な情報を生成する際のブロック図である。

　図７に示すように、クレーン１１の操縦支援システム１は、基準部材Ｒｍの目標位置ＲＬｔにおける基準部材Ｒｍの形状を第４仮想画像Ｉｍ４として表示する。

　図１３に示すように、画像処理装置９は、通信装置８を介して外部のサーバーまたはクレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂ、基準部材Ｒｍの目標位置ＲＬｔに関する情報Ｉｆｅ、及び基準部材Ｒｍの形状に関する情報Ｉｆｈを取得する。基準部材Ｒｍの目標位置ＲＬｔに関する情報Ｉｆｅは、基準部材Ｒｍの目標位置ＲＬｔの緯度、経度、及び標高（ブーム１９の先端からの繰り出し量に相当）等の座標情報である。

　画像処理装置９は、クレーン１１の位置に関する情報Ｉｆｂ、基準部材Ｒｍの目標位置ＲＬｔに関する情報Ｉｆｅ、及び基準部材Ｒｍの形状に関する情報Ｉｆｈに基づいて、目標位置ＲＬｔにおける基準部材Ｒｍの３次元座標の集合である第４基準座標Ｃ４を算出する。更に、画像処理装置９は、使用者の位置に関する情報Ｉｆａ及び第４基準座標Ｃ４に基づいて、透過型表示装置２の使用者の視点から見た目標位置ＲＬｔにおける基準部材Ｒｍの形状を示す第４仮想画像Ｉｍ４を透過型ディスプレイ４の表示画面上に表示するための第４仮想画像Ｉｍ４に関する情報Ｉｆ４を生成する。

　画像処理装置９は、生成した第４仮想画像Ｉｍ４に関する情報Ｉｆ４を表示装置用制御装置７に送信する。

　表示装置用制御装置７は、通信装置８を介して画像処理装置９から第４仮想画像Ｉｍ４に関する情報Ｉｆ４を取得する。

　図７に示すように、表示装置用制御装置７は、第４仮想画像Ｉｍ４に関する情報Ｉｆ４に基づいて、透過型ディスプレイ４の表示画面上に透過型表示装置２の使用者の視点から見た基準部材Ｒｍの形状を示す第４仮想画像Ｉｍ４を表示する。第４仮想画像Ｉｍ４は、透過型ディスプレイ４を通して透過型表示装置２の使用者が視認している基準部材Ｒｍの目標位置ＲＬｔに表示される。

　また、透過型表示装置２は、図７に示すように、第１仮想画像Ｉｍ１に関する情報Ｉｆ１に基づいて、透過型ディスプレイ４の表示画面上に透過型表示装置２の使用者の視点から見た現在位置ＲＬｐにおける基準部材Ｒｍの形状を示す第１基準部材仮想画像Ｉｍ１ｂ仮想を表示する。第１基準部材仮想画像Ｉｍ１ｂ仮想は、透過型ディスプレイ４を通して透過型表示装置２の使用者が視認している基準部材Ｒｍであるメインフック２０ａに重なる。

　透過型表示装置２は、構造物Ｃ等に遮られて透過型表示装置２の使用者の視点から基準部材Ｒｍの目標位置ＲＬｔが見えない場合でも透過型表示装置２の使用者の視点から見た基準部材Ｒｍにおける目標位置ＲＬｔの形状を示す第４仮想画像Ｉｍ４を透過型ディスプレイ４上に表示する。

　透過型表示装置２を使用しているクレーン１１の操縦者は、構造物Ｃ等に遮られて透過型表示装置２の使用者の視点から基準部材Ｒｍの目標位置ＲＬｔが見えない場合でも基準部材Ｒｍの現在位置ＲＬｐと目標位置ＲＬｔとの位置関係及び周囲の構造物Ｃと現在位置ＲＬｐ及び目標位置ＲＬｔにおける基準部材Ｒｍとの位置関係を客観的に把握しながら操縦することができる。従って、操縦者は、指示者からの指示が不十分であっても、現在位置ＲＬｐに位置する基準部材Ｒｍを操縦者の視野内に表示されている基準部材Ｒｍの目標位置ＲＬｔに移動させるために必要な情報を補うことができる。これにより、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。尚、第４仮想画像Ｉｍ４は、ブーム１９及び／またはワイヤロープ（メインワイヤロープ２４及び／またはサブワイヤロープ２６）を示す仮想画像を含んでもよい。つまり、表示装置用制御装置７は、透過型ディスプレイ４において、基準部材Ｒｍの目標位置ＲＬｔに対応するブーム１９及び／またはワイヤロープ（メインワイヤロープ２４及び／またはサブワイヤロープ２６）の位置に、ブーム１９及び／またはワイヤロープ（メインワイヤロープ２４及び／またはサブワイヤロープ２６）を示す仮想画像を表示してもよい。

　＜実施形態５：ブーム１９の現在位置ＢＬｐにおける垂線表示＞
　次に、図７、図８及び図１４を用いて、クレーン１１の操縦者に対する操縦支援システム１の実施形態５として、ブーム１９の現在位置ＢＬｐを通過する垂線の表示について具体的に説明する。図１４は、クレーン１１の操縦支援システム１が第５仮想画像Ｉｍ５を表示するために必要な情報を生成する際のブロック図である。

　図７に示すように、クレーン１１の操縦支援システム１は、ブーム１９の現在位置ＢＬｐを通過する垂線を第５仮想画像Ｉｍ５として表示する。

　図１４に示すように、画像処理装置９は、取得したクレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、及び基準面Ｓ１に関する情報Ｉｆｄに基づいて、ブーム１９の現在位置ＢＬｐを通過する垂線を表示するための座標の集合である第５基準座標Ｃ５を算出する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ及び第５基準座標Ｃ５に基づいて、第５基準座標Ｃ５を透過型表示装置２の使用者の視点から見た第５仮想画像Ｉｍ５に関する情報Ｉｆ５として生成する。画像処理装置９は、生成した第５仮想画像Ｉｍ５に関する情報Ｉｆ５を表示装置用制御装置７に送信する。

　表示装置用制御装置７は、通信装置８を介して第５仮想画像Ｉｍ５に関する情報Ｉｆ５を取得する。表示装置用制御装置７は、第５仮想画像Ｉｍ５に関する情報Ｉｆ５に基づいて第５仮想画像Ｉｍ５である透過型表示装置２の使用者の視点から見たブーム１９の現在位置ＢＬｐを通過する垂線を示す第５仮想画像Ｉｍ５を透過型ディスプレイ４の表示画面上に表示する。

　図７及び図８に示すように、透過型表示装置２の使用者は、透過型表示装置２において実際の背景Ｌｓ内に表示されているブーム１９の現在位置ＢＬｐを示す第５仮想画像Ｉｍ５によってブーム１９の現在位置ＢＬｐを認識する。基準部材Ｒｍにおける目標位置ＲＬｔの形状を示す第４仮想画像Ｉｍ４と第５仮想画像Ｉｍ５とが共に表示されている場合、透過型表示装置２の使用者は、操縦席からブーム１９が視認できない状態でもブーム１９の現在位置ＢＬｐと基準部材Ｒｍの目標位置ＲＬｔとの位置関係を認識することができる。従って、透過型表示装置２の使用者は、指示者からの指示が不十分であっても、指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーン１１を操縦することができる。

　＜他の実施形態＞
　上述の各実施形態において、クレーン１１の操縦支援システム１は、第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５のいずれかを透過型表示装置２に表示させている。しかしながら、クレーン１１の操縦支援システム１は、第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５の少なくとも一つを透過型表示装置２の使用者が任意に選択して表示させてもよい。また、クレーン１１の操縦支援システム１は、上述の実施形態で表示している仮想画像に限らず、作業車両の操縦を支援する仮想画像を表示してもよい。

　また、上述の実施形態として、操縦支援システム１の透過型表示装置２は、クレーン１１のキャビン２７内でクレーン１１を操縦している操縦者に装着されている。しかしながら、透過型表示装置２は、クレーン１１の外部からクレーン１１を遠隔操作する操縦者に装着されてもよい。例えば、玉掛者が透過型表示装置２を装着している場合、玉掛者は、透過型表示装置２において第１仮想画像Ｉｍ１と第２仮想画像Ｉｍ２とを表示させることでブーム１９または基準部材Ｒｍが構造物Ｃ等で遮られてもクレーン１１の透過型表示装置２の使用者にブーム１９または基準部材Ｒｍの位置を伝えることができる。

　また、図１０に示すように、操縦支援システム１の透過型表示装置２は、ブーム１９の現在位置ＢＬｐ及び現在位置ＢＬｐにおける軌道を示す第３仮想画像Ｉｍ３を第２仮想画像Ｉｍ２が表示される基準面Ｓ１上に表示している。しかしながら、第３仮想画像Ｉｍ３は、第２仮想画像Ｉｍ２が表示されない任意の基準面に表示されてもよい。また、第３仮想画像は、例えば基準部材Ｒｍが搬送されている荷物Ｗの場合、荷物Ｗを通過する軌道として表示されてもよい。

　また、上述の実施形態として、操縦支援システム１は、クレーン１１の操縦支援システム１として構成されている。しかしながら、操縦支援システムは、作業車両である高所作業車の操縦支援システムとして構成されていてもよい。高所作業車の操縦支援システムは、通信装置を介して使用者の位置に関する情報、高所作業車の位置に関する情報、高所作業車の姿勢に関する情報及び仮想画像を表示する基準となる基準面の位置と姿勢とを含む基準面に関する情報を取得する。操縦支援システムの画像処理装置は、基準部材であるバケットの現在位置及び現在位置からの軌道を高所作業車の操縦者の視点から見た仮想画像として透過型表示装置の表示画面上に表示させるためのバケットの仮想画像に関する情報を生成する。透過型表示装置は、通信装置を介して高所作業車についてのバケットの仮想画像に関する情報を取得し、仮想画像を表示画面上に表示する。

　また、上述の各実施形態において、クレーン１１の操縦支援システム１は、透過型表示装置２によって第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５の少なくとも一つを表示している。しかしながら、クレーン１１の操縦支援システム１は、カメラの撮影画像上に第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５の少なくとも一つを表示してもよい。第１仮想画像Ｉｍ１、第２仮想画像Ｉｍ２、第３仮想画像Ｉｍ３、第４仮想画像Ｉｍ４、及び第５仮想画像Ｉｍ５の少なくとも一つは、タッチパネル等の表示画面上で操作可能であってもよい。

　また、上述の実施形態において、画像処理装置９は、通信装置８を介して外部のサーバーまたはクレーン用制御装置３０から基準部材Ｒｍの目標位置ＲＬｔに関する情報Ｉｆｅを取得している。しかしながら、画像処理装置９は、透過型表示装置２の使用者が入力装置等によって目標位置ＲＬｔに関する情報Ｉｆｅを取得してもよい。画像処理装置９は、例えば、透過型表示装置２を入力装置として基準部材Ｒｍの目標位置ＲＬｔを入力してもよい。

　また、上述の実施形態において、画像処理装置９は、ブームカメラ１９ｂが撮影した基準部材画像Ｐ２から基準部材Ｒｍの姿勢に関する情報Ｉｆｇを取得している。しかしながら、画像処理装置９は、外部から基準部材Ｒｍの姿勢に関する情報Ｉｆｇを取得ししてもよい。画像処理装置９は、例えば、通信装置８を介してクレーン１１の外部に設けられているカメラからの画像から基準部材Ｒｍの姿勢に関する情報Ｉｆｇを取得してもよい。

　また、上述の実施形態において、画像処理装置９は、通信装置８を介してクレーン１１の形状に関する情報Ｉｆｉ、使用者の位置に関する情報Ｉｆａ、クレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃ、ブーム１９の移動に伴って移動する基準部材Ｒｍの形状に関する情報Ｉｆｈ、及び基準部材Ｒｍの姿勢に関する情報Ｉｆｇを取得する。しかしながら、画像処理装置は、これらの情報のうち少なくとも一つを取得する構成でもよい。

　また、上述の各実施形態において、透過型表示装置２は、特定の位置に位置しているマーカを認識することで仮想画像を透過型ディスプレイ４に表示するために必要な使用者の位置に関する情報Ｉｆａを算出している。しかしながら、透過型表示装置は、使用者の位置に関する情報ＩｆａをＧＮＳＳ受信機が検出した透過型表示装置２の位置から算出してもよい。

　また、上述の各実施形態において、透過型表示装置２は、使用者が身体に装着して使用するウェアラブル端末である。しかしなら、透過型表示装置は、使用者の視点から見て背景を透過させる表示画面に使用者の視点から見た仮想画像を重ねて視認させる表示装置であればよい。透過型表示装置は、例えばキャビンのフロントガラスを表示画面として、操縦席に着席した透過型表示装置２の使用者の視点から見た仮想画像を表示させるヘッドアップディスプレイでもよい。

　また、上述の各実施形態において、透過型表示装置２は、慣性計測装置５によって移動方向及び移動量を算出している。しかしながら、透過型表示装置は、画像データに基づいて周辺環境の地図生成と自己位置推定を行うＶｉｓｕａｌ　ＳＬＡＭ（Ｖｉｓｕａｌ　Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　Ａｎｄ　Ｍａｐｐｉｎｇ）によって移動方向及び移動量を算出してもよい。Ｖｉｓｕａｌ　ＳＬＡＭでは、ステレオカメラ等から取得した画像における特徴点を把握する。次に、Ｖｉｓｕａｌ　ＳＬＡＭは、ステレオカメラ等の移動に伴う特徴点の動きから自己位置推定及び地図作成を行う。透過型表示装置は、使用者の視線の方向を撮影する表示装置用カメラが撮影した画像を利用して移動方向及び移動量を算出することができる。

　上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、及び範囲内のすべての変更を含む。

　２０２１年１１月３０日出願の特願２０２１－１９４５２６の日本出願に含まれる明細書、図面、及び要約書の開示内容は、すべて本願に援用される。

　本発明は、ブームを有する種々の作業機に適用可能である。

　　１　　操縦支援システム
　　２　　透過型表示装置
　　３　　フレーム
　　４　　透過型ディスプレイ
　　５　　慣性計測装置
　　６　　表示装置用カメラ
　　７　　表示装置用制御装置
　　８　　通信装置
　　９　　画像処理装置
　１１　　クレーン
　１２　車両
　１３　車輪
　１４　エンジン
　１５　アウトリガ
　１６　クレーン装置
　１７　旋回台
　１７ａ　旋回用油圧モータ
　１８　クレーン用ＧＮＳＳ受信機
　１９　ブーム
　１９ａ　伸縮用油圧シリンダ
　１９ｂ　ブームカメラ
　１９ｃ　ジブ
　２０　メインフックブロック
　２０ａ　メインフック（基準部材）
　２１　サブフックブロック
　２１ａ　サブフック
　２２　起伏用油圧シリンダ
　２３　メインウインチ
　２４　メインワイヤロープ
　２５　サブウインチ
　２６　サブワイヤロープ
　２７　キャビン
　２８　走行用操作具
　２９　クレーン装置用操作具
　２９ａ　旋回用操作具
　２９ｂ　伸縮用操作具
　２９ｃ　起伏用操作具
　２９ｄ　メイン用操作具
　２９ｅ　サブ用操作具
　３０　　クレーン用制御装置
　３０ａ　通信装置
　ＢＬｐ　　ブームの現在位置
　ＲＬｔ　　基準部材の現在位置
　ＲＬｔ　　基準部材の目標位置
　Ｓ１　　基準面
　Ｒｍ　　基準部材
　Ｉｆａ　　使用者の位置に関する情報
　Ｉｆｂ　　クレーンの位置に関する情報
　Ｉｆｃ　　クレーンの姿勢に関する情報
　Ｉｆｄ　　基準面に関する情報
　Ｉｆｅ　　基準部材の目標位置に関する情報
　Ｉｆｆ　　基準部材画像に関する情報
　Ｉｆｇ　　基準部材の姿勢に関する情報
　Ｉｆｈ　　基準部材の形状に関する情報
　Ｉｆｉ　　クレーンの形状に関する情報
　Ｉｍ１　　第１仮想画像
　Ｉｍ１ａ　第１ブーム仮想画像
　Ｉｍ１ｂ　第１基準部材仮想え
　Ｉｍ２　　第２仮想画像
　Ｉｍ３　　第３仮想え
　Ｉｍ４　　第４仮想画像
　Ｉｍ５　　第５仮想画像
　Ｃ１　　第１基準座標
　Ｉｆ１　第１仮想画像に関する情報
　Ｉｆ２　第２仮想画像に関する情報
　Ｉｆ３　第３仮想画像に関する情報
　Ｉｆ４　第４仮想画像に関する情報
　Ｉｆ５　第５仮想画像に関する情報
 

Claims (13)

1. 　ブームを有する作業車両の操縦を支援する操縦支援システムであって、
   　透明であり、画像を表示可能なディスプレイと、
   　前記ブーム及び／または前記ブームとともに移動する部材を含む対象部材を示す仮想画像を生成する生成部と、
   　前記ディスプレイの使用者が前記対象部材の位置を認識可能な態様で、前記ディスプレイ越しに見える風景と重なるように、前記ディスプレイに前記仮想画像を表示する制御部と、を備える、
   　操縦支援システム。
2. 　前記対象部材は、前記ブーム及び／又は前記ブームとともに移動するフックであり、
   　前記制御部は、前記ディスプレイにおいて、前記対象部材の位置と一致する部分に、前記仮想画像を表示する、
   　請求項１に記載の操縦支援システム。
3. 　前記仮想画像は、前記対象部材の形状を表した画像である、
   　請求項２に記載の操縦支援システム。
4. 　前記制御部は、前記対象部材が障害物に隠れて視認不可能な場合、前記障害物に重なるように前記仮想画像を前記ディスプレイに表示する、
   　請求項２に記載の操縦支援システム。
5. 　前記制御部は、前記ディスプレイの使用者の位置に関する情報と、前記作業車両の姿勢及び前記作業車両の位置に基づいて算出された前記対象部材の位置に関する情報と、に基づいて決定された前記ディスプレイ上の位置に、前記仮想画像を表示する、
   　請求項１に記載の操縦支援システム。
6. 　前記生成部は、前記ディスプレイ上の位置を決定し、決定した前記ディスプレイ上の位置を含む情報を、前記制御部に送る、
   　請求項５に記載の操縦支援システム。
7. 　前記仮想画像が示す部材は、前記ブームとともに移動するフックであり、
   　前記仮想画像は、前記ブームの先端部から前記フックを撮影するカメラにより撮影された画像であり、
   　前記制御部は、前記ディスプレイにおいて、前記風景に設定された基準面と重なるように前記仮想画像を表示する、
   　請求項１に記載の操縦支援システム。
8. 　前記生成部は、前記基準面として、前記風景における地表面、又は、前記ブームの先端の位置を含む水平面を設定する、
   　請求項７に記載の操縦支援システム。
9. 　前記生成部は、前記ディスプレイの使用者が視認している方向に基づいて、前記基準面を設定する、
   　請求項８に記載の操縦支援システム。
10. 　前記仮想画像は、前記ブームの姿勢に対応する、前記ブームの先端部の軌道を示す仮想画像を含み、
    　前記制御部は、前記風景に設定された基準面と重なるように前記軌道を示す仮想画像を表示する、
    　請求項１に記載の操縦支援システム。
11. 　前記制御部は、前記ディスプレイにおいて、前記対象部材の目標位置と一致する部分に、前記仮想画像を表示する、
    　請求項２に記載の操縦支援システム。
12. 　前記仮想画像は、前記ブームの先端部を通る垂線を示す仮想画像を含み、
    　前記制御部は、前記ディスプレイにおいて、前記ブームの先端部に対応する部分に、前記垂線を示す仮想画像を表示する、
    　請求項２に記載の操縦支援システム。
13. 　請求項１に係る操縦支援システムを備える、作業車両。

Images