JP5841821B2

JP5841821B2 - 画像処理装置、車両、画像処理方法、及び、プログラム

Info

Publication number: JP5841821B2
Application number: JP2011267853A
Authority: JP
Inventors: 宗太郎金子; 友彦井筒; 徹鶴田; 山本　徹夫; 徹夫山本
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2011-12-07
Filing date: 2011-12-07
Publication date: 2016-01-13
Anticipated expiration: 2031-12-07
Also published as: JP2013121056A

Description

本発明は、走行体と走行体上に旋回可能に設けられる旋回体とを備えた車両のための画像処理の技術に関する。

従来より、土木作業や建築作業において、油圧ショベルやクローラクレーンなど、走行体と走行体上に旋回可能に設けられる旋回体とを備えた作業車両が用いられている。このような作業車両は、走行体の走行、旋回体の旋回、及び、作業装置の伸縮など、自動車などの一般的な車両と比較して、複雑な動作を行うことが可能である。このため、周辺の物体との接触事故を防止するため、ユーザ（運転者）は作業車両の周辺の安全を十分に確認することが求められる。

近年、異なる方向を撮影する複数のカメラで得られた複数の画像を用いて作業車両を俯瞰する仮想視点からみた合成画像（俯瞰画像）を生成し、作業車両の運転室に設けられる表示装置にこの合成画像を表示する技術が提案されている（例えば、特許文献１参照）。このような画像処理技術を利用することで、ユーザは、作業車両の周辺の安全の確認を容易に行うことができる。

特開２００８−３１２００４号公報

ところで、上記従来の技術においては、合成画像に含まれる被写体の像の方向が、旋回体を基準とした方向に固定されている。より具体的には、合成画像の上下方向と旋回体の前後方向とが一致され、旋回体の前方にある被写体の像が合成画像の上方に位置するようになっている。

しかしながら、作業車両は、走行体に対して旋回体が旋回可能であるため、走行体の進行方向は、必ずしも旋回体の前方とは一致しない。このため、従来技術のように、被写体の像の方向を旋回体を基準とした方向に固定した場合には、合成画像の上方と走行体の進行方向とが一致しない場面が生じる。このため、走行体の走行中においては、ユーザが実際の被写体の位置を直感的に把握できず、周辺の物体が実際に存在する位置について誤解を生じる可能性がある。

また逆に、被写体の像の方向を走行体を基準とした方向に固定したとすると、ユーザが旋回体に設けられる作業装置を操作する場合において、実際の被写体の位置を直感的に把握しにくくなる可能性がある。

本発明は、上記課題に鑑みてなされたものであり、ユーザが被写体の位置を直感的に把握できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、前記車両の動作を示す信号を受信する受信手段と、を備え、前記変更手段は、前記車両の動作に応じて、前記被写体の像の方向を変更し、前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更し、前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更する。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記複数のカメラは、前記旋回体に設けられる。

また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせる。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含める。

また、請求項５の発明は、請求項４に記載の画像処理装置において、前記走行体に対する前記旋回体の旋回角度を取得する手段、をさらに備え、前記生成手段は、前記旋回角度に基づいて、前記走行体と前記旋回体との相対的な位置関係を示す前記車両像を前記合成画像に含める。

また、請求項６の発明は、請求項４または５に記載の画像処理装置において、前記旋回体に設けられた作業装置の関節部の回動角度を取得する手段、をさらに備え、前記生成手段は、前記回動角度に基づいて、前記作業装置の伸縮状態を示す前記車両像を前記合成画像に含める。

また、請求項７の発明は、請求項４に記載の画像処理装置において、前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含める。

また、請求項８の発明は、請求項１に記載の画像処理装置において、前記旋回体には、伸縮可能な作業装置が設けられており、前記車両の動作を示す信号を受信する受信手段と、前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第１領域、前記旋回体が旋回した場合に前記作業装置が移動する第２領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第３領域をそれぞれ特定する特定手段と、をさらに備え、前記生成手段は、前記車両の動作に応じて、前記第１ないし第３領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含める。
また、請求項９の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、を備え、前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせる。
また、請求項１０の発明は、請求項９に記載の画像処理装置において、前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含め、前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含める。
また、請求項１１の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、を備え、前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含め、前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。

また、請求項１２の発明は、走行体と、前記走行体上に旋回可能に設けられる旋回体と、前記旋回体に設けられる伸縮可能な作業装置とを備えた車両で用いられる画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記車両の動作を示す信号を受信する受信手段と、前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第１領域、前記旋回体が旋回した場合に前記作業装置が移動する第２領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第３領域をそれぞれ特定する特定手段と、をさらに備え、前記生成手段は、前記車両の動作に応じて、前記第１ないし第３領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含める。

また、請求項１３の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、前記車両の動作を示す信号を受信する受信手段と、を備え、前記変更手段は、前記車両の動作に応じて、前記被写体の像の方向を変更し、前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更し、前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更する。

また、請求項１４の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理方法であって、（ａ）前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、（ｂ）前記合成画像を表示装置に出力して表示させる工程と、（ｃ）前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、（ｄ）前記車両の動作を示す信号を受信する工程と、を備え、前記工程（ｃ）は、前記車両の動作に応じて、前記被写体の像の方向を変更し、前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更し、前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更する。

また、請求項１５の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、（ａ）前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、（ｂ）前記合成画像を表示装置に出力して表示させる工程と、（ｃ）前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、（ｄ）前記車両の動作を示す信号を受信する工程と、を実行させ、前記工程（ｃ）は、前記車両の動作に応じて、前記被写体の像の方向を変更し、前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更し、前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更する。

請求項１から８、並びに、１３から１５の発明によれば、合成画像に含まれる被写体の像の方向を、走行体を基準とする第１方向及び旋回体を基準とする第２方向の一方から他方に変更する。このため、合成画像に含まれる被写体の像の方向を状況に応じて最適な方向に変更できるため、ユーザは被写体の位置を直感的に把握できる。また、合成画像に含まれる被写体の像の方向を車両の動作に応じて変更するため、現時点での車両の動作において、ユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。走行体の走行中は被写体の像の方向を走行体を基準とする第１方向に向ける。このため、走行体の走行中において、ユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。旋回体に設けられた作業装置の動作中は、被写体の像の方向を旋回体を基準とする第２方向に向ける。このため、作業装置の動作中において、ユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。

また、特に請求項２の発明によれば、複数のカメラが旋回体に設けられるため、比較的高い位置から車両の周辺を撮影することができ、合成画像中における被写体の像の歪を少なくすることができる。

また、請求項３及び９の発明によれば、被写体の像の方向を変更する場合に、表示装置において被写体の像の方向が連続的に変わるアニメーション表示がなされる。このため、被写体の像の方向がどのように変更されたかをユーザが直感的に把握することができる。

また、特に請求項４の発明によれば、合成画像中に車両像が含まれるため、ユーザは車両と車両の周辺の被写体との位置関係を容易に把握することができる。

また、特に請求項５の発明によれば、実際の走行体と旋回体との相対的な位置関係を示す車両像が合成画像に含まれるため、ユーザは車両の状態を直感的に把握することができる。

また、特に請求項６の発明によれば、実際の作業装置の伸縮状態を示す車両像が合成画像に含まれるため、ユーザは車両の状態を直感的に把握することができる。

また、請求項７、１０及び１１の発明によれば、合成画像中に車両像を比較的容易に含めることができる。

また、請求項８及び１２の発明によれば、合成画像中に、現時点で動作中の車両の部位に関連する領域の指標が、他の領域の指標よりも強調して示されるため、動作中の車両の部位と接触する可能性のある被写体をユーザが直感的に把握することができる。

図１は、本実施の形態に係る作業車両を示す図である。図２は、第１の実施の形態の画像処理装置の構成を示す図である。図３は、複数のカメラが撮影する方向を示す図である。図４は、画像合成部が合成画像を生成する手法を説明する図である。図５は、画像合成部が車両像を生成する手法を説明する図である。図６は、車両像の一例を示す図である。図７は、車両像の一例を示す図である。図８は、車両像の一例を示す図である。図９は、合成画像の一例を示す図である。図１０は、合成画像の一例を示す図である。図１１は、第１の実施の形態の画像処理装置の処理の流れを示す図である。図１２は、被写体方向を変更する際に表示装置に表示される画像を示す図である。図１３は、合成画像中に車両像を含める手法を説明する図である。図１４は、移動予測線を含む合成画像の一例を示す図である。図１５は、第４の実施の形態の画像処理装置の構成を示す図である。図１６は、第４の実施の形態の画像処理装置の処理の流れを示す図である。図１７は、予測線重畳処理の詳細な流れを示す図である。図１８は、走行予測線が強調された合成画像の一例を示す図である。図１９は、旋回予測線が強調された合成画像の一例を示す図である。図２０は、伸縮予測線が強調された合成画像の一例を示す図である。図２１は、合成画像の生成に用いる投影面を示す図である。図２２は、合成画像の一例を示す図である。図２３は、合成画像の一例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．作業車両の構成＞
図１は、本実施の形態に係る作業車両１を示す図である。作業車両１は、例えば、油圧ショベルであり、走行体１１と、旋回体１２と、作業装置１３とを備えている。

走行体１１は、作業車両１の全体を移動させる部位である。走行体１１は、クローラ１１ａを備え、このクローラ１１ａを油圧モータによって駆動させることによって走行体１１が走行する。すなわち、作業車両１の全体が移動する。

旋回体１２は、走行体１１上に設けられる部位である。旋回体１２は、走行体１１と旋回ベアリング１４を介して接続され、走行体１１に対して旋回可能とされている。旋回体１２は、油圧モータによって走行体１１に対して旋回する。

作業装置１３は、掘削等の作業に用いる伸縮可能な部位である。作業装置１３は、旋回体１２に設けられ、ブーム１６と、アーム１７と、バケット１８とを有している。ブーム１６は、その基端部にある第１関節部１６１において、旋回体１２の前部の左右略中央に回動可能に接続されている。また、アーム１７は、その基端部にある第２関節部１７１において、ブーム１６の先端部に回動可能に連結されている。さらに、バケット１８は、第３関節部１８１において、アーム１７の先端部に回動可能に連結されている。なお、作業装置１３の先端部位となるアタッチメントとして、本実施の形態ではバケット１８が採用されているが、油圧ブレーカや油圧クラッシャなどバケット以外のアタッチメントを採用してもよい。

また、作業装置１３は、ブーム１６、アーム１７及びバケット１８のそれぞれに対応する油圧シリンダ１６ａ，１７ａ，１８ａを備えている。これらの油圧シリンダ１６ａ，１７ａ，１８ａの駆動により、第１ないし第３関節部１６１，１７１，１８１がそれぞれ回動し、作業装置１３が伸縮する。

また、旋回体１２には、エンジン１９が設けられている。エンジン１９の動力は、油圧ポンプで油圧力に変換される。この油圧力は、走行体１１の走行、旋回体１２の旋回、及び、作業装置１３の伸縮などに必要な駆動力となる。

また、旋回体１２の前部左側には、運転室１５が設けられている。ユーザ（運転者）は、この運転室１５に設けられた操作レバーを動かすことによって、走行体１１の走行、旋回体１２の旋回、及び、作業装置１３の伸縮などの作業車両１の動作に関する操作を行うことが可能である。

ユーザは、旋回体１２の前方を向いた状態で運転室１５に着座し、作業車両１を運転することになる。したがって、ユーザの前方となる方向は、旋回体１２の前方となり、作業装置１３が伸縮する方向と一致する。一方で、走行体１１に対して旋回体１２が旋回可能であるため、ユーザの前方（旋回体１２の前方）となる方向は、必ずしも走行体１１の進行方向とは一致しない。

また、運転室１５には、表示装置３と、この表示装置３で表示する画像を処理する画像処理装置２とが設けられている。画像処理装置２は、作業車両１の周辺の様子を示す画像を生成し、表示装置３に出力して表示させることが可能である。ユーザは、このようにして表示装置３に表示された画像を視認することで、作業車両１の周辺に存在する物体を把握できるようになっている。

＜１−２．画像処理装置の構成＞
図２は、画像処理装置２の構成を主に示す図である。図に示すように、画像処理装置２は、表示装置３、及び、複数のカメラ５と接続されている。表示装置３は、例えば、液晶パネルなどを備えた薄型のディスプレイであり、各種の情報や画像を表示する。表示装置３は、ユーザが運転室１５に着座した状態でその画面を視認できるように、運転室１５の車室内の前方に配置される。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、作業車両１の周辺を示す画像を電子的に取得する。複数のカメラ５はそれぞれ、旋回体１２の適位置に配置され、取得した画像を画像処理装置２に入力する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、互いに異なる位置に配置され、作業車両１の周辺の異なる方向を撮影する。

図３は、カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒが撮影する方向を示す図である。フロントカメラ５Ｆは、旋回体１２の前端に設けられ、その光軸５Ｆａは旋回体１２の前方に向けられる。リアカメラ５Ｂは、旋回体１２の後端に設けられ、その光軸５Ｂａは旋回体１２の後方に向けられる。左サイドカメラ５Ｌは旋回体１２の左側に設けられ、その光軸５Ｌａは旋回体１２の左側方に向けられる。また、右サイドカメラ５Ｒは旋回体１２の右側に設けられ、その光軸５Ｒａは旋回体１２の右側方に向けられる。

これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、作業車両１の全周囲を撮影することが可能である。

図２に戻り、画像処理装置２は、画像取得部２２と、画像合成部２３と、記憶部２４と、切替スイッチ２５と、信号受信部２６と、制御部２１とを備えている。

画像取得部２２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた画像を取得する。画像取得部２２は、アナログの画像をデジタルの画像に変換する機能や、画像の明るさを調整する機能など基本的な画像処理機能を有している。画像取得部２２は、取得した画像に所定の画像処理を行い、処理後の画像を画像合成部２３に入力する。

画像合成部２３は、例えば、各種の画像処理が可能なハードウェア回路である。画像合成部２３は、複数のカメラ５でそれぞれ取得された複数の画像を用いて、仮想視点からみた作業車両１の周辺の被写体を示す合成画像を生成する。画像合成部２３が仮想視点からみた合成画像を生成する手法については後述する。

記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２４は、車両データ２４ａ、及び、プログラム２４ｂを記憶している。車両データ２４ａは、作業車両１の外観を示すビットマップなどのイメージデータである。また、プログラム２４ｂは画像処理装置２のファームウェアである。

切替スイッチ２５は、ユーザの操作を受け付ける操作部材である。ユーザが切替スイッチ２５を操作した場合は、その操作を示す信号が制御部２１に入力される。切替スイッチ２５は、画像処理装置２の本体部とは別に、運転室１５に着座したユーザが操作しやすい位置に配置してもよい。

信号受信部２６は、画像処理装置２とは別に作業車両１に設けられる他の装置からの信号を受信する。信号受信部２６は、受信した信号を制御部２１に入力する。信号受信部２６は、操作レバー６１、旋回センサ６２及び関節センサ６３からの信号を受信する。

操作レバー６１は、走行体１１の走行、旋回体１２の旋回、及び、作業装置１３の伸縮などの作業車両１の動作に関する操作をユーザが行うための操作部材である。信号受信部２６は、操作レバー６１からユーザが行った操作内容を示す操作信号を受信する。作業車両１はユーザの操作レバー６１の操作に応じて動作するため、この操作信号は作業車両１の動作を示すことになる。

旋回センサ６２は、走行体１１に対して旋回体１２の旋回した角度である旋回角度を検出する。具体的には、旋回センサ６２は、走行体１１の前方を基準とした場合の旋回体１２の前方の角度を旋回角度として検出する。信号受信部２６は、旋回センサ６２からの信号を受信して、旋回角度を取得する。この旋回角度は、走行体１１と旋回体１２との相対的な位置関係を示すことになる。

関節センサ６３は、作業装置１３の３つの関節部１６１，１７１，１８１それぞれに設けられ、作業装置１３が当該関節部において回動した角度である回動角度を検出する。信号受信部２６は、３つの関節センサ６３からの信号を受信して、作業装置１３の３つの関節部１６１，１７１，１８１それぞれの回動角度を取得する。これらの回動角度は、作業装置１３の伸縮状態を示すことになる。

制御部２１は、画像処理装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１の各種の機能は、記憶部２４に記憶されたプログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される。図中に示す合成制御部２１ａ、方向変更部２１ｂ、及び、画像出力部２１ｃは、プログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される機能の一部である。

合成制御部２１ａは、画像合成部２３で実行される画像処理を制御する。合成制御部２１ａは、例えば、合成画像の生成に必要なパラメータを画像合成部２３に与える。また、方向変更部２１ｂは、画像合成部２３が生成する合成画像に含まれる被写体の像の方向を変更する（詳細は後述。）。

また、画像出力部２１ｃは、画像合成部２３が生成した合成画像を出力インターフェイス２７を介して表示装置３に出力する。これにより、画像出力部２１ｃは、表示装置３に合成画像を表示させる。

＜１−３．合成画像の生成＞
次に、画像合成部２３が合成画像を生成する手法について説明する。図４は、画像合成部２３が合成画像を生成する手法を説明する図である。

旋回体１２に設けられたフロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、作業車両１の旋回体１２の前方、後方、左側方及び右側方をそれぞれ示す４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲが取得される。これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲには、作業車両１の全周囲のデータが含まれている。

画像合成部２３は、まず、これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、作業車両１の位置（旋回体１２の位置）として定められている。一方、投影面ＴＳの中心以外の部分は、作業車両１の周辺の領域に相当し、画像ＧＦ，ＧＢ，ＧＬ，ＧＲのいずれかと対応付けられている。画像合成部２３は、投影面ＴＳの中心以外の部分に画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータを投影する。

画像合成部２３は、投影面ＴＳにおいて旋回体１２の前方に相当する領域に、フロントカメラ５Ｆの画像ＧＦのデータを投影する。また、画像合成部２３は、投影面ＴＳにおいて旋回体１２の後方に相当する領域に、リアカメラ５Ｂの画像ＧＢのデータを投影する。さらに、画像合成部２３は、投影面ＴＳにおいて旋回体１２の左側方に相当する領域に左サイドカメラ５Ｌの画像ＧＬのデータを投影し、投影面ＴＳにおいて旋回体１２の右側方に相当する領域に右サイドカメラ５Ｒの画像ＧＲのデータを投影する。

このように投影面ＴＳの各部分にデータを投影すると、次に、画像合成部２３は、三次元空間における作業車両１の位置の直上に、視線方向を直下とした仮想視点ＶＰを設定する。そして、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。これにより、画像合成部２３は、仮想視点ＶＰからみた作業車両１の周辺の被写体を示す合成画像ＣＰを生成する。

画像合成部２３は、図中の矢印ＡＲに示すように、仮想視点ＶＰをその視線方向を軸にして回転することができる。したがって、画像合成部２３は、含まれる被写体の像の方向が異なる合成画像ＣＰを生成することができる。例えば、図４中上部の合成画像ＣＰ１では、合成画像ＣＰの上下方向が旋回体１２の前後方向と一致しており、旋回体１２の前方にある被写体の像Ｓｂ１が合成画像ＣＰの上方に位置している。これに対して、図４中下部の合成画像ＣＰ２では、合成画像ＣＰの上下方向が旋回体１２の前後方向と一致しておらず、旋回体１２の右側前方にある被写体の像Ｓｂ２が合成画像ＣＰの上方に位置している。以下、仮想視点ＶＰを視線方向を軸にして回転することを「仮想視点ＶＰをロールする」という。

また、画像合成部２３は、合成画像ＣＰ中の作業車両１の位置に相当する領域に、作業車両１の上方から見た外観を示す車両像９０を含めるようになっている。これにより、合成画像ＣＰは、作業車両１の周辺の様子とともに、作業車両１の様子も示すことができる。車両像９０は、例えば、イラストデータである。

画像合成部２３は、仮想視点ＶＰをロールした場合は、仮想視点ＶＰをロールした角度に応じてこの車両像９０も回転して合成画像ＣＰ中に重畳する。したがって、仮想視点ＶＰをロールした場合においても、合成画像ＣＰに含まれる被写体の像の方向に合わせた向きの車両像９０を合成画像ＣＰに含めることができる。例えば、図４中上部の合成画像ＣＰ１では、車両像９０が示す旋回体１２の前方が合成画像ＣＰの上方に向いている。これに対して、図４中下部の合成画像ＣＰ２では、車両像９０が示す旋回体１２の前方が合成画像ＣＰの左上に向いている。

画像合成部２３は、記憶部２４に記憶された車両データ２４ａを用いて、このような車両像９０を生成する。図５は、画像合成部２３が、車両像９０を生成する手法を説明する図である。

図５に示すように、車両データ２４ａは、作業車両１の各部位の外観を示すイメージデータであるパーツデータ９１〜９３を含んでいる。具体的には、車両データ２４ａは、走行体１１の外観を示す走行体像９１、旋回体１２の外観を示す旋回体像９２、及び、作業装置１３の外観を示す作業装置像９３を含む。また、作業装置像９３は、ブーム１６、アーム１７及びバケット１８のそれぞれに対応するブーム像９１，アーム像９７及びバケット像９８を含んでいる。画像合成部２３は、これらのパーツデータ９１〜９３を組み合わせることで、車両像９０を生成する。

また、画像合成部２３は、パーツデータ９１〜９３を組み合わせる手法を変えることで、さまざまな状態の作業車両１の外観を示す車両像９０を生成することができる。例えば、図６に示すように、画像合成部２３は、走行体像９１と旋回体像９２とを相対的に回転させることで、走行体１１の進行方向と旋回体１２の前後方向とが異なる状態（走行体１１に対して旋回体１２が旋回した状態）の作業車両１の外観を示す車両像９０を生成できる。また、図７に示すように、画像合成部２３は、ブーム像９１，アーム像９７及びバケット像９８の配置を変更することで、作業装置１３が伸長した状態の作業車両１の外観を示す車両像９０を生成できる。

なお、パーツデータ９１〜９３は、透過像あるいは外縁線のみとしてもよい。このようにした場合は、図８に示すように、車両像９０において各パーツデータ９１〜９３の外縁が示されるため、作業車両１の各部位の位置を明瞭に示す車両像９０を生成することができる。

＜１−４．方向変更部の処理＞
次に、制御部２１の方向変更部２１ｂの処理について説明する。前述のように、画像合成部２３は、仮想視点ＶＰをロールすることで、含まれる被写体の像の方向が異なる合成画像ＣＰを生成することができる。方向変更部２１ｂは、この画像合成部２３に制御信号を送信して、合成画像に含まれる被写体の像の方向（以下、「被写体方向」という。）を変更する。方向変更部２１ｂは、作業車両１の動作に応じて被写体方向を変更することになる。

図９及び図１０はそれぞれ、合成画像ＣＰの一例を示す図である。図９の合成画像ＣＰ及び図１０の合成画像ＣＰは、同一の時点での作業車両１及び作業車両１の周辺の被写体の様子を示している。この時点における作業車両１は、走行体１１に対して旋回体１２が旋回しており、走行体１１の進行方向と旋回体１２の前後方向とが一致していない状態となっている。

図９の合成画像ＣＰと図１０の合成画像ＣＰとは、互いに被写体方向が異なっている。例えば、これらの２つの合成画像ＣＰには、同一の被写体の像Ｓｂが含まれているが、２つの合成画像ＣＰの間でこの被写体の像Ｓｂが含まれている位置が異なっている。

図９の合成画像ＣＰにおいては、被写体方向が走行体１１を基準とする方向（以下、「走行基準方向」という。）に定められている。具体的には、図９の合成画像ＣＰでは、合成画像ＣＰの上下方向が走行体１１の前後方向と一致しており、走行体１１を示す走行体像９１の前方が合成画像ＣＰの上方に向いている。

一方、図１０の合成画像ＣＰにおいては、被写体方向が旋回体１２を基準とする方向（以下、「旋回基準方向」という。）に定められている。具体的には、図１０の合成画像ＣＰでは、合成画像ＣＰの上下方向が旋回体１２の前後方向と一致しており、旋回体１２を示す旋回体像９２の前方が画像の上方に向いている。

作業車両１のユーザ（運転者）は、作業車両１を運転する際に、表示装置３に表示された合成画像ＣＰを視認して作業車両１の周辺の安全を確認することとなる。ユーザは、走行体１１を走行させる場合は、進行方向となる走行体１１の前方に意識を向ける。したがって、走行体１１の走行中においてユーザが実際の被写体の位置を直感的に把握するためには、図９の合成画像ＣＰのように、被写体方向が走行基準方向に設定されて、走行体像９１の前方が合成画像ＣＰの上方に向いていることが望ましい。

一方、ユーザは、作業装置１３を動作させる場合は、作業装置１３が伸縮する方向となる旋回体１２の前方に意識を向ける。したがって、作業装置１３の動作中においてユーザが実際の被写体の位置を直感的に把握するためには、図１０の合成画像ＣＰのように、被写体方向が旋回基準方向に設定され、旋回体像９２の前方が合成画像ＣＰの上方に向いていることが望ましい。

このため、方向変更部２１ｂは、走行体１１の走行中においては図９のように被写体方向を走行基準方向に変更し、また、作業装置１３の動作中においては図１０のように被写体方向を旋回基準方向に変更する。これにより、ユーザは、走行体１１の走行中、及び、作業装置１３の動作中のいずれの場合であっても、実際の被写体の位置を直感的に把握することができる。作業車両１の動作（走行体１１の走行中か、あるいは、作業装置１３の動作中か）は、操作レバー６１からの操作信号に基づいて判断される。また、走行体１１に対する旋回体１２の旋回角度は、旋回センサ６２からの信号に基づいて取得される。

また、本実施の形態の方向変更部２１ｂは、旋回体１２の旋回中においては、被写体方向を変更しないようになっている。なお、他の態様として、方向変更部２１ｂは、旋回体１２の旋回中においては、被写体方向を旋回基準方向に変更するようにしてもよい。また、さらに他の態様として、方向変更部２１ｂは、旋回体１２の旋回中においては、被写体方向を走行基準方向に変更するようにしてもよい。

また、方向変更部２１ｂは、作業車両１の動作のみならず、切替スイッチ２５の操作にも応答して、被写体方向を変更する。方向変更部２１ｂは、切替スイッチ２５が操作されたときに被写体方向が走行基準方向に設定されている場合には、被写体方向を旋回基準方向に変更する。また逆に、方向変更部２１ｂは、切替スイッチ２５が操作されたときに被写体方向が旋回基準方向に設定されている場合には、被写体方向を走行基準方向に変更する。これにより、ユーザは、適宜に切替スイッチ２５を操作することで、被写体方向を自分の感覚にあった方向に合わせることができる。

＜１−５．画像処理装置の処理＞
次に、画像処理装置２の処理の流れについて説明する。図１１は、画像処理装置２の処理の流れを示す図である。この図１１に示す処理は、所定の周期（例えば、１／３０秒周期）で繰り返される。

まず、４つのカメラでそれぞれ撮影がなされ、画像取得部２２が、これら４つのカメラから４つの画像を取得する。画像取得部２２は、取得した４つの画像を画像合成部２３に入力する（ステップＳ１１）。

次に、方向変更部２１ｂが、現時点で設定されている被写体方向を取得する。制御部２１のＲＡＭには、現時点の被写体方向を示すフラグが記憶されている。方向変更部２１ｂは、このフラグに基づいて、現時点の被写体方向が、走行基準方向、及び、旋回基準方向のいずれであるかを判断する（ステップＳ１２）。

次に、信号受信部２６が、操作レバー６１から操作内容を示す操作信号、旋回センサ６２から旋回角度を示す信号、関節センサ６３から作業装置１３の各関節部の回動角度を示す信号をそれぞれ受信する。信号受信部２６は、受信した信号を制御部２１に入力する（ステップＳ１３）。

次に、方向変更部２１ｂが、操作レバー６１からの操作信号に基づいて、現時点の作業車両１の動作状態を判定する。そして、作業車両１の走行体１１が走行中である場合は（ステップＳ１４にてＹｅｓ）、方向変更部２１ｂは、次の被写体方向を走行基準方向に設定する（ステップＳ１５）。また、作業車両１の作業装置１３が動作中である場合は（ステップＳ１６にてＹｅｓ）、方向変更部２１ｂは、次の被写体方向を旋回基準方向に設定する（ステップＳ１７）。

そして、ステップＳ１２で取得された現時点の被写体方向と、ステップＳ１５，Ｓ１７で設定された次の被写体方向とが異なる場合は、方向変更部２１ｂは、被写体方向の変更が必要と判断し（ステップＳ１８にてＹｅｓ）、画像合成部２３に制御信号を送信して被写体方向を変更する。すなわち、方向変更部２１ｂは、走行基準方向から旋回基準方向に、あるいは、旋回基準方向から走行基準方向に被写体方向を変更する（ステップＳ１９）。この際、ＲＡＭに記憶されたフラグが、変更後の被写体方向を示すように更新される。

また、ステップＳ１２で取得された現時点の被写体方向と、ステップＳ１５，Ｓ１７で設定された次の被写体方向とが一致する場合は、被写体方向の変更は不要であるため、処理はそのままステップＳ２２へ進む。

また、走行体１１が走行中でなく、かつ、作業装置１３が動作中でない場合（ステップＳ１４，Ｓ１６にてＮｏ）は、方向変更部２１ｂは、切替スイッチ２５の操作がなされたか否かを判断する（ステップＳ２０）。切替スイッチ２５が操作された場合は、方向変更部２１ｂは、画像合成部２３に制御信号を送信して被写体方向を変更する。すなわち、方向変更部２１ｂは、走行基準方向から旋回基準方向に、あるいは、旋回基準方向から走行基準方向に被写体方向を変更する（ステップＳ２１）。この際、ＲＡＭに記憶されたフラグが、変更後の被写体方向を示すように更新される。また、切替スイッチ２５が操作されなかった場合は、被写体方向の変更は不要であるため、処理はそのままステップＳ２２へ進む。

ステップＳ２２では、画像合成部２３が、ステップＳ１１で取得された４つの画像を用いて、仮想視点ＶＰからみた作業車両１の周辺の被写体を示す合成画像ＣＰを生成する。この際、画像合成部２３は、方向変更部２１ｂに設定された被写体方向に基づいて、仮想視点ＶＰをロールして合成画像ＣＰを生成する。これにより、走行体１１が走行中である場合は、走行体１１の前方にある被写体の像が合成画像ＣＰの上方に位置する合成画像ＣＰが生成される。また、作業装置１３が動作中である場合は、旋回体１２の前方にある被写体の像が合成画像ＣＰの上方に位置する合成画像ＣＰが生成される。

次に、画像合成部２３は、記憶部２４の車両データ２４ａを用いて、車両像９０を生成する。画像合成部２３は、車両データ２４ａに含まれるパーツデータ９１〜９３を組み合わせて、作業車両１の現時点における外観を示す車両像９０を生成する。

具体的には、画像合成部２３は、作業装置１３の各関節部の回動角度に基づいて、ブーム像９１，アーム像９７及びバケット像９８を組み合わせて、現時点における作業装置１３の伸長状態を示す作業装置像９３を生成する。画像合成部２３は、この作業装置像９３を、旋回体像９２の所定の位置に組み合わせる。さらに、画像合成部２３は、走行体１１に対する旋回体１２の旋回角度に基づいて走行体像９１を回転させた上で、この走行体像９１に旋回体像９２及び作業装置像９３を重ねる。これにより、画像合成部２３は、現時点における走行体１１と旋回体１２との相対的な位置関係と、作業装置１３の伸長状態とを示す車両像９０を生成することができる。

つまり、実際の作業車両１において走行体１１に対して旋回体１２が旋回している場合は、実際の旋回体１２と同様に走行体像９１に対して旋回体像９２が旋回した状態の車両像９０が生成される。また、実際の作業車両１において作業装置１３が伸長している場合は、実際の作業装置１３と同様に作業装置像９３が伸長した状態の車両像９０が生成される。作業装置１３の各関節部の回動角度、及び、走行体１１に対する旋回体１２の旋回角度は、制御部２１の合成制御部２１ａから与えられる。

画像合成部２３は、車両像９０を生成すると、方向変更部２１ｂに設定された被写体方向に基づいて、生成した車両像９０を回転して合成画像ＣＰに重畳する。これにより、作業車両１の現時点での外観を示す車両像９０を含む合成画像ＣＰが生成される（ステップＳ２３）。

次に、画像出力部２１ｃが、画像合成部２３が生成した合成画像ＣＰを出力インターフェイス２７を介して表示装置３に出力する。これにより、表示装置３に、車両像９０を含む合成画像ＣＰが表示されることになる（ステップＳ２４）。ユーザは、この合成画像ＣＰを視認することで、作業車両１の周辺の被写体の位置とともに、作業車両１の現時点での状態についても直感的に把握できることになる。

以上のように、画像処理装置２では、画像合成部２３が、作業車両１に設けられる複数のカメラ５で取得された複数の画像を用いて、仮想視点ＶＰからみた作業車両１の周辺の被写体を示す合成画像ＣＰを生成し、画像出力部２１ｃが、合成画像ＣＰを表示装置３に出力して表示させる。そして、方向変更部２１ｂは、この合成画像ＣＰに含まれる被写体の像の方向を、走行体１１を基準とする走行基準方向、及び、旋回体１２を基準とする旋回基準方向の一方から他方に変更する。このため、合成画像ＣＰに含まれる被写体の像の方向を状況に応じて最適な方向に変更できるため、ユーザは実際の被写体の位置を直感的に把握することができる。

また、方向変更部２１ｂは、作業車両１の動作に応じて合成画像ＣＰに含まれる被写体の像の方向を変更する。このため、現時点での作業車両１の動作において、ユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。特に、走行体１１の走行中は被写体の像の方向を走行基準方向に変更するため、走行体１１の走行中においてユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。また、作業装置１３の動作中は被写体の像の方向を旋回基準方向に変更するため、作業装置１３の動作中においてユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。

また、画像合成部２３は、合成画像ＣＰ中に作業車両１の外観を示す車両像９０を含める。このため、ユーザは作業車両１と作業車両１の周辺の被写体（物体）との位置関係を容易に把握することができる。また、実際の走行体１１と旋回体１２との相対的な位置関係、及び、実際の作業装置１３の伸縮状態を示す車両像９０が合成画像ＣＰに含まれるため、ユーザは作業車両１の状態を直感的に把握することができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の作業車両１及び画像処理装置２の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態では、方向変更部２１ｂは、被写体方向を変更する場合において、被写体方向を瞬時に切り替えずに段階的に変更する。これにより、表示装置３において被写体方向が連続的に変わるアニメーション表示がなされるようになっている。

図１２は、被写体方向を変更する際に表示装置３に表示される一連の合成画像ＣＰを示す図である。方向変更部２１ｂは、被写体方向を変更する場合に、画像合成部２３に制御信号を送信して、被写体方向をフレームごとに段階的に変更する。これにより、被写体方向が異なる複数の合成画像ＣＰが連続的に生成される。

表示装置３は、これら複数の合成画像ＣＰを時間的に連続して表示する。その結果、図１２に示すように、表示装置３においては、被写体方向が連続的に変わるアニメーション表示がなされることになる。図１２の例では、被写体方向が走行基準方向から旋回基準方向に連続的に変更されている。被写体方向を旋回基準方向から走行基準方向に変更する場合には、図１２の例とは逆順のアニメーション表現がなされることになる。このようなアニメーション表現は、所定時間（例えば０．５秒間）かけて複数のフレーム（合成画像ＣＰ）を利用して行われる。このようなアニメーション表現を行うことにより、被写体方向を瞬時に切り替える場合と比較して、ユーザは、被写体方向がどのように変更されたかを容易に把握できることになる。

以上のように、第２の実施の形態の画像処理装置２においては、合成画像ＣＰに含まれる被写体の像の方向を変更する場合に、表示装置３において被写体の像の方向が連続的に変わるアニメーション表示がなされる。このため、被写体の像の方向がどのように変更されたかをユーザが直感的に把握することができる。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の作業車両１及び画像処理装置２の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、画像合成部２３は、走行体像９１、旋回体像９２及び作業装置像９３を組み合わせて車両像９０を生成していた。これに対して、第３の実施の形態では、画像合成部２３は、合成画像ＣＰに含める車両像に、記憶部２４に予め記憶されたイメージデータである走行体像９１を用いず、合成画像ＣＰに含まれる被写体としての走行体１１の像を利用するようになっている。

前述のように、作業車両１の周辺を撮影する複数のカメラ５は、旋回体１２に配置されている（図３参照。）。このため、旋回体１２の下部に配置される走行体１１は、複数のカメラ５によって撮影される。したがって、複数のカメラ５で得られた画像中には、被写体となった走行体１１の像が含まれる。その結果、これらの複数のカメラ５で得られた画像を用いて生成した合成画像ＣＰには、走行体１１の像が含まれることになる。

図１３の上部は、このような走行体１１の像Ｓｂ２を含む合成画像ＣＰの例を示す図である。合成画像ＣＰの略中央部には、旋回体１２の位置に相当するデータのない非データ領域Ａがあり、この非データ領域Ａの近傍に被写体としての走行体１１の像Ｓｂ２が含まれている。

画像合成部２３は、このような合成画像ＣＰ中の被写体としての走行体１１の像Ｓｂ２に、走行体１１の部分を除いた作業車両１の様子を示す上部車両像９０ａを重ね合わせる。この際、上部車両像９０ａに含まれる旋回体像９２の位置は、非データ領域Ａの位置とされる。これにより、図１３の下部に示すように、合成画像ＣＰ中に作業車両１の外観を示す車両像を含めることができる。上部車両像９０ａは、旋回体像９２及び作業装置像９３のみを組み合わせることで生成される。

走行体１１に対して旋回体１２が旋回している場合は、走行体１１の像Ｓｂ２は、その旋回角度を反映した向きで合成画像ＣＰに表れる。したがって、合成画像ＣＰに単純に上部車両像９０ａを重畳するのみで、実際の走行体１１と旋回体１２との相対的な位置関係を示す車両像を合成画像ＣＰ中に含めることができる。

以上のように、第３の実施の形態の画像処理装置２においては、画像合成部２３は、合成画像ＣＰ中に含まれる被写体としての走行体１１の像Ｓｂ２に、旋回体１２の外観を示す旋回体像９２を含む上部車両像９０ａを重ねるため、合成画像ＣＰ中に車両像を比較的容易に含めることができる。

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の作業車両１及び画像処理装置２の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

図１４は、第４の実施の形態で生成される合成画像ＣＰの一例を示す図である。図に示すように、合成画像ＣＰには、作業車両１の周辺の被写体の像Ｓｂ、及び、車両像９０に加えて、３種類の移動予測線Ｌ１〜Ｌ３が含まれている。これらの移動予測線Ｌ１〜Ｌ３は、作業車両１の各部位が移動する可能性のある領域を示す指標となる。

３種類の移動予測線Ｌ１〜Ｌ３のうち、走行予測線Ｌ１は、走行体１１が走行した場合に走行体１１が移動する領域を示している。また、旋回予測線Ｌ２は、旋回体１２が旋回した場合に作業装置１３が移動する領域を示している。さらに、伸縮予測線Ｌ３は、作業装置１３が伸縮した場合に作業装置１３の先端部（バケット１８）が移動する領域を示している。

第４の実施の形態では、表示装置３において、このような移動予測線Ｌ１〜Ｌ３を含む合成画像ＣＰが表示される。このため、ユーザは、このような合成画像ＣＰを視認することで、作業車両１が動作した場合に、作業車両１の周辺に存在するいずれの被写体（物体）が作業車両１と接触するかを的確に把握できる。

図１５は、第４の実施の形態の画像処理装置２の構成を主に示す図である。第４の実施の形態の画像処理装置２は、プログラム２４ｂに従って制御部２１のＣＰＵが演算処理を行うことで実現される機能として、領域特定部２１ｄを備えている。第４の実施の形態の画像処理装置２のその他の構成は、図２に示す第１の実施の形態の画像処理装置２と同様である。

領域特定部２１ｄは、合成画像ＣＰが示す作業車両１の周辺の範囲において、走行体１１が走行した場合に走行体１１が移動する第１領域、旋回体１２が旋回した場合に作業装置１３が移動する第２領域、及び、作業装置１３が伸縮した場合に作業装置１３の先端部が移動する第３領域をそれぞれ特定する。第１領域及び第３領域は、作業車両１の各部位のサイズ、及び、現時点の走行体１１に対する旋回体１２の旋回角度などから特定される。また、第２領域は、作業車両１の各部位のサイズ、及び、現時点の作業装置１３の各関節部の回動角度などから特定される。作業車両１の各部位のサイズは、記憶部２４などに予め記憶される。

図１６は、第４の実施の形態の画像処理装置２の処理の流れを示す図である。この図１６に示す処理は、図１１に示す処理と略同様であるが、ステップＳ２３とステップＳ２４との間に予測線重畳処理（ステップＳ３０）が追加されている点で異なっている。予測線重畳処理においては、合成画像ＣＰに３種類の移動予測線Ｌ１〜Ｌ３が重畳される。図１７は、この予測線重畳処理（ステップＳ３０）の詳細な流れを示す図である。以下、図１７を参照して、予測線重畳処理の流れについて説明する。

まず、領域特定部２１ｄが、合成画像ＣＰが示す作業車両１の周辺の範囲において、走行体１１が走行した場合に走行体１１が移動する第１領域、旋回体１２が旋回した場合に作業装置１３が移動する第２領域、及び、作業装置１３が伸縮した場合に作業装置１３の先端部が移動する第３領域をそれぞれ特定する。領域特定部２１ｄは、特定した領域を画像合成部２３に入力する（ステップＳ３１）。

次に、画像合成部２３が、３種類の移動予測線Ｌ１〜Ｌ３を合成画像ＣＰに含める。３種類の移動予測線Ｌ１〜Ｌ３はそれぞれ、領域特定部２１ｄが特定した第１ないし第３領域の外縁となる線である。これにより、図１４に示すような合成画像ＣＰが生成される（ステップＳ３２）。

次に、合成制御部２１ａが、操作レバー６１からの操作信号に基づいて、現時点の作業車両１の動作状態を判定する（ステップＳ３３）。そして、合成制御部２１ａは、作業車両１が動作中である場合は、画像合成部２３に制御信号を送信し、その作業車両１の動作に応じて第１ないし第３領域のうち現時点で動作中の作業車両１の部位に関連する移動予測線を、他の移動予測線よりも強調する。

具体的には、作業車両１の走行体１１が走行中である場合は（ステップＳ３４にてＹｅｓ）、画像合成部２３は、図１８に示すように、走行体１１が移動する領域を示す走行予測線Ｌ１を他の移動予測線Ｌ２，Ｌ３よりも強調する（ステップＳ３５）。

また、作業車両１の旋回体１２が旋回中である場合は（ステップＳ３６にてＹｅｓ）、画像合成部２３は、図１９に示すように、旋回中に作業装置１３が移動する領域を示す旋回予測線Ｌ２を他の移動予測線Ｌ１，Ｌ３よりも強調する（ステップＳ３７）。

また、作業車両１の作業装置１３が動作中である場合は（ステップＳ３８にてＹｅｓ）、画像合成部２３は、図２０に示すように、作業装置１３の伸縮によりその先端部が移動する領域を示す伸縮予測線Ｌ３を他の移動予測線Ｌ１，Ｌ２よりも強調する（ステップＳ３９）。

また、作業車両１が動作中でない場合は（ステップＳ３４，Ｓ３６，Ｓ３８のいずれにおいてもＮｏ）、合成画像ＣＰ中の移動予測線Ｌ１〜Ｌ３はいずれも強調されない。

このようにして生成された合成画像ＣＰは、画像出力部２１ｃにより、出力インターフェイス２７を介して表示装置３に出力される。これにより、移動予測線Ｌ１〜Ｌ３を含む合成画像ＣＰが表示装置３に表示されることになる（図１６のステップＳ２４）。

以上のように、第４の実施の形態においては、合成画像ＣＰ中に、現時点で動作中の作業車両１の部位に関連する領域の移動予測線が、他の領域の移動予測線よりも強調して示される。このため、動作中の作業車両１の部位と接触する可能性のある被写体（物体）をユーザが直感的に把握することができる。

なお、上記では、動作中の作業車両１の部位に関連する移動予測線を強調する場合において強調しない他の移動予測線を合成画像ＣＰに含めているが、動作中の作業車両１の部位に関連する移動予測線のみを合成画像ＣＰに含めるようにしてもよい。

また、上記では、動作中の作業車両１の部位に関連する移動予測線を強調しているが、車両像９０に含まれるパーツデータ９１〜９３のうち動作中の作業車両１の部位に対応するものをさらに強調するようにしてもよい。

＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の作業車両１及び画像処理装置２の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、画像処理装置２は、作業車両１の直上の仮想視点ＶＰからみた合成画像ＣＰを生成していた。これに対して、第５の実施の形態では、画像処理装置２は、仮想視点ＶＰを任意の位置に設定し、任意の仮想視点ＶＰからみた合成画像ＣＰを生成できるようになっている。

図２１は、合成画像ＣＰの生成に用いる投影面ＴＳを示す図である。第５の実施の形態の画像合成部２３は、この投影面ＴＳの周囲の三次元空間の任意の位置に、任意の方向へ向けて仮想視点ＶＰを設定できる。例えば、図２１に示すように、作業車両１の旋回体１２の後方の位置において旋回体１２の前方へ向けた仮想視点ＶＰ１や、旋回体１２の左側方の位置において旋回体１２の右側方へ向けた仮想視点ＶＰ２などを設定することができる。

このように任意の位置に仮想視点ＶＰを設定した場合も、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。これにより、画像合成部２３は、任意の仮想視点ＶＰからみた作業車両１の周辺の被写体を示す合成画像ＣＰを生成することができる。

例えば、図中に示す仮想視点ＶＰ１を設定した場合は、旋回体１２の後方から作業車両１の周辺全体を見下ろすように、作業車両１の周辺の被写体を示す合成画像ＣＰが生成される。また、図中に示す仮想視点ＶＰ２を設定した場合は、旋回体１２の左側方から作業車両１の周辺全体を見下ろすように、作業車両１の周辺の被写体を示す合成画像ＣＰが生成される。

第５の実施の形態の画像合成部２３は、このように仮想視点ＶＰの位置自体を変更することで、含まれる被写体の像の方向（被写体方向）が異なる合成画像ＣＰを生成できる。そして、方向変更部２１ｂは、この画像合成部２３に制御信号を送信し、第１の実施の形態と同様に、作業車両１の動作に応じて被写体方向を変更する。

例えば、走行体１１が走行中である場合は、方向変更部２１ｂは、被写体方向を走行基準方向に設定する。これに応答して、画像合成部２３は、仮想視点ＶＰの位置を走行体１１の後方の位置に設定する。その結果、図２２に示すように、走行体１１の後方から作業車両１の周辺全体を見下ろすように、作業車両１の周辺の被写体を示す合成画像ＣＰが生成される。この合成画像ＣＰでは、その上下方向が走行体１１の前後方向と一致し、走行体１１を示す走行体像９１の前方が合成画像ＣＰの上方に向いている。

一方、作業装置１３が動作中である場合は、方向変更部２１ｂは、被写体方向を旋回基準方向に設定する。これに応答して、画像合成部２３は、仮想視点ＶＰの位置を旋回体１２の後方の位置に設定する。その結果、図２３に示すように、旋回体１２の後方から作業車両１の周辺全体を見下ろすように、作業車両１の周辺の被写体を示す合成画像ＣＰが生成される。この合成画像ＣＰでは、その上下方向が旋回体１２の前後方向と一致し、旋回体１２を示す旋回体像９２の前方が合成画像ＣＰの上方に向いている。

また、本実施の形態の画像合成部２３は、このようにして生成した合成画像ＣＰに、仮想視点ＶＰからみた作業車両１の外観を示す車両像９０ｂを含めるようになっている。画像合成部２３は、例えば、ポリゴンやワイヤーフレームなどの作業車両１の三次元形状を示す三次元モデルを仮想的に構成し、設定した仮想視点ＶＰに応じて三次元モデルに関してレンダリングを行うことで車両像９０ｂを生成する。この場合も、画像合成部２３は、走行体１１に対する旋回体１２の旋回角度、及び、作業装置１３の各関節部の回動角度に基づいて三次元モデルを調整し、実際の走行体１１と旋回体１２との相対的な位置関係、及び、実際の作業装置１３の伸縮状態を示す車両像９０ｂを生成することが望ましい。

以上のように、第５の実施の形態においては、任意の仮想視点ＶＰからみた合成画像ＣＰを生成できるため、ユーザは実際の被写体の位置をより直感的に把握することができる。

＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、画像処理装置２と表示装置３とは別体としていたが、画像処理装置２と表示装置３とは一体化されていてもよい。

また、上記実施の形態では、画像を撮影するカメラ５は旋回体１２に設けられていたが、走行体１１に設けてもよい。ただし、このように走行体１１にカメラ５を設けた場合は、比較的低い位置から作業車両１の周辺を撮影することになるため、合成画像ＣＰを生成した場合に合成画像ＣＰに含まれる被写体の像の歪みが大きくなる。このため、上記実施の形態のように、比較的高い位置から作業車両１の周辺を撮影できるように、旋回体１２にカメラ５を設けることが望ましい。また、さらに高い位置から車両の周辺を撮影できるように、複数のカメラ５のうちの一部あるいは全部を、運転室１５の上部に設けてもよい。

また、上記実施の形態では、走行体１１の走行中は、前進及び後退のいずれであっても走行体像９１の前方を合成画像ＣＰの上方に向けるようにしていた。これに対して、走行体１１の前進中は走行体像９１の前方を合成画像ＣＰの上方に向け、走行体１１の後退中は走行体像９１の後方を合成画像ＣＰの上方に向けるようにしてもよい。

また、上記実施の形態では、走行体と走行体上に旋回可能に設けられる旋回体とを備えた車両として油圧ショベルを例に説明を行ったが、クローラクレーンや戦車などの油圧ショベル以外の車両に、上記技術を適用してもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１作業車両
２画像処理装置
１１走行体
１２旋回体
１３作業装置
１５運転室
２１制御部
２１ｂ方向変更部
２１ｄ領域特定部
２３画像合成部
９０車両像
ＶＰ仮想視点

Claims

走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
前記車両の動作を示す信号を受信する受信手段と、
を備え、
前記変更手段は、
前記車両の動作に応じて、前記被写体の像の方向を変更し、
前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更し、
前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記複数のカメラは、前記旋回体に設けられることを特徴とする画像処理装置。
請求項１または２に記載の画像処理装置において、
前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせることを特徴とする画像処理装置。
請求項１ないし３のいずれかに記載の画像処理装置において、
前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含めることを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記走行体に対する前記旋回体の旋回角度を取得する手段、
をさらに備え、
前記生成手段は、前記旋回角度に基づいて、前記走行体と前記旋回体との相対的な位置関係を示す前記車両像を前記合成画像に含めることを特徴とする画像処理装置。
請求項４または５に記載の画像処理装置において、
前記旋回体に設けられた作業装置の関節部の回動角度を取得する手段、
をさらに備え、
前記生成手段は、前記回動角度に基づいて、前記作業装置の伸縮状態を示す前記車両像を前記合成画像に含めることを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記旋回体には、伸縮可能な作業装置が設けられており、
前記車両の動作を示す信号を受信する受信手段と、
前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第１領域、前記旋回体が旋回した場合に前記作業装置が移動する第２領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第３領域をそれぞれ特定する特定手段と、
をさらに備え、
前記生成手段は、前記車両の動作に応じて、前記第１ないし第３領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含めることを特徴とする画像処理装置。
走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
を備え、
前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせることを特徴とする画像処理装置。
請求項９に記載の画像処理装置において、
前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含め、
前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。
走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
を備え、
前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含め、
前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。
走行体と、前記走行体上に旋回可能に設けられる旋回体と、前記旋回体に設けられる伸縮可能な作業装置とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記車両の動作を示す信号を受信する受信手段と、
前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第１領域、前記旋回体が旋回した場合に前記作業装置が移動する第２領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第３領域をそれぞれ特定する特定手段と、
をさらに備え、
前記生成手段は、前記車両の動作に応じて、前記第１ないし第３領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含めることを特徴とする画像処理装置。
走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
前記車両の動作を示す信号を受信する受信手段と、
を備え、
前記変更手段は、
前記車両の動作に応じて、前記被写体の像の方向を変更し、
前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更し、
前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更することを特徴とする車両。
走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理方法であって、
（ａ）前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、
（ｂ）前記合成画像を表示装置に出力して表示させる工程と、
（ｃ）前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、
（ｄ）前記車両の動作を示す信号を受信する工程と、
を備え、
前記工程（ｃ）は、
前記車両の動作に応じて、前記被写体の像の方向を変更し、
前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更し、
前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更することを特徴とする画像処理方法。
走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
（ａ）前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、
（ｂ）前記合成画像を表示装置に出力して表示させる工程と、
（ｃ）前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、
（ｄ）前記車両の動作を示す信号を受信する工程と、
を実行させ、
前記工程（ｃ）は、
前記車両の動作に応じて、前記被写体の像の方向を変更し、
前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更し、
前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更することを特徴とするプログラム。