JP6903442B2

JP6903442B2 - 遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システム

Info

Publication number: JP6903442B2
Application number: JP2017021319A
Authority: JP
Inventors: 弘隆熊倉
Original assignee: IHI Corp; IHI Aerospace Co Ltd
Current assignee: IHI Corp; IHI Aerospace Co Ltd
Priority date: 2017-02-08
Filing date: 2017-02-08
Publication date: 2021-07-14
Anticipated expiration: 2037-02-08
Also published as: JP2018128847A

Description

本発明は、マニピュレータ及びカメラを搭載した遠隔操縦車両を所望する位置、例えば、マニピュレータによる作業を開始する位置に停止させる際に用いられる遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムに関するものである。

従来、上記したマニピュレータ及びカメラを搭載した遠隔操縦車両としては、例えば、特許文献１に記載されたものがある。この遠隔操縦車両のマニピュレータは、多関節アーム部及びこの多関節アーム部の先端に位置するエンド部を具備しており、多関節アーム部におけるエンド部を視認できる部位にカメラは配置されている。

このようなマニピュレータを搭載した遠隔操縦車両には、オペレータが操作する表示部付の遠隔操縦装置と無線でデータ通信を行う車載制御器が装備されており、カメラで撮影した画像をオペレータが遠隔操縦装置の表示部で確認しながら、遠隔操縦車両の操縦及びマニピュレータの操作を遠隔で行うようになっている。

特開昭６４−０７１６９１号公報

しかしながら、上記した遠隔操縦車両において、マニピュレータに取り付けられた１台のカメラの画像だけでは遠近感に乏しいことから、マニピュレータのエンド部で作業対象物を掴む作業の場合には、作業対象物に対して遠隔操縦車両をどの程度近づければ、マニピュレータによる把持作業を始め易いかが把握し辛く、作業開始時における遠隔操縦車両の停止位置を複数回変更せざるを得ないのが現状である。

この際、遠近感を確保するために、２台のカメラを使用することも検討されているが、装置や制御の複雑化を招いてしまい好ましくなく、したがって、カメラの台数を増すことなく上記した問題を解決することが従来の課題となっていた。

本発明は、上記した従来の課題に着目してなされたもので、遠隔操縦車両に搭載したマニピュレータによる、例えば作業対象物の把持作業を開始するにあたって、マニピュレータにとって把持作業を始め易い位置に遠隔操縦車両を迅速かつ的確に停止させることができる遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムを提供することを目的としている。

本発明の第１の態様は、マニピュレータ及び該マニピュレータ上に配置されたカメラを備えた遠隔操縦車両を前記カメラが撮影した画像を表示する表示部を具備したオペレータ操作用の遠隔操縦装置により遠隔操縦するに際して、オペレータによる前記遠隔操縦装置の操作により、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させると共に前記作業対象物の側部を捉える選定位置に前記マニピュレータに配置された前記カメラを移動させて前記作業対象物の選定画像を撮像した時点において、前記遠隔操縦装置及び車載制御装置のうちの少なくとも何れかが有する画像処理手段により、前記選定画像の撮像時における前記カメラの位置及び方向データの記録と、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの複数通りの作業姿勢から選択した作業姿勢のＣＧ画像の作製と、前記選定画像と前記マニピュレータの作業姿勢のＣＧ画像との合成画像を作製して、前記遠隔操縦装置の表示部への表示とが成される構成としている。

本発明の第２の態様において、前記画像処理手段は、前記選定画像の撮像を複数の選定位置で行い、前記複数の選定位置で撮像した複数の選定画像から選んだ選定画像と前記マニピュレータの作業姿勢のＣＧ画像との合成画像を作製する構成としている。

本発明の第３の態様において、前記画像処理手段は、予め複数通り記録した前記マニピュレータの作業姿勢のうちの少なくとも一通りの作業姿勢のＣＧ画像を作製し、前記選定画像と前記マニピュレータの作業姿勢のＣＧ画像との合成画像を作製する構成としている。

本発明の第４の態様は、前記カメラが方位可変に前記マニピュレータに取り付けられている構成とし、本発明の第５の態様は、前記カメラが全方位カメラである構成としている。

一方、本発明の第６の態様は、マニピュレータ及び該マニピュレータに配置されたカメラを備えた遠隔操縦車両の操縦システムであって、前記カメラが撮影した画像を表示する表示部を具備したオペレータ操作用の遠隔操縦装置と、前記遠隔操縦車両に搭載されて前記遠隔操縦装置と相互にデータ通信を行う車載制御装置を備え、前記遠隔操縦装置及び車載制御装置のうちの少なくとも何れかが画像処理手段を具備し、前記画像処理手段は、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた状態で前記カメラにより撮像した前記作業対象物の側部の選定画像を記録すると共に、該選定画像の撮像時におけるカメラの位置及び方向データを記録する機能と、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの作業姿勢を算出してＣＧ画像を作製する機能と、前記選定画像と前記マニピュレータの作業姿勢のＣＧ画像とを合成した合成画像を作製して、前記遠隔操縦装置の表示部に表示させる機能を有している構成としている。

本発明に係る遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムでは、例えば、遠隔操縦車両に搭載したマニピュレータで作業対象物を把持する作業を開始する場合に、把持作業を始め易い位置に遠隔操縦車両を迅速かつ的確に停止させることが可能であるという非常に優れた効果がもたらされる。

本発明に係る遠隔操縦車両の操縦システムの一実施形態を示す作業対象物近傍に停止している遠隔操縦車両の側面説明図（ａ）及び平面説明図（ｂ）である。本発明の一実施形態に係る遠隔操縦車両の操縦システムの画像処理手段を説明するブロック図である。図１の遠隔操縦車両の車載カメラで作業対象物の側部を撮影する状況を示す平面説明図（ａ）及び車載カメラで撮影した作業対象物の画像説明図（ｂ）である。図１の遠隔操縦車両におけるマニピュレータの予め記録した三通りの作業姿勢を示す側面説明図（ａ）〜（ｃ）である。図４のマニピュレータの作業姿勢のうちの（ａ），（ｂ）二通りの作業姿勢を合わせて作製したＣＧ画像説明図（ａ）及び図５（ａ）のＣＧ画像を作業対象物の選定画像に重畳して作製した合成画像説明図（ｂ）である。

以下、本発明の実施例を図面に基づいて説明する。
図１〜図５は、本発明の一実施例による遠隔操縦車両の操縦システムを示している。
図１に示すように、遠隔操縦車両１は、車体２と、この車体２の前後左右に配置された車輪３と、車体２に搭載されたマニピュレータ１０を備えており、人が立ち入り困難な場所での作業や、危険物を処理する作業等の遠隔で行う作業に用いられる。

遠隔操縦車両１の前後左右の車輪（或いは前後いずれかの左右車輪）３は、インホールモータ、又は、車載された原動機により駆動されるようになっており、この遠隔操縦車両１には、必要に応じてステアリング機構が装備される。なお、前後左右の車輪（或いは前後いずれかの左右車輪）３に代えてクローラを配置するようにしてもよいほか、車輪３の数も４輪に限定しない。

マニピュレータ１０は、車体２の上面の中央に配置されたベース１１と、このベース１１に回動可能に設置された旋回柱１２と、第１連結杆１３ａ〜第３連結杆１３ｃの３つの連結杆を具備したアーム部１３と、一対のフィンガー１４ａ，１４ａを具備したハンド部１４を備えている。

アーム部１３の第１連結杆１３ａの基端は旋回柱１２の上端に第１関節１６を介して連結され、第２連結杆１３ｂの基端は第１連結杆１３ａの先端に第２関節１７を介して連結され、第３連結杆１３ｃの基端は第２連結杆１３ｂの先端に第３関節１８を介して連結され、第３連結杆１３ｃの先端にハンド部１４が連結されている。

このマニピュレータ１０において、旋回柱１２，アーム部１３の第１連結杆１３ａ〜第３連結杆１３ｃ及びハンド部１４のフィンガー１４ａ，１４ａの各駆動原としては、回転検出機能を有するサーボモータがそれぞれ用いられ、旋回柱１２は、垂直軸回りに回動可能であり、アーム部１３の第１連結杆１３ａ〜第３連結杆１３ｃの各連結杆は、第１関節１６〜第３関節１８においていずれもピッチ軸回りに回動可能である。また、ハンド部１４の一対のフィンガー１４ａ，１４ａは、第３連結杆１３ｃの軸（ロール軸）と直交するヨー軸回りに互いに回動して把持解放動作を行うようになっている。
なお、アーム部１３に第１連結杆１３ａ〜第３連結杆１３ｃの各連結杆とは別の連結杆を追加してもよいほか、上記以外の動作、例えば、ハンド部１４を第３連結杆１３ｃのロール軸回りに回動させてもよい。

このマニピュレータ１０において、アーム部１３の第３連結杆１３ｃの基端近傍には、車載カメラ５が旋回台４を介して装着されている。旋回台４には回転検出機能を有するサーボモータが内蔵されており、車載カメラ５は、サーボモータの出力により第３連結杆１３ｃの軸と直交するヨー軸回りに回動して、フレーミングを水平方向に移動させることができるようになっている。
車載カメラ５には、ズーム機能やチルト機能（フレーミングを垂直方向に移動させる機能）を付加し得る、例えば、ＣＣＤカメラを採用することができるほか、水平方向の全方位カメラを採用してもよい。

このようなマニピュレータ１０及び車載カメラ５を搭載した遠隔操縦車両１の操縦システムは、遠隔操縦車両１に搭載された車載制御装置２０と、この車載制御装置２０と相互にデータ通信を行うオペレータ操作用の遠隔操縦装置３０を備えている。

車載制御装置２０は、遠隔操縦車両１の自己位置を検出する位置センサと、遠隔操縦車両１の方向を検出する方向センサと、主コンピュータと、送受信機と、バッテリとから主として構成されており、位置センサには、例えば、ＧＰＳが採用され、方向センサには、例えば、加速度計や磁気センサが採用される。

主コンピュータには、遠隔操縦車両１の位置及び方向データ、マニピュレータ１０の姿勢データ、車載カメラ５の位置及び方向データ、車載カメラ５で撮像した画像データ等の各種データが入力される。マニピュレータ１０の姿勢データは、旋回柱１２，アーム部１３の第１連結杆１３ａ〜第３連結杆１３ｃ及びハンド部１４におけるフィンガー１４ａ，１４ａの各サーボモータの回転検出により得ることができ、車載カメラ５の位置及び方向データは、マニピュレータ１０の姿勢データ及び旋回台４の回転検出により得ることができる。

そして、主コンピュータは、オペレータが操作する遠隔操縦装置３０から受信した指令信号を遠隔操縦車両１の走行系機能部やマニピュレータ１０の各サーボモータに出力する。

一方、遠隔操縦装置３０は、この実施例においてコンピュータを内蔵した携行可能なものであって、送受信機と、モニタ（表示部）３１と、遠隔操縦車両１を走行させるためのコントローラ３２と、マニピュレータ１０を動作させるためのコントローラ３３と、バッテリとから主として構成されている。なお、遠隔操縦装置３０は携行可能なものに限定されない。

この遠隔操縦装置３０に内蔵したコンピュータは、車載制御装置２０の主コンピュータからの各種データを受信すると共に、遠隔操縦車両１の車載カメラ５が撮影した画像や画像処理後の画像をモニタ３１に表示させ、走行系コントローラ３２及びマニピュレータ用コントローラ３３の各操作による指令信号を車載制御装置２０の主コンピュータに出力する。

この遠隔操縦車両の操縦システムは、車載制御装置２０及び遠隔操縦装置３０のうちの少なくとも何れかが画像処理手段４０を具備しており、この画像処理手段４０を遠隔操縦装置３０側に具備させれば、車載制御装置２０の主コンピュータの簡略化及びデータ通信量の低減が図られる。

この画像処理手段４０は、図２に示すように、メモリ部４１及び演算部４２を有している。メモリ部４１には、遠隔操縦車両１の位置及び方向データＤ１と、マニピュレータ１０の形状データＤ２と、マニピュレータ１０の姿勢データＤ３と、車載カメラ５の特性データＤ４と、車載カメラ５の撮像時における位置及び方向データＤ５と、画像データＤ６と、マニピュレータの作業姿勢データＤ７の各種データが記録される。

この際、遠隔操縦車両１の位置及び方向データＤ１は、前述したように、位置センサ及び方向センサによって検出されるデータである。マニピュレータ１０の形状データＤ２は、予め設定されているデータであり、車体２の上面の中央に配置された旋回柱１２の高さ寸法を含むアーム部１３（第１連結杆１３ａ〜第３連結杆１３ｃ、第１関節１６〜第３関節１８）及びハンド部１４の各諸寸法である。

また、マニピュレータ１０の姿勢データＤ３は、前述したように、旋回柱１２，アーム部１３の第１連結杆１３ａ〜第３連結杆１３ｃ及びハンド部１４におけるフィンガー１４ａ，１４ａの各サーボモータの回転角度により得られるデータであり、アーム部１３の第１連結杆１３ａ〜第３連結杆１３ｃの各傾斜角度を得ることができる。

さらに、車載カメラ５の特性データＤ４は、車載カメラ５の画角や解像度等の予め設定されているデータである。車載カメラ５の撮像時における位置及び方向データＤ５は、前述したように、マニピュレータ１０の姿勢データＤ３及び旋回台４の回転検出により得られるデータである。マニピュレータの作業姿勢データＤ７は、後述するように、予め記録した複数通りのマニピュレータ１０の作業姿勢のデータである。

そして、この画像処理手段４０のメモリ部４１は、遠隔操縦車両１の停止位置を決定する場合において、図３（ａ）に示すように、作業対象物Ｗ近傍の作業開始予定位置に遠隔操縦車両１を停止させた状態で車載カメラ５により撮像した作業対象物Ｗの側部の選定画像（図３（ｂ）の画像）ＳＰ１を記録し、そのうえで、この選定画像ＳＰ１の撮像時における車載カメラ５の位置及び方向データを記録する。

一方、画像処理手段４０の演算部４２は、選定画像ＳＰ１上における作業開始予定位置（車両停止位置）でのマニピュレータ１０の作業姿勢として、予めメモリ部４１に記録した複数通りのマニピュレータ１０の作業姿勢、例えば、図４（ａ）〜（ｃ）に示すハンド部斜め下向き姿勢，ハンド部水平姿勢及びハンド部斜め上向き姿勢のうちの少なくとも一通りの作業姿勢を算出して、図５（ａ）に示すように、ＣＧ（Computer Graphics）画像ＣＧＰを作製するＣＧ画像作製機能を有している。

この画像処理手段４０の演算部４２では、遠隔操縦車両１の位置及び方向データＤ１、マニピュレータ１０の形状データＤ２、並びに、マニピュレータ１０の選定位置及び作業開始予定位置での各姿勢データＤ３に基づいてマニピュレータ１０の作業姿勢を算出する。具体的には、姿勢データＤ３におけるマニピュレータ１０の姿勢に近い姿勢を算出し、この実施例において、図１（ａ）のマニピュレータ１０の斜め下向き姿勢に近いマニピュレータ１０の斜め下向き姿勢のハンド部１４ｄｗ及び水平姿勢のハンド部１４ｈｏの二通りの作業姿勢のハンド部１４を載せたＣＧ画像ＣＧＰを作製している。

また、この画像処理手段４０の演算部４２は、図５（ｂ）に示すように、選定画像ＳＰ１とマニピュレータ１０の作業姿勢のＣＧ画像ＣＧＰとを合成した合成画像ＭＰ（＝ＳＰ１＋ＣＧＰ）を作製して、遠隔操縦装置３０のモニタ３１に表示させる画像合成機能を有している。

なお、予めメモリ部４１に記録する複数通りのマニピュレータ１０の作業姿勢は、上記した図４（ａ）〜（ｃ）に示すハンド部斜め下向き姿勢，ハンド部水平姿勢及びハンド部斜め上向き姿勢に限定されるものではなく、ハンド部１４が真下を向くハンド部下向き姿勢や、ハンド部１４が真上を向くハンド部上向き姿勢であってもよいほか、ＣＧ画像ＣＧＰ上におけるマニピュレータ１０の作業姿勢の数もハンド部斜め下向き姿勢及びハンド部水平姿勢の二通りに限定されるものではない。

次に、上記した遠隔操縦車両の操縦システムによる遠隔操縦車両の遠隔操縦方法を説明する。

まず、図１（ａ），（ｂ）に示すように、遠隔操縦装置３０を操作して作業を行うべき方向から遠隔操縦車両１を作業対象物Ｗに接近させ、作業対象物Ｗに設定した正面部近傍の作業開始予定位置に遠隔操縦車両１を停止させる。このとき、作業対象物Ｗの正面部は、作業時に任意に設定するものであり、通常は、接近する遠隔操縦車両１の前面と対向する作業対象物Ｗの部位を正面部とし、その左右両側を側部として設定する。

この後、マニピュレータ１０を回動させて、図３（ａ）に示すように、作業対象物Ｗの側部を捉える選定位置に車載カメラ５を移動させて、図３（ｂ）に示すように、作業対象物Ｗの選定画像ＳＰ１を撮像すると共に、この撮像時における車載カメラ５の位置及び方向データ（Ｄ５）を特性データ（Ｄ４）とともに画像処理手段４０のメモリ部４１に記録する。

この選定画像ＳＰ１の撮像は、この実施例のように、一つの選定位置のみで行ってもよいが、作業対象物Ｗの側部を捉え得る複数の選定位置で行ってもよく、作業対象物Ｗの形状や向きに応じて選択的に行うことができる。

次に、画像処理手段４０の演算部４２のＣＧ画像作製機能により、選定画像ＳＰ１上における作業開始予定位置（車両停止位置）でのマニピュレータ１０の作業姿勢として、予め画像処理手段４０のメモリ部４１に記録した複数通りのマニピュレータ１０の作業姿勢データ（Ｄ７）からマニピュレータ１０のハンド部斜め下向き姿勢及びハンド部水平姿勢の二通りの作業姿勢が算出される。

このマニピュレータ１０のハンド部斜め下向き姿勢及びハンド部水平姿勢の算出は、遠隔操縦車両１の位置及び方向データ（Ｄ１）、マニピュレータ１０の形状データ（Ｄ２）、並びに、マニピュレータ１０の選定位置及び作業開始予定位置での各姿勢データ（Ｄ３）に基づいてなされる。具体的には、姿勢データＤ３におけるマニピュレータ１０の姿勢に近い姿勢（この実施例において、図１（ａ）のマニピュレータ１０の斜め下向き姿勢に近いハンド部斜め下向き姿勢及びハンド部水平姿勢）が算出され、図５（ａ）に示すように、算出されたマニピュレータ１０の斜め下向き姿勢のハンド部１４ｄｗ及び水平姿勢のハンド部１４ｈｏの二通りの作業姿勢のハンド部１４を載せたＣＧ画像ＣＧＰが作製される。

これに続いて、画像処理手段４０の演算部４２の画像合成機能により、図５（ｂ）に示すように、選定画像ＳＰ１と、マニピュレータ１０の作業姿勢のＣＧ画像ＣＧＰとの合成画像ＭＰ（＝ＳＰ１＋ＣＧＰ）が作製されると共に、この合成画像ＭＰが車載制御装置２０を介して遠隔操縦装置３０のモニタ３１に表示される。この合成画像ＭＰは、遠隔操縦装置３０側で作製される場合もあり、その際には、遠隔操縦装置３０で製作されてモニタ３１に表示される。

この実施例において、マニピュレータ１０の作業姿勢として斜め下向き姿勢のハンド部１４ｄｗを採用する場合には、斜め下向き姿勢のハンド部１４ｄｗの作業対象物Ｗに対する位置が適切でほぼ作業を始め易い状況なので、遠隔操縦車両１の停止位置を変更することなくそのまま作業を開始する。

一方、マニピュレータ１０の作業姿勢として水平姿勢のハンド部１４ｈｏを採用する場合には、作業対象物Ｗに水平姿勢のハンド部１４ｈｏが重なる分だけ一旦遠隔操縦車両１を後退させて作業を開始する。

このとき、画像処理手段４０の演算部４２は、マニピュレータ１０の選定位置及び作業開始予定位置での各姿勢データ（Ｄ３）を用いてマニピュレータ１０の作業姿勢を算出し、そして、ＣＧ画像ＣＧＰを作製しているので、このＣＧ画像ＣＧＰが合成されてモニタ３１に表示される合成画像ＭＰは、遠隔操縦車両１及びマニピュレータ１０の動きに同期した動画で表示され、したがって、遠隔操縦車両１を的確な距離だけ容易に後退させ得ることとなる。

ここで、例えば、遠隔操縦車両１の走行経路の上方に位置している作業対象物Ｗを把持する場合には、選定画像ＳＰ１上における作業開始予定位置（車両停止位置）でのマニピュレータ１０の作業姿勢として、画像処理手段４０のメモリ部４１に予め記録した複数通りのマニピュレータ１０の作業姿勢データ（Ｄ７）からマニピュレータ１０のハンド部斜め上向き姿勢やハンド部上向き姿勢が算出され、少なくとも何れかの作業姿勢のハンド部１４を載せたＣＧ画像ＣＧＰが作製される。

上記したように、この実施例に係る遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムでは、作業対象物Ｗの側部を捉えた選定画像ＳＰ１上に、予め記録したマニピュレータ１０の作業姿勢を重畳することで、作業対象物Ｗとマニピュレータ１０のハンド部１４との位置関係を把握することができるようにしているので、遠隔操縦車両１に搭載したマニピュレータ１０で作業対象物Ｗを把持する作業を開始する場合において、把持作業を始め易い位置に遠隔操縦車両１を迅速かつ的確に停止させ得ることとなる。

加えて、この実施例に係る遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムでは、選定画像ＳＰ１上に、予め記録したマニピュレータ１０の作業姿勢を少なくとも二通り重畳するようにしているので、作業に適したマニピュレータ１０の作業姿勢を選択することで、把持作業を始め易い位置に遠隔操縦車両１をより迅速に停止させ得ることとなる。

また、この実施例に係る遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムでは、画像処理手段４０のメモリ部４１に、マニピュレータ１０の作業姿勢データ（Ｄ７）として、複数通りのマニピュレータ１０の作業姿勢を予め記録しているので、地中に埋まっている作業対象物Ｗを引き抜く作業や、上方から垂れ下がっている作業対象物Ｗを取り払う作業等の様々な内容の作業に対応し得ることとなる。

上記した遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムでは、選定画像ＳＰ１の撮像を一つの選定位置のみで行っているが、作業対象物Ｗの側部を捉え得る複数の選定位置で選定画像ＳＰ１の撮像を行ってもよく、この場合には、作業対象物Ｗの形状や向きの違いに対応し得ることとなる。

また、上記した遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムでは、旋回台４を介してマニピュレータ１０に取り付けられる車載カメラ５を用いているが、車載カメラ５の代わりに全方位カメラを採用した場合には、旋回台４が不要になる分だけ軽量化が図られると共に、処理データ量の軽減も合わせて図られることとなる。

本発明に係る遠隔操縦車両の遠隔操縦方法及び遠隔操縦車両の操縦システムの構成は、上記した実施例の構成に限定されるものではなく、本発明の要旨を逸脱しなければ、構成の細部を適宜変更することが可能である。

１遠隔操縦車両
５車載カメラ（カメラ）
１０マニピュレータ
２０車載制御装置
３０遠隔操縦装置
３１モニタ（表示部）
４０画像処理手段
ＣＧＰＣＧ画像
ＭＰ合成画像
ＳＰ１選定画像
Ｗ作業対象物

Claims

マニピュレータ及び該マニピュレータ上に配置されたカメラを備えた遠隔操縦車両を前記カメラが撮影した画像を表示する表示部を具備したオペレータ操作用の遠隔操縦装置により遠隔操縦するに際して、
オペレータによる前記遠隔操縦装置の操作により、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させると共に前記作業対象物の側部を捉える選定位置に前記マニピュレータに配置された前記カメラを移動させて前記作業対象物の選定画像を撮像した時点において、
前記遠隔操縦装置及び車載制御装置のうちの少なくとも何れかが有する画像処理手段により、
前記選定画像の撮像時における前記カメラの位置及び方向データの記録と、
撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの前記選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの複数通りの作業姿勢から選択した作業姿勢のＣＧ画像の作製と、
前記選定画像と前記マニピュレータの作業姿勢のＣＧ画像との合成画像を作製して、前記遠隔操縦装置の表示部への表示とが成される遠隔操縦車両の遠隔操縦方法。
前記画像処理手段は、複数の選定位置で撮像した複数の選定画像から選んだ選定画像と前記マニピュレータの作業姿勢のＣＧ画像との合成画像を作製する請求項１に記載の遠隔操縦車両の遠隔操縦方法。
前記画像処理手段は、予め記録した前記マニピュレータの複数通りの作業姿勢から選択した少なくとも二通りの作業姿勢が載ったＣＧ画像を作製し、前記選定画像と前記マニピュレータの作業姿勢のＣＧ画像との合成画像を作製する請求項１又は２に記載の遠隔操縦車両の遠隔操縦方法。
前記カメラが方位可変に前記マニピュレータに取り付けられている請求項１〜３のいずれか一つの項に記載の遠隔操縦車両の遠隔操縦方法。
前記カメラが全方位カメラである請求項１〜３のいずれか一つの項に記載の遠隔操縦車両の遠隔操縦方法。
マニピュレータ及び該マニピュレータに配置されたカメラを備えた遠隔操縦車両の操縦システムであって、
前記カメラが撮影した画像を表示する表示部を具備したオペレータ操作用の遠隔操縦装置と、前記遠隔操縦車両に搭載されて前記遠隔操縦装置と相互にデータ通信を行う車載制御装置を備え、
前記遠隔操縦装置及び車載制御装置のうちの少なくとも何れかが画像処理手段を具備し、
前記画像処理手段は、作業対象物に設定した正面部近傍に前記遠隔操縦車両を停止させた状態で前記カメラにより撮像した前記作業対象物の側部の選定画像を記録すると共に、該選定画像の撮像時におけるカメラの位置及び方向データを記録する機能と、撮像時における前記カメラの位置及び方向データが記録された前記選定画像上における車両停止位置での前記マニピュレータの作業姿勢として、前記遠隔操縦車両の位置及び方向データ、前記マニピュレータの形状データ、並びに、前記マニピュレータの選定位置及び前記車両停止位置での各姿勢データに基づいて、予め記録した前記マニピュレータの作業姿勢を算出してＣＧ画像を作製する機能と、前記選定画像と前記マニピュレータの作業姿勢のＣＧ画像とを合成した合成画像を作製して、前記遠隔操縦装置の表示部に表示させる機能を有している遠隔操縦車両の操縦システム。