JP6650710B2 - 無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システム - Google Patents

Description

本発明は、マニピュレータ及びカメラを備えた無人車両において、カメラで撮像した画像を見ながら遠隔操縦を行う際に使用する無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムに関するものである。

従来、マニピュレータ及びカメラを備えた無人車両としては、例えば、非特許文献１に記載されたものがある。非特許文献１に記載の無人車両は、先端にハンド部及びカメラを備えたマニピュレータを搭載しており、無線でデータ通信を行う遠隔操縦装置において、オペレータが、カメラで撮像した画像を見ながら車両の走行系やマニピュレータを遠隔操縦するものである。

http://www.irobot.com/us/learn/defense/sugv.aspx

しかしながら、上記したような従来の無人車両にあっては、１台のカメラの一画像では遠近感が乏しいことから、マニピュレータを前後方向に遠隔操縦する際、作業対象物とマニピュレータのハンド部との衝突を避けるために、慎重を期して微速で動かさざるを得なかった。これにより作業時間が長くなり、時には遠近感が失われて作業ミスを起こし易くなるという問題点があり、このような問題点を解決することが課題であった。なお、遠近感を確保するために２台のカメラを使用することも提案されていたが、装置や制御の複雑化を招く虞がある。

本発明は、上記従来の課題に着目して成されたものであって、マニピュレータ及びカメラを備えた無人車両において、１台の車載カメラを使用して作業対象物とハンド部との距離感を把握しやすい遠隔操縦用の参考画像を得ることができ、作業時間の短縮化や作業ミスの防止を実現することができる無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムを提供することを目的としている。

本発明に係わる無人車両における遠隔操縦用画像の作製方法は、マニピュレータ及びカメラを備えた無人車両の遠隔操縦用画像を作製するに際し、作業対象物に対する作業に応じて作業対象物の正面部を任意に設定した後、先端にハンド部を有するマニピュレータの先端近傍に装着した車載カメラを用い、車載カメラが作業対象物の側部を捕捉する選定位置にマニピュレータを回動させて、車載カメラで作業対象物を含む選定画像を撮像し、車載カメラが作業対象物の正面部及びハンド部を捕捉する作業位置にマニピュレータを回動させた後、無人車両の位置データ及び方向データ、マニピュレータの形状データ、並びにマニピュレータの選定位置及び作業位置での姿勢データに基づいて、選定画像上における作業位置でのマニピュレータのＣＧ画像を作製し、この際、マニピュレータの位置及び方向データを更新しながらＣＧ画像を作製し、選定画像とマニピュレータのＣＧ画像とを合成して遠隔操縦用の参考画像とすることを特徴としている。

本発明に係わる無人車両の遠隔操縦システムは、マニピュレータ及びカメラを備えた無人車両の遠隔操縦システムであって、オペレータが操作する遠隔操縦装置と、無人車両に搭載され且つ遠隔操縦装置と相互にデータ通信を行う車載制御装置とを備え、マニピュレータが、先端のハンド部と、先端近傍に装着した車載カメラとを備え、遠隔操縦装置及び車載制御装置のいずれか一方の装置が、画像処理手段を備え、画像処理手段が、無人車両の位置データ及び方向データ、マニピュレータの形状データ、並びにマニピュレータの姿勢データに基づいてマニピュレータのＣＧ画像を作製し且つマニピュレータの位置及び方向データを更新しながらＣＧ画像を作製する機能と、マニピュレータのＣＧ画像と車載カメラが撮像した画像とを合成して遠隔操縦用の参考画像を作製する機能とを有し、遠隔操縦装置が、参考画像と、作業位置における車載カメラが撮像する遠隔操縦用の現状画像とを表示する表示部を有していることを特徴としている。

本発明に係わる無人車両における遠隔操縦用画像の作製方法では、選定画像上における作業位置でのマニピュレータのＣＧ画像を作製し、この際、マニピュレータの位置及び方向データを更新しながらマニピュレータの動きに同期した動画としてのＣＧ画像を作製し、選定画像とマニピュレータのＣＧ画像とを合成して遠隔操縦用の参考画像とすることから、車載カメラで撮像する遠隔操縦用の現状画像に加えて、作業対象物及びハンド部を横方向から見た状態の遠隔操縦用の参考画像が得られることとなる。

これにより、無人車両における遠隔操縦用画像の作製方法によれば、マニピュレータ及びカメラを備えた無人車両において、１台の車載カメラを使用して、遠隔操縦用の現状画像と、作業対象物とハンド部との距離感を把握しやすい遠隔操縦用の参考画像とを得ることができ、作業を容易にして、作業時間の短縮化や作業ミスの防止を実現することができる。

本発明に係わる無人車両の遠隔操縦システムによれば、マニピュレータ及びカメラを備えた無人車両において、１台の車載カメラを使用して、遠隔操縦用の現状画像と、作業対象物とハンド部との距離感を把握しやすい遠隔操縦用の参考画像とを得ることができ、作業を容易にして、作業時間の短縮化や作業ミスの防止を実現することができる。

本発明に係わる無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムの一実施形態を説明する図であって、マニピュレータを作業位置にした状態を示す無人車両の側面図（Ａ）、平面図（Ｂ）、及び車載カメラの画像（Ｃ）である。 画像処理手段を説明するブロック図である。 マニピュレータを選定位置にした状態を示す無人車両の平面図（Ａ）、選定画像（Ｂ）、マニピュレータのＣＧ画像（Ｃ）、及び参考画像（Ｄ）である。

以下、図面に基づいて、本発明に係わる無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムの一実施形態を説明する。

図１（Ａ）及び（Ｂ）に示す無人車両Ｖは、車体Ｂに前後左右の車輪Ｗを備えたものであって、左右前輪、左右後輪又は全車輪に設けたモータ、若しくは車載された原動機及び動力伝達機構により走行可能であり、ステアリング機構（図示せず）を設けることもできる。この無人車両Ｖの車体Ｂには、マニピュレータＭ及び車載制御装置Ｃｖが搭載されている。このような無人車両Ｖは、人が立ち入り困難な場所での作業や、危険物の処理作業などに用いられる。

マニピュレータＭは、概略としてアームＡの先端にハンド部Ｈを備えたものである。詳細には、アームＡは、車体Ｂの中央に配置したベース１と、ベース１に対して回転可能に立設した旋回柱２と、旋回柱２の上端に第１関節部Ｊ１を介して基端を連結した第１連結杆Ｌ１と、第１連結杆Ｌ１の先端に第２関節部Ｊ２を介して基端を連結した第２連結杆Ｌ２と、第２連結杆Ｌ２の先端に第３関節部Ｊ３を介して基端を連結した第３連結杆Ｌ３とを備え、第３連結杆Ｌ３の先端にハンド部Ｈが設けてある。ハンド部Ｈは、駆動部３によって把持・解放の動作が行われる一対のフィンガーＦ，Ｆを備えている。

上記のアームＡにおいて、旋回柱２、第１〜第３の関節部Ｊ１〜Ｊ３、及び駆動部３には、いずれも回転検出機能を有するサーボモータが用いられる。旋回柱２は、垂直軸回りに正逆回転可能であり、第１〜第３の関節部Ｊ１〜Ｊ３は、水平軸回りに正逆回転可能である。駆動部３は、第３連結杆Ｌ３の軸線に直交する竪軸回りに正逆回転して、フィンガーＦ，Ｆの把持・解放の動作を行う。なお、アームＡは、上記以外の動作機能を加えることも可能であり、例えば、ハンド部Ｈを第３連結杆Ｌ３の軸線回りに正逆回転させる構成としても良い。

さらに、アームＡは、先端部近傍に、車載カメラ４が装着してある。この実施形態の車載カメラ４は、例えばＣＣＤカメラのような小型軽量のものであって、第３連結杆Ｌ３の上部に、旋回台５を介して装着してある。旋回台５は、回転検出機能を有するサーボモータを含み、第３連結杆Ｌ３の軸線に直交する竪軸回りに車載カメラ４を回動させる機能、すなわちパン機能の働きをする。なお、車載カメラ４は、ズーム機能やチルト機能を有するものでも良い。

ここで、本発明に係わる無人車両の遠隔操縦システムは、マニピュレータ及びカメラを備えた無人車両の遠隔操縦システムであって、図１（Ａ）に示すように、オペレータが操作する遠隔操縦装置Ｃｓと、無人車両Ｖに搭載され且つ遠隔操縦装置Ｃｓと相互にデータ通信を行う車載制御装置Ｃｖとを備えると共に、上述したように、マニピュレータＭが、先端のハンド部Ｈと、先端近傍に装着した車載カメラ４とを備えている。

車載制御装置Ｃｖは、無人車両Ｖの自己位置（絶対位置）及び方向を検出する位置センサ及び方向センサ、主コンピュータ、遠隔操縦装置Ｃｓとデータ通信を行う送受信器、及びバッテリなどを備えている。位置センサには、例えばＧＰＳを用いることができる。方向センサには、例えば加速度計や磁気センサなどを用いることができる。

主コンピュータは、無人車両Ｖの位置及び方向のデータ、マニピュレータＭの姿勢データ、車載カメラ４の位置及び方向のデータ、並びに車載カメラ４で撮像した画像データなどを入力すると共に、遠隔操縦装置Ｃｓから受信した指令信号を各機能部に出力する。マニピュレータＭの姿勢データは、旋回柱２、第１〜第３の関節部Ｊ１〜Ｊ３、及び駆動部３の回転検出により得ることができる。車載カメラ４の位置及び方向のデータは、マニピュレータＭの姿勢データと、旋回台５の回転検出とにより得ることができる。

遠隔操縦装置Ｃｓは、とくに限定されないが、携行可能なものであって、主コンピュータ６、車載制御装置Ｃｖとデータ通信を行う送受信器、遠隔操縦用画像の表示部（モニタ）７、無人車両Ｖを走行させるためのコントローラ８、マニピュレータＭを動かすためのコントローラ９、及びバッテリなどを備えている。主コンピュータ６は、車載制御装置Ｃｖから受信した各データ信号を入力すると共に、車載カメラ４が撮像する画像や処理後の画像を表示部７に表示し、各コントローラ８，９の操作により生じる信号を指令信号に変換して出力する。

そして、無人車両の遠隔操縦システムは、遠隔操縦装置Ｃｓ及び車載制御装置Ｃｖのいずれか一方の装置が、図２に示す画像処理手段を有し、上記の如く、遠隔操縦装置Ｃｓが遠隔操縦用の参考画像と、車載カメラ４が撮像する遠隔操縦用の現状画像とを表示する表示部７を有している。この画像処理手段は、遠隔操縦装置Ｃｓの主コンピュータの一機能とすれば、車載制御装置Ｃｖの主コンピュータの簡略化やデータ通信量の低減を図ることができる。

図２に示す画像処理手段は、基本構成として、無人車両Ｖの位置及び方向のデータ（Ｂ１）と、マニピュレータＭの形状データ（Ｂ２）と、マニピュレータＭの姿勢データ（Ｂ３）とを用いて現在のハンド部Ｈ及びアームＡの位置及び方向データ（Ｂ６）を作成する機能を備えている。

また、画像処理手段は、マニピュレータＭの形状データ（Ｂ２）と、現在のハンド部Ｈ及びアームＡの位置及び方向データ（Ｂ６）と、車載カメラ４の特性データ（Ｂ７）と、選定画像撮影時の車載カメラ４の位置及び方向のデータ（Ｂ８）とを用いて選定画像上でのマニピュレータＭのＣＧ（Computer Graphics）画像を作製する機能（Ｂ４）を備えていると共に、選定画像とマニピュレータＭのＣＧ画像とを合成する機能（Ｂ５）を備えている。

無人車両Ｖの位置データ及び方向データ（Ｂ１）は、先述した位置センサ及び方向センサにより検出されるデータである。マニピュレータＭの形状データ（Ｂ２）は、予め設定されているデータであり、車体Ｂにおける旋回柱２の位置（地上からの高さ）や、旋回柱２、第１〜第３の連結杆Ｌ１〜Ｌ３、第１〜第３の関節部Ｊ１〜Ｊ３、及びハンド部Ｈの夫々の諸寸法である。

マニピュレータＭの姿勢データ（Ｂ３）は、旋回柱２、第１〜第３の関節部Ｊ１〜Ｊ３、及び駆動部３の回転検出（回転角度）により得られるデータであり、これにより第１〜第３の連結杆Ｌ１〜Ｌ３の夫々の傾斜角度を算出することができる。上記の無人車両Ｖの位置データ及び方向データ（Ｂ１）、マニピュレータＭの形状データ（Ｂ２）、及び姿勢データ（Ｂ３）により、現在のハンド部Ｈ及びアームＡの位置及び方向データ（Ｂ６）を作成する。現在のハンド部Ｈ及びアームＡの位置及び方向データ（Ｂ６）は、作業に伴って変化するハンド部Ｈ及びアームＡ（マニピュレータＭ）の姿勢データである。

また、車載カメラ４の特性データ（Ｂ７）は、予め設定されているデータであり、車載カメラ４の画角や解像度などである。車載カメラ４の位置及び方向のデータ（Ｂ８）は、マニピュレータＭにおける位置や、旋回台５の回転検出により得られるデータである。そして、上記のマニピュレータＭの形状データ（Ｂ２）、現在のハンド部Ｈ及びアームＡの位置及び方向データ（Ｂ６）、車載カメラ４の特性データ（Ｂ７）、及び車載カメラ４の位置及び方向のデータ（Ｂ８）により、選定画像上でのマニピュレータＭのＣＧ（Computer Graphics）画像を作製する（Ｂ４）。なお、ＣＧ画像の作製機能（Ｂ４）や画像合成機能（Ｂ５）は、予めプログラムされた画像処理機能である。

次に、上記構成を備えた無人車両の遠隔操縦システムの動作とともに、本発明に係わる無人車両における遠隔操縦用画像の作製方法を説明する。

無人車両における遠隔操縦用画像の作製方法では、最初に、作業対象物Ｔに対する作業に応じて作業対象物Ｔの正面部を任意に設定する。この際、無人車両Ｖは、遠隔操縦装置Ｃｓにより、作業対象物Ｔに向けて走行させると共に、その作業を行うべき方向から接近させ、望ましくは、作業対象物ＴがマニピュレータＭの作業可能範囲に含まれる位置に停止させる。

このとき、無人車両Ｖの向きと作業対象物Ｔとの位置は、とくに限定されないが、説明の都合上、図１に示すように作業対象物Ｔに無人車両Ｖの前面を向けた場合には、作業対象物Ｔの対向面を正面部とし、その左右両側を側部とする。つまり、作業対象物Ｔの正面部は、作業対象物Ｔの構造や方向性に関係なく、作業時に任意に設定するものである。

上記の設定後、遠隔操縦用画像の作製方法では、車載カメラ４、すなわち先端にハンド部Ｈを有するマニピュレータＭの先端近傍に装着した車載カメラ４を用い、図３（Ａ）に示すように、車載カメラ４が作業対象物Ｔの側部を捕捉する選定位置にマニピュレータＭ及び車載カメラ４を回動させて、図３（Ｂ）に示すように、車載カメラ４で作業対象物Ｔを含む選定画像Ｐ１を撮像する。

なお、この選定画像Ｐ１の撮像は、一回でも構わないが、マニピュレータＭにより車載カメラ４の位置を変えて複数回行うことも可能であり、作業対象物Ｔの形状などに応じて選択的に行うことができる。また、選定画像Ｐ１は、静止画で良いが、後にマニピュレータＭのＣＧ画像（動画）を合成するので、車載カメラ４の画角によっては、無人車両Ｖ側に空間的余裕があるアングルにすることが望ましい。

次に、遠隔操縦用画像の作製方法では、図１（Ａ）に示すように、車載カメラ４が作業対象物Ｔの正面部及びハンド部Ｈを捕捉する作業位置にマニピュレータＭ及び車載カメラ４を回動させる。

そして、遠隔操縦用画像の作製方法では、画像処理手段により、無人車両Ｖの位置データ及び方向データ（Ｂ１）、マニピュレｆータＭの形状データ（Ｂ２）、並びにマニピュレータＭの選定位置（図３Ａ）及び作業位置（図１Ａ）での姿勢データ（Ｂ３）、現在のハンド部Ｈ及びアームＡ位置及び方向データ（Ｂ６）、車載カメラ４の特性データ（Ｂ７）、並びに車載カメラ４の位置及び方向のデータ（Ｂ８）に基づいて、図３（Ｃ）に示すように、選定画像（Ｐ１）上における作業位置でのマニピュレータＭのＣＧ画像Ｐ２を作製する。

このとき、画像処理装置は、現在のハンド部Ｈ及びアームＡの位置及び方向データ（Ｂ６）を用いているので、作業位置に戻したマニピュレータＭをさらに動かすと、所定時間毎に同データ（Ｂ６）を更新しながらＣＧ画像Ｐ２を作製する。これにより、ＣＧ画像Ｐ２は、マニピュレータＭの動きに同期した動画になる。

このようにして、遠隔操縦用画像の作製方法では、選定画像Ｐ１とマニピュレータＭのＣＧ画像Ｐ２とを合成して、図３（Ｃ）に示す遠隔操縦用の参考画像Ｐ３を作製する。この参考画像Ｐ３は、遠隔操縦装置Ｃｓの表示部７に表示する。一方、遠隔操縦システムでは、図１（Ｃ）に示すように、作業位置における車載カメラ４により、作業風景を映す動画としての遠隔操縦用の現状画像Ｐ４を撮像している。

そこで、遠隔操縦用画像の作製方法、及び遠隔操縦システムでは、遠隔操縦装置Ｃｓの表示部７において、図３（Ｄ）に示すように、参考画像Ｐ３に現状画像Ｐ４を重畳表示して、これを遠隔操縦用画像Ｐ５とする。なお、逆に、参考画像Ｐ３を現状画像Ｐ４に重畳表示して遠隔操縦用画像Ｐ５としても良いし、参考画像Ｐ３と現状画像Ｐ４を別々に表示しても良い。また、作業対象物Ｔに対して方向性が異なる複数の選定画像Ｐ１を撮像した場合には、夫々の選定画像Ｐ１にＣＧ画像Ｐ２を合成して複数の参考画像Ｐ３を作製し、これらを表示することもできる。

以上のように、上記の無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムでは、選定画像Ｐ１上における作業位置でのマニピュレータＭのＣＧ画像Ｐ２を作製し、選定画像Ｐ１とマニピュレータＭのＣＧ画像Ｐ２とを合成して遠隔操縦用の参考画像Ｐ３とすることから、車載カメラ４で撮像する現状画像Ｐ４に加えて、作業対象物Ｔ及びハンド部Ｈを横方向から見た状態の遠隔操縦用の参考画像Ｐ３が得られることとなる。

これにより、無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムによれば、１台の車載カメラ４を使用して、遠隔操縦用の現状画像Ｐ４と、作業対象物Ｔとハンド部Ｈとの距離感を把握しやすい遠隔操縦用の参考画像Ｐ３とを得ることができ、両画像Ｐ３，Ｐ４を含む遠隔操縦用画像Ｐ５を見ながら容易に且つ確実にマニピュレータＭを操作することができるので、作業時間の短縮化や作業ミスの防止を実現することができる。しかも、撮像には１台の車載カメラ４だけを使用するので、マニピュレータＭ及び車載カメラ４を含む車両側の構造の複雑化や重量増大を防止できる。

また、無人車両における遠隔操縦用画像の作製方法は、作業対象物ＴがマニピュレータＭの作業可能範囲に含まれる位置に無人車両Ｖを停止させた状態にして行うようにすれば、無人車両Ｖの位置や方向のデータを更新する必要が無くなるので、データ処理量を軽減することができる。

なお、上記実施形態では、図２に示す画像処理手段が、現在のマニピュレータＭの姿勢データ（Ｂ６）を用いるものとしたが、別ブロック（Ｂ３）に示すマニピュレータＭの姿勢データが作業位置でのマニピュレータＭの姿勢データを含むものであれば、現在のマニピュレータＭの姿勢データ（Ｂ６）を省略することができる。

また、上記実施形態では、画像処理手段が、車載カメラ４の特性データ（Ｂ７）を用いるものとしたが、この特性データ（Ｂ７）やマニピュレータＭの形状データ（Ｂ２）は、予め設定されたデータであるから、これらのデータ（Ｂ７）（Ｂ２）を設定条件データとして統一することができる。

さらに、上記実施形態では、画像処理手段が、車載カメラ４の位置及び方向のデータ（Ｂ８）を用いるものとしたが、車載カメラの種類により条件が異なり、例えば、全方向カメラを用いた場合には、旋回台５が不要になると共に、マニピュレータＭの姿勢データから車載カメラの位置を検出し得るので、データ量の軽減などを図ることができる。

本発明に係わる無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システムは、その構成が上記実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲で構成の細部を適宜変更することが可能である。無人車両は、４輪以外であっても良く、無限軌道やその他の走行手段を組み合わせたものでも良い。マニピュレータは、間接部や連結杆の数及び長さ、並びに間接部の回転方向を変更したり、任意の機器を備えたハンド部を採用したりすることができる。

Ｃｓ 遠隔操縦装置
Ｃｖ 車載制御装置
Ｈ ハンド部
Ｍ マニピュレータ
Ｐ１ 選定画像
Ｐ２ ＣＧ画像
Ｐ３ 参考画像
Ｐ４ 現状画像
Ｐ５ 遠隔操縦用画像
Ｔ 作業対象物
Ｖ 無人車両
４ 車載カメラ
７ 表示部

Claims (3)

1. マニピュレータ及びカメラを備えた無人車両の遠隔操縦用画像を作製するに際し、
   作業対象物に対する作業に応じて作業対象物の正面部を任意に設定した後、
   先端にハンド部を有するマニピュレータに装着した車載カメラを用い、
   車載カメラが作業対象物の側部を捕捉する選定位置にマニピュレータを回動させて、車載カメラで作業対象物を含む選定画像を撮像し、
   車載カメラが作業対象物の正面部及びハンド部を捕捉する作業位置にマニピュレータを回動させた後、
   無人車両の位置データ及び方向データ、マニピュレータの形状データ、並びにマニピュレータの選定位置及び作業位置での姿勢データに基づいて、選定画像上における作業位置でのマニピュレータのＣＧ画像を作製し、
   この際、マニピュレータの位置及び方向データを更新しながらＣＧ画像を作製し、
   選定画像とマニピュレータのＣＧ画像とを合成して遠隔操縦用の参考画像とし、
   前記参考画像及び車載カメラが撮像する遠隔操縦用の現状画像を遠隔操縦用画像とすることを特徴とする無人車両における遠隔操縦用画像の作製方法。
2. 作業対象物がマニピュレータの作業可能範囲に含まれる位置に無人車両を停止させた状態にして行うことを特徴とする請求項１に記載の無人車両における遠隔操縦用画像の作製方法。
3. マニピュレータ及びカメラを備えた無人車両の遠隔操縦システムであって、
   オペレータが操作する遠隔操縦装置と、無人車両に搭載され且つ遠隔操縦装置と相互にデータ通信を行う車載制御装置とを備え、
   マニピュレータが、先端のハンド部と、先端近傍に装着した車載カメラとを備え、
   遠隔操縦装置及び車載制御装置のいずれか一方の装置が、画像処理手段を備え、
   画像処理手段が、無人車両の位置データ及び方向データ、マニピュレータの形状データ、並びにマニピュレータの姿勢データに基づいてマニピュレータのＣＧ画像を作製し且つマニピュレータの位置及び方向データを更新しながらＣＧ画像を作製する機能と、マニピュレータのＣＧ画像と車載カメラが撮像した画像とを合成して遠隔操縦用の参考画像を作製する機能とを有し、
   遠隔操縦装置が、参考画像と、車載カメラが撮像する遠隔操縦用の現状画像とを表示する表示部を有していることを特徴とする無人車両の遠隔操縦システム。

Images