JP6949417B1 - 車両操縦システムと車両操縦方法 - Google Patents

Abstract

【課題】自車両と他車両の間隔が大きい場合でも、死角情報を含む広範囲かつ高精度の周囲環境情報を得ることができる車両操縦システムと車両操縦方法を提供する。【解決手段】自車両１０Ａと、自車両と双方向に通信可能な他車両１０Ｂと、を備える。自車両と他車両はそれぞれ、周囲の３次元情報１Ａ，１Ｂを取得する環境計測装置１２と、位置姿勢情報２Ａ，２Ｂを取得する自己位置標定装置１３と、演算装置１４と、３次元情報及び位置姿勢情報を双方向に通信する車々間通信装置１８と、を有する。自車両１０Ａの演算装置１４はさらに、他車両から受信した３次元情報及び位置姿勢情報を用いて、自車両の３次元情報と他車両の３次元情報を融合して融合３次元情報４を生成する情報融合機能を有する。【選択図】図２

Description

本発明は、無人車両又は有人車両の車両操縦システムと車両操縦方法に関する。

火山の噴火や原子力発電所の事故等の被災地において、あるいは危険な場所において、物資輸送、土木作業、偵察作業等を行う車両として、無人車両を用いることがある。
また空港や航空基地等の広大な場所を警備のために監視を行う車両として、カメラ等の監視用センサを搭載した無人車両を用いることがある。

無人車両は、安全な場所にいる遠隔操縦者からの指令により、走行や各種作業を行う。また、無人車両は遠隔操縦者が操縦を行いやすいよう、周囲の画像や３次元情報等の周囲環境情報を遠隔操縦者に送信することが一般に行われている。

遠隔操縦者はこれらの情報を参考に遠隔操縦を行う。遠隔操縦には、アクセル、ブレーキ、ステアリング、シフト等（以下、「操縦機器」）や各種作業装置の駆動量等を操作する必要がある。遠隔操縦手段は、これらの操作量を直接送信して行う手段、車両が進むべき座標のみを示し車両側が障害物等に衝突しないように自律的に操縦機器の操作量を決定する手段、あるいはその中間的な手段、のいずれであってもよい。

この遠隔操縦の際、無人車両が走行や各種作業に際して障害物回避を行うために、車両周囲の環境認識情報（例えば環境認識地図）を取得し、どこにどのような障害物が存在するかを認識することが行なわれている。「障害物回避」とは、回避すべき障害物を認識し、その手前で安全に停止または迂回することを意味する。

上述した周囲環境情報及び環境認識情報を取得する手段として、例えば特許文献１が開示されている。
特許文献１は、移動体にレーザレーダやカメラを備え、移動しながら得たカメラデータ、レーザデータ、位置姿勢からなるＩＮＳデータ、ＧＰＳ時刻を用いて３次元画像を生成する。

また、隣接した複数台が互いに干渉せずに遠隔操作で駆動することができる作業用車両が、特許文献２に開示されている。

特許文献２では、各作業用車両が、独立して移動可能であり、他車両の方向の障害物を検出しその障害物情報を出力する障害物認識センサと、他車両と通信可能な相互通信装置と、自車両と他車両との干渉を防止する干渉防止装置と、を備える。他車両と自車両とが干渉する可能性がある場合には駆動アームの駆動を停止または減速する旨の抑制指令を自車両へ出力し、他車両への警報もしくは抑制指令を相互通信装置へ出力する。

特許第４４８６７３７号公報 特開２０１６−４５６７４号公報

建機等の無人車両の遠隔操縦による作業や走行において、無人車両の周囲環境の３次元情報を取得し、遠隔操縦者に提供することにより、円滑な遠隔操縦を実現することが要望されている。

この要望を満たすため、特許文献１の技術により、単独の車両において、レーザレーダやカメラを用いて、複数の位置により計測した結果を合成し、周囲環境情報を生成することが可能である。
しかし、特許文献１の手段では、移動しながら得たデータを用いて周囲環境情報を生成するため、周囲環境情報の生成に時間がかかる。また、遠隔操縦する無人車両（自車両）で得たデータのみに基づくため、自車両の死角部分の情報を把握することができない。

一方、特許文献２の手段では、他車両の方向の障害物を検出しその障害物情報を他車両と通信するので、自車両と他車両との干渉を防止することができる。
また特許文献２の手段では、自車両と他車両の障害物情報を重ね合わせた複合障害物情報が操縦装置へ送信されるため、自車両の死角部分の障害物情報を、自車両の遠隔操縦者が把握することができる。

しかし、特許文献２の手段では、自車両と他車両が近接していることが前提となるため、自車両と他車両の間隔が大きい場合に、精度の高い死角情報が得られない。

本発明は上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、自車両と他車両の間隔が大きい場合でも、死角情報を含む広範囲かつ高精度の周囲環境情報を得ることができる車両操縦システムと車両操縦方法を提供することにある。

本発明によれば、自車両と、前記自車両と双方向に通信可能な他車両と、を備え、
前記自車両と前記他車両はそれぞれ、周囲の離散した点群の３次元情報である３次元点群情報を取得する環境計測装置と、位置姿勢情報を取得する自己位置標定装置と、演算装置と、前記３次元点群情報及び前記位置姿勢情報を双方向に通信する車々間通信装置と、を有し、
前記自車両の前記演算装置はさらに、前記他車両から受信した前記３次元点群情報及び前記位置姿勢情報を用いて、前記自車両の前記３次元点群情報と前記他車両の前記３次元点群情報を融合して融合３次元情報を生成する情報融合機能を有し、
前記情報融合機能は、前記自車両と前記他車両の前記３次元点群情報及び前記位置姿勢情報を用い、前記自車両と前記他車両のそれぞれの３次元点群情報に基づいてスキャンマッチングにより前記自車両から見た前記他車両の相対位置と相対姿勢を補正する相対位置・姿勢補正機能と、
補正後の前記相対位置と前記相対姿勢に基づき、前記他車両の前記３次元点群情報を前記自車両の前記３次元点群情報と融合して前記融合３次元情報を生成する融合情報生成機能と、を有する、車両操縦システムが提供される。

また本発明によれば、自車両と、前記自車両と双方向に通信可能な他車両と、を準備し、
前記自車両と前記他車両はそれぞれ、周囲の離散した点群の３次元情報である３次元点群情報と位置姿勢情報を取得し、かつ前記３次元点群情報及び前記位置姿勢情報を双方向に通信し、
さらに、前記他車両から受信した前記３次元点群情報及び前記位置姿勢情報を用いて、前記自車両の前記３次元点群情報と前記他車両の前記３次元点群情報を融合して融合３次元情報を生成し、
前記自車両は、前記自車両と前記他車両の前記３次元点群情報及び前記位置姿勢情報を用い、前記自車両と前記他車両のそれぞれの３次元点群情報に基づいてスキャンマッチングにより前記自車両から見た前記他車両の相対位置と相対姿勢を補正し、
補正後の前記相対位置と前記相対姿勢に基づき、前記他車両の前記３次元点群情報を前記自車両の前記３次元点群情報と融合して前記融合３次元情報を生成する、車両操縦方法が提供される。

本発明によれば、演算装置が、他車両から受信した３次元点群情報及び位置姿勢情報と自車両の３次元点群情報及び位置姿勢情報を用いて、自車両の３次元点群情報と他車両の３次元点群情報を融合して融合３次元情報を生成する。
この融合３次元情報は、複数の３次元点群情報の共通の点群情報が一致し、かつ共通しないそれぞれの点群情報を含んでいる。
従って、自車両と他車両の間隔が大きい場合でも、自車両からみた他車両の相対位置姿勢の誤差を補正し、死角情報を含む広範囲かつ高精度の周囲環境情報を得ることができる。

また、複数車両からの情報を高精度かつリアルタイムで融合できることで、車両の操縦者が死角情報を含む広範囲かつ高精度の周囲環境情報を把握でき、効率的な車両の操縦を行うことが可能となる。

本発明による車両操縦システムの全体構成図である。 車両操縦システムの機能ブロック図である。 情報融合による死角の低減の概念図である。 自車両と他車両による周囲の３次元情報を模式的に示す図である。 自車両と他車両の車々間通信による情報提供を模式的に示す図である。 スキャンマッチングによる補正を模式的に示す図である。 遠隔操縦装置の表示装置による表示内容を示す模式図である。 複数の他車両がある場合の図３と同様の概念図である。 自車両における情報融合処理の全体フロー図である。 自車両における周囲環境３Ｄ画像生成処理の全体フロー図である。 他車両における情報提供処理の全体フロー図である。 平坦・凹凸エリアの調整方法を示す模式図である。 共通計測エリア算出の説明図である。 フィルタリングの説明図である。

以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明による車両操縦システム１００の全体構成図である。
この図において、車両操縦システム１００は、自車両１０Ａと、自車両１０Ａと双方向に通信可能な他車両１０Ｂと、を備える。
自車両１０Ａは、有人車両であって、車両内の表示装置に本発明に基づく周囲環境３Ｄ画像６（後述する）を表示して運転手が操作するものであってもよい。
この例において、自車両１０Ａは、遠隔操縦可能な無人車両であり、車両操縦システム１００は、さらに無人車両を遠隔操縦する遠隔操縦装置２０を備える。
以下、自車両１０Ａを情報融合側とも呼ぶ。また、他車両１０Ｂを情報提供側とも呼ぶ。

図１において、自車両１０Ａは、車体１１、環境計測装置１２、自己位置標定装置１３、演算装置１４、ドライブバイワイヤ装置１５、遠隔通信装置１６、及び車々間通信装置１８を有する。

車体１１は、車両として基本的な走行機能を有する。装輪タイプ又は装軌（無限軌道）タイプ、またはそのハイブリッドタイプなどがある。

図２は、車両操縦システム１００の機能ブロック図である。

図１と図２において、自車両１０Ａの環境計測装置１２は、車体１１に取付けられたカメラ、レーザレンジファインダ（ＬＲＦ）、レーダ等である。
自車両１０Ａの環境計測装置１２は、自車両１０Ａの周囲の離散した点群の３次元情報である３次元点群情報（以下、３次元情報１Ａ）を取得する。他車両１０Ｂの環境計測装置１２も、同様に他車両１０Ｂの周囲の離散した点群の３次元情報である３次元点群情報（以下、３次元情報１Ｂ）を取得する。
以下、３次元情報１Ａが点群情報である場合を説明する。

また、自車両１０Ａの自己位置標定装置１３は、自車両１０Ａの絶対座標、速度、姿勢、及び加速度情報を取得するための全地球測位システム（ＧＮＳＳ）や慣性計測装置（ＩＭＵ）、などのセンサを含み、自車両の位置と姿勢の情報（以下、「位置姿勢情報２Ａ」）を決定する。

また他車両１０Ｂの自己位置標定装置１３も、同様に、他車両の位置と姿勢の情報（以下、「位置姿勢情報２Ｂ」）を決定する。

演算装置１４は、コンピュータ等により構成される。
自車両１０Ａの演算装置１４は、環境計測装置１２にて計測された３次元情報１Ａから、自車両１０Ａの周囲の障害物情報や、自車両１０Ａが通過できる場所や、自車両１０Ａが通過できる速度を求め、これらを環境認識地図として生成する。

以下、環境認識地図と環境認識情報は、自車両１０Ａの自律走行機能に必要な地図と情報を意味する。環境認識地図は、自車両自体が生成する。
また、後述する周囲環境情報、及び周囲環境３Ｄ画像６は、遠隔操縦者に提示する情報、地図、及び３Ｄ画像（３次元画像）を意味する。遠隔操縦者は、これらの情報（操縦支援情報）を用いて自車両１０Ａを遠隔操縦する。

また演算装置１４は、遠隔操縦装置２０からのアクセル、ブレーキへの指令（又は速度指令）、ステアリング指令（又は方向指令）、または走行すべき座標指令等に基づき、自ら生成した環境認識地図において障害物等に衝突しないような経路を計画する。

また演算装置１４は、計画した経路に基づいて各アクチュエータの制御量を算出しドライブバイワイヤ装置１５に対して制御指令として出力する。

また、自車両１０Ａの演算装置１４は、他車両１０Ｂから得た他車両１０Ｂの３次元情報１Ｂを用いて、自らの３次元情報１Ａとの融合を行う情報融合機能を有する。

なお、以下「融合」とは、複数の３次元情報１Ａ，１Ｂの共通の点群情報を一致させ、かつこれに共通しないそれぞれの点群情報を含めて全体として１つの３次元情報（「融合３次元情報４」と呼ぶ）を作成することを意味する。このため後述するＩＣＰ等のスキャンマッチング手法を用いる。
演算装置１４による情報融合機能は、実質的にリアルタイムで実施することが好ましい。
なお、融合３次元情報４を生成する演算装置１４と、環境認識地図を生成する演算装置１４は別の装置であってもよい。

自車両１０Ａのドライブバイワイヤ装置１５は、車体１１を無人で走行させるため、アクセル、ブレーキ、ステアリング、シフト等（「操縦機器」）に取付けられたアクチュエータ等である。ドライブバイワイヤ装置１５は、演算装置１４から受けた制御指令に従い、操縦機器を所定量動作させ、又は所定の位置に設定する機能を有する。
なお車両によっては、操縦機器そのものが制御指令を入力して所定量動作が可能な場合がある。この場合はアクチュエータは不要である。

自車両１０Ａの遠隔通信装置１６は、遠隔操縦装置２０と通信を行うための通信機及びアンテナより構成される。
また遠隔通信装置１６は、直接、遠隔操縦装置２０と通信を行う場合だけでなく、遠隔操縦装置２０との通信のための中継用通信機を搭載した、他の自車両１０Ａ、他車両１０Ｂ、有人車両もしくは単なる中継器との間で通信を行うことにも用いられる。

自車両１０Ａと遠隔操縦装置２０との通信距離は遠距離（例えば１ｋｍ以上）であり、一般的に低通信容量となる。そのため、自車両１０Ａから遠隔操縦装置２０への通信情報は、複数の車両からの３次元情報ではなく、単一の自車両１０Ａで融合した融合３次元情報４を２次元画像化した周囲環境３Ｄ画像６としており、通信負荷を低減することで低通信容量でも通信可能としている。

車々間通信装置１８は、通信機及びアンテナにより構成される。車々間通信装置１８は、複数の車両による３次元情報の融合を行うために、他車両１０Ｂ（情報提供側）で取得した３次元情報１Ｂおよび位置姿勢情報２Ｂを、自車両１０Ａ（情報融合側）に提供するために用いる。他車両１０Ｂは、１台に限定されず、２台以上でもよい。

自車両１０Ａと他車両１０Ｂとの通信距離は短距離（例えば５０〜１００ｍ）であり、通信容量の低下は実質的に発生しない。そのため、自車両１０Ａは、他車両１０Ｂの３次元情報１Ｂと位置姿勢情報２Ｂを実質的にリアルタイムに受信でき、融合した融合３次元情報４の精度を高めることができる。

なお、遠隔通信装置１６の通信容量と通信速度に余裕がある場合には、遠隔通信装置１６が車々間通信装置１８を兼ねてもよい。また、融合３次元情報４を画像化した周囲環境３Ｄ画像６ではなく、融合３次元情報４を遠隔操縦装置２０に送信しても良い。

図２において、自車両１０Ａと他車両１０Ｂは、それぞれ環境計測装置１２と車々間通信装置１８を有する。

自車両１０Ａはさらに、上述した演算装置１４を有する。演算装置１４は、他車両１０Ｂから受信した３次元情報１Ｂ及び位置姿勢情報２Ｂを用いて自車両の３次元情報１Ａと他車両の３次元情報１Ｂを融合して融合３次元情報４を生成する情報融合機能を有する。
融合３次元情報４には、死角情報を含む広範囲かつ高精度の周囲環境情報が含まれる。

情報融合機能は、相対位置・姿勢補正機能Ａと融合情報生成機能Ｂとを有する。
相対位置・姿勢補正機能Ａは、自車両１０Ａと他車両１０Ｂの３次元情報１Ａ，１Ｂと位置姿勢情報２Ａ，２Ｂを用いてスキャンマッチングにより他車両１０Ｂの相対位置と相対姿勢を補正する。
融合情報生成機能Ｂは、補正後の他車両１０Ｂの相対位置と相対姿勢に基づき、他車両１０Ｂの３次元情報１Ｂを自車両の３次元情報１Ａと融合して融合３次元情報４を生成する。

図２において、自車両１０Ａの演算装置１４はさらに、融合３次元情報４から任意の視点・注視点における周囲環境３Ｄ画像６を作成する周囲環境３Ｄ画像生成機能Ｃを有する。
遠隔通信装置１６は、周囲環境３Ｄ画像６を遠隔操縦装置２０に送信する。

他車両１０Ｂは、自車両１０Ａと同一の構成であってもよい。この場合、他車両１０Ｂの遠隔操縦は、他の遠隔操縦装置によって行われる。また他車両１０Ｂは情報提供側であると同時に、自らの遠隔操縦のために情報融合側となってもよい。
他車両１０Ｂは、上述した環境計測装置１２と車々間通信装置１８を有する限りで、無人車両に限定されず、有人車両であってもよい。
また、他車両１０Ｂは１台に限定されず、２台以上でもよい。

図２において、遠隔操縦装置２０は、自車両１０Ａと双方向に通信する遠隔通信装置２２を有する。

遠隔操縦装置２０は、自車両１０Ａと無線通信を行い、遠隔操縦装置２０を操作する遠隔操縦者から、自車両１０Ａに対して走行指示や作業指示等の操縦指令を与え、また自車両１０Ａより得た情報を遠隔操縦者に対して提示または記録する装置である。

遠隔操縦装置２０には、固定された場所から遠隔の自車両１０Ａを操縦するための据置型や、遠隔操縦者が自車両１０Ａと共に移動しながら、あるいは自車両１０Ａから離れた場所で移動しながら操縦するための装着・携帯型などの形態がある。

遠隔操縦装置２０は、遠隔通信装置２２、制御装置２４、指令入力装置２６、及び表示装置２８を有する。
遠隔通信装置２２は、アンテナ及び通信機により構成され、自車両１０Ａと双方向に通信する。制御装置２４は、情報処理を行うコンピュータ等により構成される。指令入力装置２６は、自車両１０Ａに対する操縦機器に指示や速度、その他の設定コマンドなどの操縦指令を入力する。表示装置２８は、自車両１０Ａから送られる情報（周囲環境３Ｄ画像６など）を表示するディスプレイ等である。

遠隔操縦装置２０と自車両１０Ａとの双方向の通信は、実質的にリアルタイムで実施することが好ましい。しかし、自車両１０Ａが自律走行中の場合には、必要時のみに通信してもよい。

据置型の遠隔操縦装置２０では、指令入力装置２６は、車体１１と同様な操縦機器を有するものがある。またタッチパネル式ディスプレイのように、指令入力装置と表示装置を兼ねる装置もある。

図３は、本発明の情報融合による死角の低減の概念図である。この図において、（Ａ）は従来例、（Ｂ）は本発明を示している。
本発明の車両操縦方法では、上述した自車両１０Ａ、遠隔操縦装置２０、及び他車両１０Ｂを準備し、他車両１０Ｂから受信した３次元情報１Ｂ及び位置姿勢情報２Ｂと自車両の３次元情報１Ａ及び位置姿勢情報２Ａを用いて融合３次元情報４を生成する。

図３（Ａ）に示すように、遠隔操縦する自車両１０Ａ（自車両）で得たデータのみに基づく場合、障害物の背後等に発生する自車両１０Ａから見た死角部分の情報を把握することができない。
本発明では、自車両１０Ａから見た死角情報を得るため、図３（Ｂ）に示すように、他車両１０Ｂにて周囲環境の３次元情報１Ｂ及び位置姿勢情報２Ｂを取得し、これらの取得情報を用いて、自車両の３次元情報１Ａと他車両１０Ｂの３次元情報１Ｂを融合する。融合された情報は、遠隔操縦者にリアルタイムに提供される。これにより、死角の少ない良好な周囲環境情報（例えば周囲環境３Ｄ画像６）を提供することができる。

複数車両による情報融合を行うためには車両間の相対位置と相対姿勢を取得することが必要であるが、その方法としてＧＰＳ／ＩＮＳのみを用いる方法では誤差が大きいことがある。そこで、本発明では、周囲環境の３次元の点群情報そのものを用いてＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズム等のスキャンマッチングによって補正を行うことにより、より精度の高い相対位置・姿勢を得る。

図４〜図６は、スキャンマッチングの説明図である。

図４は、自車両１０Ａと他車両１０Ｂによる周囲の３次元情報１Ａ，１Ｂを模式的に示す図である。
図４（Ａ）において、自車両１０Ａで取得する３次元情報１Ａを黒丸（●）で示す。建物、瓦礫等の構造物５により、自車両１０Ａで取得できる３次元情報１Ａは、構造物５の前面及び側面に限られ、背面側は自車両１０Ａの死角部分となる。
図４（Ｂ）において、他車両１０Ｂで取得する３次元情報１Ｂを白丸（○）で示す。建物、瓦礫等の構造物５により、他車両１０Ｂで取得できる３次元情報１Ｂは、構造物５の背面及び側面に限られ、前面側は他車両１０Ｂの死角部分となる。

図５は、自車両１０Ａと他車両１０Ｂの車々間通信による情報提供を模式的に示す図である。
図５（Ａ）において、車々間通信により、他車両１０Ｂ（情報提供側）の周囲の３次元情報１Ｂと位置姿勢情報２Ｂが自車両１０Ａ（情報融合側）に提供される。
図５（Ｂ）において、自車両１０Ａと他車両１０ＢのそれぞれのＧＰＳ／ＩＮＳより得られる位置姿勢情報には誤差があるため、その差分から求めた自車両１０Ａに対する他車両１０Ｂの相対位置と相対姿勢にも、誤差がある。
したがって誤差のある相対位置と相対姿勢に基づいて融合した自車両１０Ａの３次元情報１Ａと他車両１０Ｂの３次元情報１Ｂに、「ずれ」が生じる。これは図５（Ｂ）で、構造物５の側面の黒丸と白丸が食い違うことを意味する。

図６は、スキャンマッチングによる補正を模式的に示す図である。
この図において、自車両１０Ａの３次元情報１Ａ（黒丸●）と他車両１０Ｂの３次元情報１Ｂ（白丸○）とには、共通の点群情報が存在する。この共通の点群情報が一致するように、対応する点群情報に基づいてスキャンマッチングにより自車両に対する他車両１０Ｂの相対位置と相対姿勢を補正する。
具体的にはＩＣＰアルゴリズムを用いた場合、両方の点群間の距離の二乗和が最小となるように繰り返し計算が行われ、最も一致した際の相対位置姿勢が得られる。

言い換えれば、自車両１０Ａによる情報（１Ａ，２Ａ）である黒丸と、他車両１０Ｂによる情報（１Ｂ、２Ｂ）である白丸は、それぞれのＧＰＳ／ＩＮＳに含まれる誤差により、図５（Ｂ）のように食い違う。そこで、図６のように、“共通するデータ”を一致する（スキャンマッチング）よう移動させることで黒丸と白丸のデータ全体を平行移動及び回転させる。その平行移動量及び回転量が、自車両１０Ａから見た他車両１０Ｂの相対位置と相対姿勢の補正量に相当する。

上述したスキャンマッチングにより、自車両に対する他車両１０Ｂの相対位置と相対姿勢を補正することができる。この補正された相対位置と相対姿勢に基づき２車両の３次元情報１Ａ、１Ｂを融合することにより、自車両１０Ａにとって死角のない融合３次元情報４が作成される。

図７は、遠隔操縦装置２０の表示装置２８による表示内容を示す模式図である。
表示装置２８は、自車両１０Ａから送られる周囲環境３Ｄ画像６を表示する。周囲環境３Ｄ画像６は融合３次元情報４内の指示された注視点に対し、指示された視点、指示された距離から眺めた様子を２次元画像として表現したものである。

図７（Ａ）は、周囲環境３Ｄ画像６の一例の車両正面画像の例である。この図において、斜線部分は、起伏が激しい箇所（例えば草地やブッシュ）であり、中央の白い部分は、起伏が少なく、走行に適した箇所（例えば車路）である。車両正面画像は、仮想的に操縦者が自車両１０Ａに乗車し、指令入力装置２６を介して自車両１０Ａの操縦機器を直接操作する場合に適している。
この表示を行う場合には、遠隔操縦者は注視点を自車両１０Ａの前方、視点及び距離を自車両１０Ａの内部となるように指示すればよい。
なお図７（Ａ）の場合、レーザレンジファインダによる点群情報とカメラによる画像とを色合わせして、点群情報をカメラ画像のようにカラー表示することが好ましい。

図７（Ｂ）は、周囲環境３Ｄ画像６の別例である。この場合、自車両１０Ａ及び他車両１０Ｂの車体１１の一部又は全部を周囲環境３Ｄ画像６に表示することができる。
この表示を行う場合には、遠隔操縦者は視点を自車両１０Ａの前方、視点及び距離を注視点の上方となるように指示すればよい。
またこの表示例は、自律運転する自車両１０Ａに対し、車両が進むべき位置又は方向を示す場合や、走行エリアや作業エリア全体を俯瞰する場合に適している。

なお、周囲環境３Ｄ画像６はこの例に限定されず、遠隔操作の目的に応じて、斜めから見た２次元画像等に自由に変更することができる。

図８は、複数の他車両１０Ｂがある場合の図３と同様の概念図である。
この場合、他車両１０Ｂは、自車両１０Ａと同一の構成であることが好ましい。

自車両１０Ａは、自車両の車々間通信装置１８により双方向に通信可能な他車両１０Ｂを探索する。通信可能な範囲を破線の円で示す。自車両１０Ａは、探索された他車両１０Ｂが複数の場合、その一部又は全部と通信して、上述した融合３次元情報４を生成する。
「一部又は全部」の選択は、予め自車両１０Ａに設定しても、遠隔操縦装置２０から指令してもよい。
また、自車両１０Ａは、生成した融合３次元情報４を他車両１０Ｂに送信する情報共有機能を有する。

この構成により、自車両１０Ａと同一の構成の他車両１０Ｂを介して、共有する融合３次元情報４の範囲を、自車両が直接交信できない範囲まで広げることができる。
また、複数の他車両１０Ｂがそれぞれ情報融合機能を有するので、広範囲の融合３次元情報４を作成する場合でも、個々の自車両１０Ａの計算負荷を小さくできる。

上述した本発明の実施形態によれば、演算装置１４が、他車両１０Ｂから受信した３次元情報１Ｂ及び位置姿勢情報２Ｂを用いて、自車両の３次元情報１Ａと他車両の３次元情報１Ｂを融合して融合３次元情報４を生成する。
この融合３次元情報４は、複数の３次元情報１Ａ，１Ｂの共通の点群情報が一致し、かつ共通しないそれぞれの点群情報を含んでいる。
従って、自車両と他車両１０Ｂの間隔が大きい場合でも、自車両１０Ａからみた他車両１０Ｂの相対位置姿勢の誤差を補正し、死角情報を含む広範囲かつ高精度の周囲環境情報（周囲環境３Ｄ画像６）を得ることができる。

また、複数車両からの情報を高精度かつリアルタイムで融合できることで、車両の操縦者が死角情報を含む広範囲かつ高精度の周囲環境情報（周囲環境３Ｄ画像６）を把握でき、効率的な車両の操縦を行うことが可能となる。

図９は、自車両１０Ａにおける情報融合処理の全体フロー図である。
この図において、情報融合処理は、Ｓ１〜Ｓ５の各ステップ（工程）からなる。
なお情報融合する他車両の総数Ｎに対し、Ｓ１〜Ｓ５の各ステップはｎ＝１からｎ＝Ｎまでｎ＝ｎ＋１で順に実施される。

ステップＳ１では、車々間通信装置１８による他車両（ｎ）の情報（１Ｂ，２Ｂ）を取得し、かつ環境計測装置１２により自車両の３次元情報１Ａを取得する。
ステップＳ２では、自己位置標定装置１３により、自車両の位置姿勢情報２Ａを算出する。
ステップＳ３では、スキャンマッチングに供する３次元情報を調整する。
ステップＳ４では、スキャンマッチングによる相対位置姿勢を算出する。
ステップＳ５では、相対位置姿勢に基づく他車両（ｎ）の３次元情報の自車両座標系への変換（すなわち、融合３次元情報を生成する。）

図１０は、自車両１０Ａにおける周囲環境３Ｄ画像生成処理の全体フロー図である。
この図において、周囲環境３Ｄ画像生成処理は、Ｔ１〜Ｔ３の各ステップ（工程）が繰り返し実施される。

ステップＴ１では、遠隔通信装置２２を介して、遠隔操縦装置２０により操縦者の表示指示（視点、注視点、距離）を取得する。例えば指令入力装置２６がタッチパネル式ディスプレイであり表示装置２８と兼ねる場合、周囲環境３Ｄ画像６の表示に対して、スマートフォンを操作するようなスワイプ操作やピンチ操作などのタッチ操作により、表示をシフト、回転したり拡大・縮小することで、視点、注視点、距離を指示する。
ステップＴ２では、融合３次元情報４より、操縦者の表示指示に基づき周囲環境３Ｄ画像６を生成する。
ステップＴ３では、遠隔通信装置２２を介して、周囲環境３Ｄ画像６を遠隔操縦装置２０に送信する。

図１１は、他車両１０Ｂにおける情報提供処理の全体フロー図である。
この図において、情報提供処理は、Ｕ１〜Ｕ３の各ステップ（工程）が繰り返し実施される。

ステップＵ１では、環境計測装置１２により他車両の３次元情報１Ｂを取得する。
ステップＵ２では、自己位置標定装置１３により、他車両の位置姿勢情報２Ｂを算出する。
ステップＵ３では、車々間通信装置１８により他車両（ｎ）の情報（１Ｂ，２Ｂ）を自車両１０Ａへ送信する。

図９において、Ｓ３では、Ｓ３１，Ｓ３２，Ｓ３３の各ステップ（工程）が実施される。
ステップＳ３１では、平坦・凹凸エリアを調整する。
ステップＳ３２では、自・他車両の３次元情報１Ａ，１Ｂの共通計測エリアを算出する。
ステップＳ３３では、フィルタリングにより細かい凹凸を除去する。
以下、ステップＳ３１，Ｓ３２，Ｓ３３を具体的に説明する。

（Ａ）平坦・凹凸エリアの調整（ステップＳ３１）
図１２は、平坦・凹凸エリアの調整方法を示す模式図である。

点群同士のスキャンマッチングにおいては、そのマッチング対象の形状によってマッチングの精度が影響を受ける。
例えば、情報融合する地形が、平坦に近く凹凸が少ない場合、マッチング処理の過程において高さ方向のずれが水平方向のずれよりも全体誤差に大きく影響する。そのため、高さ方向のマッチング精度は相対的に高く、逆に水平方向のマッチング精度は相対的に低くなる。
一方、情報融合する地形が、凹凸が多く平坦部分が少ない場合、水平方向のマッチング精度は相対的に高く、逆に高さ方向のマッチング精度は相対的に低くなる。

そこで、高さ方向、水平方向共に同程度のマッチング精度とするために、３次元情報をスキャンマッチングに供する前に、平坦部分もしくは凹凸部分の情報を除去することが考えられる。

これを行うため、まず、自車両の３次元情報１Ａに含まれる各計測点が、平坦エリア又は凹凸エリアのいずれに属するのか分類を行う。

図１２（Ａ）は、平坦候補の抽出ステップを示している。
各計測点は３次元空間における座標（ｘ，ｙ，ｚ）を有するため、平坦候補の抽出ステップにおいて、ある計測点において隣接する計測点との高さの差が閾値Ｈｆ［ｃｍ］以下である場合その計測点を平坦候補とする。隣接する計測点とは、例えばＬＲＦによる計測において、対象とする計測点と時間的にその直前または直後に計測された点である。また、閾値Ｈｆは、例えば５〜２０ｃｍ（好ましくは１０ｃｍ）である。

全ての計測点にてこの判定を行った後、図１２（Ｃ）に示すように、平坦候補が連続して存在する部分をクラスタリング等の手法により求め、それを平坦エリアとする。また、それ以外を凹凸エリアとする。

次に、図１２（Ｄ）に示すように、最終的に得られた平坦エリアの合計面積と凹凸エリアの合計面積比がＦ：Ｒとなるように、いずれかの計測点をマッチング対象の３次元情報から除去する。

なお、Ｆ：Ｒはスキャンマッチングの結果、高さ方向と水平方向の融合精度が同程度となるために予め定めた数値である。Ｆ：Ｒは、例えば３：１〜８：１（好ましくは５：１）である。
ただし、３次元情報の除去過多によるスキャンマッチング精度の悪化を防止するため、除去する面積の上限値Ｓｔ［ｍ^２］、または除去する面積の元の面積に対する上限比率Ｒｔ［％］を設けてもよい。上限値Ｓｔは、例えば２５０ｍ^２、上限比率Ｒｔは例えば１０％である。

なお、本処理は自車両の３次元情報１Ａについてのみ行うことが好ましい。他車両１０ＢについてはステップＳ３２の処理（自車両の３次元情報と他車両の３次元情報の共通計測エリアを算出）にて自車両との共通計測エリアがスキャンマッチングに供されるため、特に実施する必要は無い。

（Ｂ）自・他車両の３次元情報の共通計測エリア算出（ステップＳ３２）
図１３は、共通計測エリア算出の説明図である。

車両間の相対位置姿勢を求める際、一方の車両のみが計測し、もう一方の車両が計測していない箇所（図１３（Ａ）の死角）のデータを用いてスキャンマッチングを行うと、マッチング精度に悪影響が出る。
そのため、両車両が共通に計測している共通計測点同士をスキャンマッチングに供することが望ましい。

これを行うため、ある計測点に対して、その周囲（半径ｒ［ｍ］以内）に他車両の計測点が存在しない（あるいは一定数以上存在しない）場合は、その計測点を孤立点として、スキャンマッチングの対象から除去する。これを両車両の全計測点で行うことにより、概ね共通に計測している箇所のみを抽出することが可能と考えられる。

別の手法として、自車両が保有または構築している周囲環境情報を用いて行う方法が考えられる。
図１３（Ｂ）において、計測点Ａは、他車両との間に遮蔽物体がなく、他車両の計測範囲なので、共通計測点である。また、計測点Ｂは、干渉判定線が遮蔽物体によって遮られているため、非共通計測点である。さらに、計測点Ｃは、他車両との間に遮蔽物体がないが、他車両の計測範囲外のため、非共通計測点である。

すなわち、ある計測点Ａ，Ｂ，Ｃに対して、周囲環境情報上でその計測点と他車両１０Ｂの環境計測装置１２のセンサを線で結ぶ（これを「干渉判定線」と呼ぶ）。計測点と他車両１０Ｂの間に遮蔽物体が無く、かつ干渉判定線が相手側車両（すなわち他車両１０Ｂ）の環境計測装置１２の計測範囲に含まれる場合には、その計測点は両車両１０Ａ，１０Ｂから共通に計測可能な共通計測点と考える。
これを全計測点で行うことにより、概ね共通に計測している箇所のみを抽出することができる。

上記干渉判定線について、上記周囲環境情報が点群により構成されている場合、実際には遮蔽物体が存在するのに、干渉判定線が周囲環境情報上の点間を通り抜け、相手側車両（すなわち他車両１０Ｂ）から計測可能となってしまうことが考えられる。これについては、干渉判定線を、半径ｃ［ｃｍ］の円筒状の物体であるとして遮蔽物体との干渉判定を行うことにより回避可能である。

以上の方法により、両車両の非共通計測領域を３次元情報から除去し、共通に計測している箇所のみをスキャンマッチングに供することにより、マッチング精度の悪化を防止することができる。

（Ｃ）フィルタリングによる細かい凹凸の除去（ステップＳ３３）
図１４は、フィルタリングの説明図である。

スキャンマッチングの既知の用途には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）による地図生成がある。これは車両等の移動体が周囲をＬＲＦ（レーザレンジファインダ）等により移動しながら計測し、時々刻々得られた情報のスキャンマッチング等を行って自己位置・姿勢の算出と地図生成を同時に行うものである。

このように単独の移動体にて時々刻々にスキャンマッチングを行う場合、それぞれのスキャンマッチングを行う間に移動体が進む距離や向きの変化は一般に小さい。そのため、スキャンマッチング対象となる移動前後の２つの地形の移動体からの見え方は大きく変化しないため、精度良くマッチングできる。

しかし、不整地環境における複数車両による情報融合のためのスキャンマッチングの場合、地形を計測する位置や向きが単独移動体に比較して大きく、また不整地環境の凹凸により両車両が計測する地形の見え方が異なる。そのため、図１４（Ａ）に示すように、細かな形状が一致せず、マッチングの精度が悪くなるという問題がある。

そこで、各車両から計測される地形の見え方を極力同じにするために、細かい凹凸をフィルタリングにより除去することが考えられる。

フィルタリングの方法として、図１４（Ｂ）に示すように、３次元空間を立体物（これをグリッドと呼ぶ）の集合とし、計測した３次元情報を配置する。なお立体物は、好ましくは一辺が所定長さｇ［ｃｍ］の立方体であるが、直方体でも、半径が所定長さの球形でもよい。
このとき、あるグリッドには複数の計測点が入り、別のグリッドには１点のみ計測点が入り、また別のグリッドには計測点が１点も無い場合があり得る。
この中であるグリッドに１つ以上の計測点が入る場合、これら１グリッド内の各計測点の３次元座標（ｘ，ｙ，ｚ）を平均化した３次元座標（ｘ，ｙ，ｚ）を求め、これをそのグリッドの３次元座標とする。図１４（Ｃ）に示すように、これを両車両の３次元情報について実施し、スキャンマッチングに供する。

グリッドの所定長さｇは、これが小さすぎるとフィルタリングの効果が小さく、細かい凹凸が除去されない。また大きすぎるとマッチングを行う際の地形の特徴までもが失われるため、適切なサイズを選定する必要がある。長さｇは、例えば１０〜５０ｃｍである。

また、フィルタリングを行う別の効果として、３次元情報のデータが存在する部分のデータの粗密が無くなり均一化される。粗密のあるデータを用いてＩＣＰ等のスキャンマッチングを行う際、密な部分のデータが疎な部分のデータより大きく影響するため、それによりマッチングの誤差が大きくなる場合がある。したがって、フィルタリングによりデータの粗密を無くすことで、スキャンマッチングの誤差を抑える効果がある。

このようにグリッド化、すなわちフィルタリングした３次元情報を用いてスキャンマッチングを行うことにより、不整地環境における複数車両の情報融合においてもマッチング情報の悪化を抑えることができる。

図９において、Ｓ５では、Ｓ５１のステップ（工程）が実施される。
ステップＳ５１では、他車両融合情報の範囲選択を実施する。

（Ｄ）他車両融合情報の範囲選択（ステップＳ５１）
スキャンマッチングによって求められた相対位置姿勢に基づき、他車両の３次元情報を自車両の座標系に座標変換することで、情報融合を行う。
この際、他車両側の３次元情報について、その情報を全て用いて融合することを行ってもよい。

しかし、求めた相対位置姿勢は幾分かの誤差を含んでいるため、この誤差により融合された３Ｄ情報は本来は一つの物体が二重に表示されることになる。従って、情報を融合するのは他車両側の全ての情報ではなく、自車両にとっての死角部分や自車両が情報を有していない部分のみとしたい場合がある。
なお、自車両の３次元情報は、ステップＳ３１，Ｓ３２，Ｓ３３で除去したり、グリッド化した後の情報を用いる必要はなく、最も情報が豊富となるように計測した全ての情報を用いることで良い。

融合する他車両の情報の範囲選択を行うため、ステップＳ３２の自・他車両の３次元情報の共通計測エリア算出の結果を利用する。
すなわちステップＳ３２の処理においては、自車両と他車両の３次元情報の共通計測箇所を求めたが、この際に非共通計測領域として他車両の３次元情報から除去した部分は、自車両にとっての死角部分および自車両が情報を有していない部分に相当する。
したがって、ステップＳ３２の処理において非共通計測領域として除去した部分を記録しておき、これをスキャンマッチングによって求められた相対位置姿勢に基づき、自車両の座標系に座標変換すれば良い。

なお本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。

Ａ 相対位置・姿勢補正機能、Ｂ 融合情報生成機能、
Ｃ 周囲環境３Ｄ画像生成機能、
１Ａ，１Ｂ ３次元情報、２Ａ，２Ｂ 位置姿勢情報、４ 融合３次元情報、
５ 構造物、６ 周囲環境３Ｄ画像、１０Ａ 自車両、１０Ｂ 他車両、
１１ 車体、１２ 環境計測装置、１３ 自己位置標定装置、１４ 演算装置、
１５ ドライブバイワイヤ装置、１６ 遠隔通信装置、１８ 車々間通信装置、
２０ 遠隔操縦装置、２２ 遠隔通信装置、２４ 制御装置、
２６ 指令入力装置、２８ 表示装置、１００ 車両操縦システム

Claims (13)

1. 自車両と、前記自車両と双方向に通信可能な他車両と、を備え、
   前記自車両と前記他車両はそれぞれ、周囲の離散した点群の３次元情報である３次元点群情報を取得する環境計測装置と、位置姿勢情報を取得する自己位置標定装置と、演算装置と、前記３次元点群情報及び前記位置姿勢情報を双方向に通信する車々間通信装置と、を有し、
   前記自車両の前記演算装置はさらに、前記他車両から受信した前記３次元点群情報及び前記位置姿勢情報を用いて、前記自車両の前記３次元点群情報と前記他車両の前記３次元点群情報を融合して融合３次元情報を生成する情報融合機能を有し、
   前記情報融合機能は、前記自車両と前記他車両の前記３次元点群情報及び前記位置姿勢情報を用い、前記自車両と前記他車両のそれぞれの３次元点群情報に基づいてスキャンマッチングにより前記自車両から見た前記他車両の相対位置と相対姿勢を補正する相対位置・姿勢補正機能と、
   補正後の前記相対位置と前記相対姿勢に基づき、前記他車両の前記３次元点群情報を前記自車両の前記３次元点群情報と融合して前記融合３次元情報を生成する融合情報生成機能と、を有する、車両操縦システム。
2. 前記情報融合機能は、前記融合３次元情報を生成する前に、前記自車両の前記３次元点群情報について、平坦エリアと凹凸エリアの合計面積比を調整する、請求項１に記載の車両操縦システム。
3. 前記情報融合機能は、前記自車両の前記３次元点群情報について、前記自車両の計測点に対して、周囲環境情報上で前記計測点と前記他車両の前記３次元点群情報を取得する環境計測装置のセンサを干渉判定線で結び、その間に遮蔽物体が無い、かつ前記干渉判定線が前記他車両の環境計測装置の計測範囲に含まれる場合に、前記計測点を前記自車両と前記他車両に共通の共通計測点として、共通計測点同士をスキャンマッチングする、請求項１に記載の車両操縦システム。
4. 前記情報融合機能は、前記融合３次元情報を生成する前に、３次元空間を立体物のグリッドの集合とし、計測した前記３次元情報を配置し、
   前記グリッドに１又は複数の計測点が入る場合、前記計測点の３次元座標を平均化してこれを該グリッドの３次元座標としてフィルタリングを実施する、請求項１に記載の車両操縦システム。
5. 前記自車両は、前記融合３次元情報を前記他車両に送信する情報共有機能を有する、請求項１に記載の車両操縦システム。
6. 前記自車両は、遠隔操縦可能な無人車両であり、
   さらに前記無人車両を遠隔操縦する遠隔操縦装置を備える、請求項１に記載の車両操縦システム。
7. 自車両と、前記自車両と双方向に通信可能な他車両と、を準備し、
   前記自車両と前記他車両はそれぞれ、周囲の離散した点群の３次元情報である３次元点群情報と位置姿勢情報を取得し、かつ前記３次元点群情報及び前記位置姿勢情報を双方向に通信し、
   さらに、前記他車両から受信した前記３次元点群情報及び前記位置姿勢情報を用いて、前記自車両の前記３次元点群情報と前記他車両の前記３次元点群情報を融合して融合３次元情報を生成し、
   前記自車両は、前記自車両と前記他車両の前記３次元点群情報及び前記位置姿勢情報を用い、前記自車両と前記他車両のそれぞれの３次元点群情報に基づいてスキャンマッチングにより前記自車両から見た前記他車両の相対位置と相対姿勢を補正し、
   補正後の前記相対位置と前記相対姿勢に基づき、前記他車両の前記３次元点群情報を前記自車両の前記３次元点群情報と融合して前記融合３次元情報を生成する、車両操縦方法。
8. 前記自車両は、双方向に通信可能な前記他車両を探索し、探索された前記他車両が複数の場合、その一部又は全部と通信して、前記融合３次元情報を生成する、請求項７に記載の車両操縦方法。
9. 前記融合３次元情報を生成する前に、前記自車両の前記３次元点群情報について、平坦エリアと凹凸エリアの合計面積比を調整する、請求項７に記載の車両操縦方法。
10. 前記自車両の前記３次元点群情報について、前記自車両の計測点に対して、周囲環境情報上で前記計測点と前記他車両の前記３次元点群情報を取得する環境計測装置のセンサを干渉判定線で結び、その間に遮蔽物体が無い、かつ前記干渉判定線が前記他車両の環境計測装置の計測範囲に含まれる場合に、前記計測点を前記自車両と前記他車両に共通の共通計測点として、共通計測点同士をスキャンマッチングする、請求項７に記載の車両操縦方法。
11. 前記干渉判定線を、円筒状の物体であるとして遮蔽物体との干渉判定を行う、請求項１０に記載の車両操縦方法。
12. 前記自車両の前記３次元点群情報について、前記自車両の前記計測点から前記共通計測点を除去した前記計測点を非共通計測点として、前記スキャンマッチングによって求められた相対位置姿勢に基づき、前記自車両の座標系に座標変換する、請求項１０に記載の車両操縦方法。
13. 前記融合３次元情報を生成する前に、３次元空間を立体物のグリッドの集合とし、計測した前記３次元点群情報を配置し、
    前記グリッドに１又は複数の計測点が入る場合、前記計測点の３次元座標を平均化してこれを該グリッドの３次元座標としてフィルタリングを実施する、請求項７に記載の車両操縦方法。
    

Images