JPH0518720A - ３次元形状及び距離認識方式 - Google Patents

Abstract

(57)【要約】 ［目的］ 簡略且つ安価な構成で３次元対象物の形状及
び距離を認識できる方式を提供する。 ［構成］ 水平及び垂直方向に指向方向が可変に設けら
れたテレビカメラ４で、３次元形状を有する対象物（図
示せず）を所定の位置から撮影し、前記テレビカメラ４
で撮影された前記対象物の映像信号を画像処理装置１１
で画像処理して、該対象物の前記所定位置から見た２次
元的な外形及び重心位置の座標値を演算装置１２で設定
し、前記対象物の２次元的座標値に基づいて、前記所定
位置から前記対象物の部分に測距装置９から測距用光線
を照射して、その反射光に基づいて演算装置１２乃至中
央処理装置１３が該対象物の前記所定位置から見た３次
元形状及び前記所定位置からの距離を認識するようにし
た。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、３次元形状を有する対
象物の形状及び距離を認識する方式に関するものであ
る。

【０００２】

【従来の技術】例えば丘陵地等の造成工事において法面
の掘削を行う場合には、パワーショベルやブルドーザと
いった建設用重機が用いられ、このような重機は操縦資
格を持つ作業者によって操縦されるが、一般に、その操
縦者の熟練度や熟練度や資質によって、掘削された法面
の出来具合や作業時間に差が出ることが多い。ところ
で、近年では熟練作業者が減少する傾向にあり、作業者
の雇用コストが年々上昇しているのに加え、前記造成工
事等の屋外作業に関する安全性の向上が要求されつつあ
るため、各種工事を無人で施工するための方策が種々提
案されている。

【０００３】このような無人化施工においては、重機等
の各種作業機械を無人で動作させることが不可欠であ
り、そのために、作業対象となる３次元対象物の形状や
距離を認識するための手段が必要となる。そして、従来
では、所定の定点から前記３次元対象物の形状や距離を
計測し、一方、前記作業機械の位置等を例えば双方向自
動追尾装置等を用いて認識し、これらの双方のデータを
適宜マッチングさせて作業機械を無人で動作させたり、
或は、前記３次元対象物と作業機械とをテレビカメラで
撮影して遠隔地のディスプレイ上に表示して、該遠隔地
で前記作業機械を集中的に遠隔操作する等している。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
たような方式ではシステムが大がかりとなり、コスト的
に不利であると共に、前者の方式では２つのデータのマ
ッチングのために、各々のデータに個別の座標を付与し
てそれら２つの座標を関連付ける作業が必要となり、デ
ータ処理的に複雑となってしまうという不具合があっ
た。本発明は上記のような課題を解消するためになされ
たものであり、簡略且つ安価な構成で３次元対象物の形
状及び距離を認識することができる３次元形状及び距離
認識方式を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に本発明は、水平及び垂直方向に指向方向が可変に設け
られたテレビカメラで、３次元形状を有する対象物を所
定の位置から撮影し、前記テレビカメラで撮影された前
記対象物の映像信号を画像処理して、該対象物の前記所
定位置から見た２次元的な外形及び重心位置の座標値を
設定し、前記対象物の２次元的座標値に基づいて、前記
所定位置から前記対象物の部分に測距用光線を照射し
て、該対象物の前記所定位置から見た３次元形状及び前
記所定位置からの距離を認識するようにした。また、本
発明は、前記テレビカメラに、その水平及び垂直各方向
毎の指向方向の変位量を示す信号を出力するエンコーダ
を付設し、該エンコーダの出力信号に基づいて、前記対
象物の前記所定位置から見た２次元的座標値を設定する
ようにした。

【０００６】

【実施例】以下、本発明の３次元形状及び距離認識方式
の実施例を図面に基づいて説明する。図１はその一実施
例に適用される人工眼装置の正面図であり、図１中１は
人工眼装置で、人工左眼２と人工右眼３が所定の間隔を
もって近接して配設されている。

【０００７】前記人工左眼２は図２に示すように、漏斗
状のケース２ａ内に内蔵したテレビカメラ４を主体に構
成され、上記ケース２ａは図示しない駆動装置により水
平及び垂直方向に指向方向を変位させることができるよ
うになっており、これにより、前記テレビカメラ４は、
その指向方向を水平及び垂直方向に可変とされている。
そして、前記テレビカメラ４が水平及び垂直方向に指向
方向を変位させると、その変位に応じた数のエンコーダ
パルスが、前記ケース２ａの下部に設けられたエンコー
ダ５から出力されるようになっている。

【０００８】一方、前記人工右眼３は図３（ａ），
（ｂ）に示すように、漏斗状のケース３ａ内に垂直方向
に配設された回転軸６に取着された反射ミラー７と、前
記回転軸６を回転させるモータ６ａと、前記反射ミラー
７の後方に配設され、測距用の例えばレーザー光を図示
しない対象物に照射してその反射光を受光し、例えば公
知の三角測距法等により測距を行う測距装置９とを備え
ており、前記ケース３ａは図３（ｂ）に示すモータ８に
よって、図３（ａ）に示す前記ケース３ａの中心軸Ｔの
回りに回動可能となっている。前記反射ミラー７は測距
装置９から出力される測距用のレーザー光を反射させ
て、前記ケース３ａの前方にパルスレーザを出力させる
ものであり、該ケース３ａは前記人工左眼２のケース２
ａと同様に、図示しない駆動装置により水平及び垂直方
向に指向方向を変位させることができるようになってい
ると共に、前記ケース３ａの下部に設けられたエンコー
ダ１０からは、ケース３ａの水平及び垂直方向への指向
方向の変位に伴って、その変位に応じた数のエンコーダ
パルスが出力されるようになっている。

【０００９】また、図４において１１は画像処理装置で
あり、前記テレビカメラ４で撮影した画像の映像信号を
例えば角画素のコントラスト等に基づいて画像処理し
て、前記画像内の物体の２次元的な外形や重心を検出す
る。さらに図４において１２は演算装置であり、前記測
距装置９が物体に対してレーザー光を照射した後、該物
体にて反射されたレーザー反射光を受光した際に、その
レーザー反射光に関する信号に基づいて該測距装置９か
ら物体までの距離を算出すると共に、前記ケース２ａ，
３ａに夫々設けられたエンコーダ５，１０からのエンコ
ーダパルスに基づいて、前記テレビカメラ４及び測距装
置９の水平及び垂直方向毎の指向方向を算出する。

【００１０】図４中１３は中央処理装置であり、前記テ
レビカメラ４の指向方向に関するデータと前記画像処理
装置１１からのデータとに基づいて、前記物体の２次元
的な外形や重心位置の座標値を設定する一方、該座標値
に基づいて前記測距装置９乃至ケース３ａの指向方向の
変位量を決定し、該ケース３ａの図示しない駆動装置を
制御してケース３ａの指向方向を変位させる。また、前
記中央処理装置１３は、前記演算装置１２で算出された
測距装置９から物体までの距離と、前記設定した物体の
２次元的な外形や重心位置の座標値とに基づいて、該物
体の３次元形状に関するデータを生成する。

【００１１】次に、本実施例による３次元形状及び距離
認識方式の流れについて説明する。まず、前記人工左眼
２のテレビカメラ４にて、３次元形状及び距離を認識す
べき対象物（図示せず）及びその周辺を撮影する。この
場合、対象物の概略位置認識は、例えば対象物の周辺に
色調等によりパターン認識可能なマーカーを配置さし、
そのマーカーを前記テレビカメラ４乃至画像処理装置１
１にてサーチする等して、前記対象物及びその周辺の領
域を決定した後に行う。

【００１２】前記テレビカメラ４で撮影された対象物及
びその周辺の映像信号は前記画像処理装置１１に出力さ
れ、該画像処理装置１１では、前記映像信号を例えば角
画素のコントラスト等に基づいて画像処理して、前記対
象物の２次元的な外形や重心が検出される。ここで、前
記ケース２ａに設けられたエンコーダ５からは、該ケー
ス２ａ乃至テレビカメラ４の指向方向を示すエンコーダ
パルスが前記演算装置１２に出力されており、これに基
づいて、前記テレビカメラ４の水平及び垂直方向毎の指
向方向が前記演算装置１２内にて算出されているので、
これと、前記画像処理装置１１にて検出した前記対象物
の２次元的な外形や重心のデータとに基づいて、前記中
央処理装置１３にて前記対象物の２次元的な外形や重心
位置の座標値が設定される。

【００１３】これと並行して、前記中央処理装置１３に
おいては、前記設定された対象物の２次元的な外形や重
心位置の座標値に基づいて、前記人工右眼３、即ち前記
測距装置９乃至ケース３ａの指向方向の変位量が決定さ
れ、これに基づいて前記ケース３ａの図示しない駆動装
置が制御されてケース３ａの指向方向が前記対象物及び
その周辺方向に変位される。尚、前記ケース３ａの指向
方向の変更制御においては、前記中央処理装置１３が、
前記ケース３ａ側のエンコーダ１０からのエンコーダパ
ルスに基づいて前記測距装置９の指向方向を認識してお
り、この認識データを前記演算装置１２が算出したケー
ス３ａの指向方向に関するデータと照らし合わせて、中
央処理装置１３が前記ケース３ａの指向方向の変更制御
をフィードバック制御するようになっている。

【００１４】続いて、前記測距装置９から前記対象物及
びその周辺に対して測距用のレーザー光が照射される
が、この場合、前記ケース３ａは前記モータ８によって
該ケース３ａの中心軸Ｔの回りに回動されるので、前記
測距用のレーザー光は前記対象物を水平及び垂直方向に
スキャンするように照射される。そして、前記レーザー
光の反射光は測距装置９にて受光されてそのデータが前
記演算装置１２に出力され、演算装置１２ではこのデー
タに基づいて前記対象物の複数のポジションにおける測
距装置９までの距離が算出されて、その算出結果が中央
処理装置１３に出力される。前記中央処理装置１３で
は、前記演算装置１２で算出された測距装置９から物体
までの距離と、前記設定した物体の２次元的な外形や重
心位置の座標値とに基づいて、該物体の３次元形状に関
するデータが生成される。

【００１５】次に、本実施例の３次元形状及び距離認識
方式を無人ショベルまたは無人ブルドーザ（以下、無人
ブルドーザを使用する場合について述べる）に適用し
て、集土作業を行う場合について説明する。図５は、無
人ブルドーザを使用して集土作業を行う状態の説明図で
あり、同図に示すように、無人ブルドーザ２１には図１
〜図３で示した人工眼１が搭載されている。この無人ブ
ルドーザ２１は被施工部分２２の山Ａ，Ｂ，Ｃの形状に
応じて集土作業を行うものであり、前記被施工部分２２
には、領域を規定するための例えば赤色に着色された測
量用ポール２３ａ、２３ｂが植設されている。また、図
７は前記無人ブルドーザ２１による集土作業の流れを示
すフローチャートであり、以下、このフローチャートに
沿って動作を説明する。

【００１６】まず、ステップＳ１で、無人ブルドーザ２
１に装着された人工眼１の人工左眼２のテレビカメラ４
（図１）で、被施工部分２２に植設された赤色の測量用
ポール２３ａ、２３ｂを撮影させて、色調による画像処
理によって画像処理装置１１で識別させることにより探
索し、これに基づいて無人ブルドーザ２１の自己位置を
認識する（ステップＳ２）。そして、テレビカメラ４を
被施工部分２２の方向に指向させ、被施工部分２２及び
その周辺を撮影させて映像信号を出力させ、画像処理装
置１１で被施工部分２２の外形及び重心の検出を行うと
共に、人工右眼３の測距装置９からパルスレーザを被施
工部分２２に照射させてその反射光を受光し、これに基
づいて被施工部分２２の山Ａ，Ｂ，Ｃに関する３次元形
状及び距離を演算装置１２乃至中央処理装置１３で生成
し（ステップＳ３）、図６に示すような各山Ａ，Ｂ，Ｃ
に関する３次元形状及び距離のデータＤを得る。

【００１７】そして、前記生成された被施工部分２２の
各山Ａ，Ｂ，Ｃに関する３次元形状及び距離のデータＤ
に基づいて、中央処理装置１３にて、被施工部分２２に
所定の体積以下の山（盛土部分）があるか否か（ステッ
プＳ４）と、ある場合には、積み込み作業にとって効率
の悪い形状であるか否か（ステップＳ５）とを判別し
て、それらの結果に基づいて最寄りの山（盛土部分への
集土作業を行う（ステップＳ６）か或はそのまま作業を
終了するかのいずれかの動作を無人ブルドーザ２１に行
わせる。

【００１８】次に、無人搬送車に土砂を無人で積み込む
場合に本実施例の方式を適用した例について説明する。
図８は無人搬送車に無人ショベルで土砂積み込み作業を
行う場合の説明図であり、図９は無人搬送車の側面図で
ある。この図８、図９の両図において、２４は無人搬送
車、２５は無人ショベルであり、無人搬送車２４、無人
ショベル２５にはともに図１〜図３で示した人工眼１が
搭載されており、図９に示すように、無人搬送車２４の
一方の側面に積み込み面２４ａを決めておき、この積み
込み面２４ａに画像処理ができるように赤色の塗料を塗
布しておく。

【００１９】次に、図１０のフローチャートに沿って、
無人搬送車２４に無人ショベル２５で土砂積み込み作業
を行う手順について説明する。まず、ステップＳ１１で
無人搬送車２４に搭載されている人工左眼２のテレビカ
メラ４によりポール（図示せず）を撮影して、無人搬送
車２４が自己位置の確認を行うとともに、ステップＳ１
２で無人ショベル２５側の人工左眼２で上記と同じポー
ルを撮影して無人ショベル２５の自己位置を確認する。
次いで、ステップＳ１３で無人ショベル２５からトラッ
ク停止位置信号が出されると、ステップＳ１４で無人搬
送車２４を所定位置に停止させ、無人搬送車２４から停
止信号がステップＳ１５で停止信号が出力される。これ
により、ステップＳ１６で土砂集土作業に入り、無人シ
ョベル２５は図８に示したように、赤く塗った無人搬送
車２４の積み込み面２４ａをステップＳ１７で無人ショ
ベル２５側の人工左眼２で探し出し、この積み込み面２
４ａを画像処理で探索すると、ステップＳ１８に移る。

【００２０】このステップＳ１８では、ステップＳ１７
で探索した積み込み面２４ａの端と端の座標を、無人シ
ョベル２５側の人工右眼３の測距装置９から出力される
レーザー光のスキャニングで測定し、さらに、ステップ
Ｓ１９で、無人搬送車２４の荷台部分（赤く塗布した積
み込み面２４ａの上部）を再び無人ショベル２５側の人
工右眼３でスキャニングして、前記無人搬送車２４の荷
台の上部に盛り上がった土砂の状態を認識する。このよ
うにして、無人搬送車２４の積み込み面２４ａと荷台部
分の測定を終了すると、ステップＳ２０で今度は無人シ
ョベル２５が無人搬送車２４の積み込み面２４ａに対す
る自己の位置修正を行って、ステップＳ２１で無人ショ
ベル２５が無人搬送車２４に土砂を積み込む。

【００２１】この積み込みにより、ステップＳ２２で無
人搬送車２４の積載重量が所定値になれば、ステップＳ
２３で無人ショベル２５から無人搬送車２４に発車信号
を出すとともに、ステップＳ１２に処理を戻す。無人搬
送車２４では、ステップＳ２４で荷台の土砂の重量信号
を出して、ステップＳ２５で発車する。

【００２２】次に、図１１に示すように、無人バックホ
ウ２６で被施工部分３１の法面掘削作業を無人で行う場
合について述べる。この図１０に示すように、無人バッ
クホウ２６の上部に図１で示した人工眼１を搭載し、図
１１、図１２（図１１の無人バックホウ２６の正面図）
に示すように、無人バックホウ２６のアーム２６ａを上
下方向に屈伸させてバケット２６ｂで切土を行うように
している。なお、図１１の３２ａは計画ライン、図１２
の２６ｃはバケットセンタラインである。

【００２３】次に、図１３に示すフローチャートに沿っ
て、無人で法面掘削作業を行う手順について述べる。ま
ず、ステップＳ３１で無人ショベル２６の自己位置を人
工眼１の人工右眼で確認する。この場合は、精度が必要
であるから、ポール（図示せず）の座標をスキャンする
だけではなく、プリズムを固定点として使用する。次
に、ステップＳ３２で、被施工部分３１の所定位置に無
人ショベル２６を移動させ、アーム２６ａの先端のバケ
ット２６ｂの向きが面に合うように移動させ、ステップ
Ｓ３３で図１１に示すように、アーム２６ａのセンタラ
イン２６ｃに沿って計画断面をコンピュータにより自動
計算する。

【００２４】この計算結果に基づいて、ステップＳ３４
で計画断面を侵さないようにバケット２６ｂを動かして
切土する。この場合、ステップＳ３５で施工ラインに沿
って地形の出来形測量を自動的に高速に行い、次のステ
ップＳ３６で計画ライン通りに切土が行われているか否
かの判定を行う。このステップＳ３６における判定の結
果、切土が計画ライン通りでなければ、ステップＳ３６
のＮ側からステップＳ３４に戻る。また、切土が計画ラ
イン通りに行われていると判断された場合には、ステッ
プＳ３７に進み、無人ショベル２６を次の切土を行う位
置に移動する。

【００２５】

【発明の効果】以上のように本発明によれば、水平及び
垂直方向に指向方向が可変に設けられたテレビカメラ
で、３次元形状を有する対象物を所定の位置から撮影
し、前記テレビカメラで撮影された前記対象物の映像信
号を画像処理して、該対象物の前記所定位置から見た２
次元的な外形及び重心位置の座標値を設定し、前記対象
物の２次元的座標値に基づいて、前記所定位置から前記
対象物の部分に測距用光線を照射して、該対象物の前記
所定位置から見た３次元形状及び前記所定位置からの距
離を認識するようにしたので、簡略且つ安価な構成で３
次元対象物の形状及び距離を認識することができる。

【図面の簡単な説明】

【図１】本発明の３次元形状及び距離認識方式の一実施
例に適用される人工眼装置の要部の正面図である。

【図２】図１の人工眼における人工左眼の側面図であ
る。

【図３】図１の人工眼における人工右眼を示すもので、
図３（ａ）はその側面図、図３（ｂ）はその正面図であ
る。

【図４】図１の人工眼装置の制御系の概略構成を示すブ
ロック図である。

【図５】本発明の３次元形状及び距離認識方式を集土作
業に適用する場合の説明図である。

【図６】図４の集土作業に適用される無人ブルドーザに
搭載された人工眼装置の出力に基づいて得られた被施工
部分の３次元データを示す説明図である。

【図７】図４の集土作業の手順を説明するためのフロー
チャートである。

【図８】本発明の３次元形状及び距離認識方式を土砂積
み込み作業に適用する場合の説明図である。

【図９】図８の土砂積み込み作業に使用される無人搬送
車の側面図である。

【図１０】図８の土砂積み込み作業の手順を説明するた
めのフローチャートである。

【図１１】本発明の３次元形状及び距離認識方式を切土
作業に適用した場合の説明図である。

【図１２】図１１の切土作業に使用される無人バックホ
ウの正面図である。

【図１３】図１１の切土作業の手順を説明するためのフ
ローチャートである。

【符号の説明】

４ テレビカメラ ９ 測距装置 １１ 画像処理装置 １２ 演算装置 １３ 中央処理装置 Ａ，Ｂ，Ｃ 山（対象物）

Claims (2)

【特許請求の範囲】
1. 【請求項１】 水平及び垂直方向に指向方向が可変に設
   けられたテレビカメラで、３次元形状を有する対象物を
   所定の位置から撮影し、 前記テレビカメラで撮影された前記対象物の映像信号を
   画像処理して、該対象物の前記所定位置から見た２次元
   的な外形及び重心位置の座標値を設定し、 前記対象物の２次元的座標値に基づいて、前記所定位置
   から前記対象物の部分に測距用光線を照射して、該対象
   物の前記所定位置から見た３次元形状及び前記所定位置
   からの距離を認識するようにした、 ことを特徴とする３次元形状及び距離認識方式。
2. 【請求項２】 前記テレビカメラに、その水平及び垂直
   各方向毎の指向方向の変位量を示す信号を出力するエン
   コーダを付設し、 該エンコーダの出力信号に基づいて、前記対象物の前記
   所定位置から見た２次元的座標値を設定するようにし
   た、 ことを特徴とする請求項１記載の３次元形状及び距離認
   識方式。