WO2007094420A1

WO2007094420A1 - 移動型ロボット

Info

Publication number: WO2007094420A1
Application number: PCT/JP2007/052753
Authority: WO
Inventors: Yuichiro Nakajima; Haeyeon Lee; Hideki Nomura
Original assignee: Toyota Jidosha Kabushiki Kaisha
Priority date: 2006-02-17
Filing date: 2007-02-15
Publication date: 2007-08-23
Also published as: US8234011B2; KR101049266B1; US8010232B2; EP1985416A1; EP2314428A1; EP2314428B1; JP4506685B2; EP2314429A1; US20100185327A1; KR20080093460A; EP2314429B1; EP1985416B1; EP1985416A4; JP2007216350A; CN101384402B; CN101384402A; US20120053727A1

Abstract

【課題】体幹に備えられているカメラとは別のカメラを関節を介して体幹に接続された接続部位に設けることで、ロボットの作動時に接続部位などの体の一部が視界に入ることで生じる未知環境をなくし、常時周囲の環境全域を認識できる技術を提供する。【解決手段】本発明におけるロボットは、頭部および胴体からなる体幹と、駆動する肩関節を介して体幹に接続された少なくとも一本の接続部位と、体幹に少なくとも１つ設けられている体幹側カメラと、接続部位に少なくとも１つ設けられている接続部位側カメラを有している。さらに、体幹側カメラにより撮像した体幹側画像と接続部位側カメラにより撮像した接続部位側画像とを合成して合成画像を作成する合成画像作成手段と、合成画像より周囲物体の位置を認識する認識手段を備えている。

Description

明細書

移動型ロボット

技術分野

[0001] 本出願は、 2006年 2月 17日に出願された日本国特許出願第 2006— 041323号に基づく優先権を主張する。その出願の全ての内容はこの明細書中に参照により援用されている。

本発明は、自己の動力によって移動するロボットに関する。特に、カメラを利用して周囲の環境を認識して移動するロボットに関する。

背景技術

[0002] 体幹と、駆動機構を有する関節部を介して体幹に接続されて!、る接続部位を備えている移動型ロボットが開発されている。この種のロボットのなかには、体幹に設けられてヽる体幹側カメラで撮像された環境画像から環境地図を作成し、得られた環境地図を元に目的位置までの移動経路を計画するものがある。特開 2005— 92820号公報に開示される技術では、ロボットの頭部に設けられているカメラで撮像し、撮像した画像から視差画像あるいは距離画像を計算し、計算した視差画像あるいは距離画像から平面パラメータを算出し、算出した平面パラメータ力床を含む複数の平面抽出を行うことによって環境地図を作成し、作成した環境地図からロボットが移動可能な範囲を認識し、認識した範囲に基づ!、てロボットの移動経路を計画して、る。発明の開示

発明が解決しょうとする課題

[0003] 駆動機構を有する関節部を介して体幹に接続されている接続部位を備えている口ボットの場合、アームや脚などの接続部位の位置によっては、ロボットの体幹に設けられて、るカメラの視野の一部が接続部位によって遮られ、一部の周囲物体を撮像できないことがある。即ち、接続部位の背後に未知環境が存在することがある。接続部位の背後に未知環境が存在すると、体幹の移動経路を計画することができなくなってしまう。あるいは、アームや脚などの接続部位の移動経路を計画することができなくなってしまう。特に、接続部位を目的位置に移動させる経路を計画する場合には、目的位置が未知環境にあるために、目的位置が認識できない事態が発生しやすい。

[0004] 現状技術では、未知環境が発生する毎に、体幹または接続部位を移動させて未知環境を撮像し、未知環境を未知環境でなくしてから移動経路を決定する処理を必要としている。

し力しながら、上記の処理には本来的には必要とされない動作を要するば力りでなぐ体幹を連続的に移動させるロボットや、周囲物体が移動する環境にある場合には、対応することが難しい。

[0005] 本発明は、未知環境を発生させな!/ヽ移動型ロボットを実現することを目的とする。

課題を解決するための手段

[0006] 本発明では、接続部位によって遮られて撮像できない範囲を撮像するために、接続部位にもカメラを用意する。接続部位にもカメラを用意すれば、接続部位によって撮像できな、と、う事態の発生を防止することができる。

本発明で創作されたロボットは、体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている体幹側カメラと、接続部位に設けられてヽる接続部位側カメラと、体幹側カメラで撮像して得られた体幹側画像の一部を、接続部位側カメラで撮像して得られた接続部位側画像の一部に置き換えることで、体幹側画像中から接続部位を除去した合成画像を作成する合成画像作成手段を備えている。

[0007] 上記のロボットは、体幹側カメラで撮像した体幹側画像を利用することによって、広範囲の環境画像を得ることができる。ただし、体幹側画像には接続部位が撮像されており、その影になって環境画像を得ることができない未知環境が残ることがある。上記のロボットでは、体幹側画像に、接続部位側カメラで撮像した接続部位側画像を合成することによって合成画像を作成する手段を備えている。このために、体幹側画像では接続部位を撮像しており、その影になって未知環境となってヽる環境画像に、接続部位側画像を合成することができ、そうして得られる合成画像には未知環境が残らない。

上記のロボットは、未知環境が残らない合成画像を得ながら、その後の体幹または接続部位の移動経路を計算することができる。未知環境を残さな、ようにするために無駄な動作が必要とされることがない。また周囲物体が移動する環境にあっても、移動経路を時々刻々に決定することができる。

[0008] 本発明の一つの改良されたロボットは、合成画像作成手段が、体幹側画像内にお Vヽて接続部位を撮像して!/ヽる範囲を特定する第 1特定手段と、接続部位側画像内において、第 1特定手段で特定した範囲に対応する範囲を撮像している範囲を特定する第 2特定手段と、第 1特定手段で特定した範囲内の体幹側画像を第 2特定手段で特定した範囲内の接続部位側画像に置き換える手段を備えている。

[0009] 体幹側画像内にお!、て接続部位を撮像して、る範囲を特定する手段には、大きく分けて 2方式が可能である。一つの方式は、体幹側カメラに対する接続部位の位置関係（これはロボットに既知である）から接続部位が撮像されて!、るはずの範囲を計算して求める方式である。もう一つの方式は、体幹側画像を画像処理して接続部位の形状 (これはロボットに既知である）に相当する部分を抽出し、それから接続部位が撮像されて、る範囲を特定する方式である。 V、ずれの方式であってもよ、。

[0010] 接続部位側画像には、仮に接続部位がなければ体幹側カメラによって撮像されるはずの範囲が撮像されている。この範囲を特定する手段にも大きく分けて 2種類が存在する。

一つの方式は、体幹に対する接続部位の位置関係（これはロボットに既知である）と接続部位に対する接続部位側カメラの位置関係から、接続部位側画像にぉ、て仮に接続部位がなければ体幹側カメラによって撮像されるはずの範囲を計算して求める方式である。この方式は、奥行き情報が既知である場合に特に有効である。例えば、壁面に配置されているスィッチ類を自立移動型ロボットで操作する動作を例にすると、壁面に対するロボットの位置が既知であれば、体幹カメラによる壁面の撮像範囲は計算可能であり、体幹に対する接続部位の位置が既知であれば、接続部位の影になって体幹カメラでは撮像できない壁面の範囲を計算することができる。体幹に対する接続部位の位置と、接続部位に対する接続部位側カメラの位置が既知であれば、接続部位の影になって体幹カメラでは撮像できな、壁面の範囲に対応する接続部位側画像内の範囲を計算することができる。体幹側画像では接続部位を撮像してヽる範囲を、接続部位の影になって体幹カメラでは撮像できな、範囲の接続部位側画像に置き換えれば、接続部位が存在しな、場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。体幹側カメラと接続部位側カメラの存在位置が相違するために、単純に置き換えるだけでは、接続部位が存在しない場合に体幹側カメラで撮像したのと同じ合成画像を得ることはできない。し力しながら、接続部位側カメラは体幹側カメラで撮像できない方向の範囲内にあり、体幹側カメラでは撮像できない範囲に対する体幹側カメラと接続部位側カメラの視点は大きくは相違しない。ほぼ同じ方向から撮像している。従って、接続部位側カメラ画像の縮尺を調整して置き換えるだけで、接続部位が存在しな、場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。必要であれば、接続部位側カメラ画像を、体幹側カメラの位置で撮像した画像に変換してカゝら合成してもよい。このよう〖こすると、合成画像の質が向上する。この合成画像が得られれば、接続部位の陰になって体幹側カメラでは撮像できない範囲に存在するスィッチ類の位置を認識することが可能となり、意図したスィッチに向けて接続部位を移動させることが可能となる。あるいは、意図したスイツチに向けて体幹を移動させることが可能となる。

もう一つの方式は、体幹側画像において接続部位が撮像されている範囲に対応する範囲を接続部位側画像から特定する方式である。体幹側画像を画像処理して接続部位の形状に相当する部分を抽出すれば、その周囲に存在する画像から特徴点を抽出することが可能となる。例えば、箱の前面に接続部位が存在しているために、箱の前面の一部が接続部位に遮られて、る場合、接続部位に隠されて、な、箱の頂点を特定することができる。このような特徴点を接続部位が撮像されて、る範囲を一巡するように特定すると、接続部位に遮られて周囲の環境を撮像できて、な、範囲を含む範囲を特定することができる。一方、接続部位側画像でも、前記の特徴点群を撮像している。そこで、接続部位側画像カゝら前記の特徴点群を抽出すれば、接続部位に遮られて体幹側カメラでは周囲の環境を撮像できて、な、範囲を含む範囲に対応する接続部位側画像内の範囲を特定することができる。前者の範囲を後者の範囲に置き換えれば、接続部位が存在しな、場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。ロボットが動作して、る環境によって、計算することで置換範囲を特定できる場合もあれば、画像処理することで置換範囲を特定できる場合もある。

[0012] 本発明の一つの改良されたロボットは、体幹側カメラを複数備えている。この場合、合成画像作成手段によって、それぞれの体幹側カメラで撮像した体幹側画像に対して、合成画像を作成することができる。この場合、視点を変えて撮像した複数枚の合成画像が得られ、例えば奥行き情報が未知な場合等に、撮像範囲内に存在する特徴点の 3次元的位置を特定するといつたことが可能となる。

[0013] 本発明の他の一つの改良されたロボットは、合成画像を用いて、ロボットの周囲物体の相対的な位置を計算する。前記したように、例えば、壁面に作業対象が配置されているような場合等、奥行き情報が既知であれば、 1枚の合成画像から、作業対象の存在位置を特定することができる。奥行き情報が未知であっても、視点を変えて撮像した複数枚の合成画像から、周囲物体の 3次元的位置を特定することができる。

[0014] 本発明の他の一つの改良されたロボットは、体幹側カメラに対する接続部位の位置に応じて、接続部位側カメラの撮像方向を調整する手段を備えている。接続部位の位置によって、体幹カメラでは撮像できな、範囲の接続部位に対する角度が相違してくる。接続部位の位置に応じて、接続部位側カメラの撮像方向を調整するようにすると、体幹カメラでは撮像できなヽ範囲を接続部位側カメラで確実に撮像するようにすることができ、死角の発生を防止することができる。

[0015] 例えば、奥行き情報が既知であるような場合には、 1枚の合成画像を得ること自体で有用な情報が得られる。奥行き情報が未知であれば、視点を変えて撮像した複数枚の画像情報を得、それらから周囲物体の位置を計算することが有用である。

この種の要請に応えるために本発明で創作されたロボットは、体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている 2以上の体幹側カメラと、接続部位に設けられている接続部位側カメラと、 2以上の体幹側カメラで撮像した 2以上の体幹側画像から撮像範囲内に存在する物体の移動型口ボットに対する相対的位置関係を計算する第 1計算手段と、体幹側カメラの少なくとも 1つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像力ゝら撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第 2計算手段を備えている。この場合、画像情報を処理することによって位置情報を計算する。合成画像を作成する必要は必ずしもない。

[0016] 異なる位置に配置されて、る 2以上の体幹側カメラを利用して 2以上の体幹側画像情報を得ることができれば、両画像に撮像されて、る物体の移動型ロボットに対する相対的位置関係を計算することができる。しかしながら、接続部位の影になっているために、いずれかの体幹側画像では撮像されていない周囲物体については、位置を特定することができない。

上記のロボットでは、体幹側カメラの 1つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像を組み合わせて利用する。これらも、視点を変えて撮像した 2以上の画像情報であり、これらからも周囲物体の移動型ロボットに対する相対的位置関係を計算することができる。接続部位の影になって両方の体幹側カメラでは撮像できなくても、いずれか一方の体幹側カメラで撮像できれば、それと接続部位側画像情報を組み合わせて利用することによって、周囲物体の移動型ロボットに対する相対的位置関係を特定することができる。これにより、未知環境の範囲を狭めることができる。

[0017] 本発明の改良されたロボットは、接続部位を撮像してヽる範囲が最も少なヽ体幹側画像を選択して計算に用いる第 2計算手段を備えている。このロボットでは、前述の場合に加えて、すべての体幹側画像情報に接続部位側画像情報を組み合わせて計算することも可能である。

発明の効果

[0018] 本発明の移動型ロボットによれば、接続部位にカメラを設けることで、接続部位に第 2の視覚認識部としての機能を付加することが可能となる。この構成により、接続部位の影になって体幹側カメラでは撮像できな、未知環境の範囲を減少な、しは無くすことができ、ロボットを安全に迅速に動作させることが可能となる。

図面の簡単な説明

[0019] [図 1]実施例 1のロボットとロボットの周囲の環境を表わす斜視図である。

[図 2]実施例 1のロボット機構の概略を示す図である。

[図 3]実施例 1のロボットの視野を示す図である。 [図 4]体幹側画像の一例を示す図である。

[図 5]接続部位側画像の一例を示す図である。

[図 6]画像合成処理装置の処理過程を示すフローチャートである。

[図 7]図 4の体幹側画像と接続部位の撮像範囲 Rを示した図である。

[図 8]図 5の接続部位側画像と対応範囲 Sを示した図である。

[図 9]ステップ S613の出力結果の一例を示す図である。

[図 10A]ロボットの右側に備えられた体幹側カメラが撮像した体幹側画像を示す図である。

[図 10B]ロボットの中央に備えられた体幹側カメラが撮像した体幹側画像を示す図である。

[図 10C]ロボットの左側に備えられた体幹側カメラが撮像した体幹側画像を示す図である。

[図 11]接続部位側画像と対応範囲 sの一例を示す図である。

[図 12]実施例 2のロボットとロボットの周囲の環境を示す斜視図である。

[図 13]実施例 2のロボット機構の概略を示す図である。

[図 14]実施例 2のロボットの視野の鳥瞰図である。

[図 15]実施例 2のロボットの動作処理までの過程を示すフローチャートである。

[図 16]ステレオ画像の取得処理の過程を示すフローチャートである。

[図 17]実施例 3のロボット機構の概略を示す図である。

発明を実施するための最良の形態

最初に、以下に説明する実施例の主要な特徴を列記する。

(特徴 1) ロボットは、体幹に走行機構を備えている。本明細書で開示されている実施例の場合は車輪である力脚リンクでもよい。

(特徴 2) ロボットは、環境地図から体幹の走行軌跡を計算する。

(特徴 3) ロボットは、環境地図から接続部位の移動軌跡を計算する。

(特徴 3) ロボットは、環境地図から体幹の走行軌跡と接続部位の移動軌跡を計算する。

(特徴 4) ロボットは、関節角度制御装置や車輪回転数制御装置および位置情報検出装置により、ロボットの姿勢と各カメラの撮像方向を制御している。体幹側カメラの撮像方向は、体幹側カメラ撮像方向計算装置で計算され、接続部位側カメラの撮像方向は、接続部位側カメラ撮像方向計算装置で計算される。

(特徴 5) ロボットは合成画像から得られた情報に基づき、移動経路を作成する。その経路に基づいて、前記関節角度制御装置や車輪回転数制御装置および位置情報検出装置がァクチユエータを制御し、体幹および Zまたは接続部位を作成された移動経路に沿って移動させる。

(特徴 6) ロボットは周囲環境の変化に対応して過去に作成した軌道に修正を加え、移動経路を変更する経路修正装置を備えて、る。

実施例

以下、図面を参照しながら本発明の実施例について詳解する。

(実施例 1)

図 1に、本実施例のロボット 100とロボット 100の周囲の環境を表わす斜視図を示す。本実施例のロボット 100は、体幹 103と、肩関節 203を介して体幹 103に接続された 1本の接続部位 (アーム） 104を有している。接続部位 104は、 2本以上が存在していてもよい。体幹 103は、胴体 200と、首関節 202と、頭部 201を備えており、頭部 2 01に体幹側カメラ 105が固定されている。体幹側カメラ 105は、首関節 202によって、胴体 200に対する撮像方向を変えることができる。胴体 200の下方には 1対の車輪が配置されており、車輪 206を利用して体幹 103を移動させる。

接続部位 104は、肩関節 203と、肘関節 204と、手首関節 205を備えており、掌に側カメラ 106が固定されている。肩関節 203と、肘関節 204と、手首関節 205は駆動機構を有しており、接続部位側カメラ 106は、肩関節 203と、肘関節 204と、手首関節 205によって、胴体 200に対する撮像方向を変えることができる。また胴体 200に対する接続部位側カメラ 106のカメラ位置を変えることもできる。

ロボット 100は、さらに、作業環境内における頭部 201の位置を計測する手段を備えており、体幹側カメラ 105のカメラ位置と撮像方向を認識している。また、体幹 103 に対する接続部位側カメラ 106のカメラ位置と撮像方向を認識している。

ロボット 100は、車輪 206を利用してスィッチパネル 10に接近し、接続部位 104を利用してスィッチパネル 10の壁面に配置されているスィッチ群 12a, 12b ' ·を操作する。スィッチパネル 10の壁面の位置は既知である。

[0022] 図 2は、ロボット 100の周囲を認識する機構 101の概略を示す図である。本実施例のロボット 100は、制御装置 114を有している。制御装置 114は、合成画像作成装置 110と、移動経路作成装置 113と、体幹側カメラ位置撮像方向計算装置 111と、接続部位側カメラ位置撮像方向計算装置 109を備えてヽる。合成画像作成装置 110 は、体幹側カメラ 105から体幹側画像情報を入力し、接続部位側カメラ 106から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置 111から体幹側カメラ 105の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置 109から接続部位側カメラ 106の位置と撮像方向を入力し、体幹側画像情報と接続部位側画像情報から合成画像情報を作成する。移動経路作成装置 113では作成した合成画像情報からその後の移動経路を作成し、作成した移動経路情報にしたがって、車輪 206と関節群を回転させるァクチユエータ群 115を制御し、作成した移動経路に沿つて、車輪 206、頭部 201、接続部位 104を移動させる。ロボット 100は、車輪 206の回転数を検出する車輪回転数検出装置 119と、各関節の関節角を検出する関節角検出装置 117と、胴体 200内に設置されていて胴体 200の位置を検出する位置情報検出装置 121を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置 111と接続部位側カメラ位置撮像方向計算装置 109に入力される。

ロボットは、位置と撮像方位が既知のカメラで撮影した画像情報力も周囲の環境を認識して移動経路を作成する移動経路作成手段 113を有しており、作成した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像する処理を繰り返しながら、自律的に移動する。

[0023] 図 3に、ロボット 100の視野を示す図を示す。ロボット 100の接続部位 104が体幹側カメラ 105の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。具体的には、体幹側カメラ 105から撮像する体幹側画像には、図 3のスィッチパネルの点 Aおよび点 Bは撮像されるのに対し、点 Cおよび点 Dは写らない。よって、点じおよび点 Dにおける周囲物体の情報が未知となり、環境状況の認識およびロボット 10 0に対する周囲物体の相対的な位置関係の把握をすることができないが、本実施例では、接続部位側カメラ 106を設けることで可視範囲が拡大され、点 Cおよび点 Dを含む、未知の環境を把握することができる。

[0024] 図 4および図 5に、体幹側画像と接続部位側画像の例をそれぞれ示す。図 4の体幹側画像では接続部位 104の影に隠れて撮像されな、パネルの表面力図 5の接続部位側画像では撮像されている。これは、頭部 201と接続部位 104の位置が関節角検出装置 117により制御されており、体幹側カメラ 105と接続部位側カメラ 106の相対位置に応じて、接続部位側カメラ 106の撮像方向が調節されることにより可能となる。接続部位側カメラ 106の撮像方向は、体幹側カメラでは接続部位 104の影に隠れて撮像できな、方向を撮影するように調整される。

それぞれのカメラの倍率や画像サイズなどの差異に関する情報は、体幹側カメラ位置撮像方向計算装置 111および接続部位側カメラ位置撮像方向計算装置 109によつて把握されており、合成時にはその情報に基づいた画像処理を行うため、それぞれの画像の撮像範囲が完全に一致しなくてもよい。例えば、体幹側カメラ 105に対し接続部位側カメラ 106はスィッチパネル 10までの距離が異なっており、かつ接続部位 104が頭部 201に対して傾斜して、ることから、図 5の接続部位側画像は図 4の体幹側画像に比べて撮像されるスィッチパネル 10の倍率が大きぐまた傾、て、る。

[0025] 図 6に、画像合成処理のフローチャートを示す。このとき、ロボット 100とスィッチパネル 10は図 1に示すような位置関係にある。ロボット 100の接続部位 104は図 4に示す位置にあり、同様の画像が体幹側カメラ 105により撮像されている。ロボット 100はスィッチパネル 10のスィッチ 12c (図 1参照）を押圧するために、接続部位 104を移動させようとしている。し力しながら、スィッチ 12cは体幹側画像においては未知環境の範囲内にあるため、図 6に示す合成画像作成処理を開始する。

ステップ S601では、合成画像作成装置 110に体幹側画像情報が入力される。ステップ S603では、体幹側画像において未知環境となっている部分の特徴点 Xの抽出をする。図 7に、ステップ S603において抽出される体幹側画像の特徴点の一例を示す。ロボット 100の接続部位 104の形状は既知であることから、体幹側画像から接続部位を撮像してヽる範囲 (すなわち、接続部位の撮像範囲)を特定することができる（第 1特定手段)。図中の点 Xから Xは、接続部位の撮像範囲を包含するように抽出さ

1 6

れた特徴点である。本実施例では、直線で結ぶことが可能な 6個の特徴点を抽出しているが、接続部位の輪郭に沿って特徴点 Xをとればよい。ステップ S605では、ステツプ S603において抽出された特徴点から、接続部位の撮像範囲 R (すなわち、背後の周囲物体情報が未知の範囲）を特定する。図 7の特徴点 Xから Xに囲まれた範

1 6

囲が、近似的な接続部位の撮像範囲 Rである。抽出する特徴点 Xの数を増やすことで、特徴点によって取り囲まれる範囲 Rを接続部位の撮像範囲に正確に一致させることができる。

[0026] ステップ S607では、合成画像作成装置 110に接続部位側画像情報が入力される。

ステップ S609では、ステップ S607で入力された接続部位側画像情報から、体幹側画像の接続部位の撮像範囲 Rの特徴点に対応する点 Zを抽出する。図 8に、ステツプ S609において抽出される接続部位側画像の特徴点 Zの一例を示す。図 8中の点 Zカゝら Zは、体幹側画像カゝら抽出された特徴点 Xから Xに対応する点である。

1 6 1 6

ステップ S611では、ステップ S609で抽出された特徴点 Zから、接続部位側画像の対応範囲 S (すなわち、体幹側画像では未知情報である範囲)を特定する (第 2特定手段)。

[0027] ステップ S613では、接続部位側画像より得られた対応範囲 Sを、体幹側画像より得られた接続部位の撮像範囲 Rに適合するように、体幹側カメラと接続部位側カメラの入力画像に付加されている差異情報に基づき、サイズの調整、傾斜角の回転調整などの処理を行う。

ステップ S615では、体幹側画像の接続部位の撮像範囲 Rを、合成のための準備処理を終えた対応範囲 Sに置き換える。その結果、ステップ S617において、未知範囲のない合成画像が出力される。図 9に、合成画像の一例を示す。破線で示されて V、る接続部位の撮像範囲 Rは対応範囲 Sに置き換えられ、接続部位が撮像されてヽな、合成画像を得ることができる。

[0028] 本実施例は、複数の体幹側カメラを有して、ても良、。その場合は、それぞれの体幹側画像より接続部位の撮像範囲 Rを抽出し、それぞれの接続部位の撮像範囲 R に対して接続部位側画像より対応範囲 Sを抽出し、接続部位の撮像範囲 Rを対応範囲 s_xと置き換える。

[0029] 図 10に、複数の体幹側画像と接続部位の撮像範囲 Rの一例を示す。ロボット 100 が体幹側カメラを体幹 103の左右両側と中央にそれぞれ 1つずつ備えている場合、右側に備えられた体幹側カメラからは図 10Aに示す体幹側画像 TCが得られ、中央に備えられた体幹側カメラからは図 10Bに示す体幹側画像 TCが得られ、左側に備

2

えられた体幹側カメラからは図 10Cに示す体幹側画像 TCが得られる。これらの体幹

3

側画像 TC、 TCおよび TCはステップ S601からステップ S605の処理を経て、接続

1 2 3

部位の撮像範囲 R、 Rおよび Rの特定を行っている。体幹 103に固定された 3台の

1 2 3

体幹側カメラの位置が異なるため、各画像の接続部位の撮像範囲の位置には差異がある。

図 11に、上記の 3台の体幹側カメラと連動して作動する接続部位側カメラが撮像した接続部位側画像 ACを例示する。体幹側画像 TC、 TCおよび TCの接続部位の

1 2 3

撮像範囲 R、 Rおよび Rをネ ΐうため、接続部位側画像 ACはステップ S607からステ

1 2 3

ップ S611の処理によって対応範囲 S、 Sおよび Sを特定する。

1 2 3

ステップ S613からステップ S617の処理により、体幹側画像 TC、 TCおよび TC

1 2 3 の接続部位の撮像範囲 R、 R

1 2および R

3は、接続部位側画像 ACの対応範囲 S、 S

1 2 および S

3により置き換えられ、未知範囲のない体幹側カメラ画像が作成される。

[0030] さらに、本実施例のロボット 100は、複数の接続部位側カメラを有していてもよい。この場合は、各体幹側画像の接続部位の撮像範囲 Rに対して対応範囲 Sが最も広範囲に抽出可能な接続部位側画像を利用するような判断装置を設けることが好ましい

[0031] 本実施例のロボット 100はさらに、上記の方法で得られた合成画像を用いて、ロボット 100に対する周囲物体の相対的な位置を計算することができる。ここでいうロボット 100に対する周囲物体の相対的な位置は、物体の相対的位置座標をワールド座標系からロボットを中心とした座標系に変換して把握する。

[0032] (実施例 2)

実施例 1と実施例 2には、共通する部位があるため、共通する部位または装置については同一番号を付して重複説明を省略する。図 12は、ステレオカメラを用いたロボットとロボットの周囲の環境を示す斜視図である。本実施例のロボット 100は、体幹 103と、肩関節 203を介して体幹 103に接続された一本の接続部位 (アーム） 104を有している。接続部位 104は、 2本以上が存在していてもよい。体幹 103は、胴体 200と、首関節 202と、頭部 201を備えており、頭部 201に体幹側カメラ 105 (a)および 105 (b)が固定されている。体幹側カメラ 105 (a )および 105 (b)は、首関節 202によって、胴体 200に対する撮像方向を変えることができる。胴体 200の下方には 1対の車輪 206が配置されており、車輪 206を利用して移動する。

接続部位 104は、肩関節 203と、肘関節 204と、手首関節 205を備えており、掌に接続部位側カメラ 106が固定されている。肩関節 203と、肘関節 204と、手首関節 20 5は駆動機構を有しており、接続部位側カメラ 106は、肩関節 203と、肘関節 204と、手首関節 205によって、胴体 200に対する撮像方向を変えることができる。また胴体 200に対する接続部位側カメラ 106のカメラ位置を変えることもできる。

このロボットは、作業環境内におえる頭部 201の位置を計測する手段を備えており、体幹側カメラ 105 (a)および 105 (b)のカメラ位置と撮像方向を認識して、る。また、胴体 200に対する接続部位側カメラ 106のカメラ位置と撮像方向を認識している。本実施例のロボット 100は、周囲物体 30, 40, 50, 60を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物 20を空いたスペースに設置する。ロボット 100の体幹側カメラ 105 (a)および 105 (b)は通常、ステレオカメラとして機能していて、図中の点 A、 B、 C、 Dは、ロボット 100の視点である。

図 13は、本実施例のステレオカメラを用いたロボット 100の周囲を認識する機構 10 1の概略を示す図である。本実施例のロボット 100は、制御装置 114を有している。制御装置 114は、画像情報処理装置 116と、環境地図記憶装置 112と、移動経路作成装置 113と、体幹側カメラ位置撮像方向計算装置 111と、接続部位側カメラ位置撮像方向計算装置 109を備えている。画像情報処理装置 116は体幹 103に設けられてヽる体幹側カメラ 105 (a)および 105 (b)から体幹側画像情報を入力し、接続部位 104に設けられている接続部位側カメラ 106から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置 111から体幹側カメラ 105 (a)および 105 (b)の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置 109から接続部位側カメラ 106の位置と撮像方向を入力し、これらの画像情報およびカメラ位置と撮像方向に関する情報から、環境地図を作成し、環境地図記憶装置 112に記憶する。移動経路作成装置 113は、その環境地図情報に基づき、その後の移動経路を作成し、作成した移動経路情報にしたがって、車輪 206と駆動機構を有する関節を回転させるァクチユエータ群 115を制御し、作成した移動経路に沿って、車輪 206、頭部 20 1、接続部位 104を移動させる。ロボット 100は、車輪 206の回転数を検出する車輪回転数検出装置 119と、各関節の関節角を検出する関節角検出装置 123と、胴体 2 00内に設置されて、て胴体 200の位置を検出する位置情報検出装置 121を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置 111と接続部位側カメラ位置撮像方向計算装置 109に入力される。

ロボット 100は、位置と撮像方位が既知のカメラで撮像した画像情報力も周囲の環境を認識して移動経路を計算し、計算した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像するという処理を繰返しながら、自律的に移動する。

図 14に、ロボット 100の視野の鳥瞰図を示す。ロボット 100の接続部位 104とその把持物 20が体幹側カメラ 105 (a)および 105 (b)の視野内に入ってしまうと、その後ろにある環境情報を得ることができな、。

具体的には、図 14の例において、点 Aおよび点 Bは、実線矢印で示すように体幹側カメラ 105 (a)および 105 (b)の両方より撮像可能であるため、体幹側画像からステレオ画像が生成可能となっており、ロボットの移動に合わせてその情報を時系列上連続して取得することができる。

それに対し、点 Cおよび点 Dに関しては、体幹側カメラだけでは下肢の移動位置もしくは接続部位の動作によって、それぞれの点の体幹側カメラ 105 (a)および 105 (b )を利用したステレオ視が不可能となり、その周囲についての環境情報を取得することができない。破線矢印は、接続部位あるいは把持物体が視線を遮るため、同じ特徴点を有する画像を撮像することができな、ことを示して、る。

ステレオカメラの場合、特に周囲物体の奥行きや高さなどの情報を必要とする場合は、複数の位置情報が既知のカメラを利用する力、あるいは 1台のカメラが移動しな力撮像した場合のように、複数の画像力も視差情報が得られることが必須となる。このため、点 Cおよび点 Dは両眼視ができないことから、点 Cおよび点 D付近の物体の位置関係を認識することができな、。

[0035] このような場合、本実施例は、点 Cおよび点 Dの視点のように、視界を遮る物体の有無等により、体幹側カメラ 105のいずれかがステレオカメラとして満足に機能することが困難な場合には、いずれかの体幹側カメラ 105と接続部位側カメラ 106を用いてステレオ画像を得ることができる。

具体的には、点 Aおよび点 Bの周辺など、接続部位 104などの視野を遮る物体がない場合には体幹側カメラ 105 (a)および 105 (b)によりステレオ画像を取得し、周囲物体のロボット 100に対する相対的な位置関係を計算することができる (第 1計算手段)。その一方で、点 Cのような場合には体幹側カメラ 105 (b)と接続部位側カメラ 10 6により両眼視し、点 Dの場合には体幹側カメラ 105 (a)と接続部位側カメラ 106により両眼視をすることにより、周辺環境全域を認識するのに必要な情報を得、周囲物体のロボット 100に対する相対的な位置関係を計算することができる (第 2計算手段)。

[0036] 接続部位側カメラ 106を使って両眼視をする場合、複数ある体幹側カメラのうち、どのカメラを使ってステレオ画像を取得するかは、接続部位 104の撮像される範囲が最も少ない体幹側画像が取得される体幹側カメラを計算に用いるよう選択することができる。この選択は、画像情報処理装置 116が判断する。

[0037] 図 15に、本実施例のロボットの動作概要を表わすフローチャートを示す。このとき、ロボット 100は把持物 20を把持しており、それを物体 30, 40, 50および 60に衝突しなヽ接続部位軌道を作成し、把持物 20を空ヽたスペースに設置する作業を実行したい。ロボット 100の接続部位 104は図 14に示すような位置にあり、このような状態を表す画像が体幹側カメラ 105 (a)および 105 (b)の位置より撮像されて!、る。接続部位 104の軌道を作成するにあたって、物体 50および物体 60の一部が接続部位 104 および把持物 20により未知となっているため、図 15に示す画像情報処理を開始するステップ S500では、体幹側カメラ 105 (a)と 105 (b)および接続部位側カメラ 106により撮像された複数の画像が画像情報処理装置 116へ入力され、ステレオ画像が取得される。画像情報処理装置 116は、体幹側画像の未知範囲の大きさにより、接続部位側画像を利用するかどうかを判断してもよぐ接続部位 104によって遮られ、未知範囲となる範囲がより少ない画像の組み合わせ力ステレオ画像を得る手段を有している。

[0038] ステップ S502では、ステップ S500で選択され、取得されたステレオ画像に基づきロボット 100の周囲物体の相対的な位置を計算する。画像データはワールド座標系力ロボットを中心とする座標系に変換され、周囲物体の位置関係が計算され、ロボット 100と周囲物体の相対的位置情報として出力される。例として、この相対的位置情報の取得には、視差画像や距離画像を用いてもょ、。

このとき、体幹側画像どうしからステレオ画像情報を得る場合と、体幹側画像と接続部位側画像を利用してステレオ画像を得る場合とで、それぞれに第 1計算手段および第 2計算手段という、異なる計算手段を用意することが望ましい。体幹側カメラどうしは並行であるが、体幹側画像と接続部位側画像を利用した計算手段は、それぞれのカメラの相対位置が異なるため、例えばステレオ画像の平行ィ匕ゃノヽンド 'アイ校正のような座標系の変換などが適用できる。

[0039] 画像処理装置 116において算出された相対的位置情報は、ステップ S504において周囲物体の相対的位置を表わすデータとして構築され、環境地図記憶装置 112 に記憶される。環境地図とは、ロボット 100が周囲物体の相対的位置を把握できるようなデータを指す。例えば、画像情報処理装置 116において視差画像を算出するような場合は、この環境地図は画像視差空間（SDS空間 Spacial Disparity Space)により表わすことが可能である。 SDS空間においては、点 A、点 B、点 Cおよび点 Dを有する周囲物体 30, 40, 50, 60は奥行きのある曲面として表れてくる。

[0040] ステップ S506では、環境地図情報に基づいてロボット 100の移動経路を作成する。本実施例のロボット 100は、周囲物体 30, 40, 50, 60を視覚により認識し、それらに衝突しなヽ接続部位軌道を作成し、把持物 20を空、たスペースに設置することを作業目的としているため、このような場合は環境地図情報より周囲物体が存在しない平面を検出し、そこへ把持物 20を設置できるような接続部位の軌道を作成することが望ましい。作成された移動経路に沿って、ステップ S508では、ァクチユエータ 115により実際の動作が実現される。

[0041] 図 16に、ロボット 100の画像情報処理を表わすフローチャートを示す。図 15のステップ S500のスレテオ画像の取得方法は、複数の体幹側画像を使って取得する方法と、体幹側画像の!ヽずれかと接続部位側画像を使って取得する方法の 2手法が存在する。ステップ S160では、体幹側カメラ 105 (a)と 105 (b)により撮像された複数の体幹側画像と、接続部位側カメラ 106により撮像された接続部位側画像が画像情報処理装置 116に入力される。ステップ S162では、体幹側画像に接続部位 104が撮像されているかを判断する。接続部位が撮像されていない場合 (NOの場合）はステツプ S164に移行し、体幹側画像どうしからステレオ画像を取得し、第 1計算手段を実行する。一方で、体幹側画像に接続部位が撮像されている場合は (YESの場合）はステップ S 166に進み、、ずれかの体幹側画像と接続部位側画像からステレオ画像を取得し、第 2計算手段を実行する。ステップ S166で選択される体幹側画像は、接続部位の撮像されて、る範囲がより小さ！、方の体幹側画像である。

[0042] 本実施例では、体幹および接続部位に合計 3台のカメラを用いて周囲物体の 3次元情報を得る場合を例示しているが、より多くのカメラを用いても良いし、 1台の接続部位側カメラが移動することで連続して撮像するような手法を採っても良い。

[0043] 本実施例では静的な周囲物体を認識する場合について例示したが、移動経路作成装置 113において作成された経路に沿って接続部位が動作を開始した後に、新たな障害物となる周囲物体が移動経路上に出現した場合や、周囲物体とロボットの位置が下肢の移動等により変化し、接続部位の軌道に修正が必要となった場合に対応することができない。

[0044] (実施例 3)

図 17に、動的な周囲物体に対応することができるロボット機構 101のブロック図を示す。このロボット機構 101は、実施例 2のロボット機構に、さらに接続部位の起動に修正を加える移動経路修正装置 125を設けることで、一度発令された経路を適宜修正することができる。

また、適宜周辺環境のデータを更新することで、接続部位の動作と周囲の環境の変化を同時に、連続して認識し、それに応じて軌道を修正することができる。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

例えば、アームだけでなぐ脚などの複数の接続部位にそれぞれ、あるいは 1本の接続部位の異なる部位に接続部位側カメラを回転可能に複数個装備すれば、撮像可能な範囲がより拡大される。

また、実施例 2では体幹側カメラを主眼としたステレオ視について例示した力複数の接続部位側カメラを用いてステレオ視を可能にし、体幹側カメラと接続部位側カメラそれぞれのステレオ画像処理装置を装備することで、さらに多様な用途に利用することができる。

本明細書または図面に説明した技術要素は、単独である、は各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項に記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims

請求の範囲

[1] 体幹と、

駆動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている体幹側カメラと、

接続部位に設けられている接続部位側カメラと、

体幹側カメラで撮像して得られた体幹側画像の一部を、接続部位側カメラで撮像して得られた接続部位側画像の一部に置き換えることで、体幹側画像中から接続部位を除去した合成画像を作成する合成画像作成手段と、

を備えて、る移動型ロボット。

[2] 合成画像作成手段は、

体幹側画像内におヽて接続部位を撮像してヽる範囲を特定する第 1特定手段と接続部位側画像内において、第 1特定手段で特定した範囲に対応する範囲を撮像して!/、る範囲を特定する第 2特定手段と、

第 1特定手段で特定した範囲内の体幹側画像を、第 2特定手段で特定した範囲内の接続部位側画像に置き換える手段と、

を備えている請求項 1の移動型ロボット。

[3] 体幹側カメラが複数設けられており、

合成画像作成手段は、それぞれの体幹側カメラで撮像した体幹側画像に対して、合成画像を作成する請求項 1の移動型ロボット。

[4] 合成画像作成手段で作成した合成画像を用いて、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する手段、

をさらに備えて、る請求項 1の移動型ロボット。

[5] 体幹側カメラの撮像範囲内に接続部位が入る場合に、接続部位側カメラが体幹側カメラの撮像範囲内を撮像する方向を向くように、接続部位側カメラの向きを調整する手段、

をさらに備えている請求項 1のいずれかの移動型ロボット。

[6] 体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位と、

体幹に設けられている 2以上の体幹側カメラと、

接続部位に設けられている接続部位側カメラと、

2以上の体幹側カメラで撮像した 2以上の体幹側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第 1計算手段と、体幹側カメラの少なくとも 1つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第 2計算手段と、

を備えて、る移動型ロボット。

前記第 2計算手段は、

接続部位を撮像してヽる範囲が最も少な、体幹側画像を選択して計算に用いる請求項 6の移動型ロボット。