JPH11213166A

JPH11213166A - 物体検知装置およびパターン認識装置および動作制御装置

Info

Publication number: JPH11213166A
Application number: JP10014029A
Authority: JP
Inventors: Miwako Doi; 美和子土井; Akira Morishita; 明森下; Naoko Umeki; 直子梅木; Shunichi Numazaki; 俊一沼崎
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-01-27
Filing date: 1998-01-27
Publication date: 1999-08-06
Anticipated expiration: 2018-01-27
Also published as: JP3660492B2; US6456728B1; US20020028001A1

Abstract

(57)【要約】【課題】高速でローバストな物体検知が可能となり、し
かも小型化が容易に行える物体検知装置およびそれを用
いたパターン認識装置および動作制御装置を提供する。【解決手段】特性の異なる画像を取得する複数の画像取
得手段と、この複数の画像取得手段のうちの少なくとも
１つで取得された画像に基づき対象物あるいは該対象物
の動きを検知する検知手段と、を具備し、前記複数の画
像取得手段で取得された複数の画像のうちの少なくとも
１つは距離画像であることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、人間の動
作に応じて走行したり、予め定められた動作を繰り返す
ロボットやぬいぐるみ等のおもちゃなどに組み込まれる
物体検知装置に関する。

【０００２】

【従来の技術】従来、ぬいぐるみやおもちゃなどでは、
人の動きに反応して動くようにするには、自動ドアなど
と同様に赤外線を用いるものと、超音波を用いるもの
と、音により反応するものとがある。

【０００３】赤外線を用いるものは、人が近づくこと
で、照射されている一筋の赤外線が遮られることを利用
している。このような方式では、ぬいぐるみやおもちゃ
を動かす意図なく、近づいた場合にも、赤外線がさえぎ
られ、無用に反応してしまうという問題点があった。ま
た、赤外線の照射源と受光源の間に一定距離があること
が必要であるので、小型化などには適さなかった。

【０００４】超音波によるものは、超音波を発し、それ
が反射されることで、人が近づいたことを検知するよう
になっている。がこれも、赤外線の場合と同様に、単に
遮られたかどうかだけを検知しているので、ぬいぐるみ
やおもちゃを動かす意図なく、近づいた場合にも、超音
波がさえぎられ、無用に反応してしまうという問題点が
あった。

【０００５】また、音により反応する方式では、音を小
型マイクロフォンにより検知し、電気信号に変換し、そ
れにより動かすようにしている。が、赤外線や超音波と
同様に、単に遮られたかどうかだけを検知しているの
で、ぬいぐるみやおもちゃを動かす意図なく、ぬいぐる
みやおもちゃのそばで音を出してしまうと、無用に反応
してしまうという問題点があった。

【０００６】一方、掃除ロボットなど周囲を検知し、障
害物をよけて自走するようなロボット等の自走装置で
は、障害物を検知するために超音波による検知方法や、
画像処理による検知方法、あるいはこの両者を併用して
用いている。

【０００７】この場合、超音波による検知方法では、２
カ所から超音波を発し、三角測量の要領で対象物までの
距離を測定するという、おもちゃやぬいぐるみに比べる
と、高価だが、高精度な障害物の検知が行える。が、こ
の超音波による測定方法では、何らかの物体が測定した
距離に存在していることはわかるが、その物体の大きさ
や形状などはわからない。従って、どのようなよけかた
をすべきかの計画を立てにくいという問題点がある。そ
こで、あらかじめ、ロボットが自走する場所の地図を記
憶させておき、自身の位置と向きから、検知した対象が
地図上のどの物体に相当するかを推定し、自走計画を立
てるようになっている。従って、あらかじめ、地図のわ
かっていない場所では、うまく機能できないと言う問題
点があった。

【０００８】一方、ＣＣＤカメラなどを用いて撮像した
画像を解析して、場所に存在する物体を認識する方法も
とられている。この方法では、進行方向をまず、ＣＣＤ
カメラなどの撮像装置を用いて撮影する。その画像から
背景などの余計な部分を取り除き、障害物となる物体な
ど認識したい対象のみを切り出すという前処理を行う。
そして、その処理後の画像を用いることで、物体の形状
などを認識する。

【０００９】まず、この認識対象の切り出しという前処
理部分について説明する。カメラで撮影した画像から、
取得したい対象物の画像のみを切り出す方法として、対
象物と、それ以外の部分画像領域の何らかの相違点を手
がかりとして対象物の切り出しが行われていた。

【００１０】この手掛かりとして、色相の変化を利用す
る方法、差分画像を利用する方法などが用いられてい
る。色を使って切り出す場合、色相差の大きな部分を抜
き出し、細線化などの処理を行い、エッジを抽出する。
室内の場合、エッジは、壁と柱の境界、ドア、床と壁の
境界である。これらは、奥行き方向に消失点に向かっ
て、斜めになってはいるが基本的には、垂直と水平の直
線として、物体を認識していく。それを乱すものがあれ
ば、建造物以外の障害物があると見なすのである。が、
色相差を用いる方法は、床や壁、ドアの色相が近いと明
確に区別するのは難しく、顕著な汚れがあると、それを
誤ったりする。また、照明が変われば、色調が変化して
しまうために、定常的に切り出すことは困難である。ま
た、照明が全くない状態では、撮像画像は全部暗くなっ
てしまうので、人間でも暗闇で撮影した写真から物体を
判別することは難しい。

【００１１】ビデオ画像のフレーム間の動きベクトルを
算出し、動いている物体を解析する方式もある。この場
合、動いている物体が少ないうちは問題ないが、動いて
いる物体が多いと、動きベクトルの数が急に増え、フレ
ーム間の動きベクトルの算出処理の負荷が増し、リアル
タイムな物体検知処理が行えない。

【００１２】このような画像処理のみによる方法を補う
ために、超音波による距離算出方法とを併用することも
行われている。が、超音波による距離算出方法では、点
の観測であり、面として取得した画像すべてを補う情報
を得ることは難しい。

【００１３】以上説明したように、従来の撮像手段によ
り画像を取得して解析する方法では、解析の流れ、解析
すべき情報が固定的であるため、対象となる画像が外部
の条件に応じて刻々に変化してしまったときに、特定の
処理部に負荷がかかり、解析がその変化に追随できなく
なるという問題が生じていた。

【００１４】このような問題を解決するための１つの方
法は、負荷が増えてもリアルタイム（例えば、秒３０枚
の処理）に対応できるように、高性能の計算機や高速の
伝送系を用いるなどの工夫が行われている。が、このよ
うな高性能の計算機をロボットましてやおもちゃ等の小
型な装置に搭載することは困難である。

【００１５】

【発明が解決しようとする課題】以上説明したように、
物体そのものや物体の動きを検知するための従来の画像
処理による物体検知方法を用いた物体検知装置では、刻
々と変動する外部条件に対して、低価格でかつローバス
トな解析をおこなうことは難しかった。変動する外部条
件に対してもローバストな解析を行えるようにするに
は、高性能計算機や、高速伝送系を用いるため、コスト
がかかりすぎ、例えば、障害物をよけて自律走行した
り、人の動きに応じて行動するようなロボットやぬいぐ
るみ、おもちゃなどの機能を集約した簡易な自動装置に
は使えないという問題点があった。

【００１６】また、ボクシングゲームなどの遊戯具に上
記物体検知装置を組み込んだ場合には、ユーザがゲーム
に夢中になるあまり、物体検知装置を誤って投打してし
てしまい、破損する危険性があった。また、画像の取得
できる限界接写距離よりも近傍に手や体の一部が入り込
み、正常な画像取得が妨げられると言う問題もあった。

【００１７】そこで、本発明は、上記問題点に鑑み、高
速でローバストな物体検知が可能となり、しかも小型化
が容易に行える物体検知装置およびそれを用いたパター
ン認識装置および自動装置を提供することを目的とす
る。

【００１８】

【課題を解決するための手段】本発明の物体検知装置
は、距離画像を取得する画像取得手段と、この画像取得
手段が取得した距離画像に基づき対象物あるいは該対象
物の動きを検知する検知手段と、を具備したことによ
り、高速でローバストな物体検知が可能となり、しかも
小型化が容易に行える。

【００１９】（請求項１）本発明の物体検知装置は、特
性の異なる画像（例えば、距離画像／２次元画像、画像
の取得可能距離が異なる等）を取得する複数の画像取得
手段と、この複数の画像取得手段のうちの少なくとも１
つで取得された画像に基づき対象物あるいは該対象物の
動きを検知する検知手段と、を具備したことにより、高
速でローバストな物体検知が可能となり、しかも小型化
が容易に行える。また、例えば、遠方にある物体を識別
したり、色情報を取得したい場合には、それに応じた画
像を取得して、距離画像と組み合わせて目標物あるいは
目標物の動きを検知することにより、より精度の高い物
体検知が可能となる。

【００２０】（請求項５）本発明の動作制御装置は、距
離画像を取得する画像取得手段と、前記画像取得手段が
取得した距離画像に基づき対象物あるいは該対象物の動
きを検知する検知手段と、この検知手段での検知結果に
基づき動作を制御する制御手段と、を具備したことによ
り、高速でローバストな物体検知が可能となり、しかも
小型化が容易に行える。

【００２１】（請求項６）本発明の動作制御装置は、特
性の異なる画像（例えば、距離画像／２次元画像、画像
の取得可能距離が異なる等）を取得する複数の画像取得
手段と、この複数の画像取得手段のうちの少なくとも１
つで取得された画像に基づき対象物あるいは該対象物の
動きを検知する検知手段と、この検知手段での検知結果
に基づき動作を制御する制御手段と、を具備したことに
より、高速でローバストな物体検知が可能となり、しか
も小型化が容易に行える。また、例えば、遠方にある物
体を識別したり、色情報を取得したい場合には、それに
応じた画像を取得して、距離画像と組み合わせて目標物
あるいは目標物の動きを検知することにより、より精度
の高い物体検知が可能となる。

【００２２】（請求項９）本発明のパターン認識装置
は、反射光の強度分布としての反射光画像を取得する画
像取得手段と、この画像取得手段で取得された反射光画
像と被写体の反射率とに基づき該反射光画像から予め定
められたパターンを認識する認識手段と、を具備したこ
とにより、高速でローバストなパターン認識が可能とな
り、しかも小型化が容易に行える。

【００２３】（請求項１０）前記画像取得手段は、対象
物が該画像取得手段の画像取得の限界接写距離よりも接
近せず、しかも該対象物に衝突されることがないように
配置されていることにより、体験型ゲーム装置等の娯楽
設備に本発明の物体検知装置を適用した場合に、距離画
像取得手段を誤って投打されたりして破損することを防
ぐことができるだけでなく、画像取得の限界内に手や身
体、バットなどの物体の一部がはいり、正常な処理を妨
げるようなこともなくなる。

【００２４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。（第１の実施形態）図１は、本発明の第１の実施形態に
係る物体検知装置を用いた動作制御装置、すなわち、例
えば、距離画像から予め定められた目標物を検知して、
当該目標物と予め定められた距離間隔を維持しながら自
走するロボットの構成例を示している。

【００２５】図１に示すように、第１の実施形態に係る
動作制御装置は、反射光を受光し、距離画像を取得す
る、例えば、特願平９−２９９６４８号に記載されてい
る距離画像取得部１と、取得された距離画像を解析し、
目標物の抽出や目標物までの距離の算出等を行う画像処
理部２と、画像処理部２の解析結果に基づき、自走部４
への自走のパラメータの設定、指示を行う自走制御部３
と、自走制御部３からの指示に基づき、実際に本体を移
動、回転等させるための機構を備えた自走部４と、画像
処理結果や自走の状態などを呈示する、例えば小型の液
晶パネルなどから構成される呈示部５とから構成されて
いる。

【００２６】ここで、距離画像取得部１および、距離画
像取得部１にて取得される距離画像について簡単に説明
する。距離画像取得部１は、図２に示すように、主に、
発光部１０２、受光部１０３、反射光抽出部１０２、タ
イミング信号生成部１０４から構成される。

【００２７】発光部１０１は、タイミング信号生成部１
０４にて生成されたタイミング信号に従って時間的に強
度変動する光を発光する。この光は発光部前方にある対
象物体に照射される。

【００２８】受光部１０３は、発光部１０１が発した光
の対象物体による反射光の量を検出する。反射光抽出部
１０２は、受光部１０３にて受光された反射光の空間的
な強度分布を抽出する。この反射光の空間的な強度分布
は画像として捉えることができるので、以下、これを反
射光画像あるいは距離画像と呼ぶ。

【００２９】受光部１０３は一般的に発光部１０１から
発せられる光の対象物による反射光だけでなく、照明光
や太陽光などの外光も同時に受光する。そこで、反射光
抽出部１０２は発光部１０１が発光しているときに受光
した光の量と、発光部１０１が発光していないときに受
光した光の量の差ををとることによって、発光部１０１
からの光の対象物体による反射光成分だけを取り出す。

【００３０】反射光抽出部１０２では、受光部１０３に
て受光された反射光から、その強度分布、すなわち、図
３に示すような反射光画像（距離画像）を抽出する。図
３では、簡単のため、２５６×２５６画素の反射光画像
の一部である８×８画素の反射光画像の場合について示
している。

【００３１】物体からの反射光は、物体の距離が大きく
なるにつれ大幅に減少する。物体の表面が一様に光を錯
乱する場合、反射光画像１画素あたりの受光量は物体ま
での距離の２乗に反比例して小さくなる。

【００３２】反射光画像の各画素値は、その画素に対応
する単位受光部で受光した反射光の量を表す。反射光
は、物体の性質（光を鏡面反射する、錯乱する、吸収す
る、など）、物体の向き、物体の距離などに影響される
が、物体全体が一様に光を錯乱する物体である場合、そ
の反射光量は物体までの距離と密接な関係を持つ。手な
どは、このような性質をもつため、距離画像取得部１の
前方に手を差し出した場合の反射光画像は、手までの距
離、手の傾き（部分的に距離が異なる）などを反映する
図４に示したような３次元的なイメージを得ることがで
きる。

【００３３】さて、本実施形態の説明に戻り、図５
（ａ）は、図１に示すような構成のロボットの外観例を
示したもので、図５（ｂ）は、このロボットの目を拡大
して示したものである。この目の部分には、画像取得部
１の発光部１０１、受光部１０３が具備されている。

【００３４】図５（ｂ）において、目の中央部には円形
レンズとその後部にあるエリアセンサ（図示せず）から
構成される受光部１０３が配置され、円形レンズの周囲
にはその輪郭に沿って、赤外線などの光を照射するＬＥ
Ｄから構成される発光部１０１が複数（例えば６個）等
間隔に配置されている。

【００３５】発光部１０１から照射された光が物体に反
射され、受光部１０３のレンズにより集光され、レンズ
の後部にあるエリアセンサで受光される。エリアセンサ
は、例えば２５６×２５６のマトリックス状に配列され
たセンサで、マトリックス中の各センサにて受光された
反射光の強度がそれぞれ画素値となる。このようにして
取得された画像が、図３に示すような反射光の強度分布
としての距離画像である。

【００３６】図３は、距離画像データの一部（２５６ｘ
２５６画素の一部の８ｘ８画素）を示したものである。
この例では、行列中のセルの値（画素値）は、取得した
反射光の強さを２５６ビットで示したものである。例え
ば、「２５５」の値があるセルは、画像取得部１に最も
接近した状態、「０」の値があるセルは、画像取得部１
から遠くにあり、反射光が画像取得部１にまで到達しな
いことを示している。

【００３７】図３（ｂ）は、図３（ａ）に示したような
マトリックス形式の距離画像データ全体を３次元的に示
したものである。この例では、人間の手の距離画像デー
タの場合を示している。

【００３８】次に、図８に示すフローチャートを参照し
て、図１に示すような構成のロボット（図５参照）の処
理動作について説明する。まず、電源の投入、動作の開
始指示にて起動されると回転フラグＩを「０」にセット
するなどして初期化処理を行う（ステップＳ１）。そ
の後、図５（ｂ）に示したような発光部１０１、受光部
１０３を用いて距離画像取得部１において、例えば、１
秒間に３０枚（通常のビデオ映像と同様の速さ）の距離
画像を取得する（ステップＳ２）。図３に示すようなマ
トリックス形式の距離画像は、画像処理部２に送られ
る。

【００３９】画像処理部２では、まず、画素値が予め定
められた所定値以下のセルを除き、例えば、図６に示す
ような撮像された物体の輪郭情報を生成することによ
り、物体を抽出する（ステップＳ３）。

【００４０】図６のような輪郭情報を生成するには、隣
り合う画素の画素値を比較し、画素値が一定値α以上の
ところだけに定数値を入れて、同じ定数値が割り振られ
た連続した画像領域の画素を抽出すればよい。

【００４１】すなわち、（ｉ、ｊ）の画素値をＰ（ｉ、
ｊ）とし、生成する輪郭情報の画素値をＲ（ｉ、ｊ）と
すると、・｛Ｐ（ｉ、ｊ）−Ｐ（ｉ−１、ｊ）｝＞α、かつ｛Ｐ
（ｉ、ｊ）−Ｐ（ｉ、ｊ−１）｝＞α、かつ｛Ｐ（ｉ、
ｊ）−Ｐ（ｉ＋１、ｊ）｝＞α、かつ｛Ｐ（ｉ、ｊ）−
Ｐ（ｉ、ｊ＋１）｝＞αのとき、Ｒ（ｉ、ｊ）＝２５５・上記以外のとき、Ｒ（ｉ、ｊ）＝０とすることによ
り、図６のような輪郭情報を得ることができる。

【００４２】このようにして距離画像から抽出された物
体が、予め定められた目標物であるかどうかの判定は、
画像処理部２が具備している、例えば、図７に示したよ
うな形式で記憶されている認識辞書にあるパターンと上
記輪郭情報とのマッチングにより行う（ステップＳ
４）。

【００４３】図７に示すように、認識辞書には、予め定
められた目標物の形状パターン（物体に動きがある場合
には、その動きに応じた複数の形状パターン）が記憶さ
れている。

【００４４】認識辞書にあるパターンのうちの１つと抽
出された輪郭情報とが一致し、当該目標物であると判定
されたとき、次に、当該目標物までの距離ｄを算定す
る。このとき、回転フラグＩを「０」にクリアする（ス
テップＳ５）。

【００４５】距離ｄの算定は、まず、抽出できた目標物
の画像の代表画素値を求める。代表画素値としては、平
均値、最近傍値などいくつかあるが、ここでは、最近傍
値を使うとする。目標物からの反射光の強さは目標物ま
での距離の２乗に反比例して小さくなる。すなわち、目
標物の画像の代表画素値をＱ（ｉ、ｊ）とすると、Ｑ（ｉ、ｊ）＝Ｋ／ｄ² …（１）と表すことができる。

【００４６】ここで、Ｋは、例えば、ｄ＝０．５ｍのと
きに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整
された係数である。式（１）をｄについて解くことで、
距離値を求めることができる。

【００４７】自走制御部３では、画像処理部２にて求め
られた対象物までの距離ｄに基づき自走部４を制御す
る。すなわち、求められた距離ｄが目標物との間に予め
定められた距離Ｄより小さければ、目標物から予め定め
られた距離間隔内にいると判断できるので（ステップＳ
６）、自走制御部３は、自走部４に対しては何もせず
に、そのままステップＳ２に戻り、上記距離画像取得動
作を継続する。

【００４８】一方、求められた距離ｄが、目標物との間
に予め定められた距離Ｄより大きければ、目標物から離
れてしまったことになるので、その場合は、差分（ｄ−
Ｄ）だけの前進指示を自走部４に対し指示する（ステッ
プＳ７）。この指示に従って、自走部４が駆動されて、
ロボットが前進し、目標物と予め定められた距離間隔Ｄ
に到達した際、その旨を呈示部５に呈示する（ステップ
Ｓ８）。その後、動作終了指示が成されるまで（ステッ
プＳ９）、ステップＳ２に戻り上記画像取得動作を継続
する。

【００４９】ステップＳ４にて、認識辞書にあるパター
ンに輪郭情報と一致するものがなく、当該目標物を検知
することができなかったときには、回転動作を行う。そ
の際、まず、回転フラグＩに「１」を加算する（ステッ
プＳ１０）。

【００５０】例えば、１回の回転角を３０度とすると、
回転フラグＩが「１２」を越えたときには、すでに１周
したことを意味する。従って、１周しても目標物を検知
できなかったときは、その旨を呈示部５に呈示して処理
を終了する（ステップＳ１１、ステップＳ１３）。

【００５１】ステップＳ１１にて、回転フラグＩが「１
２」以下であるときは、ステップＳ１２に進み、自走制
御部３は自走部４に対し回転指示を出す。この回転指示
が出される度に、ロボットは３０度づつ回転することに
なる。そして、ステップＳ２に戻り、上記同様距離画像
の取得動作を継続する。このようにロボットは、距離画
像に目標物が検知されるまで、周囲を見回せるように回
転し、画像取得を行い、目標物の探索をおこなうように
なっている。

【００５２】なお、ステップＳ９では、予め定められた
操作を行う以外に、ロボットの目の部分を覆って真っ暗
にすることで（受光部１０３に入力するような光を遮断
することで）、ロボットの行動を停止することもでき
る。

【００５３】以上説明したように、上記第１の実施形態
によれば、３次元情報の得られる距離画像を用いること
により画像処理が単純化され、高速でローバストな物体
検知が可能となり、しかも小型化が容易に行える。

【００５４】なお、上記第１の実施形態では、図５に示
したような形状のロボットについて説明したが、この場
合に限らず、例えば、犬の形状のロボットであって、常
に、飼い主の左側にいるように設定することも可能であ
るし、あるいは、ボールの形状にし、常に、持ち主のあ
とを転がりながらついていくようなおもちゃにすること
も可能である。

【００５５】前者および後者の場合、例えば、距離画像
の取得範囲を予め定められた方向範囲となるように調節
し、あるいは、回転角度を限定し、その範囲内で取得さ
れた距離画像に必ず目標物が検知できるように自走制御
部３を介して自走部４を制御するようにすればよい。

【００５６】また、上記第１の実施形態では、単純に一
定距離内に追随するよう自走する例について述べたが、
必ずしもこれに限定されるものではない。例えば、図９
に示すように、図１の自走制御部３と自走部４をそれぞ
れ動作制御部６と動作部７に置き換えて、自走する以外
にも、歌を歌う、あいずちをうつ、首を振る等の任意の
動作をさせることも可能である。また、距離画像取得部
１ではリアルタイムに画像を取得できる（例えば１秒間
に３０枚距離画像を取得できる）ことを利用して、人の
動作を検知し、それを模倣し、同じ動作をするように動
作制御部６が動作を制御するようにすることも可能であ
る。また、予め動作制御部６に認識辞書として記憶させ
ている身振りのパターンと同じ身振りを人がしたとき
に、それぞれの身振りに対応した踊り、動作（歌を歌
う、あいずちをうつ、首を振るなど）させることも可能
である。あるいは、認識してほしい身振り動作のパター
ンを覚えさせ（例えば、当該ロボット等に具備されてい
る距離画像取得部１、ＣＣＤカメラ等を用いてその身振
りの画像を撮像し、その画像データを動作制御部６のメ
モリに認識パターンとして記憶させる）、その身振りに
対応して予め定められた動作、すなわち、踊ったり、何
かおしゃべりをさせることも可能である。

【００５７】また、目標物に反射係数の大きなマーカ等
を付け、遠方でも距離画像取得部１による距離画像取得
が可能なようにして、使用することも可能である。（第２の実施形態）第１の実施形態で説明した距離画像
は、反射光を用いてるため、遠方になると画像の取得が
難しいという問題がある。また、距離画像を得ることは
できるが、反射光であるために、色情報の取得ができな
いという問題がある。このような問題を解決するため
に、距離画像取得部１の他に通常の２次元画像を取得す
るＣＣＤカメラなどの２次元画像取得部２２を組み合わ
せて用いることにより、互いの難点を補間しあうもの
が、第２の実施形態に係る物体検知装置を用いた動作制
御装置である。

【００５８】図１０は、第２の実施形態に係る動作制御
装置の構成例を示したものである。図１０に示す動作制
御装置は、第１の実施形態で説明した、反射光を受光し
距離画像を取得する距離画像取得部１の他に、ＣＣＤカ
メラ等の被写体までの距離情報を含まない通常の写真画
像と同様な２次元の画像を取得する２次元画像取得部２
２と、取得された距離画像、２次元画像を解析し、目標
物の抽出や目標物までの距離の算出等を行う画像処理部
２３と、画像処理部２３の解析結果に基づき、動作部４
への動作パラメータの設定、指示を行う動作制御部２４
と、動作制御部２４からの指示に基づき本体を移動、回
転等させるための機構を備えた動作部２５と、画像処理
結果や動作の状態などを呈示する、例えば、小型の液晶
パネルなどから構成される呈示部２６とから構成されて
いる。

【００５９】動作部２５では、自走する、歌を歌う、あ
いずちをうつ、首を振る、人と同じ身振りを行う等の任
意の動作を行わしめるもので、ここでは、第１の実施形
態の場合と同様、動作部２５にて走行動作を行う場合を
例にとり説明する。

【００６０】図１０に示す動作制御装置は、例えば、図
５に示したような形状のロボットであってもよい。次
に、図１１に示すフローチャートを参照して、図１０に
示したような構成の動作制御装置の処理動作について説
明する。なお、図１１において、図８と同一部分には同
一符号を付し、異なる部分について説明する。

【００６１】図１１において、ステップＳ１からステッ
プＳ９までの距離画像から目標物が検知された場合の処
理は図８と同様である。ここでは、図１０の動作制御装
置は比較的狭い範囲で稼働する場合を想定しているの
で、距離画像取得部１、２次元画像取得部２２のうち、
距離画像取得部１が主体的に使われる場合を示す。逆に
広い範囲で稼働する場合には、遠方での画像取得が得意
な２次元画像取得部２２が主体的に活動するようになる
ので、図１１に示すフローチャートとは若干異なる（後
述する）。

【００６２】さて、ステップＳ４にて、距離画像から目
標物が検知できなかったとき、図８と同様、回転フラグ
Ｉに「１」を加算し（ステップＳ１０）、回転フラグＩ
が「１２」以下であるときは、ステップＳ１２に進み、
動作制御部２４は動作部２５に対し回転指示を出す（ス
テップＳ１１、ステップＳ１２）。このようにロボット
は、距離画像に目標物が検知されるまで、周囲を見回せ
るように回転し、画像取得を行い、目標物の探索をおこ
なうようになっている。

【００６３】目標物が遠方にある場合、距離画像取得部
１でロボット本体の近傍を探索しているだけで見つから
ない。そこで、ステップＳ１１で、周囲を１周しても目
標物が検知できなかったときは、ステップＳ２２に移
り、２次元画像取得部２２により２次元画像（カラー画
像でもモノクロ画像でもよいが、ここでは、例えば、カ
ラー画像であるとする）を取得する。すなわち、距離画
像取得部１による画像取得が不可能なほど遠方にある目
標物の探索を開始する。

【００６４】次に、２次元画像取得部２２で取得された
２次元画像から目標物を抽出する（ステップＳ２３）。
２次元画像から目標物を抽出する処理は、従来の画像処
理と同様であってもよい。例えば、第１の実施形態と同
様に、人間を探索するには、取得された２次元画像から
肌色の部分を抽出する。第１の実施形態の画像処理部２
では、図７に示したような認識辞書を用いて、パターン
マッチングを行っていたが、この場合には、遠方にある
ので、明確に、例えば手の形や顔の形を抽出することは
難しい。そこで、ここでは、単に肌色の部分が見つかれ
ば、目標物が見つかったとして、動作制御部２４は動作
部２５に対し、予め定められた距離だけ、検知された肌
色の方向へ移動するための制御を行う（ステップＳ２４
〜ステップＳ２５）。指示された距離を移動した後、再
び、ステップＳ２に戻り、以降の処理動作を繰り返す。
目標物検知のための詳細なマッチングは、ステップＳ２
以降で、距離画像を彩度取得するので、その段階でおこ
なえばよい。

【００６５】ステップＳ２５で近づきかたが十分でなか
った場合には、ステップＳ４において距離画像から目標
物が検知されないで、再度、ステップＳ１０、ステップ
Ｓ１１、ステップＳ２２に移り、２次元画像を取得する
処理に入るので、その処理後、ステップＳ２５にて再び
前進することになる。

【００６６】ステップＳ２４にて２次元画像から目標物
が検知できなかったときには、その旨を呈示部２６に呈
示して、処理を終了する（ステップＳ２６）。なお、前
述の第１の実施形態の場合と同様、動作部２５では、自
走する以外にも、歌を歌う、あいずちをうつ、首を振る
等の任意の動作をさせることも可能である。また、距離
画像取得部１ではリアルタイムに画像を取得できる（例
えば１秒間に３０枚距離画像を取得できる）ことを利用
して、人の動作を検知し、それを模倣し、同じ動作をす
るように動作制御部２４が動作を制御するようにするこ
とも可能である。また、予め動作制御部２４に認識辞書
として記憶させている身振りのパターンと同じ身振りを
人がしたときに、それぞれの身振りに対応した踊り、動
作（歌を歌う、あいずちをうつ、首を振るなど）させる
ことも可能である。あるいは、認識してほしい身振り動
作のパターンを覚えさせ（例えば、当該ロボット等に具
備されている距離画像取得部１、ＣＣＤカメラ等を用い
てその身振りの画像を撮像し、その画像データを動作制
御部６のメモリに認識パターンとして記憶させる）、そ
の身振りに対応して予め定められた動作、すなわち、踊
ったり、何かおしゃべりをさせることも可能である。

【００６７】以上説明したように、上記第２の実施形態
によれば、例えば、遠方にある物体を識別したり、色情
報を取得したい場合には、それに応じた画像を取得し
て、距離画像と組み合わせて目標物あるいは目標物の動
きを検知することにより、より精度の高い物体検知が可
能となる。

【００６８】なお、上記第２の実施形態では、２次元画
像の取得による探索は、一方向に対してしか行わなって
いないが、必ずしもこれに限定されるものではない。距
離画像取得に対して行うのと同様に、一方向に対する検
出が失敗したときに、回転し、別方向に対して、再度探
索を行うようにしてもよい。

【００６９】また、上記第２の実施形態では、遠方と近
傍とで複数の画像取得部を使い分けているが、使い分け
の方法は必ずしもこれに限定されるものではない。例え
ば、２次元画像取得部２２は目標物のある方向へ移動す
るための暫定的な位置の算出に用い、距離画像取得部２
２は、確定した目標物の正確な切り出しや動作（ジェス
チャ）の認識に使うというような、使い分け方も可能で
ある。

【００７０】さらに上記第２の実施形態では、２次元画
像取得部２２と距離画像取得部１の２つの画像取得部を
用いる例について述べているが、必ずしもこれに限定さ
れるわけではない。例えば、ＬＥＤの発光量を変えた複
数の距離画像取得部１を具備し、発光量の大きな距離画
像取得部は遠方の距離画像を取得し、発光量の小さな距
離画像取得部は近傍の距離画像を取得し、図１１のフロ
ーチャートと同様に使い分けて用いることも可能であ
る。この場合、図１１において、目標物まで距離が予め
定められた値以上であったときに、遠方の距離画像の取
得が可能なもう一方の距離画像取得部での画像取得に切
り替えるような処理の流れにすることも可能である。こ
のとき、遠方を取得する距離画像取得部は、発光量を変
えずに、１秒あたりに取得する画像の枚数を減らすよう
にすることで、遠方の距離画像を取得することも可能で
ある。あるいは３つ以上の画像取得部をもち、回転動作
なしに、全周囲の画像が取得できるようにすることも可
能である。

【００７１】図１０の動作制御装置は比較的狭い範囲で
稼働する場合を想定しているので、図１１のフローチャ
ートは、距離画像取得部１、２次元画像取得部２２のう
ち、距離画像取得部１が主体的に使われる場合を示して
いる。逆に広い範囲で稼働する場合には、遠方での画像
取得が得意な２次元画像取得部２２が主体的に活動する
ようになるので、まず、２次元画像取得部２２で周囲を
回転しながら目標物の探索を行い、目標物が検知された
ら当該目標物の検知された方向へ前進した後、図１１の
ステップＳ２〜ステップＳ９と同様に距離画像の取得、
目標物までの距離の算定等を行う。（第３の実施形態）第３の実施形態に係る物体検知装置
は、例えば体験型ゲーム装置等の娯楽設備に適用したと
きに、距離画像取得部１を誤って投打されたりして破損
することを防ぐものである。

【００７２】本発明の物体検知装置を、ボクシングゲー
ム、テニスやバッティングゲーム等の人がグローブやラ
ケット、バット等を動かして体験的にゲームを楽しむた
めの体験型ゲーム装置に適用した場合、距離画像取得部
１は、対象物である手やボールやバット等を撮像可能な
位置に設置されるため、これらの位置関係によっては、
ユーザが夢中になるあまり、誤って手やボールやバット
等により投打され、破損することもあろう。

【００７３】図１２は、第３の実施形態に係る例の物体
検知装置の構成例を示したもので、距離画像取得部１、
情報管理部３２、画像処理部３３、呈示部３４、緩衝部
３５から構成されている。

【００７４】情報管理部３２は、距離画像取得部１、画
像処理部３３、呈示部３４を制御し、距離画像取得部１
で取得された画像を画像処理部３３に送り、また画像処
理部３３における距離画像の処理（距離画像から目標
物、該目標物の動きの抽出）の結果得られた情報に基づ
き、当該ゲーム装置に適した判断処理等を行って、処理
結果を提示部３４に提示する。

【００７５】提示部３４は、小型の液晶パネルなどから
構成される構成されている。距離画像取得部１が画像を
取得できる限界接写距離Ｃｄ付近には緩衝部３５が設け
られている。この位置は、距離画像取得部１が距離画像
を取得できる視野角（画像取得範囲）を越えたところに
ある。

【００７６】ボクシングゲームで手がこの緩衝部３５に
向かって繰り出すようにする。あるいはテニスやバッテ
ィングゲームでは、図１３に示すように、緩衝部３５の
手前に対象となるボールを置くようにして、このボール
は緩衝部３５に妨げられて、距離画像取得部１にぶつか
ることがないようにする。

【００７７】距離画像取得部１にて得た距離画像は情報
管理部３２を経て、画像処理部３３に送られる。画像処
理部３２では、腕の動き、ボールの動きを解析し、その
解析結果を情報管理部３２へ送る。情報管理部３２はそ
れをもとに、それぞれのゲーム毎の勝敗を判定し、その
結果を呈示部５に呈示する。

【００７８】以上、第３の実施形態によれば、体験型ゲ
ーム装置等の娯楽設備に本発明の物体検知装置を適用し
た場合に、距離画像取得部１を誤って投打されたりして
破損することを防ぐことができるだけでなく、画像取得
の限界内に手や身体、バットなどの物体の一部がはい
り、正常な処理を妨げることもなく、その効果は大き
い。さらに、緩衝部３５の緩衝材として、適度な弾性の
あるものを用いると、実際に投打した体感を得ることも
できるので、その効果は絶大である。

【００７９】なお、上記実施形態では、緩衝部３５の緩
衝材は不透明な材質を想定しているが、必ずしもこれに
限定されるわけではない。緩衝部３５が光を透過するよ
うな透明な材質のものであれば、距離画像取得部１の画
像取得範囲内に設けてもよい。すなわち、例えば透明な
アクリル板あるいは、透明な材質で伸縮性のある袋に空
気をつめたものを緩衝部３５として、画像取得部１の前
面から限界接写距離Ｃｄの位置に配置して、距離画像取
得部１を手やボール等により誤って投打されないように
防御するようにしてもよい。（第４の実施形態）本発明の物体検知装置は、文字等の
パターン認識装置にも適用できる。

【００８０】図１４は、製品製作ラインに設けられる仕
分け装置の構成例を示したもので、距離画像を用いて文
字認識を行い、その認識結果に基づき製品の仕分けを行
うものである。

【００８１】ベルトコンベアなどで構成された搬送路４
６上に製品（図１４では、球体であり、その表面には仕
分け先別に、例えば「ＡＢＣ」、「ＤＥＦ」、「ＧＨ
Ｉ」という文字が印字されている）Ｐ１、Ｐ２、Ｐ３が
搬送される。

【００８２】本実施形態に係る仕分け装置は、搬送路４
６上の製品の距離画像を画像取得部１で撮像し、該距離
画像から抽出される対象物としての文字を認識して、製
品の仕分けを行うようになっている。

【００８３】距離画像取得部１は、搬送路４６上の製品
が撮像できる予め定められた位置に固定され、順次搬送
されてくる製品の距離画像を撮像する。製品の表面と、
そこに印字されている文字「ＡＢＣ」、「ＤＥＦ」、
「ＧＨＩ」は距離画像取得部１からの照射光に対して、
異なる反射率を有している。

【００８４】画像処理部４２では、製品の表面からの反
射光と、表面に印字されている文字からの反射光との強
さの違いにより、すなわち、例えば、文字の方が反射率
が低い場合、反射光画像である距離画像の各画素値が小
さい画素を取り出して、文字を抽出する。さらに、予め
記憶された文字辞書を用いてパターン認識を行って、文
字を認識し、その認識結果を情報管理部４３に通知す
る。

【００８５】情報管理部４３は、距離画像取得部１、画
像処理部４２、呈示部４８を制御し、距離画像取得部１
で取得された画像を画像処理部４２に送り、また画像処
理部４２における文字認識結果に基づき、搬送路４６上
の製品を仕分けするための指示を遮蔽板制御部４４に送
る。また、提示部４８に文字認識結果とそれに応じた製
品の仕分け先とを提示するようにしてもよい。

【００８６】仕分けは、例えば、搬送路４６上に設けら
れた遮蔽板４５ａ、４５ｂを遮蔽板制御部４４の指示に
従って立てたり倒したりすることにより、文字認識結果
に応じた仕分け箱４７ａ〜４７ｃに製品を導くことより
行っている。

【００８７】距離画像取得部１の設置位置が固定で、搬
送路４６上の製品の画像取得位置が一定であるならば
（例えば、所定位置に設けられたセンサにて製品の通過
を検知した際に距離画像取得部１にて画像を取得するよ
うにする）、距離画像取得部１と製品までの距離値は予
め明確に予測可能である。

【００８８】球面に印字された文字を撮像した距離画像
では、球体中心部に印字された文字と周辺部に印字され
た文字とが同一平面上にないことから反射光の強さが異
なり、従って文字にゆがみが生じる。

【００８９】製品が予め定められた寸法の球体で、その
表面に印字される文字の位置が予め定められていて、撮
像方向が一定している場合、このゆがみの量（反射光の
強さの違い）も球体中心部と周辺部における距離の違い
から明確に推測できうる。従って、画像処理部４２で
は、距離画像から文字を抽出する際に、このような文字
のゆがみから予め推測される反射光の強さ（画素値）を
補正することにより、より正確に文字を抽出することが
できる。

【００９０】次に、図１５に示すフローチャートを参照
して、図１４の仕分け装置の処理動作について説明す
る。まず、電源の投入、動作の開始指示にて起動される
と所定の初期化処理動作が行われ、搬送路４６が駆動さ
れる（ステップＳ３１）。

【００９１】画像取得部１は、搬送路４６にて搬送され
てくる製品Ｐ１〜Ｐ３の距離画像を順次取得し（ステッ
プＳ３２）、画像処理部４２にて取得した距離画像中か
ら反射率が異なる（この場合は、例えば、印字文字の反
射率が低いので、画素値Ｐ（ｉ、ｊ）の値が予め定めら
れた値より小さい）画素を抜き出して、文字を抽出する
（ステップＳ３３）。その際、前述したような文字のゆ
がみに対応する画素値の補正を行うようにしてもよい。

【００９２】次に、画像処理部４２は、予め記憶された
文字辞書にある認識対象としても文字「ＡＢＣ」、「Ｄ
ＥＦ」、「ＧＨＩ」のパターンのいづれかに抽出した文
字が一致するか否かを調べる。その結果を情報管理部４
３に通知する。

【００９３】文字辞書に（予め許容される類似度にて）
一致する文字パターンがあったときは、その文字に対応
する仕分け箱にいくように、遮蔽板制御部４４にて、該
当する遮蔽板を操作する（ステップＳ３４〜ステップＳ
３５）。

【００９４】文字辞書に一致する文字パターンがないと
きは、、「仕分不能」を呈示部４８に呈示し（ステップ
Ｓ３７）、処理を終了する。また、一定期間がすぎて
も、製品が流れてこず、取得した画像中に文字が検出さ
れない場合には、情報管理部４３は、停止と見なし、処
理終了指示を出してもよい（ステップＳ３６）。

【００９５】以上説明したように、上記第４の実施形態
によれば、距離画像を用いることにより、同一の距離に
おいても、被写体の反射率の違いから明確に文字等のパ
ターンを認識することができるので、例えば、製品番号
に応じた仕分けや、さらには塗装仕上げの善し悪しによ
る仕分け等の複雑な制御を容易に行うことができ、製造
工程の自動化に大いに貢献する。

【００９６】なお、上記第４の実施形態では、印字文字
が製品表面より低い反射率をもつようにしているが、必
ずしもこれに限定するものではない。製品表面が黒色な
ど低い反射率をもつ場合には、印字文字を銀地などの反
射率の高いインクにするなどすることで、容易に高精度
の判別を実現できる。

【００９７】

【発明の効果】以上説明したように、本発明によれば、
高速でローバストな物体検知が可能となり、しかも小型
化が容易に行える。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動作制御装置の
構成例を示した図。

【図２】距離画像取得部の構成例を示した図。

【図３】反射光の強度を画素値とする距離画像の一例を
示した図。

【図４】図３に示した様なマトリックス形式の距離画像
を３次元的な表した図。

【図５】図１に示した構成の動作制御装置の一例として
のロボットの外観と、このロボットの目に具備された距
離画像取得部の受光部と受光部を一例を示した図。

【図６】距離画像から抽出された物体の輪郭画像の一例
を示した図。

【図７】画像処理部に記憶される認識辞書の登録されて
いるパターンの一例を示した図。

【図８】図１の動作制御装置の処理動作を説明するため
のフローチャート。

【図９】動作制御装置の他の構成例を示した図。

【図１０】本発明の第２の実施形態に係る動作制御装置
の構成例を示した図。

【図１１】図１０の動作制御装置の処理動作を説明する
ためのフローチャート。

【図１２】本発明の第３の実施形態に係る物体検知装置
の構成とその適用例を示した図。

【図１３】図１２の物体検知装置の他の適用例と示した
図。

【図１４】本発明の第４の実施形態に係る仕分け装置の
構成例を示した図。

【図１５】図１４の仕分け装置の処理動作を説明するた
めのフローチャート。

【符号の説明】

１…画像取得部２、２３…画像処理部３…自走制御部４…自走部５…提示部６、２４…動作制御部７、２５…動作部２２…２次元画像取得部３２…情報管理部３３…画像処理部３４…提示部３５…緩衝部４２…画像処理部４３…情報管理部４４…遮蔽板制御部４８…提示部１０１…発光部１０２…反射光抽出部１０３…受光部

───────────────────────────────────────────────────── フロントページの続き (72)発明者沼崎俊一神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内

Claims

【特許請求の範囲】

【請求項１】特性の異なる画像を取得する複数の画像
取得手段と、この複数の画像取得手段のうちの少なくとも１つで取得
された画像に基づき対象物あるいは該対象物の動きを検
知する検知手段と、を具備したことを特徴とする物体検知装置。
【請求項２】前記複数の画像取得手段で取得された複
数の画像のうちの少なくとも１つは距離画像であること
を特徴とする請求項１記載の物体検知装置。
【請求項３】前記複数の画像取得手段は、画像の取得
可能距離がそれぞれ異なることを特徴とする請求項１記
載の物体検知装置。
【請求項４】前記複数の画像取得手段は、取得画像の
次元数がそれぞれ異なることを特徴とする請求項１記載
の物体検知装置。
【請求項５】距離画像を取得する画像取得手段と、前記画像取得手段が取得した距離画像に基づき対象物あ
るいは該対象物の動きを検知する検知手段と、この検知手段での検知結果に基づき動作を制御する制御
手段と、を具備したことを特徴とする動作制御装置。
【請求項６】特性の異なる画像を取得する複数の画像
取得手段と、この複数の画像取得手段のうちの少なくとも１つで取得
された画像に基づき対象物あるいは該対象物の動きを検
知する検知手段と、この検知手段での検知結果に基づき動作を制御する制御
手段と、を具備したことを特徴とする動作制御装置。
【請求項７】前記制御手段は、前記距離画像から検知
された対象物までの距離に基づき動作を制御することを
特徴とする請求項５記載の動作制御装置。
【請求項８】前記複数の画像取得手段で取得された複
数の画像のうちの少なくとも１つは距離画像であること
を特徴とする請求項６記載の動作制御装置。
【請求項９】反射光の強度分布としての反射光画像を
取得する画像取得手段と、この画像取得手段で取得された反射光画像と被写体の反
射率とに基づき該反射光画像から予め定められたパター
ンを認識する認識手段と、を具備したことを特徴とするパターン認識装置。
【請求項１０】前記画像取得手段は、対象物が該画像
取得手段の画像取得の限界接写距離よりも接近せず、し
かも該対象物に衝突されることがないように配置されて
いることを特徴とする請求項１記載の物体検知装置。