JPH061189B2

JPH061189B2 - 物体情報処理装置

Info

Publication number: JPH061189B2
Application number: JP3905585A
Authority: JP
Inventors: 誠宏反町; 真人玉利
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1985-02-28
Filing date: 1985-02-28
Publication date: 1994-01-05
Anticipated expiration: 2009-01-05
Also published as: JPS61198014A

Description

【発明の詳細な説明】［技術分野］本発明は、色フィルタを有し、距離情報を用いて環境を
認識する物体情報処理装置に関する。

〔従来技術〕

視覚センサを使って環境を認識する技術は各種研究され
ている。その多くは人間の視覚認識の機能を模したもの
で、テレビカメラによって得られる信号から環境の明
暗、色彩の分布の特徴を抽出し、これと記憶情報を対比
することによって行っている。例えばカメラを用いて物
体の形状，縁線，色、濃淡等の解析をし、物体が何であ
るかの判断をする方法がある。しかしながら、このよう
な方法は、積み木のような単純な物を認識するのにも分
オーダの時間を要し、リアルタイム処理は不可能で、実
用化は難しい状態であった。又物体までの距離分布をス
リット状の光束を投射することによって計測する方法も
提案されている（テレビジョン学会誌第34巻第３号，１
９８０等）。さらに超音波センサによって環境対象物ま
での距離を測定する方法も提案されている。しかし、明
暗の分布に基く方法では、環境を立体的に認識すること
が困難で、スリット光投射による光切断法は立体形状の
認識には有効であるが計算処理すべきデータ量が多く比
較的大きなコンピュータを使っても１画面数十秒から数
分の処理時間が必要である。更にスリット光を移動させ
ることが必要であるため機構的に可動部を要し、精度の
問題が生じる恐れがあり又、明るい環境を認識するため
にはスリット光の光源に多くのエネルギを供給しなけれ
ばならないという欠点もあった。

又、超音波センサを用いるものは、その特性上、超音波
の投射ビームを細くすることが難しく、従って後の分解
能を、あげることができないという問題点があった。

又、２次元の光センサを用いて、対象物体までの距離の
分布を測定して立体認識を行う場合、前述のように対象
物体の明るさの変化のみをもとに距離を算出する方法が
考えられる。この場合、人間の眼には明確に認められる
色彩の差も、光センサの出力に変化を与えない場合があ
り、この時には距離の測定はできない。カメラの測距で
は被写体上の一点までの距離測定で、ファインダ内でコ
ントラストのある部分に測距位置を合せることが可能で
あるが、例えば、特願昭５９−４４９２０のように環境
認識する場合、距離パターンを測定する場合には視野内
の多方向の距離を測定するので、測定不能の機会も増加
する。

一方、単板式ビデオカメラでは２次元光センサの表面に
カラーモザイクフィルタをかけてカラー撮影を行うが、
このモザイクフィルタをかけた光センサでは基準視野と
参照視野を比較する測距法では、両視野内の同一物体点
からの像に同じ色フィルタをかけることはできない、こ
れは同一物体点からの結像位置が、距離によって変るた
めである。従って、色彩の変化により、距離情報が、不
正確になり誤まった環境認識をしてしまうという欠点が
あった。

［目的］以上の点に鑑み、本発明の目的は、色フィルタを有し、
距離情報を用いて環境を認識する物体情報処理装置を提
供することにある。

〔実施例〕

次に、本願発明の適用が可能な視覚センサの説明を行
う。

第１図は視覚センサの１実施例の原理図である。１０，
１１はディストーションの充分少ないレンズ、ｆはレン
ズの焦点距離、ｄは物体12までの距離、Ｂはレンズ間距
離、δは物体像の光軸からのズレを示す。図から明らか
なように前記同様に第２図に示す視覚センサでは全反射２面鏡１
３、全反射鏡１４を用いて、物体像を自己走査型センサ
アレイ１５（受光要素15a）上に結像するように構成し
ている。なお、発光部を用いて補助光を具備するように
してもよい。なお、図示の例以外に多方向の測距が可能
で、基準視野側のレンズ光軸上にない物点でも、該物点
を通り光軸に直交する平面までの距離はで算出される。実際の距離は、物体方向と光軸との間の
角度をθとすればd・secoとなるが、例えばロボット等の
移動制御であれば、ｄのままでも支障はない。又、自己
走査型センサは、例えばＣＣＤアレイであり、１０μ程
度の巾の多数個の微小セグメントの受光要素１５ａから
構成されている。自己走査型センサ１５は、周知の如く
上記の多数個の微小セグメントの各受光要素１５ａで検
知した物体像の各画素部分の照度に対応した電気信号を
予め決められた順序に従って、時系列信号として出力す
る機能を有するものである。なお、レンズ間距離Ｂを変
えることによって測定精度を可変にしてもよく又、レン
ズは、１１の焦点距離を変えることによって、横方向の
視野範囲を変えることができる。ここでは２像１２′に
関する走査出力が第３図(b)（第３図(a)参照）に示すよ
うに信号Ｓ−１，Ｓ−２の如き波形として取り出される
ため、２像の対応する信号Ｓ−１，Ｓ−２の間隔を電気
信号処理回路にて検知し（第３図(c)）、式を用いて
物体までの距離測定を行うものである。

さて、ここに示す視覚センサにあっては、以上の様な距
離測定原理に基づき自己走査型センサ（以後センサ・ア
レイと略称する）を用いて、２像の相互間隔を検知せん
とするものであるが、か様な視覚センサにおいては認識
しようとする物体空間を明確にすること、換言すれば、
測定視覚Ｌｓを何らかの手段で規定すると共に、同時に
もう一方の像をとらえる視野（これを参照視野Ｌ_Ｒと称
する）を規定する必要がある。

ここに示すセンサにおいては、像１２の結像位置近傍に
測定視野を設定し、これに対し像12′が物体１２の距離
に従って移動する範囲を参照視野とする。

以上の視覚センサの原理の詳細なブロック図を第４図に
示す。１５は前述のＣＣＤ等の自己走査型センサアレイ
（測定視野相当のセル数Ｎ、参照視野相当のセル数Ｎ＋
Ｍ−１）でクロック制御回路２１、駆動回路２０及びシ
フトクロック、転送クロックにより駆動され、ＣＣＤア
レイ上のデータは量子化回路２２によって（例えばコン
パレータによって所定のしきい値と比較し、大小によっ
て０，１に分ける。）量子化される。次に測定視野、参
照視野それぞれの量子化データを各々シフトレジスタ２
６，２７に入れ、クロック制御回路２１から出力したク
ロックによってシフトさせながらゲート２８によって上
記それぞれの量子化データが合致したか否かを検出し、
合致数比較回路２４によって上記合致数をカウンタ２４
−１によってカウントすると共にＮ個の比較終了後カウ
ンタ２４−１の出力信号はラッチ２４−３に入力され
る。当然ながら最初にラッチ回路２４−３はクリアされ
ている。Ｎ個の値の比較をシフトレジスタ２６，２７に
よってシフトさせながら行った後、シフトレジスタ２７
は値を１つすすめて今度は２番目からＮ＋１番目までの
値を再びシフトレジスタ２６のＮ個の値と順に比較して
いく。３回目は３番目からＮ＋２番目をシフトレジスタ
２６のＮ個と比較する。これをＭ回繰り返し、最後はＭ
番目から（Ｍ＋Ｎ−１）番目の値の比較を行う。つま
り、Ｎ個の比較を、１つづつＭ回ずらしながら行う。合
致位置は合致位置検出回路２３においてこのＮ個の比較
の回数（≦Ｍ）をカウントすると共に合致数比較回路２
４のコンパレータ２４−２のＡ＞Ｂの出力が出るごとに
回数をラッチすれば最も合致数の多かった回数が最終的
に得られ、この値が合致位置に対応する。次に物体情報
信号出力回路２５においてこの合致回数即ち合致位置の
値を用い、式の関係より物体との距離が求められる。
その距離情報はＣＰＵ、メモリ等に出力される。

次に、視覚センサの走査方法について述べる。第５図は
視覚センサの制御ブロック図である。３０は視覚センサ
を選択走査するためのスキャナ、３１は距離情報等のパ
ターンを記憶するためのメモリ、３２はセンサを制御す
ると共に演算処理等を行うためのＣＰＵである。

以上の説明に基づいて、本願発明適用の１実施例につい
て説明する。第６図は、本願発明適用の１実施例である
視覚センサの構成ブロック図である。４１，４２は対物
レンズ、４３，４４，４５は全反射鏡、４６はポジマス
ク、４８はネガマスク、４７，４９はコンデンサレン
ズ、４０は半透明鏡、５１は結像レンズ、５２は１ライ
ンの画像を画素単位で読取るＣＣＤ等のフォトセンサで
ある。

上記構成において、認識すべき環境の像は所定の間隔を
おいて設けた対物レンズ４１，４２を介して、それぞれ
マスク４６，４８の近傍に結像する。マスク４６は第７
−１図にその一部を拡大して示したように、例えば透明
なガラス板の上にモザイク状に不透明部分４６ｂを設け
たものである。マスク４８は第７−２図に示したように
マスク４６の透明部４６ａと不透明部４６ｂを反転させ
たもので、４８ａは透明部、４８ｂは不透明部である。

第８図は、前記第６図に示した視覚センサの模式図であ
る。６０は環境（物体）像である。なおここでは簡単に
２次元で説明したが、実際は３次元の物体である。又、
４１，４２は前述の対物レンズ、以下同様に４３，４
４，４５は全反射鏡、４６はポジマスク、４８はネガマ
スク、４０は半透明鏡、５１は結像レンズ、５２は１ラ
インの画像を画素単位で読みとるフォトセンサであるＣ
ＣＤ（第８図では３ライン）及びＣＣＤ上にレンズ５１
によって結像される物体像である。なおフォトセンサは
ＣＣＤである必要はなく、又、面状センサであってもよ
く、ライン数もこれに限る必要はない。なお、マスク４
６及び４８は、両者の透明部と不透明部が合うように構
成しておく。更に物体像は、レンズ４１からの像とレン
ズ４２からの像の同一部分（本実施例ではＢとＤがＣＣ
Ｄ５２上に、それぞれ２個存在している。）を含み、走
査線方向にずれて結像するように構成する。その結果フ
ォトセンサ５２上にはレンズ４１，４２からの両光路を
経た像が重なることなく交互に並べられる。そしてフォ
トセンサ５２上の走査線の方向と交互に並べられるモザ
イクマスクの配列方向を合わせることによって、フォト
センサの同一走査線上にレンズ４１，４２による両光路
からの同一物体像を例えば第８図のＢ又はＤの様に隣接
して投影することができる。なお、物体像は複数の走査
線上に投影されてもよい。そして、以上の様にして得ら
れた隣接する同一物体像について、第１図〜第４図に示
した距離測定の原理に基づいて距離情報を検知すること
ができる。

次に、フォトセンサ５２であるＣＣＤの説明をする。第
９図は、ＣＣＤ上に投影された像の一部を示す図で、そ
れぞれ６１−１，６２−２，61−３，６１−４のブロッ
クが第２図〜第４図において、説明したセンサアレイ１
５にそれぞれ相当するものである。第９図においては、
ＣＣＤ５２上に物体像「Ｂ」が、走査線４本にまたがっ
て投影される例を示したが、その後は、読取り精度，速
度等によって何本であってもよい。なお、６１−５は第
３図，第４図において説明した測定視野で、６１−６は
参照視野に相当する。本実施例では、測定視野６１−５
は32ビット、参照視野６１−６は９４ビットである。よ
って分割数は６２（９４−３２）であるが、この分割数
は距離測定精度によって、任意に可変となるよう構成す
ればよい。又、面ＣＣＤ５２の大きさはＹ方向6.６mm、
Ｘ方向8.８mmで、走査ラインはＸ方向７５７ライン、Ｙ
方向245ラインで構成されている。なお、この構成に限
る必要はない。又、第９図にはＸ方向，Ｙ方向にそれぞ
れ６１−１，６１−２，６１−３，６１−４，６２−１
………と同様の不図示のブロックが多数存在しているこ
とは、言うまでもない。

次に、上記複数のブロックを有するＣＣＤ52における走
査の切換制御の説明を行う。第４図において説明したよ
うに、１ブロックにおける距離情報を得るためには、Ｎ
×Ｍ個のクロックが必要である。そして、このクロック
数をカウントして第４図のクロック制御回路２１によ
り、走査すべきブロックを、例えば第９図の６１−１か
ら６２−１に更に６１−２に切換えるというように、所
定のエリアについてスキャンするよう切換制御する。

次に、以上の視覚センサを用いたロボットのシステムブ
ロック図を第１０図に示す。５２は前述のフォトセンサ
（ＣＣＤ）、７０はＡ／Ｄ変換器、７１はスイッチング
回路で、上記ＣＣＤ５２のセンサブロックを選択し、視
覚センサブロック処理回路７２において、物体の距離情
報を得るものである。検知された距離情報は７３のＲＡ
Ｍ上に距離パターンとして書き込まれる。３２はＣＰＵ
で、７４はマップメモリである。マップメモリ７４は、
過去の距離パターン又は指令用のマツプが格納されてお
り、マップメモリ７４上の距離パターンと現在の距離パ
ターンとを比較し、最適のアーム制御，移動制御等を行
うものである。なお、ＣＰＵ３２は、複数のプロセッサ
を有し、各種データをそれぞれプロセッサで同時、並行
的に処理する非ノイマン系のコンピュータであってもよ
い。又、外部からの指令信号を受けるためのターミナル
を有していてもよい。更に、移動の方向，速度，距離等
のセンサ、あるいは演算処理部からのデータと上記距離
パターンからの情報に基づいて駆動制御７５，アーム制
御７６を行うようにしている。

前記実施例では視覚センサブロック処理回路を複数並置
した例を示したが、これは処理時間とＣＣＤ走査時間と
の整合をとるためのもので距離算出処理の高速化、又は
ＣＣＤ走査速度の調整によっては複数並置しなくても良
い。又、Ａ／Ｄコンバータ７０とスイッチング回路７１
との順序が逆であってもよい。

又、距離情報が得られるため高速の飛翔物を正確に避け
たり捕捉したり、自動車等において障害物を避けるため
のセンサとして使用したりすることもできる。その他用
途はこれに限る必要はない。

また、機械的に移動する部分を使わずに、視野内の環境
対象物までの距離の分布を、超音波測定に比べて特に横
方向に高い分解能をもって測定することができ、又二つ
の光路を通った同一対象物の像がフォトセンサ上に隣接
して結ばれるので、これまでステレオ法（ＴＶ学会誌第
３４巻第３号、１９８０Ｐ２１１）で対応点の照応が困
難とされていた問題が解決する。さらに演算処理を並列
に行うことも可能で非ノイマン系のコンピュータを搭載
することもでき、又ロボットに必要な高速処理も可能に
なる。以上、詳述したように距離の分布を計測すること
は対象を立体的に認識する上に有効で、特にロボットの
眼，盲人の歩行補助具用センサ等に実用可能である。

以上詳述したように、簡単な回路構成で環境を距離のパ
ターンとして立体的に認識することが可能な物体情報処
理装置を提供することが可能となった。

次に、第１１図に、本発明の装置の搭載が可能なロボッ
トの制御フローチャートの一部を簡単に示す。このプロ
グラムは例えばＣＰＵ３２のＲＯＭに格納されている。
本例では、第９図に示したＣＣＤ上の各６１−１等の視
覚センサブロックに、第１０図の各視覚センサブロック
処理回路７２が対応する。画像データの各ブロックの切
換えと上記視覚センサブロック処理回路７２の処理速度
にもよるが、視覚センサブロック処理回路７２は最底２
つあれば良い。なお本例ではＣＣＤ５２上の１ライン分
の処理回路は例えばn₁個（視覚センサブロックもn₁個）
とする。第１１図のステップ１において、まずｎ＝１と
し、ステップ２で、ＣＣＤ内のブロック（１ラインに
n₁個のブロックがある）からの距離データをセンサブロ
ック処理回路（視覚センサブロックに対応して１ライ
ンにn₁個ある）に供給する。次に、ステップ３で、視覚
センサブロック処理回路から、物体情報信号が、第
４図の如く出力され、第１０図に示す距離パターンに格
納される。この処理は、例えば、約３msで、ステップ３
はタイマによる判別を行なうようにしてもよい。次に、
ステップ４では次のブロックからの距離データについ
ての処理を行なうべく、ｎ←ｎ＋１の処理を行ない、今
の場合、ステップ５ではｎn₁であり、ステップ２に進
み、上記同様の処理を繰り返す。そして、１ラインの処
理が終了すると、ステップ５において、ＮＯに進む、そ
して、ステップ６において、次の列の処理を行なうため
Ｙ←Ｙ＋１とし、ステップ７では、y₁（面ＣＣＤ５２が
第９図Ｙ方向にy₁列あるとする）列つまり一画面が終了
したか否かを判定する。

ステップ７で、距離データの処理が一画面終了していな
い場合は、次の列において、距離データの処理を行なう
べく、ステップＳ２に戻る。

ステップ７でＹy₁でなかった場合、つまりＣＣＤ一画
面分の距離データの処理が終了している場合は、第１０
図の距離パターンＲＡＭ73には、ＣＣＤ一画面分の距離
パターンが完成しており、ステップ８では、このＣＣＤ
一画面あるいは、数画面分の距離パターンデータに基づ
いて、更に又、第１０図に示すマップメモリ７４光ファ
イバジャイロ等の方位センサ等からのデータに基づい
て、各種駆動部７５，アーム部７６を制御し、例えば、
距離パターンデータから近くに物体がない方向を判定
し、その方向へ、ロボット本体の移動させる。

次に、色彩の変化も距離を算出する情報として利用する
場合について説明する。つまり、明度が同じでも色相又
は彩度に変化のある物体までの距離測定を可能にするも
ので、マスクパターンをストライプ状にすることによっ
て、モザイク状の場合と比較して、位置合せが容易とな
り、製造上の利点も生じるというもので、以下に詳細に
説明する。

第６図のマスクパターン４６，４８、つまり、第７−１
図，第７−２図のマスクパターンの代わりに、本実施例
では、第１２図に示すパターンを用いる。１０１ａは基
台、１００はＣＣＤ等の２次元センサ、１０２は色フィ
ルタである。第１３図にマスクパターンである色フィル
タのパターンを拡大した図を示す。102a,102b１０２ｃ
はそれぞれ赤，緑，青の３色、あるいは更に透明部を加
えた４色を縞状に繰り返し施したもので、個々の線巾は
光センサ上の走査線巾と等しい。そして、このように構
成した光センサの同一走査線上に投影された、複数の光
路を通った物体像の位置関係から前述の処理により、距
離を算出するので、比較する情報は総て同じ色のフィル
タを通った光である。又、副走査方向（第９図，第１３
図のＹ方向）に隣接した走査線では異った色フィルタを
通った物体像の距離を算出することになり、視野内で複
数の走査線に互って投影される物体は複数の色分解像で
距離を算出することができる。

なお、フィルタ（マスクパターン）は光センサ上に直接
蒸着法やスパッタリングによって装着するようにしても
よい。又、光センサが可視光以外に感度を持つ場合には
赤外光や紫外光の情報をフィルタにより分離して行なう
場合も考えられる。

以上、詳述したように、明度の変化が少くても、色度に
変化のある物体までの距離が容易に測定でき、より正確
な距離パターンを作成することができる。

以上、詳述したように本願発明により、簡単な回路構成
で、物体を距離情報に基づいて３次元的に処理すること
ができ、更に明度だけでなく、色相，彩度等の変化のあ
る物体に対しても、正確に物体情報を処理することがで
きる物体情報処理装置を提供することが可能となった。

以上の様に、本発明により、明度だけでなく、色相，彩
度等の変化のある物体に対しても、正確に物体情報を処
理することができる物体情報処理装置を提供することが
可能となった。

以上の様に本発明により、距離パターンを作成するため
のマスクパターンをストライプ状の複数の色フィルタに
より構成することが可能となった。

［効果］以上、詳述しました様に、本発明により、色フィルタを
有し、距離情報を用いて、環境を認識する物体情報処理
装置を提供することが可能となった。

【図面の簡単な説明】

第１図は、視覚センサの原理を示す図である。第２図は、視覚センサの構成を示す図である。第３図は、視覚センサの距離信号を示す図である。第４図は、視覚センサの詳細なブロック図を示す図であ
る。第５図は、視覚センサの走査方法を示す図である。第６図は、本発明適用の１実施例である視覚センサの構
成ブロック図である。第７−１図は、マスク４６の説明図である。第７−２図は、マスク４８の説明図である。第８図は、視覚センサの模式図である。第９図は、フォトセンサ５２上の走査ブロックの説明図
である。第１０図は、ロボットのシステムブロック図である。第１１図は、ロボットの制御フローチャートの一部を示
す図である。第１２図は、光センサ及び、マスクパターンの構成を示
す図である。第１３図は、マスクパターンの拡大図である。 102……色フィルタ，３２……ＣＰＵ５２……視覚センサ，３１……メモリ７２……視覚センサブロック，７３……距離パターン
ＲＡＭ

Claims

【特許請求の範囲】

【請求項１】物体上の複数の点からの光情報を参照視野
と測定視野の為の複数の光路を経て、結像面上に結像さ
せる為の光伝導手段、前記光伝導手段による前記光路内に設けられ、光学的に
複数の領域の分割を行なう複数色の領域分割手段、前記領域分割手段によって分割される領域の内の同色に
対応する複数の領域を、前記参照視野及び前記測定視野
の組の複数として、前記結像面上に形成し、前記参照視野及び測定視野の領域に結像される、物体上
の複数の点の各々からの光情報に基づいて、前記物体上
の複数の点と本装置との複数種の距離情報を導出する導
出手段、とを有したことを特徴とする物体情報処理装置。