JPH06197288A

JPH06197288A - 画像情報処理装置

Info

Publication number: JPH06197288A
Application number: JP4358968A
Authority: JP
Inventors: Makoto Fujimoto; 良藤本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-12-25
Filing date: 1992-12-25
Publication date: 1994-07-15

Abstract

(57)【要約】【目的】中心部では十分な精度の情報を得ることがで
き、周辺部ではラフな情報を得ることができるようにす
ることを目的とする。【構成】撮像素子の撮像範囲を複数の撮像範囲に分割
し、中心部に設けられている撮像範囲１ａの感光部Ａ１
は画素ピッチを細かく形成して精度の高い画像情報が得
られるようにするとともに、周辺部に設けられている撮
像範囲１ｃの感光部Ａ３は粗く形成することにより、画
素数の数も必要最小限に減らすことができるようにし、
かつ周辺部からは粗い画素データが得られるようにし
て、折り返しをできるだけ少なくしたかたちで空間周波
数の低い画像情報を取り込むことができるようにして高
速演算動作を可能にする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像情報処理装置に係わ
り、特に、自律走行ロボット等に用いるエリアイメージ
センサに用いて好適なものである。

【０００２】

【従来の技術】従来より、自律走行ロボットというもの
が実用化されている。上記自律走行ロボットは、自分の
回りに存在する障害物等を認識し、これらの障害物等を
避けながら目的物まで走行して行くことができるように
なされている。

【０００３】このようなことを可能にするために、自律
走行ロボットの場合には、一般に、障害物を避けるため
に、動物における「眼」に相当する手段を持っている。
上記「眼」に相当する手段としては、例えば、超音波の
反射を利用したり、レーザーを走査しながら距離を計測
したりする方法が用いられることがある。しかし、より
一般的には、（固体）撮像素子などを利用し、その画像
情報に基いて自分の回りに存在する障害物等を認識する
ようにしている。

【０００４】上記撮像素子などを利用して障害物等を認
識する具体的な方法としては、例えば、レンズのフォー
カシング情報を用いたり、また複眼構成にして三角測量
の原理を用いて、それぞれの画素に映っているものの距
離を求めたりすることにより、障害物等の認識を行って
いる。

【０００５】

【発明が解決しようとする課題】上記従来技術のうち、
撮像素子を用いてその画像情報を取り込み、それを基に
画像処理して周辺の物体との距離を求めたり、または到
達目標を認知したりする方法においては、その撮像素子
に一般のカメラ一体型レコーダなどに使用されているエ
リアセンサを用いている。

【０００６】ところで、自律走行ロボットが円滑に行動
できるようにするためには、視野をかなり広くする必要
があると同時に、注視点（一般に視野中心）では高い精
度にする必要がある。また、ある程度の高速動作をさせ
るようにするには、演算速度を十分に早くしなければな
らない。

【０００７】しかしながら、上述したようにカメラ一
体型レコーダなどに使用されているエリアセンサは、中
心部も周辺部も同一の画素ピッチからなる格子点の画素
点からなるものなので、上記の目的を達成するためには
必ずしも好ましいものではなかった。

【０００８】例えば、周辺部の情報は粗くてよいとした
場合、単に、間引きした画素点の情報を持ってきただけ
では折り返し情報も含むことになる。それを防ぐために
は、周辺については予め空間フィルタリング処理を行わ
ねばならず、その分だけ計算時間が余計に必要となり、
高速な演算処理を実現できないことになる。また、全て
が、粗い画素点しか存在しない場合は、中心部（視野中
心）の画素点も粗くなり、近くのものを正確に避けた
り、目的物を正しく判定することができなくなる問題が
あった。

【０００９】本発明は上述の問題点にかんがみ、中心部
では十分な精度の情報を得ることができるようにすると
ともに、周辺部ではラフな情報を得るようにして、必要
な演算量を低減して演算処理の速度を高速に行うことが
できるようにすることを目的とする。

【００１０】

【課題を解決するための手段】本発明の画像情報処理装
置は、中心部は十分に密な格子点からなる画素を持ち、
その中心部より外側では、中心点からの距離に応じて画
素点密度が低下するとともに、１画素点当たりの開口面
積が大きくなるように構成された撮像素子が設けられて
いることを特徴とする画像情報処理装置である。

【００１１】また、本発明の他の特徴とするところは、
画素点が同心円上に配置されるとともに、画素中心から
の距離に応じて画素点密度が低下するように構成された
撮像素子が設けられている。

【００１２】また、本発明のその他の特徴とするところ
は、結像のためのレンズと撮像素子との間に、視線を移
動させる手段を設けるとともに、上記撮像素子の出力を
中心部の出力と周辺部の出力とに分け、これらの中心部
の出力、および周辺部の出力に応じて画像処理する画像
処理手段を設け、上記画像処理手段が、中心部は精度の
高い情報を得るようにするとともに、周辺部は相対的に
精度の低い情報を得るようにしている。

【００１３】また、本発明のその他の特徴とするところ
は、撮像装置と、上記撮像装置から出力される画像情報
を記憶するために設けられた第１の記憶手段および第２
の記憶手段と、上記画像情報に所定の信号処理を施す画
像信号処理手段とを有し、上記撮像装置からの出力を上
記第一の記憶手段に記憶するとともに、それまでに撮像
された画像情報を基にして、その時点における周辺物体
迄の距離情報を上記画像処理手段によって求め、この求
めた距離情報を上記第２の記憶手段に記憶することを特
徴とする画像情報処理装置。

【００１４】

【作用】本発明は上述の技術手段よりなるので、中心部
（視野中心）は精度の高い画像情報が得られるととも
に、周辺部では折り返しをできるだけ少なくしたかたち
で空間周波数の低い画像情報を取り込むことができるよ
うになり、また、画素数を必要最小限に減らすことがで
きるようになり、高速演算動作が可能となる。

【００１５】

【実施例】図１は、本発明の画像情報処理装置の第１の
実施例に用いられる撮像素子の概略構成を示す図であ
る。図１において、１は撮像素子を示している。また、
１ａは第１の撮像範囲、１ｂは第２の撮像範囲、１ｃは
第３の撮像範囲をそれぞれ示している。

【００１６】また、縦・横の線で囲まれた１つの矩形が
１つの感光部Ａを示している。図１から明らかなよう
に、本実施例の撮像素子１は中心部に設けられている第
１の撮像範囲１ａには小さな矩形の感光部Ａ１が多数形
成されている。

【００１７】これらの感光部Ａは、撮像素子の周辺に行
くに従って１つの矩形の面積が大きくなり、第２の撮像
範囲１ｂに設けられている感光部Ａ２の面積は、第１の
撮像範囲１ａに設けられている感光部Ａ１の面積よりも
大きくなっている。また、第３の感光部１ｃに設けられ
ている感光分Ａ３の面積は、第２の撮像範囲１ｂに設け
られている感光部Ａ２の面積よりも更に大きくなってお
り、また、その反対に単位面積当たりの画素点の数は撮
像素子の周辺にいくに従って減っている。

【００１８】次に、このように構成された本実施例の撮
像素子を自走式ロボットの「眼」に適用した例を説明す
る。図２は、その画像取込部の概略構成を示す構成図で
ある。図２に示すように、レンズ２０１、２１１によっ
て形成される光学像が各レンズ２０１、２１１に対して
２個設けられている固体撮像素子１にそれぞれ結像して
光電変換される。

【００１９】撮像素子１によって光電変換された電気的
な映像信号は、次に画像処理部２０５に送られる。そし
て、その明るさ情報が制御部２０６に送られアイリス調
整部材２０３、２１３を制御し、適切なアイリス状態に
制御される。

【００２０】また、画像処理部２０５では、エッジの量
の多少、複眼構成に基づく三角測量原理から被写体迄の
距離を算出し、この算出した距離情報を制御部２０６へ
送る。制御部２０６は与えられた距離情報に基づき、フ
ォーカス調整部材２０２、２１２を制御する。

【００２１】このようにして、フォーカス制御が行われ
る一方、画像データは画像処理部２０５に送られ、周辺
物体の自分に対する距離や、周辺物体が何であるかの
「認識」を行う。このような「認識」を行うことによ
り、例えば、周辺物体に衝突することなく目標物まで進
む動作等が可能となる。

【００２２】この場合、これらの演算はできるだけ高速
に行うことが好ましく、その演算速度に応じて自律走行
ロボットの走行速度も律走されることになる。そのため
に、中心部は高い精度での距離計測、認識等を行うとと
もに、周辺部は低い精度でそれらを行うのが一般的であ
る。

【００２３】上述したように、本実施例の撮像素子１は
中心部の感光部が密に形成され、周辺部の感光部が疎に
形成されているので、中心部では十分な精度の情報を得
ることができるとともに、周辺部ではラフな情報を得る
ことができる。これにより、例えば、距離情報等を得る
のに必要な演算量を低減することができるとともに、高
速処理が可能になり、もって、自律走行ロボットの
「眼」用の撮像素子として好ましいものを提供できる。

【００２４】次に、図３に従って本発明の第２の実施例
を説明する。図３は、本発明の画像情報処理装置の第２
の実施例を説明するための画素配置図である。図３にお
いて、小さい○印が画素点を示している。

【００２５】極座標（ｒ₁θ）で各画素点を表示した場
合、図３に示した撮像素子２は（ｎｒ₀，ｍπ／６）で
表示できる（ｎは正の整数、ｍ＝０，１，２，３，・・
・１１）。このようにした場合、回転に対して適合性を
有するとともに、周辺に行くに従って画素が粗くなる。

【００２６】次に、図４に従って本発明の画像情報処理
装置の第３の実施例を示す。この第３の実施例で示した
撮像素子３は，中心からの距離ｒがある範囲までは同心
円上の隣接する画素間の距離は同一であり、かつ、中心
からの距離ｒは整数倍で増えていく。そして、中心から
の距離ｒがある値ｒ₀を越えると、中心からの距離ｒの
値自身は増していく一方、θは一定となる。結果として
ｒ≦ｒ₀の領域では一定の密度で画素が分布するが、そ
こを越えると画素の分布が急速に粗となる。

【００２７】図３、図４の例の他にも、中心からの距離
ｒを、中心から少しづつ広くなるように構成したり、同
心円上の間隔を内側より外側へ行くに従って徐々に大き
くする等色々な構成が考えられる。

【００２８】ところで、図２の複眼構成では中心視野が
固定されているため、周辺のものが十分認知されず衝突
の可能性が高まる。そこで、この複眼全体をこきざみに
動かしながら、周辺認知を行っているが、レンズの重量
等の問題から、その動作速度は遅く、また、消費電力も
大きくなっている。

【００２９】また、別の例では、撮像部は固定してお
き、撮像された中でどの部分が中心視野（高い精度で扱
う領域）かを切り換えるようにすることも可能である
が、演算が複雑化するとともに全体の視野も狭くなる不
都合があった。

【００３０】以下、このような問題点を解決可能な実施
例を、図５を参照して説明する。なお、基本的な動作
は、図２を用いて説明した場合と全く同様であるので詳
細な説明は省略する。

【００３１】図５に示した第４の実施例において、図２
に示した実施例と異なるのは、中心視野移動手段１０
７、１１７の存在である。この中心視野移動手段１０
７、１１７は、制御部１０６によって適当に移動させら
れる。また、移動の方向および量は制御部１０６から画
像処理部１０５へ送られ、中心がどこにあるかを把握で
きるようになされている。

【００３２】この中心視野移動手段１０７、１１７を具
体的に構成するには色々なものが考えられるが、その具
体例として、図６に「光軸可変プリズム」を用いて構成
した場合について説明する。なお、これについては日経
エレクトロニクス、１９９２年４月２７日号のＰ８２〜
８３に詳しく記載されている。

【００３３】図６（ａ）に、光軸可変プリズム３００の
構成を示す。この光軸可変プリズム３００は、板ガラス
３０１、３０２、蛇腹３０３、３０５およびシリコン系
オイル３０４等によって構成されている。そして、蛇腹
３０３、３０５を伸縮させることにより、光路を振るも
のである。

【００３４】図６の（ｂ）および（ｃ）に、蛇腹３０
３、３０５を伸縮させて光路を変更する様子を示す。こ
のような中心視野移動手段であれば、中心視野を高速に
移動させることができる。なお、移動の仕方について
は、色々な方法が考えられる。例えば、規則的に移動す
る方法があるし、また、画像処理の結果に応じて、「見
たい方向」へ動かしてもよい。

【００３５】どちらにしても、どれだけの量をどの方向
に移動したのかが分かるので、画像処理部１０５で得ら
れたデータを不図示の判定部（自律走行ロボットの進む
方向や速度を判定する部所）で判定することにより、あ
る方向にある速度で進むことが可能となる。

【００３６】なお、中心視野移動手段は、図６のような
ものだけでなく、例えば、ミラーを組み合わせたりする
ことによっても可能である。また、上述した本実施例で
は複眼構成の場合を例にとり述べたが、簡易的なシステ
ムでは単眼で自律走行ロボットの「眼」を構成する場合
もあるので、本発明は当然この場合にも有効であり、撮
像素子の前に中心視野移動手段を設けて中心視野を高速
に移動させるようにしてもよい。

【００３７】次に、第５の実施例を説明する。周知の通
り、自律走行ロボットの中には介護ロボットというもの
がある。これは、自律走行ロボットに多間接ロボットハ
ンドが搭載されているものであり、主に「眼」からの情
報により介護動作を行う。例えば、食堂からベッドまで
食事を持ってきて、寝たきりの人の口に入れてあげるな
どの介護動作を行う。

【００３８】このような介護ロボットにおいて、「眼」
に当たるものとしては、上記したように、撮像素子を複
眼構成に構成したものを用いることが多い。そして、フ
ォーカシング情報と複眼構成に依る三角測量から周辺の
物体との距離を把握し、また、映っている内容を画像処
理によって認識し、必要なものをつかんだり、また障害
物にぶつからないようにしながら目的物まで進行するよ
うにしている。

【００３９】この撮像素子により得られた入力画像はデ
ジタイズされメモリへ記憶され、その後画像処理され
る。一般に、移動を伴う自律走行ロボットでは走行に伴
い撮像素子に入力される画像情報はどんどん変化してい
く。その結果、一般には上記メモリに記憶されるのはそ
の時入力されている画像のみ、あるいは過去数枚〜数十
枚分ぐらいである。もちろん、テープや光デスク等を用
いて大量にデータを記憶することもできるが、その場合
は、移動やハンドリング動作を制御するのに十分な程高
速には、画像処理部とデータのやりとりを行うことがで
きない。

【００４０】画像処理部と高速にデータをやりとりでき
るのは、その時にメモリに入力されている画像のみ、あ
るいは過去に入力された数十枚分の画像に限定されてし
まう。これは、上記メモリとして半導体メモリを用いる
ので、コストや消費電力の制約でそうなるからである。
この結果、結局のところ事実上は今見ているものしか情
報として扱うことができない。したがって、ハンドをち
ょっと伸ばすにも一々「眼」で見て確認せねばならなく
なり、柔軟で高速な動作ができないことになる。

【００４１】この第５の実施例ではこのような問題点を
解決できるようにするために、図７に示すように構成し
ている。図７において、レンズ３５１、３５３で結像さ
れた光学像は、撮像素子３５２、３５４で電気的な信号
に光電変換され、画像メモリ３５５、３５６に記憶され
る。

【００４２】次に、これらの画像メモリ３５５、３５６
の内容は画像処理部３５７に出力される。画像処理部３
５７では、三角測量の原理や、不図示のフォーカシング
情報から、視野内の物体への距離を求める。また、対象
物の認知・認識等を行う。

【００４３】ここで、求めた空間距離情報は画素ごとに
求まることになるが、それを大きめのブロックに分割
し、その中で最も近い値をそのブロックの距離とするこ
とにより、情報を大幅に間引くことができる。この情報
を空間メモリ３５８に入力する。この場合、空間メモリ
３５８は今まで一度も見ていないところについては情報
を持たないことになるが、見たところについては自分の
周辺のあらゆる方向について情報が入っていることにな
る。

【００４４】なお、自律走行ロボットが移動した際には
この距離は当然変化するが、どれだけ変化するかは、移
動の方向と量によって計算することができる。そこで、
移動方向／移動量を検出装置３５９で検出し、その検出
情報により空間メモリ３５８の内容を書き換える。ま
た、新たな画像情報が、撮像素子３５２、３５４より入
力されれば、それによっても空間メモリ１０８の内容は
書き換えられる。

【００４５】画像メモリ３５５、３５６の画像データの
他に、この空間メモリ３５８の内容も参考にして制御さ
れるので、自律走行ロボットが何かの動作しようとする
際には、必ずしも動作の前に、動作範囲全ての見回し
て、ぶつかったりしないことを確認しなくても、安全に
動作を行うことができる。

【００４６】次に、図８に第６の実施例を示す。演算速
度をより高速化するためには演算量を低減する必要があ
る。そのために、図８に示した第６の実施例では、中心
視野は細いデータを記憶し、周辺視野は空間フィルタリ
ング処理を施して粗いデータを記憶している。

【００４７】図８において、レンズ４０１、４０２で結
像された光学像は撮像素子４０２、４０４で電気的な信
号に光電変換され、空間フィルタ４０５、４０６に与え
られる。この場合、中心部はそのまま中心視野メモリ４
０７、４０９に入り、周辺部は空間フィルタリングされ
て情報量を減らされた後、周辺視野メモリ４０８、４１
０に入る。

【００４８】これらの４つのメモリ４０７〜４１０の内
容は、画像処理部４１１に与えられる。画像処理部４１
１は、入力された情報を基にして距離空間を求め空間メ
モリ４１３へ格納する。その後の動作は上述した第４の
実施例と同様であるので省略する。また、距離空間につ
いて、第４の実施例ではブロックごとの一番距離の近い
ものとしたが、これに限定されるものではない。また、
距離だけでなく、輪郭情報を入力してもよい。

【００４９】

【発明の効果】本発明は上述したように、請求項１の発
明によれば、中心部の画素は十分に密な格子点を有し、
その中心部の外側では、中心からの距離に応じて画素の
間隙が広がるとともに、一画素当たりの開口面積も大き
くなるように撮像素子を構成したので、この撮像素子の
出力を用いて、画像処理を行い、周辺物体への距離や、
目的物等の認識をすることにより、中心部では十分な精
度の情報を得ることができるとともに、周辺部ではラフ
な情報で済む。これにより、必要な演算量を低減するこ
とができ、高速処理が可能になり、もって、自律走行ロ
ボットの眼用の撮像素子として好ましいものを提供でき
る。

【００５０】請求項２の発明によれば、撮像素子におけ
る画素点の配置を同心円上に配置するとともに、画素中
心からの距離に応じて、画素点の間隔を大きくしていく
配置としたので、回転動作に対して極めて画像処理を行
い易くすることができる。また、周辺部は粗な画素点し
か存在しないため、必要な演算量を低減することがで
き、もって、例えば自律走行ロボットの画像入力センサ
として用いた時、良好な特性を実現できる。

【００５１】請求項３の発明によれば、レンズと固体撮
像素子との間に、光軸を若干移動できる中心視野移動手
段を設けたので、上記中心視野移動手段をこきざみに移
動させて中心視野を移動させることにより、精度の高い
情報をある範囲に渡って得ることができる。また、周辺
部は粗い精度の情報で済むので、撮像素子全体の情報を
同じ精度で常に計測するのに比して演算速度を大幅に低
減することができ、自律走行ロボットの移動を円滑化、
スムース化を実現することができる。また、撮像系全体
を動かすのに比して、動きを高速かつスムースに行わせ
ることができる。更に、撮像系を固定し中心視野（高精
度部）を画像処理で選択する場合の演算への負荷を軽減
することができるとともに、視野が広がらないという問
題も解決することができる。

【００５２】請求項４の発明によれば、その時に入力さ
れている画像情報の他に、現在見えていない領域につい
ても、今までに入力された情報に基づいて大まかな形状
あるいは距離情報として記憶しておき、移動に伴って記
憶内容を順次書き換えていくことにより、動作の前に動
作範囲の全てを見て確かめなくても、ロボットハンド等
の動作を行うときに周囲にぶつかったりしないようにす
ることができる。

【図面の簡単な説明】

【図１】本発明の画像情報処理装置の第１の実施例を示
す撮像素子の画素の概略構成を示す図である。

【図２】第１の実施例の画像情報処理装置の概略を示す
構成図である。

【図３】第２の実施例を示す撮像素子の画素の概略構成
を示す図である。

【図４】第３の実施例を示す撮像素子の画素の概略構成
を示す図である。

【図５】第４の実施例を示す画像情報処理装置の概略構
成図である。

【図６】光軸可変プリズムを用いて構成した中心視野移
動手段の一例を示す図である。

【図７】第５の実施例を示す画像情報処理装置の概略構
成図である。

【図８】第６の実施例を示す画像情報処理装置の概略構
成図である。

【符号の説明】

１撮像素子１ａ第１の撮像範囲１ｂ第２の撮像範囲１ｃ第３の撮像範囲Ａ１第１の撮像範囲の感光部Ａ２第２の撮像範囲の感光部Ａ３第３の撮像範囲の感光部２０１、２１１レンズ２０２、２１２フォーカス調整部材２０３、２１３アイリス調整部材

Claims

【特許請求の範囲】

【請求項１】中心部は十分に密な格子点からなる画素
を持ち、その中心部より外側では、中心点からの距離に
応じて画素点密度が低下するとともに、１画素点当たり
の開口面積が大きくなるように構成された撮像素子が設
けられていることを特徴とする画像情報処理装置。
【請求項２】画素点が同心円上に配置されるととも
に、画素中心からの距離に応じて画素点密度が低下する
ように構成された撮像素子が設けられていることを特徴
とする画像情報処理装置。
【請求項３】結像のためのレンズと撮像素子との間
に、視線を移動させる手段を設けるとともに、上記撮像
素子の出力を中心部の出力と周辺部の出力とに分け、こ
れらの中心部の出力、および周辺部の出力に応じて画像
処理する画像処理手段を設け、上記画像処理手段が、中
心部は精度の高い情報を得るようにするとともに、周辺
部は相対的に精度の低い情報を得るようにすることを特
徴とする画像情報処理装置。
【請求項４】撮像装置と、上記撮像装置から出力され
る画像情報を記憶するために設けられた第１の記憶手段
および第２の記憶手段と、上記画像情報に所定の信号処
理を施す画像信号処理手段とを有し、上記撮像装置からの出力を上記第１の記憶手段に記憶す
るとともに、それまでに撮像された画像情報を基にして
その時点における周辺物体迄の距離情報を上記画像処理
手段によって求め、この求めた距離情報を上記第２の記
憶手段に記憶することを特徴とする画像情報処理装置。
【請求項５】撮像装置と、上記撮像装置から出力され
る画像情報を記憶するために設けられた第１の記憶手段
および第２の記憶手段と、上記画像情報に所定の信号処
理を施す画像信号処理手段と、移動方向および移動量を
検出する方向／量検出手段とを有し、上記画像処理手段の情報の他に、上記方向／量検出手段
によって検出された情報によっても上記第２の記憶手段
に記憶されている距離情報を修正していくことを特徴と
する画像情報処理装置。