JPH03289293A

JPH03289293A - 撮像装置

Info

Publication number: JPH03289293A
Application number: JP2090948A
Authority: JP
Inventors: Masao Yamawaki; 正雄山脇
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1990-04-04
Filing date: 1990-04-04
Publication date: 1991-12-19
Also published as: US5168327A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は撮像装置に関し、特に、基準面から被写体ま
での距離を測定することにより物体の三次元形状を計測
する三次元形状計測用の撮像装置に関するものである。

〔従来の技術〕

近年の固体撮像素子の高解像度化に伴い、従来の民生用
の用途だけでなく、精密な計測として撮像素子の用途が
広がってきた。たとえば、第９図は、ニス・ビー・アイ
・イー　７２８巻　オプティクス、イルミネーション、
アンド　イメージセンシング　フオ　マシン　ビジョン
　（１９８６）、２３５〜２４２頁（ＳＰＩＥ　Ｖｏｌ
、７２８０ｐｔｉｃｓ。

Ｉｌｌｕｍｉｎａｔｉｏｎ、　ａｎｄ　Ｉｍａｇｅ　Ｓ
ｅｎｓｉｎｇ　ｆｏｒ　ＭａｃｈｉｎｅＶｉｓｉｏｎ（
１９８６Ｌｐｐ、２３５〜２４２）に記載されたＦ　、
　Ｂｌａｉｓ　らにより考えられた三次元形状計測用の
撮像装置である８図において、（は撮像装置の前面で入
射する光を二つに分離するための光窓を有するマスク、
２は撮像用のレンズ、９は例えば高解像度を有する固体
撮像素子、４は基準面（参照面）、５は被写体である。

次に動作について説明する。

第９図に示すように、光学系は基準面４のＡ点に対して
ＣＣＤ等の撮像素子９上のＡ′点に結像するように調整
しておく。このような状態で、被写体５がＢ点にあると
、Ｂ点での反射光は撮像素子９の撮像面上ではす、ｂ“
点に二重像として結像される（図の破線に相当する）。

第１１図はこの測定原理をより詳細に説明するためのも
ので、被写体５の３点（Ｂ＋、Ｂｚ　　Ｂ３）での反射
光の光情報を測定している。これらの測定点のうち、基
準面からΔＬ＋だけ離れている点Ｂ１での反射光は撮像
面ではｂ＋　、ｂ＋　’点に二重層として結像され、ま
た、基準面からＬ２゜Ｌ、（但し、Ｌｌ　＞Ｌｘ　＞Ｌ
ｉ　）離れている点Ｂ２、Ｂ、での反射光はそれぞれ撮
像面上ではｂよ。

ｂ２′点及びす、、ｂ、°点に二重像として結像される
。ここで、それぞれの二重像の差Δｄｌ。

Δｄｒ、　Δｄ３の大きさは、Δｄ＋＞Δｄ、＞Δｄ、
の関係にあり、基準面４から被写体５までの距離（△Ｌ
）が撮像面上での二重像の差（Δｄ）に比例することが
わかる。よって、△ｄを測定し、撮像された映像情報か
ら画素の繰り返しを考慮すれば、被写体の三次元形状情
報が得られることになる。このように非常に簡単な構成
の撮像装置で距離情報を測定することができる。

〔発明が解決しようとする課題〕

しかしながら、従来の撮像装置は以上のように構成され
ているので、基準面４から撮像素子９側に被写体５があ
る場合には正しい情報が得られるが、基準面４から撮像
素子９に対して反対の方向（第９図で基準面４の左側）
に被写体５がある場合には誤った情報となる。即ち、第
１０図に示すように、基準面４より左側に被写体５があ
る場合にはＡ゛点より左側に被写体５の結像点Ｂ′がで
き、第９図と比較してす、ｂ’　が入れ替わった状態の
像が撮像面上に投射される。つまり、被写体５が基準面
４に対して撮像素子９側にΔＬだけ離れた所にある場合
（第９図）と、撮像素子９とは反対側に同距離のΔＬだ
け離れた所にある場合（第１０図）とでは、ｂ、ｂ’　
が逆になるのみで実際に撮像面上に投影される二重像は
全く同一のものとなる。従って、基準面４より撮像素子
と反対側に被写体５がある場合にはそれを検知すること
ができず、誤った距離の情報が得られることになり、撮
像装置としての精度が損なわれることになる。

特に、このような問題は被写体５が動的な場合に事実上
大きく測定精度に影響し、例えば、本撮倣装置をロボッ
ト用の距離測定用の撮像装置として使用する場合には、
基準面の設置が難しく原理的に問題となる。この対策と
して、例えば十分遠方に基準面を設定することが考えら
れるが、このときは、△Ｌに対する△ｄの変化率が小さ
くなるため、測定精度が劣化してしまう。第１２図は、
基準面からΔＬ離れて位置する被写体（ロボット）につ
いて、基準面を撮像面から十分に遠方に設定した場合と
撮像面の近傍に設定した場合におけるそれぞれの二重像
の差を測定した結果を示している。図に示すように基準
面を撮像面から十分に遠方に設定した場合の被写体の二
重像（ｂｓ、ｂｓ’）の差Δｄ、は、撮像面の近傍に基
準面を設定した場合の二重像（ｂａ　ｂ、＋）の差Δｄ
４に比べてかなり小さい。このように、△Ｌに対する△
ｄの変化率を大きくし、測定精度を良好に保ためには計
測範囲内に基準面を設定する必要があり、測定精度の面
で原理的な問題点があった。

この発明は上記のような問題点を解消するためになされ
たもので、基準面と被写体の位置関係を正確に検知でき
、簡便で且つ測定精度の高い撮像装置を得ることを目的
とする。

〔課題を解決するための手段〕

この発明に係る撮像装置は、被写体からの反射光を分離
する２つの光窓を有するマスクと、光窓を通過した光を
受光するレンズと、レンズにより集光された光を受光す
る撮像素子とを備え、基準面から被写体までの距離を測
定することにより被写体の三次元形状を計測するものに
おいて、マスクの２つの光窓に互いに異なる分光透過特
性をもつ分光手段を配設するとともに、撮像素子の表面
に上記の分光透過特性に対応した互いに異なる分光透過
特性をもつ分光手段を設けるようにしたものである。

また、この発明に係る撮像装置は、マスクの２つの光窓
のそれぞれの光の透過率を制御する制御手段を設け、こ
の光透過特性を上記撮像素子の動作と同期して相反する
透過率になるよう制御したものである。

〔作用〕

この発明における撮像装置は、マスクの２つの光窓に互
いに異なる分光透過特性をもつ分光手段。

たとえばカラーフィルタ、或いは光の透過率を制御する
制御手段、たとえば光シャッタを設けたので、撮像面に
入射する光がマスクの光窓の何れの窓から入射した光か
を判断できるようになり、汎用の距離測定が高精度にで
きるようになる。

〔実施例〕

以下、この発明の一実施例を図について説明する。

第１図は本発明の第１の実施例による撮像装置の構成を
示しており、図において、第９図と同一符号は同一部分
を示し、６．７はマスク１の２つの光窓にそれぞれ設け
られた互いに異なる分光透過特性を有するカラーフィル
タであり。たとえば、６は赤色、７は青色の透過特性を
もつカラーフィルタと考える。また、１０は色分解フィ
ルタを有するカラー撮像素子である。

従来例と同じ（Ａ点の基準面に対して撮像面のＡ”に結
像するように光学系を調整しておく。基準面より左側に
被写体があるときくＣ点）は、Ｃ。

点に結像することになるが、カラーフィルタ６７を透過
してきた光はどちらの光窓を透過してきたものか判別す
ることができる。すなわち、Ｃに赤色の光が入射してＣ
ｏに青色の光が入射している場合は、基準面より遠点（
図面の左側）に被写体があることを示しており、この逆
として、Ｃに青色の光が入射してＣｏに赤色の光が入射
している場合は、基準面より近点（図面の右側）に被写
体があることとなる。この情報をカラー撮像素子１０で
撮像することにより基準面近傍の距離情報を精度よく測
定するこができる。

また、カラー撮像素子１０としては、二次元に配設され
た光電換素子上に、第２図（ａ）、　（ｂ）の１５ａ、
１５ｂに示すようなストライブ状あるいはモザイク状の
配列をした二次元のカラーフィルタを有する素子を用い
る。マスク１の光窓に設けた青色カラーフィルタ６を通
過してきた光はこのようなカラー撮像素子上の青色カラ
ーフィルタ１１により受光され、また、マスクの赤色カ
ラーフィルタ７を通過した光は赤色カラーフィルタ１２
により受光されて画像情報が入力される。そして、この
ように画像情報が入力された撮像素子では、カラー画像
情報の読み出しにおいて、色ごとの信号として分解する
ことができる。その後、信号処理用の計算機等でこれら
の情報を演算することにより、三次元の距離情報として
抽出することができる。

ここで、被写体の構造がたて方向性が強いものである場
合には、二次元カラーフィルタを水平解像度の高いスト
ライプ状配列のもの１５ａとし、また、被写体が未知の
ものである場合には水平解像度及び垂直解像度が同程度
であるモザイク状配列のもの１５ｂを使用するとよく、
これらは撮像する対象に応して使い分けるとよい。

また、上記実施例では二次元の撮像素子を用いて撮像を
行なう例について示したが、−次元の撮像素子を用いて
も同様の効果が期待できる。第３図は本発明の第２の実
施例による分光手段を有する一次元の撮像素子を用いた
撮像装置の例を示したものである。図において、１３は
鏡を用いて機械的に入射する光を走査する走査装置、１
４は一次元のカラー撮像素子である。また、第４図はカ
ラー撮像素子１４に設けたカラーフィルタ配列の一例を
示した図である。撮像原理は第１図で示したものと等価
であり、動作的にはｌライン毎に走査装置１３を駆動し
て被写体５を撮像し、信号処理用の計算機に撮像情報を
人力していき、計算機内部のメモリ上で二次元の画像情
報として取り扱うようにする。ただし、第３図では動作
原理を解かりやすく説明するため、走査装置の回転軸を
紙面に垂直にとっているが、実際には二次元画像の撮像
を行う時は、走査装置１３を紙面に垂直な回転軸で回転
させるとともに、さらに紙面に平行な回転軸の回りに回
転させる必要がある。

なおここで、上記第１及び第２の実施例では、マスク１
の光窓にカラーフィルタを設け、２つの光窓のうちいず
れの光窓から入射した光かを判別するようにしていたが
、これはカラーフィルタの代わりに液晶等の光シャッタ
を用いるようにしてもよい、即ち、第５図は本発明の第
３の実施例による撮像装置の構造を示したものであり、
マスクの２つの光窓には液晶からなる光シャッタ１７゜
１８を設けており、９は撮像素子である。

次に動作原理について説明する。第６図に撮像の原理を
説明するタイミングチャートを示す。すなわち、まず最
初の撮像期間に１７の液晶光シャフタをＯＮにして１８
の液晶光シャンクをＯＦＦにして撮像するＣｔＩ期間〉
。この画像情報を読出し計算機のメモリに記憶しておく
　（ｔ２期間）。

ついで、１８の液晶光シャッタをＯＮにして１７のシャ
ッタをＯＦＦにして画像情報を計算機の別のメモリに読
出しくｊ３、ｊ４期間）、以前に記憶した情報と演算す
る。

この方法によれば、時分割情報として何れの光窓から入
射した光かを判別することができ、等価的に前述したカ
ラーフィルタを用いて分離したのと同じ情報が得られる
ことになり、三次元の距離情報を抽出することができる
。

また、カラーフィルタを用いた場合には、第２図で示し
たようにそれぞれの光窓からの情報を撮像素子上で色信
号として空間的に分離して記憶していたために、それぞ
れの窓の情報を半分の解像度でしか得られなかったが、
液晶シャフタを用いる場合は、すべての画素でそれぞれ
の光窓の情報を集めることができカラーフィルタの使用
時に比し２倍の解像度が得られ高精度測定が可能となる
。

ここで、カラーフィルタを用いる場合は、−度の撮像と
読出で画像入力が可能であるのに対し、光シャッタを用
いる場合は第６図に示すように、情報の入力に長い時間
がかかることになる。そこで、液晶光シャッタを用いて
より短い時間で画像情報を入力するための例を第７図で
示す。ＣＣＤ撮像素子では、前の画像情報を読出しなが
ら次の撮像動作を行うことができるので、第７図に示す
ようにｔ、で最初の撮像を行い、ｔ、で信号を続出なが
ら次の撮像を行なう。次いでｔｃで次の信号を読み込む
０通常の固体撮像素子では撮像と読出しに１／６０秒を
要するが、この第７図に示す駆動方法では、第６図に示
した場合より３／４の駆動時間で情報の入力が可能とな
る。

ここで、第１の実施例の分光手段を用いるか、あるいは
第３の実施例で示した光シャッタによる光経路判別法を
用いるかの選択は、両者がそれぞれ上記のような特性を
持つことを考慮し、高速性が必要とされる場合には駆動
時間が短いカラーフィルタによる分光手段を、また、高
解像度が必要とされる場合は光シャフタを用いる等、用
途に応じて選択することが望ましい。

なお、以上の実施例では撮像素子として固体撮像素子を
用いた例、について説明したがこれは撮像管を用いた撮
像装置でもよく、その場合においても同様の効果が得ら
れる。

さらに上記第１及び第２の実施例ではカラーフィルタの
例として赤色、青色の二色を用いた例を示したが、これ
は赤色と緑色のようなお互いに異なった透過特性をもっ
た色フィルタであれば同様の効果かえられる。また可視
光に限らず、近赤外領域の撮像でも異なる波長の光を用
いることにより同様の効果が得られる。

また、上記第３の実施例では光シャフタとして液晶を用
いた場合について示したが、撮像装置と同期して動作す
る機械式シャフタあるいは音響光学効果を利用した光シ
ャッタであっても同様の効果を奏する。

第８図に音響光学効果を利用した光シャッタの例を示す
。図において、１９は電極２０．音響光学素子２１から
構威される音響光学効果を利用した素子であり、本素子
は、電極２０に高いパルスを印加することにより音響光
学媒体中に音波２５を発生させ、この音波２５により媒
体２１を通過する光の進路を回折させるものである。つ
まり、音波を発生させるか否かにより光の通過を制御す
る光シャッタとして用いることができる。

さらに、上記第２の実施例では一次元のカラー撮像素子
を用いた例について示したが、これは光シャフタを用い
た撮像装置においてもその撮像素子を一次元に構威し、
カラーフィルタの場合と同様に１ライン毎に走査装置を
駆動して被写体を撮像し、信号処理用の計算器内で二次
元の画像情報として取り扱うようにしてもよい。

〔発明の効果〕

以上のように、この発明によればマスクの２つの光窓に
カラーフィルタ等の互いに異なる分光透過特性を有する
分光手段をそれぞれ設けるとともに、撮像素子にこの分
光透過特性に対応した互いに異なる分光透過特性の分光
手段を配設し、基準面からの被写体の遠近情報を撮像に
より得るように構成したので、また、あるいはマスクの
２つの光窓のそれぞれの光の透過率を制御する制御手段
を設け、この光透過特性を撮像素子の動作と同期して相
反する透過率になるよう制御するようにしたので、被写
体が基準面から撮像面側に存在するのか、撮像面とは反
対側に存在するのかを正確に検知することができ、簡単
に高精度の距離情報が得られる効果がある。

【図面の簡単な説明】

第１図はこの発明の第１の実施例による撮像装置を示す
図、第２図は第１図の撮像素子の表面に設けるカラーフ
ィルタの配列を示す図、第３図は本発明の第２の実施例
による撮像装置を示す図、第４図は第３図の撮像素子の
表面に設けるカラーフィルタの配列を示す図、第５図は
本発明の第３の実施例による撮像装置を示す図、第６図
及び第７図はともに第５図の撮像装置の動作を示すタイ
ミングチャート図、第８図は光シャッタの他の例を示す
図、第９図、第１０図は従来の撮像装置を示す図、第１
１図は従来の撮像装置による撮像の原理を示す図、第１
２図は従来の問題点を説明するための図である。図において、１は二つの光窓を有するマスク、２は撮像
に用いるレンズ、４は距離の基準面、５は被写体、６．
１１は青色カラーフィルタ、７１２は赤色カラーフィル
タ、９はカラー撮像素子、１０は撮像素子、１３は走査
装置、１４は一次元のカラー撮像素子、１５ａはストラ
イプ配列のカラーフィルタ、１５ｂはモザイク配列のカ
ラーフィルタ、１５Ｃは一次元のカラーフィルタ、１６
は回転軸、１７．１８は光シャンク、１９は音響光学効
果を持つ光シャフタ、２０は電極、２１は音響光学媒体
、２２は入射光、２３は一次回折光、２４は透過光（０
次光）、２５は音波である。なお、図中、同一符号は同−又は相当部分を示す。

Claims

【特許請求の範囲】

（１）被写体からの反射光を分離する２つの光窓を有す
るマスクと、該光窓を通過した光を受光するレンズと、
該レンズにより集光された光を受光する撮像素子とを備
え、被写体の三次元形状を計測する撮像装置において、上記マスクの２つの光窓に互いに異なる分光透過特性を
もつ分光手段を配設するとともに、上記撮像素子の表面
に上記分光透過特性に対応した互いに異なる分光透過特
性をもつ分光手段を設けたことを特徴とする撮像装置。
（２）被写体からの反射光を分離する２つの光窓を有す
るマスクと、該光窓を通過した光を受光するレンズと、
該レンズにより集光された光を受光する撮像素子とを備
え、被写体の三次元形状を計測する撮像装置において、上記マスクの２つの光窓のそれぞれの光の透過率を制御
する制御手段を設け、この光透過特性を上記撮像素子の動作と同期して相反す
る透過率になるよう制御するようにしたことを特徴とす
る撮像装置。