JP4369575B2 - 3次元画像検出装置 - Google Patents
3次元画像検出装置 Download PDFInfo
- Publication number
- JP4369575B2 JP4369575B2 JP33016299A JP33016299A JP4369575B2 JP 4369575 B2 JP4369575 B2 JP 4369575B2 JP 33016299 A JP33016299 A JP 33016299A JP 33016299 A JP33016299 A JP 33016299A JP 4369575 B2 JP4369575 B2 JP 4369575B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- distance
- subject
- information
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の3次元形状等を検出する3次元画像検出装置に関する。
【0002】
【従来の技術】
従来3次元画像入力装置における3次元計測では、光伝播時間測定法を利用したものが知られている。「Measurement Science and Technology」(S. Christie 他、vol.6, p1301-1308, 1995 年)に記載された3次元画像入力装置では、パルス変調されたレーザ光が被計測物体(被写体)に照射され、その反射光がイメージインテンシファイアが取付けられた2次元CCDセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。また、国際公開97/01111号公報に開示された装置では、パルス変調されたレーザ光等の光が被計測物体に照射され、その反射光はメカニカル又は液晶素子等から成り測距光のパルスとは異なるタイミングで制御される電気光学的シャッタと組み合わされた2次元CCDセンサによって受光され、電気信号に変換される。これらの構成によれば、遠い被計測物体からの反射光による受光量は近い被計測物体からの反射光による受光量に比べて小さいので、被計測物体の距離に応じた出力がCCDの各画素毎に得られる。
【0003】
【発明が解決しようとする課題】
しかし、上述の方法で検出された距離情報には、被写体(被計測物体)の表面における反射率の違い等による誤差が含まれている。従って、検出精度の高い距離情報を得るには、これら誤差を補正する必要がある。反射率の違いによる誤差を補正するには、反射率に関する情報(反射率情報)を検出する必要がある。しかし、反射率情報の信号レベルは、距離情報の信号レベルに比べ高いため、反射率情報の信号レベルにA/D変換器の動作範囲を設定すると、距離情報に対する量子化S/N比が劣化してしまう。
【0004】
本発明は、距離情報に対する量子化S/N比を劣化させることなく、精度の高い距離情報を検出可能な3次元画像検出装置を得ることを目的としている。
【0005】
【課題を解決するための手段】
本発明の3次元画像検出装置は、被写体に第1及び第2の測距光を照射するための光源と、光源の発光を制御する光源制御手段と、所定の蓄積期間内に第1の測距光による被写体からの反射光を撮像部において受光することによって生じる第1の信号電荷に基づいて、被写体までの距離情報を画素毎に検出する距離情報検出手段と、第2の測距光による被写体からの反射光を撮像部において受光することにより生じ、受光された反射光の全光量に対応する第2の信号電荷に基づいて、測距光が被写体の表面で反射するときに受ける影響に関する情報である反射率情報を画素毎に検出する反射率情報検出手段と、第1の信号電荷と第2の信号電荷とが、被写体の被計測領域に対応する画素において略同じ大きさとなるように光源制御手段を制御して第1の測距光と第2の測距光の出力を調整する出力調整手段とを備えることを特徴としている。
【0006】
好ましくは、出力調整手段における第1および第2の測距光の調整は、予め被写体までの距離を概ね計測するプリ測距の結果に基づいて行われる。プリ測距は好ましくは、第1および第2の測距光の出力を同一にして距離情報検出手段および反射率情報検出手段を駆動して行われる。これにより、より適正な出力比を得ることができる。
【0007】
好ましくは、出力調整手段における第1および第2の測距光の調整は、プリ測距において検出され、被写体の被計測領域に対応する画素を代表する1以上の標本画素の距離情報および反射率情報に基づいて行われる。このとき例えば、出力調整手段における第1および第2の測距光の調整は、1つの標本画素における第1の信号電荷と第2の信号電荷との比が1対1になるように調整される。これにより迅速かつ簡単に出力比を算出し、測距光の出力を調整することができる。
【0008】
3次元画像検出装置は好ましくは、光学系の像面照度を調整するための開口絞りを備え、プリ測距を行なう際には、出力調整手段、距離情報検出手段、反射率情報検出手段を駆動して被写体までの距離を計測する本測距に比べ開口絞りを絞った状態で計測を行なう。
【0009】
本発明の3次元画像検出装置は、測距光を被写体に照射し、測距光の被写体からの反射光を受光することにより被写体までの距離を画素毎に計測する3次元画像検出装置であって、測距光を被写体に照射しその反射光を受光することにより被写体までの距離を画素毎に相対的に低い精度で予め計測するプリ測距手段と、測距光を被写体に照射しその反射光を受光することにより被写体までの距離を画素毎に相対的に高い精度で計測する本測距手段と、本測距手段において照射される測距光の照射出力を、プリ測距手段を駆動して得られる計測結果に基づいて調整する照射出力調整手段とを備えることを特徴としている。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の一実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【0011】
カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓12が設けられ、右上にはストロボ13が設けられている。カメラ本体10の上面において、撮影レンズ11の真上には、測距光であるレーザ光を照射する発光装置(光源)14が配設されている。発光装置14の左側にはレリーズスイッチ15、液晶表示パネル16が設けられ、右側にはモード切替ダイヤル17とV/Dモード切替スイッチ18が設けられている。カメラ本体10の側面には、ICメモリカード等の記録媒体を挿入するためのカード挿入口19が形成され、またビデオ出力端子20、インターフェースコネクタ21が設けられている。
【0012】
図2は図1に示すカメラの回路構成を示すブロック図である。
撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調節動作およびズーミング動作はレンズ駆動回路27によって制御される。
【0013】
撮影レンズ11の光軸上にはCCD(撮像部)28が配設されている。CCD28には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作はCCD駆動回路30によって制御される。CCD28から読み出された電荷信号すなわち画像信号はアンプ31において増幅され、A/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27、撮像信号処理回路33はシステムコントロール回路35によって制御される。
【0014】
CCD駆動回路30は、V/D切替回路29を介して3D駆動パルス発生回路22または通常駆動パルス発生回路24から出力されるパルス信号により制御される。通常駆動パルス発生回路24から出力されるパルス信号は、CCD28において通常の撮影動作を行ない被写体の画像情報を検出するためのものである。一方、3D駆動パルス発生回路22から出力されるパルス信号は、CCD28において距離情報を検出する際に用いられるパルス信号である。V/D切替回路29は、V/Dモード切替スイッチ18(図1)の設定に対応して、3D駆動パルス発生回路または通常駆動パルス発生回路24からのパルス信号を選択的にCCD駆動回路30へ出力する。3D駆動パルス発生回路22および通常駆動パルス発生回路24はシステムコントロール回路35により制御される。
【0015】
画像メモリ34に一時的に記憶された画像信号は、画像メモリ34から読み出され、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に対応した画像が表示される。
【0016】
カメラをカメラ本体10の外部に設けられたモニタ装置39とケーブルで接続すれば、画像メモリ34から読み出された画像信号はTV信号エンコーダ38、ビデオ出力端子20を介してモニタ装置39に伝送可能である。またシステムコントロール回路35はインターフェース回路40に接続されており、インターフェース回路40はインターフェースコネクタ21に接続されている。したがってカメラをカメラ本体10の外部に設けられたコンピュータ41とインターフェースケーブルを介して接続すれば、画像メモリ34から読み出された画像信号をコンピュータ41に伝送可能である。システムコントロール回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカード等の記録媒体Mに記録可能である。
【0017】
発光装置14は発光素子14aと照明レンズ14bにより構成され、発光素子14aの発光動作は発光素子制御回路44によって制御される。発光素子14aはレーザダイオード(LD)であり、照射されるレーザ光は被写体の距離を検出するための測距光として用いられる。このレーザ光は照明レンズ14bを介して被写体の全体に照射される。被写体において反射した光は撮影レンズ11に入射する。この光をCCD28によって検出することにより、後述するように被写体の表面形状に関する距離情報が3次元画像として得られる。
【0018】
発光素子制御回路44は、3D駆動パルス発生回路22から出力されたパルス信号に基いて制御される。3D駆動パルス発生回路22から出力されたパルス信号は、パルス振幅変換回路23を介して発光素子制御回路44へ出力される。パルス振幅変換回路23では、システムコントロール回路35の信号指令に従って、発光素子14aが出力する測距光の出力を調整する。
【0019】
システムコントロール回路35には、レリーズスイッチ15、モード切替ダイヤル17、V/Dモード切替スイッチ18から成るスイッチ群45と、液晶表示パネル(表示素子)16とが接続されている。
【0020】
次に図3を参照して、本実施形態における撮影動作について説明する。図3は、撮影動作プログラムのフローチャートである。
【0021】
ステップ101においてレリーズスイッチ15が全押しされていることが確認されるとステップ102が実行され、ビデオ(V)モードと距離測定(D)モードのいずれが選択されているかが判定される。これらのモード間における切替はV/Dモード切替スイッチ18を操作することによって行なわれる。
【0022】
ステップ102においてDモードが選択されていると判定されると、ステップ103において本測距(ステップ105)の予備計測であるプリ測距が、アイリス25を本測距のFナンバーよりも絞った(例えば、本測距でのFナンバーから2段絞り込む)状態で行われる。ステップ104では、ステップ103において検出された距離情報に基づいて、ステップ105の本測距において照射される測距光の出力比が算出される。後に説明するように、プリ測距と本測距において実行される距離測定動作では、距離情報と反射率情報とがそれぞれ検出され、これらの情報から被写体までの距離が算出される。プリ測距では、距離情報の検出と反射率情報の検出において照射される測距光の出力は一定である。一方ステップ105の本測距では、ステップ104において算出された出力比に基づいて測距光の出力が調整され、距離情報および反射率情報の検出が行われる。したがって、本測距において照射される測距光の出力は、距離情報の検出と反射率情報の検出とでは異なる。これは、距離情報の信号に対する量子化S/N比の劣化を防ぐためであり、距離情報を検出する際にCCD28から出力される信号のレベルが、反射率情報を検出する際にCCD28から出力される信号のレベルと略等しくなるよう調整される。その後ステップ106において得られた距離データが記録媒体Mに保存され、この撮影動作のプログラムは終了する。
【0023】
一方、ステップ102において設定モードがVモードであると判定されると、ステップ107において測距光の制御がオフ状態に定められるとともに、ステップ108においてCCDのビデオ制御がオン状態に定められる。すなわち、被写体の画像情報(画像データ)がCCDの通常の撮影動作により検出される。ステップ109において、検出された画像データが記録媒体Mに保存され、この撮影動作のプログラムは終了する。
【0024】
次に図4および図5を参照して、本実施形態における距離測定の原理について説明する。なお図5において横軸は時間tである。
【0025】
距離測定装置Bから出力された測距光は被写体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被写体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・t(δは遅延係数)だけ遅れる。測距光と反射光は距離測定装置Bと被写体Sの間の2倍の距離rを進んだことになるから、その距離rは
r=δ・t・C/2 ・・・(1)
により得られる。ただしCは光速である。
【0026】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Tを設けると、この反射光検知期間Tにおける受光量Aは距離rの関数である。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)小さくなる。
【0027】
本実施形態では上述した原理を利用して、CCD28に設けられ、2次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Aを検出することにより、カメラ本体10から被写体Sの表面の各点までの距離をそれぞれ検出し、被写体Sの表面形状に関する3次元画像のデータを一括して入力している。
【0028】
図6は、CCD28に設けられるフォトダイオード51と垂直転送部52の配置を示す図である。図7は、CCD28を基板53に垂直な平面で切断して示す断面図である。このCCD28は従来公知のインターライン型CCDであり、不要電荷の掃出しにVOD(縦型オーバーフロードレイン)方式を用いたものである。
【0029】
フォトダイオード51と垂直転送部52はn型基板53の面に沿って形成されている。フォトダイオード51は2次元的に格子状に配列され、垂直転送部52は所定の方向(図6において上下方向)に1列に並ぶフォトダイオード51に隣接して設けられている。垂直転送部52は、1つのフォトダイオード51に対して4つの垂直転送電極52a,52b,52c,52dを有している。したがって垂直転送部52では、4つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をCCD28から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【0030】
基板53の表面に形成されたp型井戸の中にフォトダイオード51が形成され、p型井戸とn型基板53の間に印加される逆バイアス電圧によってp型井戸が完全空乏化される。この状態において、入射光(被写体からの反射光)の光量に応じた電荷がフォトダイオード51において蓄積される。基板電圧Vsub を所定値以上に大きくすると、フォトダイオード51に蓄積した電荷は、基板53側に掃出される。これに対し、転送ゲート部54に電荷転送信号(電圧信号)が印加されたとき、フォトダイオード51に蓄積した電荷は垂直転送部52に転送される。すなわち電荷掃出信号によって電荷を基板53側に掃出した後、フォトダイオード51に蓄積した信号電荷が、電荷転送信号によって垂直転送部52側に転送される。このような動作を繰り返すことにより、垂直転送部52において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【0031】
図8は、ステップ103のプリ測距およびステップ105の本測距において実行される距離情報検出動作のタイミングチャートである。図1、図2、図6〜図8を参照して本実施形態における距離情報検出動作について説明する。なお本実施形態の距離情報検出動作では、図5を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【0032】
垂直同期信号(図示せず)の出力に同期して電荷掃出し信号(パルス信号)S1が出力され、これによりフォトダイオード51に蓄積していた不要電荷が基板53の方向に掃出され、フォトダイオード51における蓄積電荷量はゼロになる(符号S2)。電荷掃出し信号S1の出力の開始の後、一定のパルス幅を有するパルス状の測距光S3が出力される。測距光S3が出力される期間(パルス幅)は調整可能であり、図示例では、電荷掃出し信号S1の出力と同時に測距光S3がオフするように調整されている。
【0033】
測距光S3は被写体において反射し、CCD28に入射する。すなわちCCD28によって被写体からの反射光S4が受光されるが、電荷掃出し信号S1が出力されている間は、フォトダイオード51において電荷は蓄積されない(符号S2)。電荷掃出し信号S1の出力が停止されると、フォトダイオード51では、反射光S4の受光によって電荷蓄積が開始され、反射光S4と外光とに起因する信号電荷S5が発生する。反射光S4が消滅すると(符号S6)フォトダイオード51では、反射光に基く電荷蓄積は終了するが(符号S7)、外光のみに起因する電荷蓄積が継続する(符号S8)。
【0034】
その後、電荷転送信号S9が出力されると、フォトダイオード51に蓄積された電荷が垂直転送部52に転送される。この電荷転送は、電荷転送信号の出力の終了(符号S10)によって完了する。すなわち、外光が存在するためにフォトダイオード51では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード51に蓄積されていた信号電荷S11が垂直転送部52へ転送される。電荷転送信号の出力終了後に蓄積している電荷S14は、そのままフォトダイオード51に残留する。
【0035】
このように電荷掃出し信号S1の出力の終了から電荷転送信号S9の出力が終了するまでの期間TU1の間、フォトダイオード51には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光S4の受光終了(符号S6)までフォトダイオード51に蓄積している電荷が、被写体の距離情報と対応した信号電荷S12(斜線部)として垂直転送部52へ転送され、その他の信号電荷S13は外光のみに起因するものである。
【0036】
電荷転送信号S9の出力から一定時間が経過した後、再び電荷掃出し信号S1が出力され、垂直転送部52への信号電荷の転送後にフォトダイオード51に蓄積された不要電荷が基板53の方向へ掃出される。すなわち、フォトダイオード51において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間TU1が経過したとき、信号電荷は垂直転送部52へ転送される。
【0037】
このような信号電荷S11の垂直転送部52への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部52において、信号電荷S11が積分され、1フィールドの期間(2つの垂直同期信号によって挟まれる期間)に積分された信号電荷S11は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。
【0038】
以上説明した信号電荷S11の検出動作は1つのフォトダイオード51に関するものであり、全てのフォトダイオード51においてこのような検出動作が行なわれる。1フィールドの期間における検出動作の結果、各フォトダイオード51に隣接した垂直転送部52の各部位には、そのフォトダイオード51によって検出された距離情報が保持される。この距離情報は垂直転送部52における垂直転送動作および図示しない水平転送部における水平転送動作によってCCD28から出力される。
【0039】
しかしCCD28により検出された反射光は、被写体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、CCD28により検出された反射光には、被写体からの反射光以外に外光等の成分も含まれており、これに起因する誤差も存在する。これらの誤差を補正する方法について、次の距離測定動作のフローチャートを参照して説明する。
【0040】
図12と図13はステップ103のプリ測距およびステップ105の本測距(図3参照)において実行される距離測定動作のフローチャートである。図1、図2、図8〜図13を参照して、本実施形態における距離測定動作について説明する。なお図9〜図11は、距離補正情報、反射率情報および反射率補正情報の検出動作におけるタイミングチャートである。
【0041】
ステップ201では、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置14が駆動され、パルス状の測距光S3が断続的に出力される。次いでステップ202が実行され、CCD28による検知制御が開始される。すなわち図8を参照して説明した距離情報検出動作が開始され、電荷掃出し信号S1と電荷転送信号S9が交互に出力されて、距離情報の信号電荷S11が垂直転送部52において積分される。
【0042】
ステップ203では、距離情報検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると、1フィールド期間にわたる信号電荷S11の積分が完了し、積分された信号電荷がステップ204においてCCD28から出力される。この積分された信号電荷は距離情報に対応し、ステップ205において画像メモリ34に一時的に記憶される。ステップ206では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0043】
ステップ207〜210では、距離補正情報の検出動作(図9参照)が行なわれる。まずステップ207では、垂直同期信号が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S21と電荷転送信号S22が交互に出力される。電荷蓄積時間TU1は図8に示す距離情報検出動作と同じであるが、被写体に測距光が照射されないため(符号S23)、反射光は存在せず(符号S24)。したがって、距離情報の信号電荷は発生しないが、CCD28には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷S25が発生し、電荷転送信号S22の出力によって、それまでフォトダイオードに蓄積していた信号電荷S26が垂直転送部へ転送される。この信号電荷S26は、外乱成分が距離情報に及ぼす影響を補正するための、電荷蓄積時間TU1に対する距離補正情報に対応している。
【0044】
ステップ208では、距離補正情報の検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S26の1フィールド期間にわたる積分が完了し、ステップ209においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は距離補正情報に対応し、ステップ210において画像メモリ34に一時的に記憶される。
【0045】
ステップ211〜216では、反射率情報の検出動作(図10参照)が行なわれる。ステップ211では、垂直同期信号が出力されるとともに測距光制御が開始され、パルス状の測距光S33が断続的に出力される。ステップ212では、CCD28による検知制御が開始され、電荷掃出し信号S31と電荷転送信号S35が交互に出力される。電荷掃出し信号S31が出力されることによって、フォトダイオードにおける蓄積電荷量はゼロになる(符号S32)。電荷掃出し信号S31の出力が終了すると、測距光S33が出力され、CCDには反射光S34が入射する。反射光S34が消滅した後、電荷転送信号S35が出力される。すなわち反射率情報の検出動作は、電荷掃出し信号S31の出力が終了してから電荷転送信号S35の出力が終了するまでの電荷蓄積期間TU2内に、反射光S34の全てが受光されるように制御される。
【0046】
このようにフォトダイオード51では、 反射光S34を受光している間は反射光S34と外光に起因する信号電荷S36が蓄積され、また、反射光S34を受光していない間は外光のみに起因する信号電荷S37、S38が蓄積される。そして電荷転送信号S35の出力により、それまでのフォトダイオードに蓄積されていた信号電荷S39が垂直転送部へ転送される。この信号電荷S39は反射率情報に対応し、外光に基く成分S’39を含んでいる。
【0047】
ステップ213では、反射率情報検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S39の1フィールド期間にわたる積分が完了し、ステップ214においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は反射率情報に対応し、ステップ215において画像メモリ34に一時的に記憶される。ステップ216では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0048】
ステップ217〜220では、反射率補正情報の検出動作(図11参照)が行なわれる。ステップ217では、垂直同期信号が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S41と電荷転送信号S42が交互に出力される。電荷蓄積時間TU2は図10に示す反射率情報検出動作と同じであるが、被写体に測距光が照射されないため(符号S43)、反射光は存在せず(符号S44)。したがって、反射率情報の信号電荷は発生しないが、CCD28には外光等の外乱成分に対応した信号電荷S46が発生する。この信号電荷S46は、外乱成分が電荷蓄積時間TU2に対する反射率情報に及ぼす影響を補正するための反射率補正情報に対応している。
【0049】
ステップ218では、反射率補正情報の検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S47の1フィールド期間にわたる積分が完了し、ステップ219においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は反射率補正情報に対応し、ステップ220において画像メモリ34に一時的に記憶される。
【0050】
ステップ221では、ステップ201〜220において得られた距離情報、距離補正情報、反射率情報および反射率補正情報を用いて距離データの演算処理が行なわれ、この距離測定動作のサブルーチンは終了する。
【0051】
次にステップ221において実行される演算処理の内容を図8〜図11を参照して説明する。
反射率Rの被写体が照明され、この被写体が輝度Iの2次光源と見做されてCCDに結像された場合を想定する。このとき、電荷蓄積時間tの間にフォトダイオード51に発生した電荷が積分されて得られる出力Snは、
Sn=k・R・I・t ・・・(2)
で表される。ここでkは比例定数で、撮影レンズのFナンバーや倍率等によって変化する。
【0052】
被写体がレーザ等の光源からの光で照明される場合、輝度Iはその光源による輝度IS と背景光による輝度IB との合成されたものとなり、
I=IS +IB ・・・(3)
と表せる。
【0053】
図8に示されるように電荷蓄積時間をTU1、測距光S3のパルス幅をTS 、距離情報の信号電荷S12のパルス幅をTD とし、1フィールド期間中のその電荷蓄積時間がN回繰り返されるとすると、得られる出力SM10は、
となる。なお、パルス幅TD は
と表せる。
【0054】
図10に示されるように電荷蓄積時間TU2が、パルス状の測距光S33の期間(パルス幅)TS よりも十分大きく、反射光の単位受光時間を全部含むように制御された場合に得られる出力SM20は、
となる。
【0055】
図9に示されるように発光を止めて、図8と同じ時間幅でのパルス状の電荷蓄積を行なった場合に得られる出力SM11は、
となる。同様に、図11に示されるような電荷蓄積を行なった場合に得られる出力SM21は、
となる。
【0056】
(4)、(6)、(7)、(8)式から、
が得られる。
【0057】
上述したように測距光S3と反射光S4にはそれぞれ外光等の外乱成分(背景光による輝度IB )が含まれている。(9)式のTD /TS は、測距光S3を照射したときの被写体からの反射光S4の光量を、測距光S3の光量によって正規化したものであり、これは、測距光S3の光量(図8の信号電荷S11に相当)から外乱成分(図9の信号電荷S26に相当)を除去した値と、反射光S4の光量(図10の信号電荷S39に相当)から外乱成分(図11の信号電荷S’39に相当)を除去した値との比に等しい。
【0058】
(9)式の各出力値SM10、SM11、SM20、SM21はステップ205、210、215、220において、距離情報、距離補正情報、反射率情報、反射率補正情報として格納されている。したがって、これらの情報に基いて、TD /TS が得られる。パルス幅Ts は既知であるから、(5)式とTD /TS から距離rが得られる。すなわち
2r=C・TS ・(SM10−SM11)/(SM20−SM21) (10)
と表すことができる。
【0059】
次に図14、図15を参照して図3のステップ104において算出される測距光の出力比について説明する。図14および図15は、被写体の被計測領域に対応する1つの画素(標本画素)において受光されるパルス光と蓄積期間の関係をプリ測距、本測距について示したものである。図14はプリ測距において距離情報および反射率情報を検出する際に、CCD28で受光されるパルス光(受光パルス)と蓄積期間TU1およびTU2の関係を表したものである。また、図15は本測距において距離情報および反射率情報を検出する際に、CCD28で受光されるパルス光(受光パルス)と蓄積期間TU1およびTU2の関係を表したものである。なお図14および図15において外光の影響は省略されている。
【0060】
プリ測距における距離情報と反射率情報の検出では、被写体に照射される測距光(発光パルス)の出力が一定なので、各々の検出においてCCD28で受光されるパルス光(受光パルス)は同一である(図14)。すなわち、距離情報の検出において受光されるパルス光のパルス幅と高さは、反射率情報の検出において受光されるパルス光のパルス幅と高さに等しく、それらの値はともにTS とh1 である。距離情報の検出では、受光パルスの斜線部A1のみが蓄積期間TU1内に受光され信号電荷として検出される。この信号電荷は斜線部分A1の面積(光量)h1 ×TD に対応しており、被写体までの距離情報を表している。CCD28において検出された信号電荷は信号電位に変換され、アンプ31を介してA/D変換器32へと出力される。また反射率情報の検出では、蓄積期間TU2内に受光パルスの全てが受光され信号電荷として検出される。このとき検出される信号電荷は、斜線部A2の面積(受光パルスの全光量)h2 ×TS に対応しており、反射率情報を表している。検出された信号電荷は信号電位に変換され、アンプ31を介してA/D変換器32へ出力される。なお、受光パルスの高さh1 、h2 は、(4)式におけるk・R・IS に対応している。
【0061】
距離情報と反射率情報の検出において測距光の出力が一定であると、斜線部A2は受光パルス全体であるのに対し、斜線部A1は受光パルスの一部であるため、斜線部A2、A1の面積にそれぞれ対応する反射率情報の信号レベルと距離情報の信号レベルは、後者が前者に比べ著しく小さくなる場合がある。この様な場合、反射率情報の信号に対して過負荷とならないようにA/D変換器32の入力レベルを設定すると、距離情報の信号レベルに対する有効ビット数が相対的に減ることとなり、距離情報に対する量子化S/N比が劣化する。例えば、反射率情報の信号レベルが0〜Vボルトであり距離情報の信号レベルがそのn分の1、すなわち0〜V/nボルトであるとき、Pビットの線形量子化を行なうA/D変換器の動作範囲を距離情報の信号レベルに合わせて0〜Vボルトに設定すると、反射率情報はPビットで量子化されるが、距離情報はP−Int(log2 n)ビットで量子化されることとなり、距離情報に対する量子化S/N比が劣化する。なお、ここでInt( )は括弧内の数値の小数部を切り捨てて整数に変換する関数である。
【0062】
距離情報に対する量子化S/N比の劣化を防止するには、A/D変換器32へ出力される反射率情報の信号レベルと距離情報の信号レベルとを被写体の被計測領域に対応する画素において略等しくする必要がある。距離情報の信号レベルと反射率情報の信号レベルは、蓄積された信号電荷にそれぞれ相関する。したがって、距離情報、反射率情報の信号のレベルを略等しくするには、蓄積される信号電荷(蓄積電荷)の量を略同じにすればよく、これは被計測領域での反射率情報に対応する受光量を距離情報に対応する受光量を略等しくすればよい。ここで反射率情報に対応する受光量が距離情報に対応する受光量に略等しいとは、反射率情報に対応する受光量が距離情報に対応する受光量の例えば2倍以内であるような場合である。本実施形態の本測距では、標本画素において蓄積される信号電荷(蓄積電荷量)に対応する斜線部A1’の面積h2 ×TD と斜線部A2’の面積h2 ’×TS とが等しくなるように測距光の出力を調整することにより、被計測領域に対応する画素において反射率情報の信号レベルと距離情報の信号レベルとを略等しくしている。
【0063】
プリ測距および本測距において、距離情報、反射率情報を検出する際に出力される測距光のパルス幅TS は一定である。また、被写体までの距離は、プリ測距と本測距とで変わらないので、距離情報を検出する際に受光パルスの信号電荷が蓄積される期間TD もプリ測距と本測距で同じである。プリ測距の検出結果から、TD とTS との比TD /TS は既知であるので、これをα=TD /TS とすると、図15の斜線部A1’と斜線部A2’の面積(受光量)が等しくなるための条件であるh2 ’/h2 =αが求められる。受光パルスのパルス高さは、照射される測距光の出力に比例するので、距離情報を検出する際の測距光の出力と反射率情報を検出する際の測距光の出力を1:αの出力比で出力すれば、本測距における距離情報と反射率情報の信号レベルを等しくすることができる。なお、標本画素は、被写体の被計測領域に対応した画素を代表する画素であり、例えば画像の中央の画素や、一番近い距離に対応する画素などが用いられる。
【0064】
次に、プリ測距および本測距における絞り(アイリス25)の設定の違いについて図14、図15を参照して説明する。
【0065】
プリ測距でのFナンバーの設定を本測距と同一にすると、距離情報を検出する際に被写体に照射される測距光の出力は、プリ測距および本測距において同一であるので、プリ測距における受光パルスのパルス高さh1 は、本測距の距離情報の検出における受光パルスのパルス高さh2 に等しくなり、プリ測距での反射率情報の信号レベルは、本測距での距離情報の信号レベルのTS /TD 倍となる。A/D変換器32の動作範囲は、本測距での信号レベルに設定されているので、TS /TD の値が著しく大きいとき、プリ測距での反射率情報の信号レベルが、A/D変換器32に対して過負荷となる。これを防ぐためにプリ測距では予めFナンバーが大き目に設定されている。したがって、CCD28において受光される反射光の光量は、プリ測距の方が本測距に比べ少なく、プリ測距での受光パルスのパルス高さh1 は、本測距での受光パルスのパルス高さh2 に比べアイリス25が絞られている分小さい。
【0066】
以上のように、本実施形態によれば、プリ測距を行いその計測結果に基づいて距離情報を検出するときと反射率情報を検出するときの測距光の出力を調整することにより、距離情報に対する量子化S/N比を劣化させることなく、反射率情報を考慮した精度の高い距離情報を検出できる。また、プリ測距でのFナンバーを本測距でのFナンバーよりも大き目に設定しておくことにより、プリ測距での反射率情報の信号レベルがA/D変換器に対して過負荷となることなく、A/D変換器の動作範囲を本測距での信号レベルに設定することができる。
【0067】
なお、本実施形態では、標本画素として1つの画素を用いたが、標本画素として複数の画素を用い、標本画素全体におけるTD /TS の平均値をαとしてもよい。
【0068】
【発明の効果】
以上のように本発明によれば、距離情報に対する量子化S/N比を劣化させることなく、精度の高い距離情報を検出可能な3次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図である。
【図3】本実施形態で実行される撮影動作のプログラムのフローチャートである。
【図4】測距光による距離測定の原理を説明するための図である。
【図5】測距光、反射光、ゲートパルス、およびCCDが受光する光量分布を示す図である。
【図6】CCDに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図7】CCDを基板に垂直な平面で切断して示す断面図である。
【図8】距離情報を検出する際のタイミングチャートである。
【図9】距離補正情報を検出する際のタイミングチャートである。
【図10】反射率情報を検出する際のタイミングチャートである。
【図11】反射率補正情報を検出する際のタイミングチャートである。
【図12】距離測定動作に関するプログラムのフローチャートの前半部である。
【図13】距離測定動作に関するプログラムのフローチャートの後半部である。
【図14】プリ測距において距離情報、反射率情報を検出するときの受光パルスと蓄積期間との関係を示す図である。
【図15】本測距において距離情報、反射率情報を検出するときの受光パルスと蓄積期間との関係を示す図である。
【符号の説明】
14 発光装置(光源)
23 パルス振幅変換回路
28 CCD(撮像部)
Claims (7)
- 被写体に第1及び第2の測距光を照射するための光源と、
前記光源の発光を制御する光源制御手段と、
所定の蓄積期間内に前記第1の測距光による前記被写体からの反射光を撮像部において受光することによって生じる第1の信号電荷に基づいて、前記被写体までの距離情報を画素毎に検出する距離情報検出手段と、
前記第2の測距光による前記被写体からの反射光を前記撮像部において受光することにより生じ、受光された前記反射光の全光量に対応する第2の信号電荷に基づいて、前記測距光が前記被写体の表面で反射するときに受ける影響に関する情報である反射率情報を前記画素毎に検出する反射率情報検出手段と、
前記第1の信号電荷と前記第2の信号電荷とが、前記被写体の被計測領域に対応する画素において略同じ大きさとなるように前記光源制御手段を制御して前記第1の測距光と前記第2の測距光の出力を調整する出力調整手段と
を備えることを特徴とする3次元画像検出装置。 - 前記出力調整手段における前記第1および第2の測距光の調整が、予め前記被写体までの距離を概ね計測するプリ測距の結果に基づいて行われることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記プリ測距が、前記第1および第2の測距光の出力を同一にして前記距離情報検出手段および前記反射率情報検出手段を駆動して行われることを特徴とする請求項2に記載の3次元画像検出装置。
- 前記出力調整手段における前記第1および第2の測距光の調整が、前記プリ測距において検出され、前記被写体の被計測領域に対応する画素を代表する1以上の標本画素の距離情報および反射率情報に基づいて行われることを特徴とする請求項3に記載の3次元画像検出装置。
- 前記出力調整手段における前記第1および第2の測距光の調整が、1つの標本画素における前記第1の信号電荷と前記第2の信号電荷との比が1対1になるように調整されることを特徴とする請求項4に記載の3次元画像検出装置。
- 光学系の像面照度を調整するための開口絞りを備え、前記プリ測距を行なう際には、前記出力調整手段、前記距離情報検出手段、前記反射率情報検出手段を駆動して被写体までの距離を計測する本測距に比べ前記開口絞りを絞った状態で計測を行なうことを特徴とする請求項2に記載の3次元画像検出装置。
- 測距光を被写体に照射し、前記測距光の前記被写体からの反射光を受光することにより前記被写体までの距離を画素毎に計測する3次元画像検出装置であって、
前記測距光を前記被写体に照射しその反射光を受光することにより前記被写体までの距離を前記画素毎に相対的に低い精度で予め計測するプリ測距手段と、
前記測距光を前記被写体に照射しその反射光を受光することにより前記被写体までの距離を前記画素毎に相対的に高い精度で計測する本測距手段と、
前記本測距手段において照射される前記測距光の照射出力を、前記プリ測距手段を駆動して得られる計測結果に基づいて調整する照射出力調整手段と
を備えることを特徴とする3次元画像検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33016299A JP4369575B2 (ja) | 1999-11-19 | 1999-11-19 | 3次元画像検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33016299A JP4369575B2 (ja) | 1999-11-19 | 1999-11-19 | 3次元画像検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001148868A JP2001148868A (ja) | 2001-05-29 |
JP4369575B2 true JP4369575B2 (ja) | 2009-11-25 |
Family
ID=18229517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33016299A Expired - Fee Related JP4369575B2 (ja) | 1999-11-19 | 1999-11-19 | 3次元画像検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4369575B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009047475A (ja) * | 2007-08-15 | 2009-03-05 | Hamamatsu Photonics Kk | 固体撮像素子 |
JP2009192499A (ja) * | 2008-02-18 | 2009-08-27 | Stanley Electric Co Ltd | 距離画像生成装置 |
KR101483462B1 (ko) * | 2008-08-27 | 2015-01-16 | 삼성전자주식회사 | 깊이 영상 획득 장치 및 방법 |
DE102012110538B4 (de) * | 2012-11-05 | 2019-11-21 | Odos Imaging Ltd. | Vorrichtung und Verfahren zum Messen von Abstandswerten und Abstandsbildern |
WO2016151918A1 (ja) * | 2015-03-26 | 2016-09-29 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
WO2017056543A1 (ja) * | 2015-09-28 | 2017-04-06 | 富士フイルム株式会社 | 測距装置、測距方法、及び測距プログラム |
US10596964B2 (en) | 2016-01-13 | 2020-03-24 | Ricoh Company, Ltd. | Distance measurement device, moveable device, and distance measuring method |
JP6848364B2 (ja) | 2016-11-10 | 2021-03-24 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 |
-
1999
- 1999-11-19 JP JP33016299A patent/JP4369575B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001148868A (ja) | 2001-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4530571B2 (ja) | 3次元画像検出装置 | |
JP4931288B2 (ja) | 画像検出装置と絞り装置 | |
US20190007592A1 (en) | Imaging device and solid-state imaging element used in same | |
JP3574607B2 (ja) | 3次元画像入力装置 | |
JP4010779B2 (ja) | 画像検出装置と絞り装置 | |
JP3820087B2 (ja) | 3次元画像検出装置 | |
JP4105801B2 (ja) | 3次元画像入力装置 | |
JP4398562B2 (ja) | 3次元画像検出装置の焦点調節機構 | |
JP4369575B2 (ja) | 3次元画像検出装置 | |
JP3574602B2 (ja) | 3次元画像入力装置 | |
JP4369574B2 (ja) | 3次元画像検出装置 | |
US6683676B1 (en) | Three-dimensional image capturing device | |
US6721007B1 (en) | Three-dimensional image capturing device | |
JP4157223B2 (ja) | 3次元画像入力装置 | |
JP4369573B2 (ja) | 3次元画像検出装置 | |
JP4250281B2 (ja) | 3次元画像検出装置 | |
JP4270658B2 (ja) | 3次元画像検出装置 | |
JP4428831B2 (ja) | 3次元画像検出装置 | |
JP3892632B2 (ja) | 静止物体画像検出装置と静止物体画像検出方法 | |
US6982761B1 (en) | Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements | |
JP3954300B2 (ja) | 3次元画像検出装置 | |
JP4136195B2 (ja) | 3次元画像入力装置 | |
JP2001045520A (ja) | 3次元画像検出装置および光通信受信装置 | |
JP4346736B2 (ja) | 3次元画像検出装置 | |
JP2000023014A (ja) | 画像入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061018 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090828 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130904 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |