JP4250281B2 - 3次元画像検出装置 - Google Patents
3次元画像検出装置 Download PDFInfo
- Publication number
- JP4250281B2 JP4250281B2 JP33022599A JP33022599A JP4250281B2 JP 4250281 B2 JP4250281 B2 JP 4250281B2 JP 33022599 A JP33022599 A JP 33022599A JP 33022599 A JP33022599 A JP 33022599A JP 4250281 B2 JP4250281 B2 JP 4250281B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- distance
- light
- charge
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の3次元形状等を検出する3次元画像検出装置に関する。
【0002】
【従来の技術】
従来3次元画像検出装置における3次元計測では、光伝播時間測定法を利用したものが知られている。「Measurement Science and Technology」(S. Christie 他、vol.6, p1301-1308, 1995 年)に記載された3次元画像検出装置では、パルス変調されたレーザ光が被写体に照射され、その反射光がイメージインテンシファイアが取付けられた2次元CCDセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。一方、国際公開97/01111号公報に開示された装置では、パルス変調されたレーザ光等の光が被写体に照射され、その反射光がメカニカル又は液晶素子等から成る電気光学的シャッタと組み合わされた2次元CCDセンサによって受光され、電気信号に変換される。これらの3次元画像検出装置では、2次元CCDセンサの各画素で受光される反射光の時間遅れを利用し、被写体までの距離を画素毎に検出する。
【0003】
【発明が解決しようとする課題】
上記3次元画像検出装置において、CCDからの出力信号をデジタル信号に変換するA/D変換器のビット数を変更することなく、測距可能な距離レンジ(測距レンジ)を広くとり、かつ深度方向の距離計測に関する測定精度を向上させる(信号の量子化に伴う誤差を小さくする)には、測距レンジを複数のレンジに分割し、分割されたレンジ毎に測距を行なう必要がある。このとき、測距光の発光タイミングとシャッタの駆動タイミングとをレンジ毎に調整することにより、各レンジでの計測を行なう方法が考えられる。しかし、測距光の発光タイミングとシャッタの駆動タイミングとの調整は、光源やCCDを時間的に高精度に制御する必要があり極めて困難である。
【0004】
本発明は、反射光の時間遅れを利用し、被写体までの距離を画素毎に検出する3次元画像検出装置であって、測距レンジの深度が深く、かつ深度方向の距離計測に対する測定精度の高い3次元画像検出装置を簡単に得ることを目的としている。
【0005】
【課題を解決するための手段】
本発明の3次元画像検出装置は、被写体に測距光を照射し、その反射光を撮像部で受光することにより被写体までの距離に対応する信号を画素毎に画像信号として検出する3次元画像検出装置であって、入力される信号を増幅する信号増幅手段と、増幅手段における増幅率を制御する増幅率制御手段と、入力される信号の偏倚を調整するバイアス調整手段と、バイアス調整手段における偏倚量を制御する偏倚量制御手段と、増幅率制御手段および偏倚量制御手段を駆動して、所定の距離範囲に対応する画像信号を所定の信号レベルに変換する信号レベル変換手段とを備えることを特徴としている。
【0006】
好ましくは3次元画像検出装置は、入力されるアナログ信号をデジタル信号に変換するA/D変換手段を備え、信号レベル変換手段における所定の信号レベルが、A/D変換手段へ入力可能な信号レベルに対応している。
【0007】
好ましくは、信号レベル変換手段において、初めに増幅率制御手段を駆動し、次に偏倚量制御手段を駆動することにより、画像信号を前記所定の信号レベルに変換する。
【0008】
好ましくは増幅率の制御は、第1の増幅率と第1の増幅率よりも大きい第2の増幅率との間において選択的に行われ、信号レベル変換手段における所定の距離範囲が、第1の増幅率のもとでは検出可能な最大の距離範囲に対応し、第2の増幅率のもとでは検出可能な最大の距離範囲の一部の範囲に対応する。
【0009】
好ましくは、第2の増幅率のもとでの信号レベル変換手段における所定の距離範囲が複数設定され、検出可能な最大の距離範囲内にある任意の距離が、複数設定された所定の距離範囲のうちの何れか1つに含まれる。このとき好ましくは、複数の設定された所定の距離範囲の各々が互いに重複しない。また、より好ましくは、複数設定された所定の距離範囲の各々が、偏倚量を制御することにより選択可能である。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の第1の実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【0011】
カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓12が設けられ、右上にはストロボ13が設けられている。カメラ本体10の上面において、撮影レンズ11の真上には、測距光であるレーザ光を照射する発光装置(光源)14が配設されている。発光装置14の左側にはレリーズスイッチ15と液晶表示パネル16が設けられ、また右側にはモード切替ダイヤル17とV/Dモード切替スイッチ18が設けられている。カメラ本体10の側面には、ICメモリカード等の記録媒体を挿入するためのカード挿入口19が形成され、また、ビデオ出力端子20とインターフェースコネクタ21が設けられている。
【0012】
図2は図1に示すカメラの回路構成を示すブロック図である。
撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調節動作およびズーミング動作はレンズ駆動回路27によって制御される。
【0013】
撮影レンズ11の光軸上には、CCD(撮像部)28が配設されている。CCD28には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作はCCD駆動回路30によって制御される。CCD28から読み出された電荷信号(画像信号)は、ランダム雑音を低減するCDSアンプ(相関二重サンプリング回路)29を経てゲインアンプ31において増幅され、バイアス調整回路32へ出力される。バイアス調整回路32では、画像信号のバイアスが調整され、その後、画像信号はA/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は、撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27、CCD駆動回路30、ゲインアンプ31、A/D変換器32、撮像信号処理回路33はシステムコントロール回路35によって制御される。
【0014】
画像信号は画像メモリ34から読み出され、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に対応した画像が表示される。
【0015】
カメラをカメラ本体10の外部に設けられたモニターTV39とケーブルで接続すれば、画像メモリ34から読み出された画像信号はTV信号エンコーダ38、ビデオ出力端子20を介してモニターTV39に伝送可能である。またシステムコントロール回路35はインターフェース回路40に接続されており、インターフェース回路40はインターフェースコネクタ21に接続されている。したがってカメラをカメラ本体10の外部に設けられたコンピュータ41とインターフェースケーブルを介して接続すれば、画像メモリ34から読み出された画像信号をコンピュータ41に伝送可能である。システムコントロール回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカード等の記録媒体Mに記録可能である。
【0016】
発光装置14は発光素子14aと照明レンズ14bにより構成され、発光素子14aの発光動作は発光素子制御回路44によって制御される。発光素子14aはレーザダイオード(LD)であり、照射されるレーザ光は被写体の距離を検出するための測距光として用いられる。このレーザ光は照明レンズ14bを介して被写体の全体に照射される。被写体で反射した光は撮影レンズ11に入射する。この光をCCD28で検出することにより、被写体の表面形状に関する距離情報が得られる。
【0017】
システムコントロール回路35には、レリーズスイッチ15、モード切替ダイヤル17、V/Dモード切替スイッチ18から成るスイッチ群45と、液晶表示パネル(表示素子)16とが接続されている。
【0018】
次に図3および図4を参照して、本実施形態における距離測定の原理について説明する。なお図4において横軸は時間tである。
【0019】
距離測定装置Bから出力された測距光は被写体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被写体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・t(δは遅延係数)だけ遅れる。測距光と反射光は距離測定装置Bと被写体Sの間の2倍の距離rを進んだことになるから、その距離rは
r=δ・t・C/2 ・・・(1)
により得られる。ただしCは光速である。
【0020】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Tを設けると、この反射光検知期間Tにおける受光量Aは距離rの関数である。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)小さくなる。
【0021】
本実施形態では上述した原理を利用して、CCD28に設けられ、2次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Aを検出することにより、カメラ本体10から被写体Sの表面の各点までの距離をそれぞれ検出し、被写体Sの表面形状に関する3次元画像のデータを一括して入力している。
【0022】
図5は、CCD28に設けられるフォトダイオード51と垂直転送部52の配置を示す図である。図6は、CCD28を基板53に垂直な平面で切断して示す断面図である。このCCD28は従来公知のインターライン型CCDであり、不要電荷の掃出しにVOD(縦型オーバーフロードレイン)方式を用いたものである。
【0023】
フォトダイオード51と垂直転送部52はn型基板53の面に沿って形成されている。フォトダイオード51は2次元的に格子状に配列され、垂直転送部52は所定の方向(図5において上下方向)に1列に並ぶフォトダイオード51に隣接して設けられている。垂直転送部52は、1つのフォトダイオード51に対して4つの垂直転送電極52a,52b,52c,52dを有している。したがって垂直転送部52では、4つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をCCD28から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【0024】
基板53の表面に形成されたp型井戸の中にフォトダイオード51が形成され、p型井戸とn型基板53の間に印加される逆バイアス電圧によってp型井戸が完全空乏化される。この状態において、入射光(被写体からの反射光)の光量に応じた電荷がフォトダイオード51において蓄積される。基板電圧Vsub を所定値以上に大きくすると、フォトダイオード51に蓄積した電荷は、基板53側に掃出される。これに対し、転送ゲート部54に電荷転送信号(電圧信号)が印加されたとき、フォトダイオード51に蓄積した電荷は垂直転送部52に転送される。すなわち電荷掃出信号によって電荷を基板53側に掃出した後、フォトダイオード51に蓄積した信号電荷が、電荷転送信号によって垂直転送部52側に転送される。このような動作を繰り返すことにより、垂直転送部52において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【0025】
図7は本実施形態の距離情報検出動作におけるタイミングチャートであり、図1、図2、図5〜図7を参照して本実施形態における距離情報検出動作について説明する。なお本実施形態の距離情報検出動作では、図4を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【0026】
垂直同期信号(図示せず)の出力に同期して電荷掃出し信号(パルス信号)S1が出力され、これによりフォトダイオード51に蓄積していた不要電荷が基板53の方向に掃出され、フォトダイオード51における蓄積電荷量はゼロになる(符号S2)。電荷掃出し信号S1の出力の開始の後、一定のパルス幅を有するパルス状の測距光S3が出力される。測距光S3が出力される期間(パルス幅)は調整可能であり、図示例では、電荷掃出し信号S1の出力と同時に測距光S3がオフするように調整されている。
【0027】
測距光S3は被写体において反射し、CCD28に入射する。すなわちCCD28によって被写体からの反射光S4が受光されるが、電荷掃出し信号S1が出力されている間は、フォトダイオード51において電荷は蓄積されない(符号S2)。電荷掃出し信号S1の出力が停止されると、フォトダイオード51では、反射光S4の受光によって電荷蓄積が開始され、反射光S4と外光とに起因する信号電荷S5が発生する。反射光S4が消滅すると(符号S6)フォトダイオード51では、反射光に基く電荷蓄積は終了するが(符号S7)、外光のみに起因する電荷蓄積が継続する(符号S8)。
【0028】
その後、電荷転送信号S9が出力されると、フォトダイオード51に蓄積された電荷が垂直転送部52に転送される。この電荷転送は、電荷転送信号の出力の終了(符号S10)によって完了する。すなわち、外光が存在するためにフォトダイオード51では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード51に蓄積されていた信号電荷S11が垂直転送部52へ転送される。電荷転送信号の出力終了後に蓄積している電荷S14は、そのままフォトダイオード51に残留する。
【0029】
このように電荷掃出し信号S1の出力の終了から電荷転送信号S9の出力が終了するまでの期間TU1の間、フォトダイオード51には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光S4の受光終了(符号S6)までフォトダイオード51に蓄積している電荷が、被写体の距離情報と対応した信号電荷S12(斜線部)として垂直転送部52へ転送され、その他の信号電荷S13は外光のみに起因するものである。
【0030】
電荷転送信号S9の出力から一定時間が経過した後、再び電荷掃出し信号S1が出力され、垂直転送部52への信号電荷の転送後にフォトダイオード51に蓄積された不要電荷が基板53の方向へ掃出される。すなわち、フォトダイオード51において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間TU1が経過したとき、信号電荷は垂直転送部52へ転送される。
【0031】
このような信号電荷S11の垂直転送部52への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部52において、信号電荷S11が積分され、1フィールドの期間(2つの垂直同期信号によって挟まれる期間)に積分された信号電荷S11は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。
【0032】
以上説明した信号電荷S11の検出動作は1つのフォトダイオード51に関するものであり、全てのフォトダイオード51においてこのような検出動作が行なわれる。1フィールドの期間における検出動作の結果、各フォトダイオード51に隣接した垂直転送部52の各部位には、そのフォトダイオード51によって検出された距離情報が保持される。この距離情報は垂直転送部52における垂直転送動作および図示しない水平転送部における水平転送動作によってCCD28から出力される。
【0033】
しかしCCD28により検出された反射光には、被写体からの反射光以外に外光等の成分も含がれており、これに起因する誤差が存在する。したがって、これらの誤差を補正するには、反射光以外の光(外光)による距離補正情報も検出する必要がある。
【0034】
図9は、距離補正情報を考慮した距離情報検出動作のフローチャートである。図1、図2、図7〜図9を参照して、距離補正情報を考慮した距離情報検出動作について説明する。なお図8は、距離補正情報の検出動作におけるタイミングチャートである。
【0035】
ステップ101では、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置14が駆動され、パルス状の測距光S3が断続的に出力される。次いでステップ102が実行され、CCD28による検知制御が開始される。すなわち図7を参照して説明した距離情報検出動作が開始され、電荷掃出し信号S1と電荷転送信号S9が交互に出力されて、距離情報の信号電荷S11が垂直転送部52において積分される。
【0036】
ステップ103では、距離情報検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると、1フィールド期間にわたる信号電荷S11の積分が完了し、積分された信号電荷がステップ104においてCCD28から出力される。この積分された信号電荷は距離情報に対応し、ステップ105において画像メモリ34に一時的に記憶される。ステップ106では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0037】
ステップ107〜110では、距離補正情報の検出動作(図8参照)が行なわれる。まずステップ107では、垂直同期信号が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S21と電荷転送信号S22が交互に出力される。電荷蓄積時間TU1は図7に示す距離情報検出動作と同じであるが、被写体に測距光が照射されないため(符号S23)、反射光は存在せず(符号S24)。したがって、距離情報の信号電荷は発生しないが、CCD28には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷S25が発生し、電荷転送信号S22の出力によって、それまでフォトダイオードに蓄積していた信号電荷S26が垂直転送部へ転送される。この信号電荷S26は、外乱成分が距離情報に及ぼす影響を補正するための、電荷蓄積時間TU1に対する距離補正情報に対応している。
【0038】
ステップ108では、距離補正情報の検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S26の1フィールド期間にわたる積分が完了し、ステップ109においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は距離補正情報に対応し、ステップ110において画像メモリ34に一時的に記憶され、この距離情報検出動作のプログラムは終了する。
【0039】
以上のようにして検出された距離情報と距離補正情報から、外光等の影響を除去した距離情報が得られる。しかし、CCD28により検出された反射光は、被写体の表面の反射率の影響も受けているため、この反射光を介して得られた距離情報は反射率に起因する誤差も含んでいる。
【0040】
次に図10〜図12を参照して被写体表面の反射率の影響に関する反射率情報の検出動作について説明する。なお、反射率情報には、距離情報を検出したときと同様に、外光等に起因する誤差が存在するので、これによる誤差の影響を補正するための反射率補正情報も検出される。図10、図11は、反射率情報および反射率補正情報の検出動作におけるタイミングチャートである
【0041】
ステップ201〜206では、反射率情報の検出動作(図10参照)が行なわれる。ステップ201では、垂直同期信号が出力されるとともに測距光制御が開始され、パルス状の測距光S33が断続的に出力される。ステップ202では、CCD28による検知制御が開始され、電荷掃出し信号S31と電荷転送信号S35が交互に出力される。電荷掃出し信号S31が出力されることによって、フォトダイオードにおける蓄積電荷量はゼロになる(符号S32)。電荷掃出し信号S31の出力が終了すると、測距光S33が出力され、CCDには反射光S34が入射する。反射光S34が消滅した後、電荷転送信号S35が出力される。すなわち反射率情報の検出動作は、電荷掃出し信号S31の出力が終了してから電荷転送信号S35の出力が終了するまでの電荷蓄積期間TU2内に、反射光S34の全てが受光されるように制御される。
【0042】
このようにフォトダイオード51では、 反射光S34を受光している間は反射光S34と外光に起因する信号電荷S36が蓄積され、また、反射光S34を受光していない間は外光のみに起因する信号電荷S37、S38が蓄積される。そして電荷転送信号S35の出力により、それまでのフォトダイオードに蓄積されていた信号電荷S39が垂直転送部へ転送される。この信号電荷S39は反射率情報に対応し、外光に基く成分S’39を含んでいる。
【0043】
ステップ203では、反射率情報検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S39の1フィールド期間にわたる積分が完了し、ステップ204においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は反射率情報に対応し、ステップ205において画像メモリ34に一時的に記憶される。ステップ206では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0044】
ステップ207〜210では、反射率補正情報の検出動作(図11参照)が行なわれる。ステップ207では、垂直同期信号が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S41と電荷転送信号S42が交互に出力される。電荷蓄積時間TU2は図9に示す反射率情報検出動作と同じであるが、被写体に測距光が照射されないため(符号S43)、反射光は存在せず(符号S44)。したがって、反射率情報の信号電荷は発生しないが、CCD28には外光等の外乱成分が入射するため、この外光等の外乱成分に対応した信号電荷S46が発生し、電荷転送信号S42の出力によって、それまでフォトダイオードに蓄積していた信号電荷S47が垂直転送部へ転送される。この信号電荷S47は、外乱成分が電荷蓄積時間TU2に対する反射率情報に及ぼす影響を補正するための反射率補正情報に対応している。
【0045】
ステップ208では、反射率補正情報の検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S47の1フィールド期間にわたる積分が完了し、ステップ209においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は反射率補正情報に対応し、ステップ210において画像メモリ34に一時的に記憶される。
【0046】
ステップ211では、距離情報検出動作(図9)およびステッププ201〜210において得られた距離情報、距離補正情報、反射率情報および反射率補正情報を用いて距離データの演算処理が行なわれる。ステップ212では、算出された距離データが記録媒体Mにも記録(保存)され、この反射率情報の検出動作は終了する。
【0047】
次にステップ211において実行される演算処理の内容を図7〜図11を参照して説明する。
反射率Rの被写体が照明され、この被写体が輝度Iの2次光源と見做されてCCDに結像された場合を想定する。このとき、電荷蓄積時間tの間にフォトダイオード51に発生した電荷が積分されて得られる出力Snは、
Sn=k・R・I・t ・・・(2)
で表される。ここでkは比例定数で、撮影レンズのFナンバーや倍率等によって変化する。
【0048】
被写体がレーザ等の光源からの光で照明される場合、輝度Iはその光源による輝度IS と背景光による輝度IB との合成されたものとなり、
I=IS +IB ・・・(3)
と表せる。
【0049】
図7に示されるように電荷蓄積時間をTU1、測距光S3のパルス幅をTS 、距離情報の信号電荷S12のパルス幅をTD とし、1フィールド期間中のその電荷蓄積時間がN回繰り返されるとすると、得られる出力SM10は、
となる。なお、パルス幅TD は
と表せる。
【0050】
図10に示されるようにパルス状の電荷蓄積時間TU2が、測距光S23の期間(パルス幅)TS よりも十分大きく、反射光の単位受光時間を全部含むように制御された場合に得られる出力SM20は、
となる。
【0051】
図8に示されるように発光を止めて、図7と同じ時間幅でのパルス状の電荷蓄積を行なった場合に得られる出力SM11は、
となる。同様に、図11に示されるような電荷蓄積を行なった場合に得られる出力SM21は、
となる。
【0052】
(4)、(6)、(7)、(8)式から、
が得られる。
【0053】
上述したように測距光S3と反射光S4にはそれぞれ外光等の外乱成分(背景光による輝度IB )が含まれている。(9)式のTD /TS は、測距光S3を照射したときの被写体からの反射光S4の光量を、測距光S3の光量によって正規化したものであり、これは、測距光S3の光量(図7の信号電荷S11に相当)から外乱成分(図8の信号電荷S26に相当)を除去した値と、反射光S4の光量(図10の信号電荷S39に相当)から外乱成分(図11の信号電荷S47に相当)を除去した値との比に等しい。
【0054】
(9)式の各出力値SM10、SM11、SM20、SM21はステップ105、110、205、210において、距離情報、距離補正情報、反射率情報、反射率補正情報として画像メモリ34に格納されている。したがって、これらの情報に基いて、TD /TS が得られる。パルス幅Ts は既知であるから、(5)式とTD /TS から距離rが得られる。すなわち
2r=C・TS ・(SM10−SM11)/(SM20−SM21) (10)
より距離rが得られる。
【0055】
次に図13、図14を参照して距離計測の測定精度を向上させる方法について説明する。
【0056】
図13は、測距レンジは広いが、距離計測の測定精度は低いWideモードで撮影(測距)した場合における、バイアス調整回路32からA/D変換器24へ出力される画像信号の出力レベルと被写体までの距離との関係を模式的に表したものであり、横軸は被写体までの距離、縦軸は画像信号の出力レベルを表している。Vmin 〜Vmax はA/D変換器24の動作範囲であり、R0〜R3はWideモードにおける測距レンジ(Wideレンジ)である。また、区間R0〜R1、区間R1〜R2、区間R2〜R3は、Wideレンジを3つの区間に等分割したものであり、それぞれ近距離レンジ、中距離レンジ、遠距離レンジである。
【0057】
実線L0は、被写体までの距離と距離情報に対応する画像信号の出力レベルとの関係を表している。すなわち距離情報の検出動作において、被写体までの距離がR0のとき、バイアス調整回路32からA/D変換器24へ出力される画像信号の出力はVmin であり、被写体までの距離がR3のときにはVmax である。また、破線L0’は、被写体までの距離と反射率情報に対応する画像信号の出力レベルとの関係を表している。すなわち反射率情報の検出動作において、被写体までの距離がR0のとき、バイアス調整回路32からA/D変換器24へ出力される画像信号の出力はVmax であり、被写体までの距離がR3のときにはVmin である。なお、距離情報に対応する画像信号の出力レベルと、反射率情報に対応する画像信号の出力レベルは、測距レンジにおいて略同じ出力レベルになるように測距光の出力が大まかに調整されている。
【0058】
A/D変換器24が例えば8ビットで入力信号を量子化するとすると、アナログの画像信号(Vmin 〜Vmax )は256(28 )のデジタル信号に変換される。したがって、例えば図13のように画像信号の出力が距離と直線的な関係にあり、A/D変換器24が線形量子化を行なう場合には、Wideモードにおける距離の測定精度は(R3−R0)/256となる。
【0059】
図14は、測距レンジを近距離レンジ、中距離レンジ、遠距離レンジに限定する代わりに、各レンジにおける測定精度を向上させた近距離モード、中距離モード、遠距離モードにおいて撮影(測距)を行なったときの被写体までの距離と画像信号の出力レベルとの関係を模式的に表したものである。直線L1は、Wideモードにおける距離情報の画像信号を表す直線L0(図13)を3倍したものである。すなわち直線L1は、ゲインアンプ31におけるゲインをWideモードの3倍にしたときにゲインアンプ31からバイアス調整回路32へ出力される距離情報の画像信号を表している。直線L1’は、Wideモードにおける反射率情報の画像信号を表す直線L0’(図13)を3倍したものであり、L1と同様、ゲインアンプ31におけるゲインをWideモードの3倍にしたときにゲインアンプ31からバイアス調整回路32へ出力される反射率情報の画像信号を表している。
【0060】
直線L2は直線L1を下方へΔV1シフトしたものであり、直線L2が太い実線で描かれた区間R0〜R1(近距離レンジ)においては、その出力レベルはA/D変換器24の動作範囲内(Vmin 〜Vmax )にある。したがって、近距離レンジ内の距離は8ビットで量子化され、その測定精度は(R0−R1)/256となり、Wideモードのときの3倍の精度となる。中距離レンジ(区間R1〜R2)や遠距離レンジ(区間R2〜R3)においても、近距離レンジの距離の計測と同様に、直線L1を下方へΔV2、ΔV3シフトした直線L3、L4の太い実線で描かれた部分が各レンジにおける距離情報の画像信号を表している。したがって中距離モード、遠距離モードにおいても、Wideモードのときの3倍の測定精度で各レンジの距離を測定することができる。なお、距離情報の検出では、被写体までの距離が増大するにしたがって画像信号の出力レベルが増大するので、目的とする距離レンジにおける画像信号の出力レベルをA/D変換器24の動作範囲であるVmin 〜Vmax に適合させるには、その距離レンジが遠距離にあるときほど画像信号の下方へのシフト量を大きくしなければならない。
【0061】
直線L2’、L3’、L4’は、直線L1’を下方へそれぞれΔV1、ΔV2、ΔV3シフトしたものであり、各直線の太い破線部分がそれぞれ遠距離レンジ、中距離レンジ、近距離レンジに対応している。したがって、反射率情報の画像信号に関しても、近距離モード、中距離モード、遠距離モードでは、Wideモードの3倍の測定精度で検出することができる。なお、反射率情報の検出では、被写体までの距離が増大するにしたがって画像信号の出力レベルが減少するので、目的とする距離レンジにおける画像信号の出力レベルをA/D変換器24の動作範囲であるVmin 〜Vmax に適合させるには、その距離レンジが近距離にあるときほど画像信号の下方へのシフト量を大きくしなければならない。
【0062】
図15は、本実施形態のカメラにおいて実行される撮影動作のプログラムのフローチャートである。図15を参照して本実施形態で実行される撮影動作について説明する。
【0063】
ステップ301においてレリーズスイッチ15が全押しされていることが確認されるとステップ302が実行され、ビデオ(V)モードと距離測定(D)モードのいずれが選択されているかが判定される。これらのモード間における切替はV/Dモード切替スイッチ18を操作することによって行なわれる。
【0064】
Dモードが選択されていると判定されたときには、ステップ303においてWideモードが選択されているか否かが判定される。Wideモードが選択されていると判定されると、Wideモードの撮影動作であるステップ310〜ステップ313が実行される。
【0065】
ステップ310、ステップ311では、画像信号のゲインおよびバイアスがWideモードにおける所定の値にそれぞれ設定される。これらの設定は、ゲインアンプ31およびバイアス調整回路32を制御することにより行われる。ステップ312では、図9のフローチャートを参照して説明した距離情報の検出動作が実行される。その後ステップ313において図12を参照して説明した反射率情報の検出動作が実行され、この撮影動作は終了する。
【0066】
ステップ303においてWideモードが選択されていないと判定されると、ステップ304において近距離モードが選択されているか否かが判定される。近距離モードが選択されていると判定されると近距離モードの撮影動作であるステップ320〜ステップ324が実行される。
【0067】
ステップ320では、ゲインアンプ31のゲインがWideモードのときのゲイン(ステップ310での所定値)の例えば3倍に設定される。すなわち、Wideモードのときの距離と画像信号との関係である直線L0(図13)が、図14の直線L1で示される関係になる。ステップ321では、近距離レンジにおける距離情報の信号レベルがA/D変換器24の動作範囲に適合するように画像信号のバイアスが設定される。すなわち直線L1が下方へΔV1シフトされ直線L2となるように画像信号のバイアスがバイアス調整回路32により調整される。ステップ322では、図9のフローチャートで示された距離情報の検出動作が実行される。次にステップ323において、近距離レンジにおける反射率情報の信号レベルがA/D変換器24の動作範囲に適合するように画像信号のバイアスが設定される。すなわち直線L1’が下方へΔV3シフトされ直線L4’となるように画像信号のバイアスがバイアス調整回路32により調整される。その後ステップ324において図12のフローチャートで示された反射率情報の検出動作が実行され、この撮影動作は終了する。
【0068】
ステップ304において近距離モードが選択されていないと判定されると、ステップ305において中距離離モードが選択されているか否かが判定される。中距離モードが選択されていると判定されると中距離モードの撮影動作であるステップ330〜ステップ333が実行される。
【0069】
ステップ330では、近距離モードのステップ320と同様にゲインアンプ31のゲインがWideモードのときのゲインの3倍に設定され、Wideモードのときの距離と画像信号との関係である直線L0(図13)が、図14の直線L1のようになる。ステップ331では、中距離レンジにおける距離情報の信号レベルがA/D変換器24の動作範囲に適合するように画像信号のバイアスが設定される。すなわち直線L1が下方へΔV2シフトされ直線L3となるように画像信号のバイアスがバイアス調整回路32により調整される。ステップ332では、図9のフローチャートで示された距離情報の検出動作が実行される。次にステップ333において、図12のフローチャートで示された反射率情報の検出動作が実行され、この撮影動作は終了する。なお、中距離モードでは、反射率情報の検出における直線L1’から直線L3’へのシフト量は、距離情報の検出における直線L1から直線L3へのシフト量ΔV2に等しいので、近距離モードのときのように、反射率情報の検出(ステップ333)を行なう前に画像信号に対するバイアスの調整をする必要がない。
【0070】
ステップ305において中距離モードが選択されていないと判定されると、ステップ306において遠距離モードが選択されているか否かが判定される。遠距離モードが選択されていると判定されると遠距離モードの撮影動作であるステップ340〜ステップ344が実行される。
【0071】
ステップ340では、近距離モードや中距離モードのときと同様に、ゲインアンプ31のゲインがWideモードのときの3倍に設定され、距離と画像信号との関係が図14の直線L1で示される。ステップ341では、遠距離レンジにおける距離情報の信号レベルがA/D変換器24の動作範囲に適合するように画像信号のバイアスが設定される。すなわち直線L1が下方へΔV3シフトされ直線L4となるように画像信号のバイアスがバイアス調整回路32により調整される。ステップ342では、図9のフローチャートで示された距離情報の検出動作が実行される。次にステップ343において、遠距離レンジにおける反射率情報の信号レベルがA/D変換器24の動作範囲に適合するように画像信号のバイアスが設定される。すなわち直線L1’が下方へΔV1シフトされ直線L2’となるように画像信号のバイアスがバイアス調整回路32により調整される。その後ステップ344において図12のフローチャートで示された反射率情報の検出動作が実行され、この撮影動作は終了する。
【0072】
ステップ306において遠距離モードが選択されていないと判定されたときには、ステップ303へ戻りステップ303以下の処理を繰り返し実行する。なお、Wideモード、近距離モード、中距離モード、遠距離モードにおけるモード間の切替はモード切替ダイヤル17を操作することにより行われる。
【0073】
一方、ステップ302においてVモードが選択されていると判定されたときには、ステップ350において測距光制御がオフ状態に切換えられるとともに、ステップ351においてCCD28による通常の撮影動作(CCDビデオ制御)がオン状態に定められ、ステップ352で撮像された画像データが記録媒体Mに記録(保存)される。
【0074】
以上のように、本実施形態によれば、測距光の発光タイミングとシャッタの駆動タイミングとの調整をする必要がなく、CCD28から出力される信号のバイアスを調整するだけで簡単に、深度方向の測距レンジが広く、かつ測定精度の高い3次元画像検出装置が得られる。すなわち、近距離モード、中距離モード、遠距離モードを用いて撮影を行なうことにより、Wideモードと同じレンジの測距が可能であり、分割された測距レンジごとに距離は測定されるので、測定精度も高くすることができる。また、CCD28から出力される信号のゲインを調整することにより、測定精度は粗いが広い測距レンジを得られるWideモードと、測定精度は高いが1回の撮影では狭い測距レンジしか得られない近距離モード、中距離モード、遠距離モードとの間の切替が簡単に行なえる。
【0075】
なお、本実施形態では、ゲインが3倍にしWideレンジを3つのレンジに分割し、各レンジには互いに重なる領域がなかったが、ゲインをn倍(nは整数でなくともよい)にしWideレンジをn以上の数のレンジに分割してもよく、重なる領域があってもよい。また、Wideモードのゲインの例えば2倍、3倍、4倍など、複数の倍率を用意し、測定精度を段階をおって選択できるようにしてもよい。
【0076】
【発明の効果】
以上のように本発明によれば、反射光の時間遅れを利用し、被写体までの距離を画素毎に検出する3次元画像検出装置であって、測距レンジの深度が深く、かつ深度方向の距離計測に対する測定精度の高い3次元画像検出装置を簡単に得ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図である。
【図3】測距光による距離測定の原理を説明するための図である。
【図4】測距光、反射光、ゲートパルス、およびCCDが受光する光量分布を示す図である。
【図5】CCDに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図6】CCDを基板に垂直な平面で切断して示す断面図である。
【図7】距離情報を検出する際のタイミングチャートである。
【図8】距離補正情報を検出する際のタイミングチャートである。
【図9】距離情報検出動作のプログラムのフローチャートである。
【図10】反射率情報を検出する際のタイミングチャートである。
【図11】反射率補正情報を検出する際のタイミングチャートである。
【図12】反射率情報検出動作のプログラムのフローチャートである。
【図13】Wideモードでの撮影において検出される距離情報および反射率情報に対する信号出力と被写体までの距離との関係を模式的に表したグラフである。
【図14】近距離モード、中距離モード、遠距離モードでの撮影において検出される距離情報および反射率情報に対する信号出力と被写体までの距離との関係を模式的に表したグラフである。
【図15】撮影動作のプログラムのフローチャートである。
【符号の説明】
14 発光装置
24 A/D変換器
28 CCD
31 ゲインアンプ
32 バイアス調整回路
Claims (6)
- 被写体に測距光を照射し、その反射光を撮像部で受光することにより前記被写体までの距離に対応する信号を画素毎に画像信号として検出する3次元画像検出装置であって、
入力される信号を増幅する信号増幅手段と、
前記増幅手段における増幅率を制御する増幅率制御手段と、
入力される信号の偏倚を調整するバイアス調整手段と、
前記バイアス調整手段における偏倚量を制御する偏倚量制御手段と、
前記増幅率制御手段および前記偏倚量制御手段を駆動して、所定の距離範囲に対応する前記画像信号を所定の信号レベルに変換する信号レベル変換手段とを備え、
前記増幅率の制御が、第1の増幅率と前記第1の増幅率よりも大きい第2の増幅率との間において選択的に行われ、前記信号レベル変換手段における前記所定の距離範囲が、前記第1の増幅率のもとでは検出可能な最大の距離範囲に対応し、第2の増幅率のもとでは前記検出可能な最大の距離範囲の一部の範囲に対応する
ことを特徴とする3次元画像検出装置。 - 入力されるアナログ信号をデジタル信号に変換するA/D変換手段を備え、前記信号レベル変換手段における前記所定の信号レベルが、前記A/D変換手段へ入力可能な信号レベルに対応していることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記信号レベル変換手段において、初めに前記増幅率制御手段を駆動し、次に前記偏倚量制御手段を駆動することにより、前記画像信号を前記所定の信号レベルに変換することを特徴とする請求項1に記載の3次元画像検出装置。
- 前記第2の増幅率のもとでの前記信号レベル変換手段における前記所定の距離範囲が複数設定され、前記検出可能な最大の距離範囲内にある任意の距離が、前記複数設定された所定の距離範囲のうちの何れか1つに含まれることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記複数設定された所定の距離範囲の各々が互いに重複しないことを特徴とする請求項4に記載の3次元画像検出装置。
- 前記複数設定された所定の距離範囲の各々に応じて、前記偏倚量が選択可能であることを特徴とする請求項5に記載の3次元画像検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33022599A JP4250281B2 (ja) | 1999-11-19 | 1999-11-19 | 3次元画像検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33022599A JP4250281B2 (ja) | 1999-11-19 | 1999-11-19 | 3次元画像検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001147109A JP2001147109A (ja) | 2001-05-29 |
JP4250281B2 true JP4250281B2 (ja) | 2009-04-08 |
Family
ID=18230264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33022599A Expired - Fee Related JP4250281B2 (ja) | 1999-11-19 | 1999-11-19 | 3次元画像検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4250281B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW534945B (en) | 2000-11-13 | 2003-06-01 | Catalytica Energy Sys Inc | Thermally tolerant support structure for a catalytic combustion catalyst |
US8547421B2 (en) | 2010-08-13 | 2013-10-01 | Sharp Laboratories Of America, Inc. | System for adaptive displays |
JP6290512B2 (ja) | 2015-06-09 | 2018-03-07 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
JP2019002794A (ja) * | 2017-06-15 | 2019-01-10 | 日本精工株式会社 | 近接覚センサの制御方法 |
-
1999
- 1999-11-19 JP JP33022599A patent/JP4250281B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001147109A (ja) | 2001-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4530571B2 (ja) | 3次元画像検出装置 | |
JP4931288B2 (ja) | 画像検出装置と絞り装置 | |
JP3574607B2 (ja) | 3次元画像入力装置 | |
JP3820087B2 (ja) | 3次元画像検出装置 | |
JP4010779B2 (ja) | 画像検出装置と絞り装置 | |
JP4105801B2 (ja) | 3次元画像入力装置 | |
JP4391643B2 (ja) | 3次元画像入力装置 | |
JP4398562B2 (ja) | 3次元画像検出装置の焦点調節機構 | |
JP4664118B2 (ja) | 固体撮像装置 | |
JP3574602B2 (ja) | 3次元画像入力装置 | |
JP4303354B2 (ja) | 3次元画像入力装置 | |
JP4369574B2 (ja) | 3次元画像検出装置 | |
JP4369575B2 (ja) | 3次元画像検出装置 | |
JP4157223B2 (ja) | 3次元画像入力装置 | |
JP4250281B2 (ja) | 3次元画像検出装置 | |
JP4428831B2 (ja) | 3次元画像検出装置 | |
JP3892632B2 (ja) | 静止物体画像検出装置と静止物体画像検出方法 | |
US6778219B1 (en) | Three-dimensional image capturing device | |
JP4391661B2 (ja) | 3次元画像検出装置 | |
JP2001275132A (ja) | 3次元画像検出装置と撮像素子駆動回路 | |
JP4136195B2 (ja) | 3次元画像入力装置 | |
JP2001045520A (ja) | 3次元画像検出装置および光通信受信装置 | |
JP3954300B2 (ja) | 3次元画像検出装置 | |
JP2001033221A (ja) | 3次元画像検出装置 | |
JP2000023014A (ja) | 画像入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061018 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |