JP4391643B2 - ３次元画像入力装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被計測物体の３次元形状等を検出する３次元画像入力装置に関する。
【０００２】
【従来の技術】
従来３次元画像入力装置による３次元計測は、光、電波あるいは音を被計測物体に照射する能動方式と、光等を照射しない受動方式とに分類される。能動方式には、光伝播時間測定法、変調した光波を用いる位相差測定法、三角測量法、モアレ法、干渉法等が知られており、受動方式には、ステレオ視法、レンズ焦点法等が知られている。
【０００３】
能動方式は受動方式に比べ、レーザ光等を照射するための機構が必要なために装置の規模が大きくなるが、距離分解能、計測時間、計測空間範囲等の点において優れており、産業応用分野において広く用いられてきている。「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載された３次元画像入力装置では、パルス変調されたレーザ光が被計測物体に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、遠い被計測物体からの反射光による受光量は近い被計測物体からの反射光による受光量に比べて小さいので、被計測物体の距離に応じた出力がＣＣＤの各フォトダイオード毎に得られる。
【０００４】
【発明が解決しようとする課題】
このような従来の３次元画像入力装置において、測距精度を向上させるために種々の補正情報を検出することがあるが、その補正情報の検出動作によって、測距動作全体の処理時間が長くなるという問題が生じる。
【０００５】
本発明は、被計測物体の３次元形状を検出する測距動作全体の処理時間を短縮することを目的としている。
【０００６】
【課題を解決するための手段】
本発明の３次元画像入力装置は、被計測物体に対してパルス状の測距光を照射する光源と、測距光によって被計測物体において生じたパルス状の反射光のうち、パルスの立ち下がり部分を含む、被計測物体までの距離に応じた第１の反射光成分（Ｅ₁ ）を検出する第１の距離情報検出手段と、測距光によって前記被計測物体において生じたパルス状の反射光のうち、パルスの立ち上がり部分を含む、被計測物体までの距離に応じた第２の反射光成分（Ｅ₂ ）を検出する第２の距離情報検出手段と、第１の反射光成分（Ｅ₁ ）を第１および第２の反射光成分の和（Ｅ₁ ＋Ｅ₂ ）で割って得られる比（Ｅ₁ ）／（Ｅ₁ ＋Ｅ₂ ）を、被計測物体までの距離に対応した正規化距離情報として求める正規化距離情報演算手段とを備え、第１および第２の距離情報検出手段において、第１および第２の反射光成分を検出するための反射光検知期間の長さが同一であることを特徴としている。
【０００７】
３次元画像入力装置は好ましくは、光源を消灯させた状態で、反射光検出期間と同じ長さである外光検知期間の間、被計測物体の周囲の外光成分である入射光を検出する外光検出手段を備えており、正規化距離情報演算手段が、第１および第２の反射光成分からそれぞれ外光成分を除去したものに関して前記比を演算し、正規化距離情報を求める。この場合、外光検出手段の検出動作が、第１の距離情報検出手段の検出動作と第２の距離情報検出手段の検出動作の間に行なわれることが好ましい。これにより、外光成分の検出時期が第１の反射光成分（Ｅ₁ ）と第２の反射光成分（Ｅ₂ ）の各検出時期に近づき、正規化距離情報の精度が向上する。
【０００８】
好ましくは、第１および第２の距離情報検出手段はそれぞれ、反射光成分の受光量に応じた電荷が蓄積する複数の光電変換素子と、光電変換素子に隣接して設けられた信号電荷保持部と、光電変換素子に蓄積した不要電荷を光電変換素子から掃出すことにより、光電変換素子における信号電荷の蓄積動作を開始させる蓄積電荷掃出手段と、光電変換素子に蓄積した信号電荷を信号電荷保持部に転送する信号電荷転送手段と、蓄積電荷掃出手段と信号電荷転送手段とを交互に駆動し、信号電荷保持部において信号電荷を積分することにより、被計測物体の表面上の各点までの距離情報を検出する信号電荷積分手段とを備える。
【０００９】
外光検出手段が、第１および第２の距離情報検出手段と同様に、複数の光電変換素子と、信号電荷保持部と、蓄積電荷掃出手段と、信号電荷転送手段と、信号電荷積分手段とを備えてもよい。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【００１１】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５と液晶表示パネル１６が設けられ、また右側にはモード切替ダイヤル１７とＶ／Ｄモード切替スイッチ１８が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、またビデオ出力端子２０とインターフェースコネクタ２１が設けられている。
【００１２】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１３】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１４】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１５】
また画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端子２０を介して、カメラ本体１０の外部に設けられたモニタ装置３９に伝送可能である。システムコントロール回路３５はインターフェース回路４０に接続され、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがって画像メモリ３４から読み出された画像信号は、インターフェースコネクタ２１に接続されたコンピュータ４１に伝送可能である。またシステムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１６】
システムコントロール回路３５には、発光素子制御回路４４が接続されている。発光装置１４には発光素子１４ａと照明レンズ１４ｂが設けられ、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａは測距光であるレーザ光を照射するものであり、このレーザ光は照明レンズ１４ｂを介して被計測物体の全体に照射される。被計測物体において反射した光は撮影レンズ１１に入射する。この光をＣＣＤ２８によって検出することにより、後述するように被計測物体の３次元画像が計測される。なお、この計測において、ＣＣＤ２８における転送動作のタイミング等の制御はシステムコントロール回路３５とＣＣＤ駆動回路３０によって行なわれる。
【００１７】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７、Ｖ／Ｄモード切替スイッチ１８から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００１８】
図３および図４を参照して、本実施形態における距離測定の原理を説明する。なお図４において横軸は時間ｔである。
【００１９】
距離測定装置Ｂから出力された測距光は被計測物体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被計測物体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち下がりは、測距光のパルスの立ち下がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被計測物体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２ ・・・（１）
により得られる。ただしＣは光速である。
【００２０】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち上がった後に検知不可能な状態に切換えて、反射光のパルスの立ち下がりまでの成分を検出するようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２１】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオード（光電変換素子）においてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被計測物体Ｓの表面の各点までの距離をそれぞれ検出し、被計測物体Ｓの表面形状に関する３次元画像のデータを一括して入力している。
【００２２】
図５は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２３】
フォトダイオード５１と垂直転送部（信号電荷保持部）５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図５において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ、５２ｂ、５２ｃ、５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００２４】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被計測物体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出し信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、電子シャッタ動作が実現される。
【００２５】
図７は、被計測物体の表面の各点までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。図１、図２、図５〜図７を参照して距離情報検出動作を説明する。
【００２６】
垂直同期信号Ｓ１の出力に同期して発光装置１４が起動され、一定のパルス幅を有するパルス状の測距光Ｓ３が周期的に出力される。測距光Ｓ３は被計測物体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被計測物体からの反射光Ｓ４が受光される。測距光Ｓ３の発光が終了するタイミングに合わせて、電荷掃出し信号（パルス信号）Ｓ２が出力される。電荷掃出し信号Ｓ２の出力は、測距光Ｓ３の発光が終了するのと同時に終了するように制御される。これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出される。測距光Ｓ３の出力から一定時間が経過したとき、電荷転送信号（パルス信号）Ｓ５が出力され、これによりフォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。なお、電荷転送信号Ｓ５の出力は、反射光Ｓ４の出力の終了よりも後に行なわれる。
【００２７】
このように電荷掃出し信号Ｓ２の出力の終了から電荷転送信号Ｓ５の出力までの期間Ｔ_U1の間、フォトダイオード５１には、被計測物体までの距離に対応した信号電荷が蓄積される。すなわち測距光Ｓ３が出力される期間Ｔ_S の終了と同時に電荷蓄積期間Ｔ_U1が開始し、電荷蓄積期間Ｔ_U1の間に、反射光Ｓ４の一部のみがＣＣＤ２８によって検知され、検知された光によって生じる信号電荷Ｓ６は被計測物体までの距離に対応している。換言すれば、被計測物体からの反射光Ｓ４のうち、電荷蓄積期間Ｔ_U1内にフォトダイオード５１に到達した光に対応した信号電荷Ｓ６がフォトダイオード５１に蓄積される。この信号電荷Ｓ６は、電荷転送信号Ｓ５によって垂直転送部５２に転送される。
【００２８】
電荷転送信号Ｓ５の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ２が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００２９】
このような信号電荷Ｓ６の垂直転送部５２への転送動作は、次の垂直同期信号Ｓ１が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ６が積分され、１フィールドの期間（２つの垂直同期信号Ｓ１によって挟まれる期間）に積分された信号電荷Ｓ６は、その期間被計測物体が静止していると見做せれば、被計測物体までの距離情報に対応している。
【００３０】
以上説明した信号電荷Ｓ６の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間の検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作におよび図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力され、被計測物体の３次元画像データとして、３次元画像入力装置の外部に取り出される。
【００３１】
上述のようにしてＣＣＤ２８により検出された反射光は、被計測物体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、ＣＣＤ２８により検出された反射光には、被計測物体からの反射光以外に外光等の成分も含まれており、これに起因する誤差も存在する。したがって距離情報検出動作では、被計測物体の反射率、外光等の影響を補正することが好ましい。次に、これらの補正を行なう距離情報検出動作について説明する。
【００３２】
図８〜図１０は、距離補正情報、反射率情報および反射率補正情報の検出動作を示し、図１１と図１２は距離情報検出動作のフローチャートである。図１、図２、図７〜図１２を参照して、被計測物体の反射率、外光等の影響を補正する距離情報検出動作を説明する。すなわち図７に関し、説明は重複する。
【００３３】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、ビデオ（Ｖ）モードと距離測定（Ｄ）モードのいずれが選択されているかが判定される。これらのモード間における切替はＶ／Ｄモード切替スイッチ１８を操作することによって行なわれる。
【００３４】
Ｄモードが選択されているとき、ステップ１０３において垂直同期信号Ｓ１が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ１０４が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図７を参照して説明した距離情報検出動作が開始され、電荷掃出し信号Ｓ２と電荷転送信号Ｓ５が交互に出力されて、距離情報の信号電荷Ｓ６が垂直転送部５２において積分される。
【００３５】
ステップ１０５では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０６へ進み、距離情報の信号電荷Ｓ６がＣＣＤ２８から出力される。この信号電荷Ｓ６はステップ１０７において画像メモリ３４に一時的に記憶される。ステップ１０８では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００３６】
ステップ１０９〜１１２では、距離補正情報の検出動作が行なわれる。まずステップ１０９では、図８に示すように、垂直同期信号Ｓ１１が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ１２と電荷転送信号Ｓ１５が交互に出力される。電荷蓄積時間Ｔ_U1は図７に示す距離情報検出動作と同じであるが、被計測物体に測距光が照射されないため（符号Ｓ１３）、反射光は存在せず（符号Ｓ１４）、したがって、距離情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷Ｓ１６が発生する。この信号電荷Ｓ１６は、外乱成分が距離情報に及ぼす影響を補正するための、電荷蓄積時間Ｔ_U1に対する距離補正情報に対応している。
【００３７】
ステップ１１０では、距離補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ１１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１１１において、距離補正情報の信号電荷Ｓ１６がＣＣＤ２８から出力される。距離補正情報の信号電荷Ｓ１６はステップ１１２において画像メモリ３４に一時的に記憶される。
【００３８】
ステップ１１３〜１１７では、反射率情報の検出動作が行なわれる。ステップ１１３では、図９に示すように、垂直同期信号Ｓ２１が出力されるとともに測距光制御が開始され、パルス状の測距光Ｓ２３が断続的に出力される。ステップ１１４では、ＣＣＤ２８による検知制御が開始され、電荷掃出し信号Ｓ２２と電荷転送信号Ｓ２５が交互に出力される。この反射率情報の検出動作は、電荷掃出し信号Ｓ２２が出力されてから電荷転送信号Ｓ２５が出力されるまでの電荷蓄積期間Ｔ_U2内に、反射光Ｓ２４の全てが受光されるように制御される。すなわち、ＣＣＤ２８の各フォトダイオード５１に蓄積される信号電荷Ｓ２６のパルス幅Ｔ_S は測距光Ｓ２３のパルス幅Ｔ_S と同じである。
【００３９】
したがって信号電荷Ｓ２６は、被計測物体までの距離とは関係せず、被計測物体の表面の反射率に依存する反射率情報に対応している。
【００４０】
ステップ１１５では、反射率情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ２１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１１６へ進み、反射率情報の信号電荷Ｓ２６がＣＣＤ２８から出力される。この信号電荷Ｓ２６はステップ１１７において画像メモリ３４に一時的に記憶される。ステップ１１８では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４１】
ステップ１１９〜１２２では、反射率補正情報の検出動作が行なわれる。ステップ１１９では、図１０に示すように、垂直同期信号Ｓ３１が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ３２と電荷転送信号Ｓ３５が交互に出力される。電荷蓄積時間Ｔ_U2は図９に示す反射率情報検出動作と同じであるが、被計測物体に測距光が照射されないため（符号Ｓ３３）、反射光は存在せず（符号Ｓ３４）、したがって、反射率情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分に対応した信号電荷Ｓ３６が発生する。この信号電荷Ｓ３６は、外乱成分が電荷蓄積時間Ｔ_U2に対する反射率情報に及ぼす影響を補正するための反射率補正情報に対応している。
【００４２】
ステップ１２０では、反射率補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ３１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１２１において、反射率補正情報の信号電荷Ｓ３６がＣＣＤ２８から出力され、ステップ１２２において画像メモリ３４に一時的に記憶される。
【００４３】
ステップ１２３では、ステップ１０３〜１２２において得られた距離情報、距離補正情報、反射率情報および反射率補正情報を用いて距離測定（Ｄ）データの演算処理が行なわれ、ステップ１２４においてＤデータが出力されてこの検出動作は終了する。一方、ステップ１０２においてＶモードが選択されていると判定されたとき、ステップ１２５において測距光制御がオフ状態に切換えられるとともに、ステップ１２６においてＣＣＤ２８による通常の撮影動作（ＣＣＤビデオ制御）がオン状態に定められ、この検出動作は終了する。
【００４４】
ステップ１２３において実行される演算処理の内容を図７〜図１０を参照して説明する。
反射率Ｒの被計測物体が照明され、この被計測物体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオードに発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００４５】
被計測物体がレーザ等の光源からの光で照明される場合、輝度Ｉはその光源による輝度Ｉ_S と背景光による輝度Ｉ_B との合成されたものとなり、
Ｉ＝Ｉ_S ＋Ｉ_B ・・・（３）
と表せる。
【００４６】
図７に示されるようにパルス状の電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S 、距離情報の信号電荷Ｓ６のパルス幅をＴ_D とし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力Ｓ₁₀は、
Ｓ₁₀＝Σ（ｋ・Ｒ（Ｉ_S ・Ｔ_D ＋Ｉ_B ・Ｔ_U1））
＝ｋ・Ｎ・Ｒ（Ｉ_S ・Ｔ_D ＋Ｉ_B ・Ｔ_U1） ・・・（４）
となる。なお、パルス幅Ｔ_D は
Ｔ_D ＝Ｔ_U1−δ・ｔ
＝Ｔ_U1−２ｒ／Ｃ ・・・（５）
と表せる。
【００４７】
図９に示されるようにパルス状の電荷蓄積時間Ｔ_U2が、測距光Ｓ２３の期間（パルス幅）Ｔ_S よりも十分大きく、反射光の単位受光時間を全部含むように制御された場合に得られる出力Ｓ₂₀は、
Ｓ₂₀＝Σ（ｋ・Ｒ（Ｉ_S ・Ｔ_S ＋Ｉ_B ・Ｔ_U2））
＝ｋ・Ｎ・Ｒ（Ｉ_S ・Ｔ_S ＋Ｉ_B ・Ｔ_U2） ・・・（６）
となる。
【００４８】
図８に示されるように発光を止めて、図７と同じ時間幅でのパルス状の電荷蓄積を行なった場合に得られる出力Ｓ₁₁は、
Ｓ₁₁＝Σ（ｋ・Ｒ・Ｉ_B ・Ｔ_U1）
＝ｋ・Ｎ・Ｒ・Ｉ_B ・Ｔ_U1 ・・・（７）
となる。同様に、図１０に示されるような電荷蓄積を行なった場合に得られる出力Ｓ₂₁は、
Ｓ₂₁＝Σ（ｋ・Ｒ・Ｉ_B ・Ｔ_U2）
＝ｋ・Ｎ・Ｒ・Ｉ_B ・Ｔ_U2 ・・・（８）
となる。
【００４９】
（４）、（６）、（７）、（８）式から、
Ｓ_D ＝（Ｓ₁₀−Ｓ₁₁）／（Ｓ₂₀−Ｓ₂₁）
＝Ｔ_D ／Ｔ_S ・・・（９）
が得られる。
【００５０】
上述したように測距光Ｓ３と反射光Ｓ４にはそれぞれ外光等の外乱成分（背景光による輝度Ｉ_B ）が含まれている。（９）式のＴ_D ／Ｔ_S は、測距光Ｓ３を照射したときの被計測物体からの反射光Ｓ４の光量を、測距光Ｓ３の光量によって正規化したものであり、これは、測距光Ｓ３の光量（図７の信号電荷Ｓ６に相当）から外乱成分（図８の信号電荷Ｓ１６に相当）を除去した値と、反射光Ｓ４の光量（図９の信号電荷Ｓ２６に相当）から外乱成分（図１０の信号電荷Ｓ３６に相当）を除去した値との比に等しい。
【００５１】
（９）式の各出力値Ｓ₁₀、Ｓ₁₁、Ｓ₂₀、Ｓ₂₁はステップ１０７、１１２、１１７、１２２において、距離情報、距離補正情報、反射率情報、反射率補正情報として格納されている。したがって、これらの情報に基いて、Ｔ_D ／Ｔ_S が得られる。パルス幅Ｔ_S は既知であるから、（５）式とＴ_D ／Ｔ_S から距離ｒが得られる。
【００５２】
このように（５）式と（９）式に基いてカメラ本体から被計測物体の表面の各点までの距離情報が補正され、この距離情報の検出精度が向上する。
【００５３】
図１３は、上述した距離情報検出動作、距離補正情報検出動作、反射率情報検出動作および反射率補正情報検出動作の実行時間を説明するための図である。各動作において測距光等のパルスはそれぞれ多数出力されるが、図１３では、１つのみ示されている。
【００５４】
距離情報検出動作では、パルス幅Ｔ₀ の測距光Ｓ３が出力されたことによって、同じパルス幅の反射光Ｓ４がＣＣＤに入射する。測距光Ｓ３の立ち下がりと同時に電荷蓄積期間（すなわち反射光検知期間）が開始する。電荷蓄積期間の長さをＴ₁ とする。電荷蓄積期間の間に、反射光Ｓ４のパルスの立ち下がり部分を含む、被計測物体までの距離に応じた反射光成分Ｅ₁₀に対応した電荷がＣＣＤの各フォトダイオードに蓄積する（時間δ・ｔ）。電荷蓄積期間の後、電荷蓄積期間と同じ長さの電荷蓄積休止期間Ｔ₁ の間に測距光Ｓ３が再び出力され、以後、上述した動作が繰り返される。なお電荷蓄積休止期間Ｔ₁ はパルス幅Ｔ₀ と略同じ長さである。
【００５５】
距離補正情報検出動作では、測距光が出力されることなく、ＣＣＤにおいて、反射光検知期間と同じ長さの電荷蓄積期間（すなわち外光検知期間）の間、電荷蓄積が行なわれる。これによりＣＣＤの各フォトダイオードには、被計測物体の周囲の外光等の外乱成分Ｅ₁₁に対応した電荷が蓄積する。電荷蓄積期間の後、距離情報検出動作と同様に、電荷蓄積期間と同じ長さの電荷蓄積休止期間Ｔ₁ が設けられ、その後、上述した動作が繰り返される。電荷蓄積休止期間Ｔ₁ を設けるのは、距離補正情報検出動作と距離情報検出動作において、電荷掃出し信号Ｓ２、Ｓ１２（図７、８参照）と電荷転送信号Ｓ５、Ｓ１５（図７、８参照）を同じ制御で出力するためである。
【００５６】
反射率情報検出動作では、パルス幅Ｔ₀ の測距光Ｓ２３が出力されて、同じパルス幅の反射光Ｓ２４がＣＣＤに入射するが、距離情報検出動作と異なり、測距光Ｓ２３の立ち上がりと同時に電荷蓄積期間（すなわち反射光検知期間）が開始し、この電荷蓄積期間は反射光Ｓ２４が立ち下がった後まで継続する。電荷蓄積期間の長さＴ₂ は、測距光Ｓ２３と反射光Ｓ２４の２つのパルス幅の和以上であり、Ｔ₂ ≧２Ｔ₁ である。すなわち、全ての反射光成分Ｅ₂₀に対応した電荷がＣＣＤの各フォトダイオードに蓄積する。電荷蓄積期間の後、所定長さの電荷蓄積休止期間ｔ_c の後、再び測距光Ｓ２３が再び出力され、以後、上述した動作が繰り返される。
【００５７】
反射率補正情報検出動作では、測距光が出力されることなく、ＣＣＤにおいて、反射率情報検出期間と同じ長さの電荷蓄積期間の間、電荷蓄積が行なわれる。これによりＣＣＤの各フォトダイオードには、反射光成分Ｅ₂₀が受ける外光等の外乱成分Ｅ₂₁に対応した電荷が蓄積する。電荷蓄積期間の後、所定長さの電荷蓄積休止期間ｔ_c の後、上述した動作が繰り返される。
【００５８】
なお反射光成分Ｅ₁₀、Ｅ₂₀、外乱成分Ｅ₁₁、Ｅ₂₁はそれぞれ、図１、２、７〜１２を参照して説明した距離情報検出動作等において得られる出力Ｓ₁₀、Ｓ₂₀、Ｓ₁₁、Ｓ₂₁に対応している。すなわち、正規化距離情報ＲＳは
ＲＳ＝（Ｅ₁₀−Ｅ₁₁）／（Ｅ₂₀−Ｅ₂₁）
である。ここで（Ｅ₁₀−Ｅ₁₁）と（Ｅ₂₀−Ｅ₂₁）は、（２）式と同様に、反射率Ｒ、被計測物体の輝度Ｉ、比例定数ｋを用いて表すと、
Ｅ₁₀−Ｅ₁₁＝ｋ・Ｒ・Ｉ・（δ・ｔ）
Ｅ₂₀−Ｅ₂₁＝ｋ・Ｒ・Ｉ・Ｔ
である。したがって正規化距離情報ＲＳは
ＲＳ＝（δ・ｔ）／Ｔ ・・・（１０）
となる。
【００５９】
一方、距離情報検出動作、距離補正情報検出動作、反射率情報検出動作および反射率補正情報検出動作を実行するのに必要な時間Ｔ_x は
Ｔ_x ＝４×Ｔ₁ ＋２×Ｔ₂
に比例する。Ｔ₂ ≒２×Ｔ₁ 、ｔ_c ≒０と仮定すると、各動作を実行するために必要な時間Ｔ_x は
Ｔ_x ＝８×Ｔ₁ ・・・（１１）
となる。
【００６０】
本実施形態では、各動作の実行に必要な時間を短縮するために距離情報検出動作を２つの異なるモードで実行している。これを図１４を参照して説明する。
【００６１】
図１４に示されるように、距離情報検出動作は、第１の距離情報検出モードである後半ゲート方式と、第２の距離情報検出モードである前半ゲート方式によって実行される。
【００６２】
後半ゲート方式は図１３に示される距離情報検出動作と同じであり、パルス幅Ｔ₀ の測距光Ｓ３に応じて生じた反射光Ｓ４のパルスの立ち下がり部分を含む、第１の反射光成分Ｅ₁₀に対応した電荷がＣＣＤの各フォトダイオードに蓄積する。これに対して前半ゲート方式では、電荷蓄積期間（すなわち反射光検出期間）Ｐ１は、パルス幅Ｔ₀ の測距光Ｓ３の立ち上がりと同時に開始し、測距光Ｓ３の立ち下がりと略同時に終了する。すなわち反射光のうち、パルスの立ち上がりから電荷蓄積期間Ｐの終了までの第２の反射光成分Ｅ₃₀が検出される。この反射光成分Ｅ₃₀も、第１の反射光成分Ｅ₁₀と同様に、被計測物体までの距離に応じている。後半ゲート方式における電荷蓄積期間の長さは前半ゲート方式における電荷蓄積期間と同一である。
【００６３】
距離補正情報検出動作では、後半ゲート方式および前半ゲート方式の距離情報検出動作と同じ電荷蓄積期間（すなわち外光検出期間）Ｐ２を用いて、測距光が出力されることなく、ＣＣＤにおいて電荷蓄積が行なわれる。これによりＣＣＤの各フォトダイオードには、被計測物体の周囲の外光等の外乱成分Ｅ₁₁に対応した電荷が蓄積する。外光検出期間Ｐ２の長さは後半ゲート方式と前半ゲート方式の距離情報検出動作における電荷蓄積期間と同じであるので、外乱成分Ｅ₁₁は、第１の反射光成分Ｅ₁₀と第２の反射光成分Ｅ₃₀の両者に対する補正に利用できる。
【００６４】
後半ゲート方式の距離情報検出動作において得られた第１の反射光成分Ｅ₁₀から外乱成分Ｅ₁₁を除去して得られるものを、補正後の第１の反射光成分Ｅ₁ とし、前半ゲート方式の距離情報検出動作において得られた第２の反射光成分Ｅ₃₀から外乱成分Ｅ₁₁を除去して得られるものを、補正後の第２の反射光成分Ｅ₂ とする。上述したように後半ゲート方式と前半ゲート方式において電荷蓄積期間は同一である。したがって補正後の第１および第２の反射光成分Ｅ₁ 、Ｅ₂ は、（２）式と同様に、反射率Ｒ、被計測物体の輝度Ｉ、比例定数ｋを用いると、
Ｅ₁ ＝ｋ・Ｒ・Ｉ・（δ・ｔ） ・・・（１２）
Ｅ₂ ＝ｋ・Ｒ・Ｉ・（Ｔ₁ −δ・ｔ） ・・・（１３）
と表される。
【００６５】
第１の反射光成分Ｅ₁ を第１および第２の反射光成分の和（Ｅ₁ ＋Ｅ₂ ）で割って得られる比ＲＴ＝Ｅ₁ ／（Ｅ₁ ＋Ｅ₂ ）は、
ＲＴ＝（δ・ｔ）／Ｔ₁ ＝（δ・ｔ）／Ｔ₀ ・・・（１４）
であり、これは（１０）式と同じである。すなわち（１４）式は被計測物体までの距離に対応した正規化距離情報を示している。
【００６６】
後半ゲート方式により得られた補正後の第１の反射光成分Ｅ₁ には、外光等に起因し、反射率Ｒに対応した外乱成分が含まれている。同様に、前半ゲート方式により得られた補正後の第２の反射光成分Ｅ₂ にも外乱成分が含まれている。しかし正規化距離情報ＲＴを計算することにより、（１４）式から明らかなように反射率Ｒは消去される。したがって後半ゲート方式と前半ゲート方式を併用することにより、反射率情報検出動作と反射率補正情報検出動作は不要になる。
【００６７】
一方、距離情報検出動作、距離補正情報検出動作、反射率情報検出動作および反射率補正情報検出動作を実行するのに必要な時間Ｔy は
Ｔy ＝６×Ｔ₁ ・・・（１５）
に比例する。これを（１１）式と比較することから明らかなように、距離情報検出動作において後半ゲート方式と前半ゲート方式を併用することにより、併用しない場合と比較して、被計測物体の３次元画像データの検出動作に要する時間は３／４に短縮される。併用しない場合における電荷蓄積休止期間ｔ_c （図１３参照）がＴ₁ に略等しいと仮定すると、Ｔ_x ＝９×Ｔ₁ となるので、後半ゲート方式と前半ゲート方式を併用した場合における３次元画像データの検出動作に要する時間Ｔ_y は時間Ｔ_x の２／３である。
【００６８】
距離情報検出動作において後半ゲート方式と前半ゲート方式を併用する場合、距離補正情報検出動作は、後半ゲート方式の距離情報検出動作と前半ゲート方式の距離情報検出動作との間に実行することが好ましい。このように構成することにより、距離補正情報検出動作の実行タイミングが後半ゲート方式の距離情報検出動作の実行タイミングに近づくため、外光の時間的変動の影響を受け難くなり、被計測物体の反射率の補正をより高精度に実施することができる。
【００６９】
被計測物体の３次元形状の計測において、被計測物体の反射率に関する補正情報の検出動作の一部を省略することができ、測距動作全体の処理時間を短縮することができる。
【００７０】
【発明の効果】
以上のように本発明によれば、被計測物体の３次元形状を検出する測距動作全体の処理時間を短縮することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】測距光による距離測定の原理を説明するための図である。
【図４】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図５】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図６】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図７】距離情報の検出動作のタイミングチャートである。
【図８】距離補正情報の検出動作のタイミングチャートである。
【図９】反射率情報の検出動作のタイミングチャートである。
【図１０】反射率補正情報の検出動作のタイミングチャートである。
【図１１】距離情報検出動作において、距離情報と距離補正情報と反射率情報を検出する動作を示すフローチャートである。
【図１２】距離情報検出動作において、反射率補正情報を検出し、距離補正情報と反射率情報と反射率補正情報に基づいて距離情報を補正する処理を示すフローチャートである。
【図１３】図７〜図１０に示される距離情報検出動作、距離補正情報検出動作、反射率情報検出動作および反射率補正情報検出動作の実行時間を説明するための図である。
【図１４】実施形態における距離情報検出動作、距離補正情報検出動作、反射率情報検出動作および反射率補正情報検出動作の実行時間を説明するための図である。
【符号の説明】
１４ 光源
Ｓ 被計測物体

Claims (4)

1. 被計測物体に対してパルス状の測距光を照射する光源と、
   前記測距光によって前記被計測物体において生じたパルス状の反射光のうち、パルスの立ち下がり部分を含む、前記被計測物体までの距離に応じた第１の反射光成分（Ｅ₁ ）を検出する第１の距離情報検出手段と、
   前記測距光によって前記被計測物体において生じたパルス状の反射光のうち、パルスの立ち上がり部分を含む、前記被計測物体までの距離に応じた第２の反射光成分（Ｅ₂ ）を検出する第２の距離情報検出手段と、
   前記第１の反射光成分（Ｅ₁ ）を第１および第２の反射光成分の和（Ｅ₁ ＋Ｅ₂ ）で割って得られる比（Ｅ₁ ）／（Ｅ₁ ＋Ｅ₂ ）を、前記被計測物体までの距離に対応した正規化距離情報として求める正規化距離情報演算手段と、
   前記光源を消灯させた状態で、前記反射光検知期間と同じ長さである外光検知期間の間、前記被計測物体の周囲の外光成分である入射光を検出する外光検出手段とを備え、
   前記第１および第２の距離情報検出手段において、前記第１および第２の反射光成分を検出するための反射光検知期間の長さが同一であり、
   前記正規化距離情報演算手段は、前記第１および第２の反射光成分からそれぞれ前記外光成分を除去したものに関して前記比を演算し、前記正規化距離情報を求めることを特徴とする３次元画像入力装置。
2. 前記外光検出手段の検出動作が、前記第１の距離情報検出手段の検出動作と前記第２の距離情報検出手段の検出動作の間に行なわれることを特徴とする請求項１に記載の３次元画像入力装置。
3. 前記第１および第２の距離情報検出手段がそれぞれ、
   前記反射光成分の受光量に応じた電荷が蓄積する複数の光電変換素子と、
   前記光電変換素子に隣接して設けられた信号電荷保持部と、
   前記光電変換素子に蓄積した不要電荷を前記光電変換素子から掃出すことにより、前記光電変換素子における信号電荷の蓄積動作を開始させる蓄積電荷掃出手段と、
   前記光電変換素子に蓄積した信号電荷を前記信号電荷保持部に転送する信号電荷転送手段と、
   前記蓄積電荷掃出手段と前記信号電荷転送手段とを交互に駆動し、前記信号電荷保持部において前記信号電荷を積分することにより、前記被計測物体の表面上の各点までの距離情報を検出する信号電荷積分手段と
   を備えたことを特徴とする請求項１に記載の３次元画像入力装置。
4. 前記外光検出手段が、
   前記入射光の受光量に応じた電荷が蓄積する複数の光電変換素子と、
   前記光電変換素子に隣接して設けられた信号電荷保持部と、
   前記光電変換素子に蓄積した不要電荷を前記光電変換素子から掃出すことにより、前記光電変換素子における信号電荷の蓄積動作を開始させる蓄積電荷掃出手段と、
   前記光電変換素子に蓄積した信号電荷を前記信号電荷保持部に転送する信号電荷転送手段と、
   前記蓄積電荷掃出手段と前記信号電荷転送手段とを交互に駆動し、前記信号電荷保持部において前記信号電荷を積分することにより、前記外光成分の大きさに対応した距離補正情報を検出する信号電荷積分手段と
   を備えたことを特徴とする請求項１に記載の３次元画像入力装置。

Images