JP4105801B2

JP4105801B2 - ３次元画像入力装置

Info

Publication number: JP4105801B2
Application number: JP18721398A
Authority: JP
Inventors: 晴美青木
Original assignee: ペンタックス株式会社
Priority date: 1998-07-02
Filing date: 1998-07-02
Publication date: 2008-06-25
Anticipated expiration: 2018-07-02
Also published as: US6822681B1; JP2000023047A

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被計測物体の３次元形状等を検出する３次元画像入力装置に関する。
【０００２】
【従来の技術】
従来３次元画像入力装置による３次元計測は、光、電波あるいは音を被計測物体に照射する能動方式と、光等を照射しない受動方式とに分類される。能動方式には、光伝播時間測定法、変調した光波を用いる位相差測定法、三角測量法、モアレ法、干渉法等が知られており、受動方式には、ステレオ視法、レンズの焦点法等が知られている。
【０００３】
能動方式は受動方式に比べ、レーザ光等を照射するための機構が必要なために装置の規模が大きくなるが、距離分解能、計測時間、計測空間範囲等の点において優れており、産業応用分野において広く用いられてきている。「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載された３次元画像入力装置では、パルス変調されたレーザ光が被計測物体に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、遠い被計測物体からの反射光による受光量は近い被計測物体からの反射光による受光量に比べて小さいので、被計測物体の距離に応じた出力がＣＣＤの各画素毎に得られる。
【０００４】
一方、国際公開97/01111号公報に開示された装置では、パルス変調されたレーザ光等の光が被計測物体に照射され、その反射光がメカニカル又は液晶素子等から成る電気光学的シャッタと組み合わされた２次元ＣＣＤセンサによって受光され、電気信号に変換される。そのシャッタは、測距光のパルスとは異なるタイミングで制御され、距離情報がＣＣＤの各画素毎に得られる。
【０００５】
【発明が解決しようとする課題】
このような従来の能動方式の装置では、ＣＣＤセンサにおける電荷蓄積動作を制御するためにＫＤＰ素子等の光シャッタが設けられている。ところが光シャッタの規模が大きいだけでなく、光シャッタを駆動するために高電圧を供給する電気回路が必要であるので、従来装置は大型化せざるを得ないという問題があった。一方、米国特許第 5,081,530号明細書には、ＣＣＤセンサの電荷蓄積動作を制御するために電子シャッタを用いる構成が開示されているが、従来の電子シャッタにより得られるＣＣＤセンサの出力は、被計測物体の距離情報を検出するために十分な大きさを有していない。
【０００６】
本発明は、光シャッタを必要とせず小型で安価であり、しかも十分に大きい出力を得ることのできる３次元画像入力装置を得ることを目的としている。
【０００７】
【課題を解決するための手段】
本発明の３次元画像入力装置は、被計測物体に測距光を照射する光源と、被計測物体からの反射光を受け、受光量に応じた電荷が蓄積する複数の光電変換素子と、光電変換素子に隣接して設けられた信号電荷保持部と、光電変換素子に蓄積した不要電荷を光電変換素子から掃出すことにより、光電変換素子における信号電荷の蓄積動作を開始させる蓄積電荷掃出手段と、光電変換素子に蓄積した信号電荷を信号電荷保持部に転送する信号電荷転送手段と、パルス信号を出力し、所定の期間内にパルス信号の数に応じて蓄積電荷掃出手段と信号電荷転送手段を交互に駆動することにより、信号電荷保持部において信号電荷を積分する信号電荷積分手段と、パルス信号の数を調整することにより、信号電荷保持部において積分される信号電荷のレベルを調整する信号レベル調整手段とを備えたことを特徴としている。
【０００８】
パルス信号の数を調整するための基準となる評価値は例えば、光電変換素子を構成する所定の画素に対応した信号電荷のレベルの平均値である。評価値は、光電変換素子を構成する所定の画素に対応した信号電荷のレベルの最大値であってもよく、あるいは、光電変換素子を構成する全画素に対応した信号電荷のレベルのうち、一部の画素に対応した信号電荷のレベルに重み係数を乗じることにより得られる値であってもよい。
【０００９】
光電変換素子は好ましくは、ＣＣＤ等の電荷蓄積型であり、かつ２次元的に配列される。光電変換素子が基板に沿って形成された構成においては、蓄積電荷掃出手段は不要電荷を基板側に掃出す。信号電荷保持部は、好ましくは信号電荷を３次元画像入力装置の外部に出力するための垂直転送部である。
【００１０】
光電変換素子と信号電荷保持部は好ましくは、縦型オーバフロードレイン構造のインターライン型ＣＣＤとして構成される。
【００１１】
蓄積電荷掃出手段によって出力され、不要電荷を掃出すための電荷掃出し信号と、信号電荷転送手段によって出力され、信号電荷を転送するための電荷転送信号とは、それぞれ例えばパルス信号である。
【００１２】
好ましくは、光源によって、所定のパルス幅を有するパルス状の測距光が出力され、電荷掃出し信号が出力されてから電荷転送信号が出力されるまでの第１の電荷蓄積期間中、測距光のパルスが出力されることによって、距離情報に対応した信号電荷が信号電荷保持部において積分される。
【００１３】
この場合好ましくは、電荷掃出し信号が出力されてから電荷転送信号が出力されるまでの第２の電荷蓄積期間内に反射光の全てが受光されるように制御することによって、被計測物体の反射率に依存する反射率情報に対応した信号電荷が信号電荷保持部において積分され、距離情報を反射率情報によって正規化することにより、距離情報における反射率の影響が低減される。また好ましくは、光源を消灯させた状態で第１の電荷蓄積期間を用いて距離補正情報を検出するとともに、光源を消灯させた状態で第２の電荷蓄積期間を用いて反射率補正情報を検出し、距離補正情報を補正した距離情報と、反射率補正情報を補正した反射率情報とによって、正規化が実行される。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明の第１の実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【００１５】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５と液晶表示パネル１６が設けられ、また右側にはモード切替ダイヤル１７とＶ／Ｄモード切替スイッチ１８が設けられている。カメラ本体１０の側面には、ＰＣカードを挿入するためのカード挿入口１９が形成され、また、ビデオ出力端子２０とインターフェースコネクタ２１が設けられている。
【００１６】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１７】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１８】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１９】
また画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端子２０を介して、カメラ本体１０の外部に設けられたモニタ装置３９に伝送可能である。システムコントロール回路３５はインターフェース回路４０に接続され、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがって画像メモリ３４から読み出された画像信号は、インターフェースコネクタ２１に接続されたコンピュータ４１に伝送可能である。またシステムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００２０】
システムコントロール回路３５には、発光素子制御回路４４が接続されている。発光装置１４には発光素子１４ａと照明レンズ１４ｂが設けられ、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａは測距光であるレーザ光を照射するものであり、このレーザ光は照明レンズ１４ｂを介して被計測物体に照射される。被計測物体において反射した光は撮影レンズ１１に入射する。この光をＣＣＤ２８によって検出することにより、後述するように被計測物体の３次元画像が計測される。
【００２１】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７、Ｖ／Ｄモード切替スイッチ１８から成るスイッチ群４５と、液晶表示パネル４６とが接続されている。
【００２２】
図３および図４を参照して、本実施形態における距離測定の原理を説明する。なお図４において横軸は時間ｔである。
【００２３】
距離測定装置Ｂから出力された測距光は被計測物体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被計測物体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離計測装置Ｔと被計測物体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２・・・（１）
により得られる。ただしＣは光速である。
【００２４】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２５】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオード（光電変換素子）においてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被計測物体Ｓの表面の各点までの距離をそれぞれ検出し、被計測物体Ｓの表面形状に関する３次元画像のデータを一括して入力している。
【００２６】
図５は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２７】
フォトダイオード５１と垂直転送部（信号電荷保持部）５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図５において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００２８】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被計測物体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出し信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷を、電荷転送信号によって垂直転送部５２側に転送することにより、いわゆる電子シャッタ動作が実現される。
【００２９】
図７は、被計測物体の表面の各点までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。図１、図２、図５〜図７を参照して距離情報検出動作を説明する。
【００３０】
垂直同期信号Ｓ１の出力に同期して電荷掃出し信号（パルス信号）Ｓ２が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出される。電荷掃出し信号Ｓ２の出力の終了と同時に発光装置１４が起動され、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３は被計測物体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被計測物体からの反射光Ｓ４が受光される。測距光Ｓ３の出力から一定時間が経過したとき、電荷転送信号（パルス信号）Ｓ５が出力され、これによりフォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。なお、電荷転送信号Ｓ５の出力は、測距光の出力の終了よりも前に行なわれる。
【００３１】
このように電荷掃出し信号Ｓ２の出力の終了から電荷転送信号Ｓ５の出力開始までの期間Ｔ_U1の間、フォトダイオード５１には、被計測物体までの距離に対応した信号電荷が蓄積される。すなわち測距光Ｓ３が出力される期間Ｔ_Sと電荷蓄積期間Ｔ_U1は同時に開始するが、電荷蓄積期間Ｔ_U1の方が早く終了し、反射光Ｓ４の一部のみがＣＣＤ２８によって検知され、検知された光によって生じる信号電荷Ｓ６は被計測物体までの距離に対応している。換言すれば、被計測物体からの反射光Ｓ４のうち、電荷蓄積期間Ｔ_U1内にフォトダイオード５１に到達した光に対応した信号電荷Ｓ６がフォトダイオード５１に蓄積される。この信号電荷Ｓ６は、電荷転送信号Ｓ５によって垂直転送部５２に転送される。なお測距光Ｓ３の出力期間Ｔ_Sは電荷蓄積期間Ｔ_U1よりも早く開始してもよい。
【００３２】
電荷転送信号Ｓ５の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ２が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３３】
このような信号電荷Ｓ６の垂直転送部５３への転送動作は、次の垂直同期信号Ｓ１が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ６が積分され、１フィールドの期間（２つの垂直同期信号Ｓ１によって挟まれる期間）に積分された信号電荷Ｓ６は、その期間被計測物体が静止していると見做せれば、被計測物体までの距離情報に対応している。
【００３４】
以上説明した信号電荷Ｓ６の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間の検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作におよび図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力され、被計測物体の３次元画像データとして、３次元画像入力装置の外部に取り出される。
【００３５】
さてＣＣＤ２８により検出された反射光は、実際には、被計測物体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、ＣＣＤ２８により検出された反射光には、被計測物体からの反射光以外に外光等の成分も含まれており、これに起因する誤差も存在する。そこで本実施形態では次に述べる動作によって、これらの誤差を補正するとともに、垂直転送部５２において積分される信号電荷Ｓ６のレベルが適正な値に制御している。
【００３６】
図８から図１１は距離情報検出ルーチンのフローチャートを示し、図１２〜図１４は距離補正情報、反射率情報および反射率補正情報の検出動作を示すタイミングチャートである。図１、図２、図７〜図１４を参照して、被計測物体の表面の反射率等を補正しつつ、積分された信号電荷のレベルを調整する距離情報検出動作を説明する。
【００３７】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、ビデオ（Ｖ）モードと距離測定（Ｄ）モードのいずれが選択されているかが判定される。これらのモード間における切替はＶ／Ｄモード切替スイッチ１８を操作することによって行なわれる。
【００３８】
Ｄモードが選択されているとき、ステップ１０３において垂直同期信号Ｓ１が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。ステップ１０４では、１フィールドの期間に出力されるべき制御パルス数Ｎ（すなわち電荷掃出し信号Ｓ２、電荷転送信号Ｓ５および測距光Ｓ３の数）が初期値にセットされる。
【００３９】
ステップ１０５では、ＣＣＤ２８による検知制御が開始される。すなわち図７を参照して説明した距離情報検出動作が開始され、電荷掃出し信号Ｓ２と電荷転送信号Ｓ５が交互に出力されて、距離情報の信号電荷Ｓ６が垂直転送部５２において積分される。
【００４０】
ステップ１０６では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０７へ進み、距離情報の信号電荷Ｓ６の積分値（距離情報信号）がＣＣＤ２８から出力される。この距離情報信号は、１つの画像を構成する各画素毎に得られ、例えば１０万画素の画像の場合、距離情報信号の数は１０万である。距離情報信号は、ステップ１０８において画像メモリ３４に一時的に記憶される。
【００４１】
ステップ１１０では、１つの画像に関する全ての距離情報信号に基づいて、レベル評価値演算が行なわれ、垂直転送部５２における積分が適切であるか否か、すなわち制御パルス数Ｎが適当であるか否かを示す評価値ＡＥが演算される。この演算については図１５〜図１７を参照して後述する。
【００４２】
ステップ１１１では、評価値ＡＥが基準最大値Ｍaxよりも大きいか否かが判定される。評価値ＡＥが基準最大値Ｍaxよりも大きいとき、距離情報信号のいくつかが飽和している可能性がある。したがってこの場合、ステップ１１２において制御パルス数ＮがΔＮだけ減算された新しい制御パルス数Ｎs が設定される。そして、ステップ１０５へ戻り、再びＣＣＤ２８による検知制御が開始され、距離情報検出動作が行なわれる。
【００４３】
これに対し、ステップ１１１において評価値ＡＥが基準最大値Ｍax以下であると判定されたとき、ステップ１１３が実行され、評価値ＡＥが基準最小値Ｍinよりも小さいか否かが判定される。評価値ＡＥが基準最小値Ｍinよりも小さいとき、距離情報信号の値が距離測定を行なうには低すぎると見做され、この場合、ステップ１１４において制御パルス数ＮがΔＮだけ加算された新しい制御パルス数Ｎs が設定される。そして、ステップ１０５へ戻り、再びＣＣＤ２８による検知制御が開始され、距離情報検出動作が行なわれる。
【００４４】
ステップ１１３において評価値ＡＥが基準最小値Ｍin以上であると判定されたとき、すなわち評価値ＡＥが基準最大値Ｍax以下であり、かつ基準最小値Ｍin以上の値をとると判定されたとき、ステップ１２０が実行され、測距光制御がオフ状態に切換えられて発光装置１４の発光動作が停止する。
【００４５】
ステップ１２１〜１２４では、距離補正情報の検出動作が行なわれる。まずステップ１２１では、図１２に示すように、垂直同期信号Ｓ１１が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ１２と電荷転送信号Ｓ１５が交互に出力される。電荷蓄積時間Ｔ_U1は図７に示す距離情報検出動作と同じであるが、被計測物体に測距光が照射されないため（符号Ｓ１３）、反射光は存在せず（符号Ｓ１４）。したがって、距離情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷Ｓ１６が発生する。この信号電荷Ｓ１６は、外乱成分が距離情報に及ぼす影響を補正するための、電荷蓄積時間Ｔ_U1に対する距離補正情報に対応している。
【００４６】
ステップ１２２では、距離補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ１１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１２３において、距離補正情報の信号電荷Ｓ１６がＣＣＤ２８から出力される。距離補正情報の信号電荷Ｓ１６はステップ１２４において画像メモリ３４に一時的に記憶される。
【００４７】
ステップ１２５〜１２９では、反射率情報の検出動作が行なわれる。ステップ１２５では、図１３に示すように、垂直同期信号Ｓ２１が出力されるとともに測距光制御が開始され、パルス状の測距光Ｓ２３が断続的に出力される。ステップ１２６では、ＣＣＤ２８による検知制御が開始され、電荷掃出し信号Ｓ２２と電荷転送信号Ｓ２５が交互に出力される。この反射率情報の検出動作は、電荷掃出し信号Ｓ２２が出力されてから電荷転送信号Ｓ２５が出力されるまでの電荷蓄積期間Ｔ_U2内に、反射光Ｓ２４の全てが受光されるように制御される。すなわち、ＣＣＤ２８の各フォトダイオード５１に蓄積される信号電荷Ｓ２６のパルス幅Ｔ_Sは測距光Ｓ２３のパルス幅Ｔ_Sと同じである。
【００４８】
したがって信号電荷Ｓ２６は、被計測物体までの距離とは関係せず、被計測物体の表面の反射率に依存する反射率情報に対応している。
【００４９】
ステップ１２７では、反射率情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ２１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１２８へ進み、反射率情報の信号電荷Ｓ２６がＣＣＤ２８から出力される。この信号電荷Ｓ２６はステップ１２９において画像メモリ３４に一時的に記憶される。ステップ１３０では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００５０】
ステップ１３１〜１３４では、反射率補正情報の検出動作が行なわれる。ステップ１３１では、図１４に示すように、垂直同期信号Ｓ３１が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ３２と電荷転送信号Ｓ３５が交互に出力される。電荷蓄積時間Ｔ_U2は図１３に示す反射率情報検出動作と同じであるが、被計測物体に測距光が照射されないため（符号Ｓ３３）、反射光は存在せず（符号Ｓ３４）。したがって、反射率情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分に対応した信号電荷Ｓ３６が発生する。この信号電荷Ｓ３６は、外乱成分が電荷蓄積時間Ｔ_U2に対する反射率情報に及ぼす影響を補正するための反射率補正情報に対応している。
【００５１】
ステップ１３２では、反射率補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ３１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１３３において、反射率補正情報の信号電荷Ｓ３６がＣＣＤ２８から出力され、ステップ１３４において画像メモリ３４に一時的に記憶される。
【００５２】
ステップ１３５では、ステップ１０３〜１０８、１２０〜１３４において得られた距離情報、距離補正情報、反射率情報および反射率補正情報を用いて距離測定（Ｄ）データの演算処理が行なわれ、ステップ１３６においてＤデータが出力されてこの検出動作は終了する。一方、ステップ１０２においてＶモードが選択されていると判定されたとき、ステップ１３７において測距光制御がオフ状態に切換えられるとともに、ステップ１３８においてＣＣＤ２８による通常の撮影動作（ＣＣＤビデオ制御）がオン状態に定められ、この検出動作は終了する。
【００５３】
ステップ１３５において実行される演算処理の内容を図７、図１２〜図１３を参照して説明する。
反射率Ｒの被計測物体が照明され、この被計測物体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオードに発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００５４】
被計測物体がレーザ等の光源からの光で照明される場合、輝度Ｉはその光源による輝度Ｉ_Sと背景光による輝度Ｉ_Bとの合成されたものとなり、
Ｉ＝Ｉ_S＋Ｉ_B ・・・（３）
と表せる。
【００５５】
図７に示されるようにパルス状の電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電荷Ｓ６のパルス幅をＴ_Dとし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力Ｓ₁₀は、
Ｓ₁₀＝Σ（ｋ・Ｒ（Ｉ_S・Ｔ_D＋Ｉ_B・Ｔ_U1））
＝ｋ・Ｎ・Ｒ（Ｉ_S・Ｔ_D＋Ｉ_B・Ｔ_U1）・・・（４）
となる。なお、パルス幅Ｔ_Dは
Ｔ_D＝Ｔ _U1−δ・ｔ
＝Ｔ _U1−２ｒ／Ｃ・・・（５）
と表せる。
【００５６】
図１２に示されるようにパルス状の電荷蓄積時間Ｔ_U2が、測距光Ｓ２３の期間（パルス幅）Ｔ_Sよりも十分大きく、反射光の単位受光時間を全部含むように制御された場合に得られる出力Ｓ₂₀は、
Ｓ₂₀＝Σ（ｋ・Ｒ（Ｉ_S・Ｔ_S＋Ｉ_B・Ｔ_U2））
＝ｋ・Ｎ・Ｒ（Ｉ_S・Ｔ_S＋Ｉ_B・Ｔ_U2）・・・（６）
となる。
【００５７】
図１３に示されるように発光を止めて、図７のようなパルス状の電荷蓄積を行なった場合に得られる出力Ｓ₁₁は、
Ｓ₁₁＝Σ（ｋ・Ｒ・Ｉ_B・Ｔ_U1）
＝ｋ・Ｎ・Ｒ・Ｉ_B・Ｔ_U1 ・・・（７）
となる。同様に、図１４に示されるような電荷蓄積を行なった場合に得られる出力Ｓ₂₁は、
Ｓ₂₁＝Σ（ｋ・Ｒ・Ｉ_B・Ｔ_U2）
＝ｋ・Ｎ・Ｒ・Ｉ_B・Ｔ_U2 ・・・（８）
となる。
【００５８】
（４）、（６）、（７）、（８）式から、
Ｓ_D＝（Ｓ₁₀−Ｓ₁₁）／（Ｓ₂₀−Ｓ₂₁）
＝Ｔ_D／Ｔ_S ・・・（９）
が得られる。
【００５９】
上述したように測距光Ｓ３と反射光Ｓ４にはそれぞれ外光等の外乱成分（背景光による輝度Ｉ_B）が含まれている。（９）式のＴ_D／Ｔ_Sは、測距光Ｓ３を照射したときの被計測物体からの反射光Ｓ４の光量を、測距光Ｓ３の光量によって正規化したものであり、これは、測距光Ｓ３の光量（図７の信号電荷Ｓ６に相当）から外乱成分（図１２の信号電荷Ｓ１６に相当）を除去した値と、反射光Ｓ４の光量（図１３の信号電荷Ｓ２６に相当）から外乱成分（図１４の信号電荷Ｓ３６に相当）を除去した値との比に等しい。
【００６０】
（９）式の各出力値Ｓ₁₀、Ｓ₁₁、Ｓ₂₀、Ｓ₂₁はステップ１０８、１２４、１２０、１３４において、距離情報、距離補正情報、反射率情報、反射率補正情報として格納されている。したがって、これらの情報に基いて、Ｔ_D／Ｔ_Sが得られる。パルス幅Ｔ_Sは既知であるから、（５）式とＴ_D／Ｔ_Sから距離ｒが得られる。
【００６１】
このように（５）式と（９）式に基いてカメラ本体から被計測物体の表面の各点までの距離情報が補正され、この距離情報の検出精度が向上する。
【００６２】
図１５は、図９のステップ１１０において実行されるレベル評価値演算ルーチンの第１の例を示すフローチャートである。この例において求められる評価値ＡＥは、ＣＣＤ２８から得られた全ての画素に対応した信号電荷（距離情報信号）のレベルの平均値である。
【００６３】
ステップ２０１では、各画素の距離情報信号を加算した値ＥＶの初期値として０が定められる。ステップ２０２では、画像の縦方向の位置を示すパラメータＩの初期値が１に設定され、ステップ２０３では、画像の横方向の位置を示すパラメータＪの初期値が１に設定される。
【００６４】
ステップ２０４では、距離情報信号Ｐ（Ｉ，Ｊ）が画像メモリ３４から読み出される。ステップ２０５ではステップ２０４において読み出された距離情報信号Ｐ（Ｉ，Ｊ）がそれまでの加算値ＥＶに加算される。
【００６５】
ステップ２０６では、横方向のパラメータＪが１だけ加算される。ステップ２０７において、加算後のパラメータＪが横方向の全画素数ＮＪ以下であると判定されたとき、すなわち、まだ横方向の全画素について加算が終了していないとき、ステップ２０４へ戻り、次の画素に関する距離情報信号Ｐ（Ｉ，Ｊ）が読み出される。
【００６６】
ステップ２０７においてパラメータＪが横方向の全画素数ＮＪよりも大きいと判定されたとき、ステップ２０８において縦方向のパラメータＩが１だけ加算される。ステップ２０９では、加算後のパラメータＩが縦方向の全画素数ＮＩ以下であると判定され、パラメータＩが全画素数ＮＩ以下であると判定されたとき、すなわち、まだ縦方向の全画素について加算が終了していないとき、ステップ２０３へ戻り、横方向のパラメータＪが初期値１に設定され、再びステップ２０４〜２０７のループが実行される。
【００６７】
このようにして全画素について距離情報信号Ｐ（Ｉ，Ｊ）が加算されると、ステップ２１０において加算値ＥＶが全画素数ＮＰ（＝ＮＪ×ＮＩ）によって割り算され、全画素に関する距離情報信号の加算平均値が評価値ＡＥとして求められる。
【００６８】
レベル評価値演算ルーチンの第１の例によれば、全画素の距離情報信号の平均値が評価値ＡＥとして求められるので、図８〜図１１に示す距離情報検出ルーチンでは、ＣＣＤ２８から得られる全画素の信号レベルの平均値に基づいて制御パルス数Ｎが選択される。
【００６９】
図１６は、レベル評価値演算ルーチンの第２の例を示すフローチャートである。この例において求められる評価値ＡＥは全画素の距離情報信号における最大値である。
【００７０】
ステップ３０１では、距離情報信号の最大値ＰＭの初期値として０が定められる。ステップ３０２では、画像の縦方向の位置を示すパラメータＩの初期値が１に設定され、ステップ２０３では、画像の横方向の位置を示すパラメータＪの初期値が１に設定される。
【００７１】
ステップ３０４では、距離情報信号Ｐ（Ｉ，Ｊ）が画像メモリ３４から読み出される。ステップ３０５ではステップ３０４において読み出された距離情報信号Ｐ（Ｉ，Ｊ）がそれまでの最大値ＰＭよりも大きいか否かが判定される。距離情報信号Ｐ（Ｉ，Ｊ）がそれまでの最大値ＰＭよりも大きいとき、ステップ３０６が実行され、その距離情報信号Ｐ（Ｉ，Ｊ）が新たに最大値ＰＭとして置き換えられる。これに対し、ステップ３０５において距離情報信号Ｐ（Ｉ，Ｊ）がそれまでの最大値ＰＭ以下であると判定されたとき、ステップ３０６はスキップされる。
【００７２】
ステップ３０５または３０６の実行の後、ステップ３０７では横方向のパラメータＪが１だけ加算される。ステップ３０８では、加算後のパラメータＪが横方向の全画素数ＮＪよりも大きいか否かが判定される。パラメータＪが全画素数ＮＪ以下であると判定されたとき、ステップ３０４へ戻り、次の画素に関する距離情報信号Ｐ（Ｉ，Ｊ）が読み出される。
【００７３】
ステップ３０８においてパラメータＪが横方向の全画素数ＮＪよりも大きいと判定されたとき、ステップ３０９において縦方向のパラメータＩが１だけ加算される。次いでステップ３１０において、加算後のパラメータＩが縦方向の全画素数ＮＩ以下であると判定されたとき、すなわち、まだ縦方向の全画素について加算が終了していないとき、ステップ３０３へ戻り、横方向のパラメータＪが初期値１に設定され、再びステップ３０４〜３０８のループが実行される。
【００７４】
このようにして全画素に関する距離情報信号Ｐ（Ｉ，Ｊ）の最大値ＰＭが求められると、ステップ３１０からステップ３１１へ移り、最大値ＰＭが評価値ＡＥとして置き換えられる。
【００７５】
すなわち第２の例によれば、全画素の距離情報信号の最大値が評価値ＡＥとして求められるので、図８〜図１１に示す距離情報検出ルーチンでは、ＣＣＤ２８から得られる全画素の信号レベルの最大値に基づいて制御パルス数Ｎが選択される。
【００７６】
図１７は、レベル評価値演算ルーチンの第３の例を示すフローチャートである。この例では、評価値ＡＥは、画像の例えば中央に位置する一部の画素の距離情報信号に関して重みが掛けられて決定される。
【００７７】
ステップ４０１では、各画素の距離情報信号を加算した値ＥＶの初期値として０が定められる。ステップ４０２では、画像の縦方向の位置を示すパラメータＩの初期値が１に設定され、ステップ４０３では、画像の横方向の位置を示すパラメータＪの初期値が１に設定される。
【００７８】
ステップ４０４では、距離情報信号Ｐ（Ｉ，Ｊ）が画像メモリ３４から読み出される。ステップ４０５では、縦方向のパラメータＩが２つの境界値ＩＡ、ＩＢの間にあり、かつ横方向のパラメータＪが２つの境界値ＪＡ、ＪＢの間にあるか否かが判定される。パラメータＩ、Ｊがそれぞれ境界値の間にあるとき、すなわち距離情報信号Ｐ（Ｉ，Ｊ）が画像の例えば中央の信号であるとき、ステップ４０６において、距離情報信号Ｐ（Ｉ，Ｊ）に重みＷが乗じられる。これに対してパラメータＩ、Ｊがそれぞれ境界値の間にないとき、ステップ４０６はスキップされる。
【００７９】
ステップ４０７では、ステップ４０４において読み出され、所定の境界値の間の画素に対応する場合には重みＷが乗じられた距離情報信号Ｐ（Ｉ，Ｊ）がそれまでの加算値ＥＶに加算される。
【００８０】
ステップ４０８では、横方向のパラメータＪが１だけ加算される。ステップ４０９において、加算後のパラメータＪが横方向の全画素数ＮＪ以下であると判定されたとき、すなわち、まだ横方向の全画素について加算が終了していないとき、ステップ４０４へ戻り、次の画素に関する距離情報信号Ｐ（Ｉ，Ｊ）が読み出される。
【００８１】
ステップ４０９においてパラメータＪが横方向の全画素数ＮＪよりも大きいと判定されたとき、ステップ４１０において縦方向のパラメータＩが１だけ加算される。次いでステップ４１１において、加算後のパラメータＩが縦方向の全画素数ＮＩ以下であると判定されたとき、すなわち、まだ縦方向の全画素について加算が終了していないとき、ステップ４０３へ戻り、横方向のパラメータＪが初期値１に設定され、再びステップ４０４〜４０９のループが実行される。
【００８２】
このようにして全画素について距離情報信号Ｐ（Ｉ，Ｊ）が加算されると、ステップ４１２において加算値ＥＶが全画素数ＮＰによって割り算され、全画素に関する距離情報信号の加算平均値が評価値ＡＥとして求められる。
【００８３】
このように第３の例では、画像の所定の部位に関する距離情報信号に関して重みを掛けて、全画素の距離情報信号の平均値が計算され、評価値ＡＥとして求められる。すなわち図８〜図１１に示す距離情報検出ルーチンでは、ＣＣＤ２８から得られる全画素の一部の画素に関する信号レベルにウエイトをおいて制御パルス数Ｎが選択される。
【００８４】
以上のように本実施形態によれば、光シャッタを必要としないので、３次元画像入力装置を小型化することができ、かつ安価に製造することができる。また本実施形態は、被計測物体までの距離を１回測定するために多数の電荷掃出し信号（パルス信号）を出力して信号電荷Ｓ６を積分するように構成されているので、十分に大きい出力を得ることができる。
【００８５】
さらに本実施形態によれば、被計測物体に対して測距光を走査することなく、被計測物体の表面形状に関する３次元画像のデータ、すなわち距離情報を一括して計測することができる。したがって被計測物体の３次元画像を得るまでの時間を大幅に短縮することが可能となる。
【００８６】
また本実施形態では、全画素に関する距離情報信号の出力レベルに従って制御パルス数Ｎを調整しているので、距離情報信号のレベルを適正な大きさに制御することができる。すなわち、制御パルス数Ｎが多すぎて距離情報信号が飽和したり、また制御パルス数Ｎが少なすぎて距離情報信号のレベルが低すぎることはない。したがって本実施形態によれば、被計測物体の表面の反射率あるいは被計測物体の周囲の環境のために距離情報信号のレベルが所定の範囲から外れることが防止され、被計測物体の表面形状を常に正確に計測することができる。
【００８７】
なお、評価値ＡＥの算出に関し、全画素の距離情報信号を考慮する必要はなく、一部の画素のみの距離情報信号に関して評価値ＡＥを求めるように構成してもよい。
【００８８】
【発明の効果】
以上のように本発明によれば、光シャッタを必要とせず小型で安価であり、しかも十分に大きい出力を得ることのできる３次元画像入力装置を得ることができる。また、距離情報信号を求めるために用いられる制御パルス数が適切な値になるように調整されるので、被計測物体の表面の反射率等の影響を受けることなく、被計測物体の表面形状等を常に正確に検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】測距光による距離測定の原理を説明するための図である。
【図４】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図５】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図６】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図７】被計測物体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図８】距離情報検出動作のフローチャートである。
【図９】距離情報検出動作のフローチャートである。
【図１０】距離情報検出動作のフローチャートである。
【図１１】距離情報検出動作のフローチャートである。
【図１２】距離補正情報の検出動作のタイミングチャートである。
【図１３】反射率情報の検出動作のタイミングチャートである。
【図１４】反射率補正情報の検出動作のタイミングチャートである。
【図１５】レベル評価値演算ルーチンの第１の例を示すフローチャートである。
【図１６】レベル評価値演算ルーチンの第２の例を示すフローチャートである。
【図１７】レベル評価値演算ルーチンの第３の例を示すフローチャートである。
【符号の説明】
１４発光装置
２８ＣＣＤ
５１光電変換素子
５２信号電荷保持部
Ｓ被計測物体

Claims

被計測物体に測距光を照射する光源と、
前記被計測物体からの反射光を受け、受光量に応じた電荷が蓄積する複数の光電変換素子と、
前記光電変換素子に隣接して設けられた信号電荷保持部と、
前記光電変換素子に蓄積した不要電荷を前記光電変換素子から掃出すことにより、前記光電変換素子における信号電荷の蓄積動作を開始させる蓄積電荷掃出手段と、
前記光電変換素子に蓄積した信号電荷を前記信号電荷保持部に転送する信号電荷転送手段と、
パルス信号を出力し、所定の期間内に前記パルス信号の数に応じて前記蓄積電荷掃出手段と前記信号電荷転送手段を交互に駆動することにより、前記信号電荷保持部において前記信号電荷を積分する信号電荷積分手段と、
前記パルス信号の数を調整することにより、前記信号電荷保持部において積分される前記信号電荷のレベルを調整する信号レベル調整手段と
を備えたことを特徴とする３次元画像入力装置。
前記パルス信号の数を調整するための基準となる評価値が、前記光電変換素子を構成する所定の画素に対応した前記信号電荷のレベルの平均値であることを特徴とする請求項１に記載の３次元画像入力装置。
前記パルス信号の数を調整するための基準となる評価値が、前記光電変換素子を構成する所定の画素に対応した前記信号電荷のレベルの最大値であることを特徴とする請求項１に記載の３次元画像入力装置。
前記パルス信号の数を調整するための基準となる評価値が、前記光電変換素子を構成する全画素に対応した前記信号電荷のレベルのうち、一部の画素に対応した前記信号電荷のレベルに重み係数を乗じることにより得られる値であることを特徴とする請求項１に記載の３次元画像入力装置。
前記光電変換素子が電荷蓄積型であり、かつ２次元的に配列されることを特徴とする請求項１に記載の３次元画像入力装置。
前記光電変換素子が基板に沿って形成され、前記蓄積電荷掃出手段が不要電荷を前記基板側に掃出すことを特徴とする請求項１に記載の３次元画像入力装置。
前記信号電荷保持部が前記信号電荷を３次元画像入力装置の外部に出力するための垂直転送部であることを特徴とする請求項１に記載の３次元画像入力装置。
前記光電変換素子と信号電荷保持部が、縦型オーバフロードレイン構造のインターライン型ＣＣＤとして構成されることを特徴とする請求項１に記載の３次元画像入力装置。
前記蓄積電荷掃出手段によって出力され、前記不要電荷を掃出すための電荷掃出し信号と、前記信号電荷転送手段によって出力され、前記信号電荷を転送するための電荷転送信号とがそれぞれパルス信号であることを特徴とする請求項１に記載の３次元画像入力装置。
前記光源によって、所定のパルス幅を有するパルス状の測距光が出力され、前記電荷掃出し信号が出力されてから前記電荷転送信号が出力されるまでの第１の電荷蓄積期間中、前記測距光のパルスが出力されることによって、距離情報に対応した信号電荷が前記信号電荷保持部において積分されることを特徴とする請求項９に記載の３次元画像入力装置。
前記電荷掃出し信号が出力されてから前記電荷転送信号が出力されるまでの第２の電荷蓄積期間内に前記反射光の全てが受光されるように制御することによって、前記被計測物体の反射率に依存する反射率情報に対応した信号電荷が前記信号電荷保持部において積分され、前記距離情報を前記反射率情報によって正規化することにより、前記距離情報における反射率の影響が低減されることを特徴とする請求項１０に記載の３次元画像入力装置。
前記光源を消灯させた状態で前記第１の電荷蓄積期間を用いて距離補正情報を検出し、前記距離補正情報を補正した前記距離情報と、前記反射率情報とによって、前記正規化が実行されることを特徴とする請求項１１に記載の３次元画像入力装置。
前記光源を消灯させた状態で前記第１の電荷蓄積期間を用いて距離補正情報を検出するとともに、前記光源を消灯させた状態で前記第２の電荷蓄積期間を用いて反射率補正情報を検出し、前記距離補正情報を補正した前記距離情報と、前記反射率補正情報を補正した前記反射率情報とによって、前記正規化が実行されることを特徴とする請求項１１に記載の３次元画像入力装置。