JP4428831B2

JP4428831B2 - ３次元画像検出装置

Info

Publication number: JP4428831B2
Application number: JP2000228151A
Authority: JP
Inventors: 伸一垣内; 修三瀬尾; 信博谷
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 1999-07-30
Filing date: 2000-07-28
Publication date: 2010-03-10
Anticipated expiration: 2020-07-28
Also published as: JP2001112026A

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
３次元画像検出装置で被写体を撮像し、検出された距離データや画像データから被写体の３次元画像を得るには、高い画像処理能力と十分な記憶容量を備える必要がある。しかし、これに必要な回路や器機を備えると装置が大型化するため小型軽量化された３次元画像検出装置で３次元画像を得ることは難しい。したがって従来の３次元画像検出装置は、インターフェースケーブルによりコンピュータに接続され、検出されたデータは逐次ケーブルを介してコンピュータに送られコンピュータ上で処理されている。
【０００３】
【発明が解決しようとする課題】
検出された距離データや画像データから被写体の３次元画像を構成するには、被写体を多方向から撮像しこれを合成しなければならない。しかし３次元画像検出装置とコンピュータがケーブルで接続されていると、３次元画像検出装置の可動範囲が制限され多方向からの撮像が困難である。また、オペレーターの移動や器機の操作にとっても障害となる。
【０００４】
本発明は、ケーブルを介することなくデータをコンピュータへ転送できかつ通信効率のよい３次元画像検出装置を得ることを目的としている。
【０００５】
【課題を解決するための手段】
本発明の３次元画像検出装置は、光を照射するための光源と、受光量に応じた電荷を蓄積可能な撮像素子と、光源を制御して被写体に測距光を照射させ、被写体からの反射光を撮像素子で受光し、反射光により蓄積した信号電荷に基づいて被写体までの距離を検出する距離情報検出手段と、光源を制御して通信光を照射させ、空間を伝送路とした光通信を行なう情報伝達手段とを備え、通信光の発光に同期させて撮像素子における信号電荷の蓄積を行ない、通信光を測距光として用いることにより通信光と測距光とが重畳して光源から照射されることを特徴としている。
【０００６】
好ましくは距離情報検出手段において、測距光が所定の回数繰り返し照射され、繰り返し毎に信号電荷が撮像素子に蓄積される。
【０００７】
情報伝達手段における通信光の発光は、好ましくは２値データの１と０の何れかに対応する。また好ましくは通信光は、パルス変調されたレーザ光である。通信光により送信されるデータ列は好ましくは、データ列をデータのビット数毎に区切るためのデータ区切信号を含む。
【０００８】
３次元画像検出装置は好ましくは、撮像素子が受光量に応じて電荷が蓄積する複数の光電変換素子と光電変換素子に隣接して設けられた信号電荷保持部とからなる。このとき好ましくは撮像素子における信号電荷の蓄積は、光電変換素子に蓄積した電荷を掃出すための電荷掃出信号の立ち下がりにより開始し、光電変換素子に蓄積した電荷を信号電荷保持部へ転送するための電荷転送信号の立ち下がりにより終了する。またより好ましくは電荷転送信号は、電荷掃出信号の立ち下がりと同時に立ち上がる。
【０００９】
例えば３次元画像検出装置における電荷転送信号は、周期的なパルス信号である基準電荷転送信号とデータ列のパルス信号の立ち下がりに同期して生成されるデータ同期パルス信号との論理積により生成される。また電荷掃出信号は、データ同期パルス信号と基準電荷転送信号から半周期位相が遅れた同一周期のパルス信号である基準電荷掃出信号との論理積により生成される。このときデータ同期パルス信号は基準掃出信号と同期し、そのパルス幅は基準電荷転送信号の１周期幅と相等しい。
【００１０】
好ましくは信号電荷の蓄積は、通信光の立ち下がりに合わせてこ行われる。
【００１１】
好ましくは、測距光が所定の回数繰り返し照射される期間である測距期間が、測距光と通信光が重畳されて照射されるデータ転送区間と、データ転送区間における測距光の照射回数が所定回数に満たない場合にその回数を補充するための測距光が照射される光量補正区間とを有する。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の第１の実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【００１３】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する測距用発光装置（光源）１４が配設されている。測距用発光装置１４の左側にはレリーズスイッチ１５、液晶表示パネル１６が設けられ、右側にはモード切替ダイヤル１７とＶ／Ｄモード切替スイッチ１８が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、またビデオ出力端子２０が設けられている。
【００１４】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１５】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。またＣＣＤ駆動回路３０は、Ｖ／Ｄ切替回路２２から出力されるＣＣＤ駆動パルスにより制御される。
【００１６】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１７】
カメラをカメラ本体１０の外部に設けられたモニタ装置とケーブルで接続すれば、画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８、ビデオ出力端子２０を介してモニタ装置に伝送可能である。またシステムコントロール回路３５はインターフェース回路４０に接続されており、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがってカメラをカメラ本体１０の外部に設けられたコンピュータとインターフェースケーブルを介して接続すれば、画像メモリ３４から読み出された画像信号をコンピュータに伝送可能である。また、システムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１８】
発光装置１４は発光素子１４ａと照明レンズ１４ｂにより構成され、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。また発光素子制御回路４４は、ディレイ回路４５からのパルス信号により制御される。このパルス信号は、データパルス出力回路２９から出力されるデータパルス信号をディレイ回路４５で遅延したものである。またデータパルス信号は、送信データが時系列のパルス信号として出力されたものである。
【００１９】
発光素子１４ａはレーザダイオード（ＬＤ）であり、照射されるレーザ光は測距光と通信光を重畳したものである。このレーザ光は照明レンズ１４ｂを介して被写体の全体および光通信のための受光器を含む領域に照射される。被写体において反射したレーザ光が撮影レンズ１１に入射してＣＣＤ２８で検出されることにより、被写体の距離情報が検出される。また照射されたレーザ光には通信光が重畳されているので、コンピュータに接続された受光器がこのレーザ光を受光検出することによりデータがコンピュータへ送信される。データパルス出力回路２９からディレイ回路４５へ出力されるデータパルス信号は、同時にＣＣＤ駆動パルス変換回路４６およびカウント回路３９にも出力される。
【００２０】
ＤモードＣＣＤ駆動パルス発生回路２３では、距離情報を検出する際に基準となる基準ＣＣＤ駆動パルスが生成され、ＣＣＤ駆動パルス変換回路４６へ出力される。ＣＣＤ駆動パルス変換回路４６では、ＣＣＤにおける信号電荷の蓄積が、データパルス信号に基づく発光素子１４ａの発光動作に同期して行なわれるように、データパルス信号に基づいて基準ＣＣＤ駆動パルスを変換する。変換されたＣＣＤ駆動パルスは、その後Ｖ／Ｄ切替回路２２を経てＣＣＤ駆動回路３０へ出力される。
【００２１】
ＶモードＣＣＤ駆動パルス発生回路２４では、通常のビデオ制御を行なう際のＣＣＤ駆動パルスが生成され、Ｖ／Ｄ切替回路２２を経てＣＣＤ駆動回路３０へ出力される。Ｖ／Ｄ切替回路２２は、Ｖ／Ｄモード切替スイッチ１８で設定されたモードに合わせて、ＶモードＣＣＤ駆動パルス発生回路２４またはＣＣＤ駆動パルス変換回路４６からのＣＣＤ駆動パルスをＣＣＤ駆動回路３０へ出力する。Ｖ／Ｄ切替回路２２、ＶモードＣＣＤ駆動パルス発生回路２４およびＤモードＣＣＤ駆動パルス発生回路２３は、システムコントロール回路３５により制御される。
【００２２】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７、Ｖ／Ｄモード切替スイッチ１８から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００２３】
図３は、距離情報の検出と光通信とを行なうときの様子を模式的に表したものである。
【００２４】
距離情報の検出は、発光装置１４から被写体Ｓにレーザ光を照射し、被写体Ｓからの反射光を撮像レンズ１１を介してＣＣＤ２８（図２）で受光することにより行われる。一方コンピュータ５０へのデータ送信は、発光装置１４から照射されたレーザ光を照射領域Ｕ内に配置された受光器５１で受光検出することにより行われる。受光器５１で検出された光は、電気信号に変換され受信データとしてコンピュータ５０に送られ所定の処理を施されてディスプレイ等（図示せず）に表示される。
【００２５】
次に図４および図５を参照して、本実施形態における距離測定の原理について説明する。なお図５において横軸は時間ｔである。
【００２６】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２・・・（１）
により得られる。ただしＣは光速である。
【００２７】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２８】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオード（撮像素子）においてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被写体Ｓの表面の各点までの距離をそれぞれ検出し、被写体Ｓの表面形状に関する３次元画像のデータを一括して入力している。
【００２９】
図６は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図７は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００３０】
フォトダイオード５１と垂直転送部５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図６において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００３１】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【００３２】
図８は距離情報検出動作におけるタイミングチャートであり、図１、図２、図６〜図８を参照して本実施形態における距離情報検出動作について説明する。なお本実施形態の距離情報検出動作では、図５を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【００３３】
垂直同期信号（図示せず）の出力に同期して電荷掃出信号（パルス信号）Ｓ１が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出され、フォトダイオード５１における蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出信号Ｓ１の出力の開始の後、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力される期間Ｔ_S（パルス幅）は調整可能であり、図示例では、電荷掃出信号Ｓ１の立ち下がりと略同時に測距光Ｓ３がオフするように調整されている。
【００３４】
測距光Ｓ３は被写体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被写体からの反射光Ｓ４が受光されるが、電荷掃出信号Ｓ１が出力されている間は、フォトダイオード５１において電荷は蓄積されない（符号Ｓ２）。電荷掃出信号Ｓ１の出力が停止され、略同時に電荷転送信号Ｓ９が出力されると、フォトダイオード５１では、反射光Ｓ４の受光による電荷蓄積および垂直転送部５２への転送が開始される。これにより外光と反射光Ｓ４とに起因する信号電荷Ｓ５が、フォトダイオード５１で発生蓄積されるとともに垂直転送部５２へ転送される。反射光Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１では、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、外光のみに起因する電荷蓄積は継続し（符号Ｓ８）、蓄積された電荷は垂直転送部５２へ転送される。
【００３５】
フォトダイオード５１から垂直転送部５２への電荷転送は、電荷転送信号Ｓ９の出力の終了（符号Ｓ１０）によって完了する。すなわち、外光が存在するためにフォトダイオード５１では電荷蓄積が継続するが、電荷転送信号Ｓ９の出力が終了するまでにフォトダイオード５１で蓄積された信号電荷Ｓ１１が垂直転送部５２へ転送される。電荷転送信号の出力終了後に蓄積している電荷Ｓ１４は、そのままフォトダイオード５１に残留する。
【００３６】
このように電荷掃出信号Ｓ１の出力の終了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ_U1の間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光Ｓ４の受光終了（符号Ｓ６）までフォトダイオード５１に蓄積している電荷が、被写体の距離情報とに対応した信号電荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、その他の信号電荷Ｓ１３は外光のみに起因するものである。
【００３７】
電荷転送信号Ｓ９の出力から一定時間が経過した後、再び電荷掃出信号Ｓ１が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に電荷蓄積期間Ｔ_U1の間、信号電荷は垂直転送部５２へ転送される。
【００３８】
このような信号電荷Ｓ１１の垂直転送部５２への転送動作は、次の垂直同期信号が出力されるまで、所定の回数繰り返し実行される。これにより垂直転送部５２において信号電荷Ｓ１１が積分され、１フィールドの期間（２つの垂直同期信号によって挟まれる期間）に積分された信号電荷Ｓ１１は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。なお信号電荷Ｓ１３は信号電荷Ｓ１２に比べ微小であるため信号電荷Ｓ１１は信号電荷Ｓ１２と見なすことができる。
【００３９】
以上説明した信号電荷Ｓ１１の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間における検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力され、３次元画像データとして、ＣＣＤ２８の外部に取り出される。
【００４０】
次に距離情報検出動作のフローチャートである図９を参照して距離情報検出動作について説明する。
【００４１】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、ビデオ（Ｖ）モードと距離測定（Ｄ）モードのいずれが選択されているかが判定される。これらのモード間における切替はＶ／Ｄモード切替スイッチ１８を操作することによって行なわれる。
【００４２】
Ｄモードが選択されているとき、ステップ１０３において後に説明する測距通信重畳処理が行なわれる。その後ステップ１０４において測距光制御が実行される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が出力される。次いでステップ１０５が実行され、ＣＣＤ２８による検知制御が実行される。すなわち図８を参照して説明した距離情報検出動作が実行され、電荷掃出信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離情報の信号電荷Ｓ１１が垂直転送部５２において積分される。ステップ１０４、ステップ１０５で実行される発光素子１４ａ及びＣＣＤ２８の制御は、ステップ１０３で出力されたＬＤ駆動パルス及びＣＣＤ駆動パルスにしたがって行われる。
【００４３】
ステップ１０６では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了していないときには、処理はステップ１０３へ戻り次の測距通信重畳処理が行われる。１フィールド期間が終了するとステップ１０７へ進み、垂直転送部５２で積分された信号電荷Ｓ１１がＣＣＤ２８から出力される。この積分された信号電荷はステップ１０８において画像メモリ３４に一時的に記憶される。ステップ１０９では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４４】
ステップ１１０では、距離データの演算処理が行なわれ、ステップ１１１において距離データが画像メモリ３４に記憶されてこの検出動作は終了する。一方、ステップ１０２においてＶモードが選択されていると判定されたとき、ステップ１１２において測距光制御がオフ状態に切換えられるとともに、ステップ１１３においてＣＣＤ２８による通常の撮影動作（ＣＣＤビデオ制御）がオン状態に定められ、ステップ１１４で撮像された画像データが画像メモリ３４に記憶されてこの検出動作は終了する。
【００４５】
次にステップ１１０において実行される演算処理の内容を図８を参照して説明する。
反射率Ｒの被写体が照明され、この被写体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオードに発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００４６】
図８に示されるように電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電荷Ｓ１２のパルス幅をＴ_Dとし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力ＳＭ₁₀は、

となる。なお、パルス幅Ｔ_Dは

と表せる。このとき被写体までの距離ｒは
ｒ＝Ｃ・ＳＭ₁₀／（２・ｋ・Ｎ・Ｒ・Ｉ）・・・（５）
で表せる。したがって比例定数ｋ、反射率Ｒ、輝度Ｉを予め求めておけば距離ｒが求められる。
【００４７】
図１０は、ステップ１０３において実行される測距通信重畳処理のフローチャートである。
【００４８】
ステップ２０１において送信データの有無が確認される。送信データが存在する場合には、ステップ２０２でデータ（例えば８ビット分）がメモリ３４から読み出され、データパルス出力回路２９においてデータパルス信号に変換されディレイ回路４５やカウント回路３９、ＣＣＤ駆動パルス変換回路４６へ出力される。ステップ２０３では、データパルス信号がディレイ回路４５において遅延され、発光素子１４ａを制御するためのＬＤ駆動パルスとして発光素子制御回路４４へ出力される。また、このときＣＣＤ駆動パルス変換回路４６では、データパルス信号に基づく発光素子１４ａの発光動作に合わせて、フォトダイオード５１での電荷蓄積が行なえるように、ＤモードＣＣＤ駆動パルス発生回路で生成されたＣＣＤ駆動パルスを変換する。これにより測距通信重畳処理は終了する。
【００４９】
一方ステップ２０１において、送信データが存在しないと判定されると、ステップ２０４において、ダミーデータがシステムコントロール回路３５で生成される。これは送信すべきデータが存在しない場合でも、発光素子１４ａからレーザ光を照射して距離情報の検出を行なうためである。すなわち、生成されたダミーデータは、送信情報としての意味はなく、距離情報の検出のための測距光を発光するタイミングを指示する信号としてのみ機能する。ダミーデータは、データパルス出力回路２９へ出力されるとともにデータパルス信号に変換され、ディレイ回路４５やカウント回路３９、ＣＣＤ駆動パルス変換回路４６へ出力される。
【００５０】
その後ステップ２０３では、ダミーデータのデータパルス信号がディレイ回路４５において遅延され、発光素子１４ａを制御するためのＬＤ駆動パルスとして発光素子制御回路４４へ出力される。また、ダミーデータのデータパルス信号に基づく発光素子１４ａの発光動作に合わせてフォトダイオード５１での電荷蓄積動作が行われるように、ＤモードＣＣＤ駆動パルス発生回路で生成されたＣＣＤ駆動パルスがＣＣＤ駆動パルス変換回路４６で変換される。これにより測距通信重畳処理は終了する。
【００５１】
次に図１１、図１２を参照して測距通信重畳処理について説明する。図１１は、ＣＣＤ駆動パルス変換回路４６の回路構成をより詳しく示したブロック図であり、カメラ全体のブロック図（図２）のうち測距通信重畳処理に関係する部分だけが図示されている。また図１２は、図１１の回路から出力される各パルス信号、フォトダイオード５１での蓄積期間、ＬＤの発光パルスのシーケンスを示している。
【００５２】
図１２（ａ）は、データパルス出力回路２９から出力されるデータパルス信号である。一対のパルスＳ２１は、送信データをデータのビット数毎に区切るためのデータ区切信号である。すなわち、パルスＳ２１の立上りから次のパルスＳ２１の立上りまでの区間Ｔ_dが１つのデータ区間となる。送信データは、例えば８ビットデータであり、このとき送信データは、８ビットのデータ毎にデータ区切信号Ｓ２１によって区切られる。各データ区間における８ビットのデータパルスは、データ区間内の区間Ｔ_Pにおいて出力される。区間Ｔ_Pは８つの基本区間からなり、各基本区間は８ビットデータの１ビットに対応する。ある基本区間において、パルスがオン状態であればその基本区間に対応するビットは１であり、オフ状態であれば０である。
【００５３】
図１２の各データ区間に付された８桁の２進数は、各データ区間で出力される８ビットの送信データを表している。これら８桁の２進数の各桁は、区間Ｔ_Pの基本区間と１対１に対応している。すなわち２進数の１桁目は区間Ｔ_Pの右から１番目の基本区間Ｂ１、２桁目は右から２番目の基本区間Ｂ２に対応している。各桁は順番に各基本区間に対応しており、８桁目は右から８番目（一番左）の基本区間Ｂ８に対応している。例えば左から２番目のデータ区間で出力される送信データは００１０１０００であり、４桁目と６桁目のみが１なので、右から４つ目の基本区間と６つ目の基本区間のみパルスがオン状態となり、他の基本区間ではオフ状態となる。すなわちパルスＳ２２は６桁目、パルスＳ２３は４桁目の１を表している。また、左から３番目のデータ区間の８桁の２進データは、１１１００００１であり、上位３桁の数が連続して１なので、これに対応する左から３つの基本区間は全てパルスがオン状態となる。この場合上位３桁は３つのパルスが連続して１つのパルスＳ２４となる。
【００５４】
これらのデータパルス（図１２（ａ））は、ディレイ回路４５を介してＬＤ駆動パルスとして発光素子駆動回路４４へ送られる。図１２（ｈ）は、このときの発光素子（ＬＤ）１４ａの発光パルス（ＬＤ発光パルス）を表している。ＬＤ発光パルスは、データパルス（図１２（ａ））がΔｔだけ遅延されたものであり、発光素子１４ａは各データ区間の２進データに対応して発光する。
【００５５】
また、発光パルスは測距光としても用いられるので、前述の基本区間の幅は測距光のパルス幅Ｔ_Sに相当する。本実施形態では、反射光の立ち下がりを利用して測距を行なうので、フォトダイオード５１での蓄積期間は、ＬＤ発光パルスの立ち下がりに合わせて設けられなければならない。すなわち、ＣＣＤ駆動パルス変換回路４６は、ＤモードＣＣＤ駆動パルス発生回路２３で生成される基準ＣＣＤ駆動パルスを、図１２（ｈ）のＬＤ発光パルスの立ち下がりに合わせて電荷蓄積を行うＣＣＤ駆動パルスに変換しなければならない。
【００５６】
図１２（ｃ）、図１２（ｅ）に示される周期的なパルスは、ＤモードＣＣＤ駆動パルス発生回路２３で生成される基準ＣＣＤ駆動パルスである。図１２（ｃ）は電荷掃出動作の基準となる基準掃出パルスであり、図１２（ｅ）は電荷転送動作の基準となる基準転送パルスである。ＣＣＤ駆動パルス変換回路４６に入力されたデータパルス信号は、まずデータ同期パルス発生回路４７でデータ同期パルス（図１２（ｂ））に変換されＡＮＤ回路４８、４９へ出力される。ＡＮＤ回路４９では、データ同期パルスとＤモードＣＣＤ駆動パルス発生回路２３から出力される基準掃出パルス（図１２（ｃ））との論理積（ＡＮＤ）がとられ、図１２（ｄ）で示されるパルスに変換される。このパルスは、掃出パルスとしてＶ／Ｄ切替回路２２へ出力される。一方ＡＮＤ回路４８では、データ同期パルスとＤモードＣＣＤ駆動パルス発生回路２３から出力される基準転送パルス（図１２（ｅ））との論理積（ＡＮＤ）がとられ、図１２（ｆ）に示されるパルスに変換され、転送パルスとしてＶ／Ｄ切替回路２２へ出力される。
【００５７】
図１２（ｄ）の掃出パルスと図１２（ｆ）の転送パルスは、ＣＣＤ駆動パルスとしてＶ／Ｄ切替回路２２を経てＣＣＤ駆動回路３０へ出力されＣＣＤ２８のフォトダイオード５１における電荷の掃出動作と電荷の転送動作を制御する。図８を参照して説明したように、フォトダイオード５１における電荷の蓄積は、電荷掃出信号（掃出パルス）Ｓ１が立ち下がったと略同時に立ち上がる電荷転送信号（転送パルス）Ｓ９がオン状態の期間（Ｓ９のパルス幅）Ｔ_U1において行われるので、データパルスが図１２（ａ）のようなパルスで表されるとき、基準掃出パルスと基準転送パルスは、図１２（ｄ）、図１２（ｆ）のように変換され、フォトダイオード５１における電荷蓄積は図１２（ｇ）で示されるタイミングで行われる。これによりフォトダイオード５１での電荷の蓄積動作は、常にＬＤ発光パルス（図１２（ｈ））が立ち下がるタイミングに合わせて行われる。
【００５８】
以上のように、発光素子１４ａの発光パルスは、送信データに対応するデータパルス信号に基づいて行われ、照射されたレーザ光は通信光としての役割を果たす。また同時に電荷蓄積動作が、発光パルスの立ち下がりに合わせて行なわれることにより照射されたレーザ光は測距光としての役割を果たし、通信光と測距光は重畳される。
【００５９】
次に図１１〜図１４を参照して光量補正処理について説明する。
【００６０】
図１２（ａ）で示すように、送信されるデータパルスは各データ区間毎に異なるため、その発光パルスの立ち下がりの数も各データ区間毎に異なる。また測距のために行われる信号電荷の蓄積は、発光パルスの立ち下がりに合わせて行われるため、電荷蓄積の回数は各データ区間毎に異なる。例えば、図１２（ｇ）の各データ区間で行われる電荷蓄積の回数は、左から１番目のデータ区間では４回、２番目では２回、３番では２回である。したがって、距離情報検出動作で実行される電荷蓄積の総数（信号電荷の積分回数）が送信データにより異なるため、出力ＳＭ₁₀（総蓄積電荷量）も異なり、距離の検出精度が劣化する。
【００６１】
本実施形態では、距離情報検出動作で実行される信号電荷の積分回数を一定にし、出力ＳＭ₁₀が送信データに依存しないように光量補正処理が行われる。図１３は、光量補正処理を行うときに距離情報検出動作で実行される発光動作のシーケンスを示している。
【００６２】
距離情報検出のための発光動作が行われる測距期間（１フィールド期間）には、データパルス信号にしたがって発光動作を行なうデータ転送区間と、測距期間における積分回数（蓄積総数）を一定にするための補正処理を行なう光量補正区間とが存在する。データパルス出力回路２９から出力されたデータパルス信号のパルスの立ち下がり回数は、カウント回路３９で計数されているので、データ転送区間の終了時には、データ転送区間における蓄積回数（積分回数）が計数されている。計数された蓄積回数から距離情報の検出に必要な残りの蓄積回数が求められ、光量補正区間において残りの回数分の発光と蓄積が行われる。例えば、距離情報検出動作で実行される信号電荷の積分回数が６０万回のとき、データ転送区間における蓄積回数（積分回数）が３０万回であれば、光量補正区間では３０万回の発光および蓄積が実行される。また、データ転送区間における蓄積回数（積分回数）が４０万回であれば、光量補正区間では２０万回の発光および蓄積が実行される。なおデータ転送区間と光量補正区間との間には、光量補正処理へ処理を移すための切替期間が設けられている。
【００６３】
次に、光量補正区間における発光パルスおよび蓄積期間のシーケンスについて説明する。図１４は、光量補正区間において図１１の回路から出力される各パルス信号、フォトダイオード５１での蓄積期間、ＬＤの発光パルスのシーケンスを示している。
【００６４】
システムコントロール回路３５では、カウント回路３９で計数されたデータ転送区間の発光パルスの立ち下がり数（蓄積回数）から光量補正区間において必要な発光および蓄積の回数を算出し、算出された回数の発光および蓄積を行なうためのダミーデータを生成する。生成されたダミーデータは、データパルス出力回路２９を介してデータパルス（図１４（ａ））として出力される。ダミーデータのデータパルスは、図１２を参照して説明した送信データのデータパルスと同様に、データ区切信号Ｓ２１によって８ビット単位で区切られ、基本区間の幅等も同じである。またダミーデータは、ディレイ回路４５やＣＣＤ駆動パルス変換回路４６において、送信データのときと同様の処理を施され、発光素子制御回路４４かやＣＣＤ駆動回路３０へそれぞれＬＤ駆動パルス、ＣＣＤ駆動パルスとして出力される。すなわちダミーデータのデータパルスが図１４（ａ）で表されるとき、掃出パルスと転送パルスはそれぞれ図１４（ｄ）、（ｆ）のようになり、フォトダイオード５１での電荷の蓄積動作は、図１４（ｇ）のタイミングで行われる。また発光素子１４ａの発光パルスは、図１４（ｅ）のようにダミーデータのデータパルスの出力からΔｔ遅延されている。
【００６５】
データパルスの出力において各基本区間は隣接しているので、隣接する基本区間のパルスがオン状態のとき、隣接する基本区間で出力されるパルスは連続した１つのパルスとなってしまう。例えば、図１２（ａ）のＳ２４のように、上位３ビットに対応する基本区間はパルス幅が３×Ｔ_Sの１つのパルスとなる。また、前述したように、被写体の距離情報を検出するための信号電荷の蓄積は、ＬＤ発光パルスの立ち下がりを利用して行われる。したがって、データパルスが８ビットの場合、１つの光量補正区間において被写体までの距離情報を含む信号電荷を蓄積できる回数の上限は、データパルスが１ビットおきにオン状態のときでありその数は４回である。図１２（ａ）は、距離情報検出動作における一定の積分回数に対して、蓄積回数が例えば１０回足りない場合を例示している。左から１番目と２番目の光量補正区間では、上限の４回にわたって発光光源１４ａの発光およびフォトダイオード５１での信号電荷の蓄積が行われ、３番目の光量補正区間では、残りの２回が行われている。
【００６６】
次に図１５を参照してコンピュータ５０上で実行される光通信の受信動作について説明する。
【００６７】
ステップ３０１で発光素子１４ａの発光パルス（図１２（ｈ））が受光器５１で検出されると、ステップ３０２において発光装置１４から送信されてくるデータパルス信号の検出が受光器５１で開始される。ステップ３０２で一連のデータの受信が終了するとステップ３０３に処理が移る。受信されたデータが被写体の画像データや距離データであれば、ステップ３０３において画像処理等が施され、必要に応じてコンピュータ５０に接続されたディスプレイ等に出力される。ステップ３０４では受信動作を終了するか否かが判定される。例えばコンピュータ５０のキーボードなどのキーに割り当てられた終了ボタンが押されていると、この受信動作は終了する。また終了ボタンが押されなければステップ３０１に戻り再び受信待機状態となる。
【００６８】
なお本実施形態において、フォトダイオード５１での電荷の蓄積動作は、ＬＤ発光パルス（図１２（ｈ））が立ち下がるのと略同時に行われたが、蓄積動作はＬＤ発光パルスの立ち下がりまたは立ち上がりと一定の位相差をもって同期してもよい。
【００６９】
以上のように本実施形態によれば、１つの発光装置１４を用いて光通信と距離検出が行なえ、かつ通信光と測距光が重畳されることにより、光通信と距離検出を同時に行なうことができる。
【００７０】
【発明の効果】
以上のように本発明によれば、ケーブルを介することなくデータをコンピュータへ転送できかつ通信効率のよい３次元画像検出装置が得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】距離情報検出動作と光通信によりデータを送信するときの様子を模式的に表した図である。
【図４】測距光による距離測定の原理を説明するための図である。
【図５】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図６】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図７】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図８】被写体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図９】距離情報検出動作のフローチャートである。
【図１０】測距通信重畳処理のフローチャートである。
【図１１】測距通信重畳処理に係る回路の構成を示すブロック図である。
【図１２】データ転送時のデータパルス、蓄積期間、ＬＤ発光パルス等のシーケンスを示す図である。
【図１３】測距期間におけるデータ転送区間と光量補正区間との関係を模式的に表した図である。
【図１４】光量補正時のデータパルス、蓄積期間、ＬＤ発光パルス等のシーケンスを示す図である。
【図１５】コンピュータで実行される受信動作のフローチャートである。
【符号の説明】
１４発光装置
５１フォトダイオード

Claims

光を照射するための光源と、
受光量に応じた電荷を蓄積可能な撮像素子と、
前記光源を制御して被写体に測距光を照射させ、前記被写体からの反射光を前記撮像素子で受光し、前記反射光により蓄積した信号電荷に基づいて前記被写体までの距離を検出する距離情報検出手段と、
前記光源を制御して通信光を照射させ、空間を伝送路とした光通信を行なう情報伝達手段とを備え、
前記通信光の発光に同期させて前記撮像素子における前記信号電荷の蓄積を行ない、前記通信光を測距光として用いることにより前記通信光と前記測距光とが重畳して前記光源から照射される
ことを特徴とする３次元画像検出装置。
前記距離情報検出手段において、前記測距光が所定の回数繰り返し照射され、繰り返し毎に信号電荷が前記撮像素子に蓄積されることを特徴とする請求項１に記載の３次元画像検出装置。
前記情報伝達手段において、前記通信光の発光が、２値データの１と０の何れかに対応することを特徴とする請求項１に記載の３次元画像検出装置。
前記通信光がパルス変調されたレーザ光であることを特徴とする請求項１に記載の３次元画像検出装置。
前記通信光により送信されるデータ列が、前記データ列をデータのビット数毎に区切るためのデータ区切信号を含むことを特徴とする請求項４に記載の３次元画像検出装置。
前記撮像素子が受光量に応じて電荷が蓄積する複数の光電変換素子と前記光電変換素子に隣接して設けられた信号電荷保持部とからなることを特徴とする請求項１に記載の３次元画像検出装置。
前記撮像素子における前記信号電荷の蓄積が、前記光電変換素子に蓄積した電荷を掃出すための電荷掃出信号の立ち下がりにより開始し、前記光電変換素子に蓄積した電荷を前記信号電荷保持部へ転送するための電荷転送信号の立ち下がりにより終了することを特徴とする請求項６に記載の３次元画像検出装置。
前記電荷転送信号が、前記電荷掃出信号の立ち下がりと同時に立ち上がることを特徴とする請求項７に記載の３次元画像検出装置。
前記電荷転送信号が、周期的なパルス信号である基準電荷転送信号と前記データ列のパルス信号の立ち下がりに同期して生成されるデータ同期パルス信号との論理積により生成され、
前記電荷掃出信号が、前記データ同期パルス信号と前記基準電荷転送信号から半周期位相が遅れた同一周期のパルス信号である基準電荷掃出信号との論理積により生成され、
前記データ同期パルス信号が前記基準掃出信号と同期し、そのパルス幅が前記基準電荷転送信号の１周期幅と相等しい
ことを特徴とする請求項８に記載の３次元画像検出装置。
前記信号電荷の蓄積が前記通信光の立ち下がりに合わせて行われることを特徴とする請求項１に記載の３次元画像検出装置。
前記測距光が前記所定の回数繰り返し照射される期間である測距期間が、前記測距光と前記通信光が重畳されて照射されるデータ転送区間と、前記データ転送区間における前記測距光の照射回数が前記所定回数に満たない場合にその回数を補充するために測距光が照射される光量補正区間とを有することを特徴とする請求項２に記載の３次元画像検出装置。