JP4398562B2

JP4398562B2 - ３次元画像検出装置の焦点調節機構

Info

Publication number: JP4398562B2
Application number: JP2000061602A
Authority: JP
Inventors: 山本　　清
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2000-03-07
Filing date: 2000-03-07
Publication date: 2010-01-13
Anticipated expiration: 2020-03-07
Also published as: JP2001251648A

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出可能な３次元画像検出装置に関する。
【０００２】
【従来の技術】
従来、被写体までの距離を画素毎に検出する３次元画像検出装置としては、「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載されたものや、国際公開97/01111号公報に開示されたものなどが知られている。これらの３次元画像検出装置では、パルス変調されたレーザ光が被写体に照射され、その反射光が２次元ＣＣＤセンサによって受光され、電気信号に変換される。このとき２次元ＣＣＤと組み合わされたメカニカルまたは液晶素子等からなる電気光学的シャッタの１回のシャッタ動作により、被写体までの距離に相関する電気信号をＣＣＤの各画素毎に検出することができる。この電気信号からＣＣＤの各画素毎に対応する被写体までの距離が、画像情報として検出される。
【０００３】
３次元画像検出装置において、被写体までの距離に対応する画像情報（以下３次元画像情報と呼ぶ）は、通常の撮影で得られる被写体の視覚上の画像情報（以下２次元画像情報と呼ぶ）と対で取得され、様々な画像処理に用いられる。２次元画像情報の検出は可視光をＣＣＤ撮像面で結像して行われるが、３次元画像情報の検出は通常赤外波長域の光をＣＣＤ撮像面で結像して行われる。一つの撮影光学系において、可視波長域の光に対する焦点距離と赤外波長域の光に対する焦点距離とは異なるので、２次元画像情報および３次元画像情報を同一の撮影光学系を用いて検出する場合、焦点調節後における撮影光学系の光軸上の位置は２次元画像情報の検出と３次元画像情報の検出とにおいて異なる。
【０００４】
【発明が解決しようとする課題】
したがって、２次元画像情報および３次元画像情報を同一の撮影光学系を用いて検出し、３次元画像情報の検出が赤外線レーザを照射して行われる３次元画像検出装置において、焦点調節が可視光に対して行われると、３次元画像情報の検出の際、ピントが合わず距離検出精度が低下する。一方、焦点調節が赤外線に対して行われると、可視光を検出して得られる２次元画像の画質が低下する。
【０００５】
本発明は、２次元画像情報および３次元画像情報を同一の撮影光学系を用いて検出し、３次元画像情報の検出を可視波長外の光により行う３次元画像検出装置において、各検出が常に合焦された状態で行われ、かつ迅速に焦点調節が行える３次元画像検出装置の焦点調節機構を得ることを目的としている。
【０００６】
【課題を解決するための手段】
本発明の３次元画像検出装置の焦点調節機構は、撮像レンズと、受光量に応じた信号電荷を蓄積可能な撮像部と、撮像レンズから入射する可視光により被写体の視覚的な画像情報を前記撮像部において検出する２次元画像検出手段と、撮像レンズから入射する可視波長域外の光により、撮像部において被写体までの距離情報を画素毎に検出する３次元画像検出手段と、２次元画像検出手段または３次元画像検出手段のうちの一方の画像検出手段において被写体に焦点が合うように撮像レンズと撮像部との間の相対的な位置を調節する第１の焦点調節手段と、第１の焦点調節手段において調節された撮像レンズと撮像部との間の相対的な位置を、撮像レンズ及び撮像部のうちの少なくとも一方を光軸方向へ所定距離移動させることにより変位させ、第１の焦点調節手段において焦点調節が行われていない他方の画像検出手段における焦点調節を行う第２の焦点調節手段とを備えることを特徴としている。
【０００７】
好ましくは、第１の焦点調節手段および第２の焦点調節手段は、撮像レンズを移動することにより撮像レンズと撮像部との間の相対的な位置の調節または所定距離の移動を行う。好ましくは、可視波長域外の光は赤外波長域の光である。
【０００８】
好ましくは、所定距離移動させるためのデータがメモリに記録されている。またより好ましくは、撮像レンズがズームレンズであり、データが撮像レンズの各ズーミングに対応してメモリに記録されている。これにより、より迅速に焦点調調節を行うことができる。例えば第１の焦点調節手段は、２次元画像検出手段により画像情報が検出される際、または、３次元画像検出手段により距離情報が検出される際のどちらか一方において駆動される。
【０００９】
本発明の３次元画像検出装置の焦点調節機構は、撮像レンズと、受光量に応じた信号電荷を蓄積可能な撮像部と、撮像レンズから入射する可視光により被写体の視覚的な画像情報を撮像部において検出する２次元画像検出手段と、撮像レンズから入射する可視波長域外の光により、撮像部において被写体までの距離情報を画素毎に検出する３次元画像検出手段と、２次元画像検出手段および３次元画像検出手段の各々において、被写体に焦点が合うように撮像レンズと撮像部との間の相対的な位置を調節する焦点調節手段とを備えたことを特徴としている。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の第１の実施形態であるカメラ型の画像検出装置の斜視図である。
【００１１】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５、液晶表示パネル１６が設けられ、右側にはモード切替ダイヤル１７が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、また、ビデオ出力端子２０、インターフェースコネクタ２１が設けられている。
【００１２】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１３】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されており、その前面には色分離フィルタＦが設けられている。ＣＣＤ２８の撮像面には、撮影レンズ１１によって被写体像が結像される。これによりＣＣＤ２８において被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作や電荷の読出動作等はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。なお、レンズ駆動回路２７では、撮像レンズ１１の位置の検出も行われており、この検出結果とシステムコントロール回路からの制御信号に基づいて撮像レンズ１１の位置が調整され、焦点調節やズーミングが行われる。
【００１４】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１５】
カメラをカメラ本体１０の外部に設けられたモニタ装置３９とケーブルで接続すれば、画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８、ビデオ出力端子２０を介してモニタ装置３９に伝送可能である。またシステムコントロール回路３５はインターフェース回路４０に接続されており、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがってカメラをカメラ本体１０の外部に設けられたコンピュータ４１とインターフェースケーブル４１を介して接続すれば、画像メモリ３４から読み出された画像信号をコンピュータに伝送可能である。また、システムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１６】
発光装置１４は発光素子１４ａと照明レンズ１４ｂにより構成され、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａはレーザダイオード（ＬＤ）であり赤外線レーザを照射する。赤外線レーザは被写体までの距離を検出するための測距光として用いられ、照明レンズ１４ｂを介して被写体の全体に照射される。被写体で反射したレーザ光が撮影レンズ１１に入射し、ＣＣＤ２８で検出されることにより被写体までの距離情報が検出される。
【００１７】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７から成るスイッチ群４５と、メモリ２４、液晶表示パネル（表示素子）１６とが接続されている。メモリ２４は不揮発性のメモリであり、後述するように３次元画像情報を検出する際の焦点調節（３Ｄ合焦）に用いられる。
【００１８】
図３は、本実施形態のＣＣＤ２８に設けられる色分離フィルタＦの色フィルタアレイを部分的に示す図であり、図４は各色フィルタの分光透過率特性を示す図である。図３、図４を参照して本実施形態で用いられるＣＣＤ２８および色分離フィルタＦについて説明する。
【００１９】
色フィルタＲ、Ｇ、Ｂ、Ｉｒは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（Ｉｒ）の光を選択的に透過するバンドパスフィルタ（例えば干渉フィルタ）であり、その分光透過率特性は図４にそれぞれ示される。色フィルタＲ、Ｇ、Ｂ、Ｉｒはガラス基板上に図３のような配列で形成されており、全体として色分離フィルタＦを構成する。色フィルタＲ、Ｇ、Ｂ、Ｉｒの各々は、ＣＣＤ２８の各画素（フォトダイオード）に対応しており、ガラス基盤に色フィルタが形成された色分離フィルタＦは、各色フィルタがＣＣＤ２８の各画素に対応するように正確に位置合わせした上でＣＣＤ２８の表面に固着されている。図３には１６画素分の色フィルタしか示されていないが、色フィルタはＣＣＤ２８の全画素に対応しており、図３に示された配列で繰り返し配列されている。
【００２０】
本実施形態では、色フィルタＲ、Ｇ、Ｂ（可視光透過フィルタ）に対応する画素（第１の画素群）の画像信号のみを使用して可視光による被写体の通常の視覚的な画像情報（以下２次元画像情報と呼ぶ）を検出し、色フィルタＩｒ（赤外光透過フィルタ）が設けられた画素（第２の画素群）の画像信号のみを使用して赤外線による被写体の３次元形状を表す距離情報をＣＣＤ２８の画像情報（以下３次元画像情報と呼ぶ）として検出する。色フィルタＲ、Ｇ、Ｂ、Ｉｒの透過波長帯域は、図４に示されるようにＲ、Ｇ、Ｂ、Ｉｒの波長を中心にした狭い帯域に限られており、可視光の検出に用いられる色フィルタＲ、Ｇ、Ｂは赤外線を透過せず、赤外光の検出に用いられる色フィルタＩｒは可視光線を透過しない。したがって、２次元画像情報は赤外線の影響を受けずに検出でき、３次元画像情報は可視光の影響を受けずに検出できる。
【００２１】
図５は、第１の実施形態において実行される撮影動作のプログラムのフローチャートである。図５を参照して、第１の実施形態における撮影動作について説明する。
【００２２】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２において、可視光を用いた自動焦点調節（２Ｄ合焦）が実行される。すなわち、適正な焦点調節がなされたシャープな２次元画像情報を検出するため、ＣＣＤ２８の画素のうちＲ、Ｇ、Ｂの色フィルタが設けられた画素の画像信号を用いて、従来公知のコントラスト方式により可視光に対する焦点調節が行われる。なお焦点調節は、レンズ駆動回路２７を用いて撮像レンズ１１の位置を調節することにより行われる。
【００２３】
ステップ１０３では、２次元画像情報の検出（２Ｄ撮影）が行われる。すなわちＣＣＤ２８において通常のビデオ制御が行われ、被写体の視覚情報に対応した画像データが検出される。検出された画像データは、２次元画像データとして画像記録媒体Ｍに保存される。
【００２４】
ステップ１０４では、レンズ駆動回路２７を駆動して撮像レンズ１１の位置を２Ｄ合焦（ステップ１０２）において設定された位置から所定量移動させる。すなわち、撮像レンズ１１の可視光に対する焦点距離は、赤外線に対する焦点距離よりも短いので、赤外線を用いる３次元画像情報の検出では、焦点面の位置が２Ｄ合焦における焦点面の位置よりも後方へずれる。したがって、３次元画像情報の検出では、撮像レンズ１１をその分移動しなければならない。この移動量は、撮像レンズ１１のズーミングに対応してメモリ２４に記録されている。システムコントロール回路３５は、現在のズーミングに対応した移動量を示すデータをメモリ２４から読み出し、レンズ駆動回路２７に対して撮像レンズ１１の移動量を指示する。レンズ駆動回路２７は、この指示に従って撮像レンズ１１の位置を移動し、３次元画像情報を検出のための３Ｄ合焦を行う。
【００２５】
ステップ１０５では、後に詳述する方法により被写体の距離情報に対応した３次元画像情報の検出（３Ｄ撮影）が行われ、３次元画像データとして画像記録媒体Ｍに保存される。
【００２６】
次に図６および図７を参照して、本実施形態において実行される距離測定の原理について説明する。なお図７において横軸は時間ｔである。
【００２７】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２・・・（１）
により得られる。ただしＣは光速である。
【００２８】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２９】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被写体Ｓの表面の各点までの距離をそれぞれ検出し、被写体Ｓの表面形状に関する距離情報を３次元画像データとして一括して入力している。
【００３０】
図８は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図９は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００３１】
フォトダイオード５１と垂直転送部５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図８において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００３２】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【００３３】
図１０は、３次元画像データを取得するために図５のステップ１０５の３Ｄ撮影において実行される３次元画像検出動作のタイミングチャートであり、図１、図２、図８〜図１０を参照して本実施形態における３次元画像検出動作について説明する。なお本実施形態の３次元画像検出動作では、図７を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【００３４】
垂直同期信号（図示せず）の出力に同期して電荷掃出し信号（パルス信号）Ｓ１が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出され、フォトダイオード５１における蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し信号Ｓ１の出力の開始の後、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力される期間（パルス幅）は調整可能であり、図示例では、電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフするように調整されている。
【００３５】
測距光Ｓ３は被写体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被写体からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１が出力されている間は、フォトダイオード５１において電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１の出力が停止されると、フォトダイオード５１では、反射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ４と外光とに起因する信号電荷Ｓ５が発生する。反射光Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１では、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。
【００３６】
その後、電荷転送信号Ｓ９が出力されると、フォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。この電荷転送は、電荷転送信号の出力の終了（符号Ｓ１０）によって完了する。すなわち、外光が存在するためにフォトダイオード５１では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード５１に蓄積されていた信号電荷Ｓ１１が垂直転送部５２へ転送される。電荷転送信号の出力終了後に蓄積している電荷Ｓ１４は、そのままフォトダイオード５１に残留する。
【００３７】
このように電荷掃出し信号Ｓ１の出力の終了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ_U1の間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光Ｓ４の受光終了（符号Ｓ６）までフォトダイオード５１に蓄積している電荷が、被写体の距離情報と対応した信号電荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、その他の信号電荷Ｓ１３は外光のみに起因するものである。
【００３８】
電荷転送信号Ｓ９の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３９】
このような信号電荷Ｓ１１の垂直転送部５２への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ１１が積分され、１フィールドの期間（２つの垂直同期信号によって挟まれる期間）に積分された信号電荷Ｓ１１は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。なお信号電荷Ｓ１３は信号電荷Ｓ１２に比べ微小であるため信号電荷Ｓ１１は信号電荷Ｓ１２と等しいと見なすことができる。
【００４０】
以上説明した信号電荷Ｓ１１の検出動作は１つのフォトダイオード５１に関するものであり、図３の色フィルタＩｒに対応する全てのフォトダイオード５１においてこのような検出動作が行なわれる。すなわち、距離情報は水平・垂直方向ともに１画素置きに検出される。１フィールドの期間における検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によって３次元画像データとしてＣＣＤ２８から出力される。
【００４１】
次に図１、図２、図１０及び３次元画像検出動作のフローチャートである図１１を参照して本実施形態における３次元画像検出動作について説明する。
【００４２】
ステップ２０１では、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ２０２が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図１０を参照して説明した３次元画像検出動作が開始され、電荷掃出信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離情報の信号電荷Ｓ１１が垂直転送部５２において積分される。
【００４３】
ステップ２０３では、３次元画像検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ２０４へ進み、垂直転送部５２において積分された距離情報の信号電荷がＣＣＤ２８から出力される。この信号電荷はステップ２０５において画像メモリ３４に一時的に記憶される。
【００４４】
ステップ２０６では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。ステップ２０７では、距離データの演算処理が行なわれ、ステップ２０８において、演算された距離データが３次元画像データとして画像メモリ３４に一時的に記憶されるとともに記録媒体Ｍに保存される。これにより、ステップ１０２において実行される３次元画像検出動作は終了する。
【００４５】
次に３次元画像検出動作のステップ２０７において実行される演算処理の内容を図１０を参照して説明する。
【００４６】
反射率Ｒの被写体が照明され、この被写体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオードに発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００４７】
図１０に示されるように電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電荷Ｓ１２のパルス幅をＴ_Dとし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力ＳＭ₁₀は、

となる。なお、パルス幅Ｔ_Dは

と表せる。このとき被写体までの距離ｒは
ｒ＝Ｃ・ＳＭ₁₀／（２・ｋ・Ｎ・Ｒ・Ｉ）・・・（５）
で表せる。したがって比例定数ｋ、反射率Ｒ、輝度Ｉを予め求めておけば距離ｒが求められる。
【００４８】
以上により、第１の実施形態によれば、２次元画像情報、３次元画像情報ともに合焦された状態で検出することができる。また、第１の実施形態では、自動焦点調節は可視光による２次元画像情報の検出に対してのみ実行され、赤外線による３次元画像情報の検出では、メモリ２４に予め記録された移動量に基づいて焦点の調節が行われる。したがって、自動焦点調節が１回で済み、迅速な焦点調節が行える。
【００４９】
図１２は、第２の実施形態において実行される撮影動作のプログラムのフローチャートである。図１２を参照して、第２の実施形態における撮影動作について説明する。なお、第２の実施形態は、第１の実施形態とその撮影動作が若干異なるのみでその他の点に関しては第１の実施形態と異なるところはない。
【００５０】
ステップ３０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ３０２において、赤外線を用いた自動焦点調節（３Ｄ合焦）が実行される。すなわち、適正な焦点調節がなされた３次元画像情報を検出するため、ＣＣＤ２８の画素のうちＩｒの色フィルタが設けられた画素の画像信号を用いて従来公知のコントラスト方式により赤外光に対する焦点調節が行われる。
【００５１】
ステップ３０３では、３次元画像情報の検出（３Ｄ撮影）が行われ、検出された画像データは、３次元画像データとして画像記録媒体Ｍに保存される。
【００５２】
ステップ３０４では、レンズ駆動回路２７を駆動して撮像レンズ１１の位置を３Ｄ合焦（ステップ３０２）において設定された位置から所定量移動させる。この移動量は、撮像レンズ１１のズーミングに対応してメモリ２４に記録されている。システムコントロール回路３５は、現在のズーミングに対応した移動量を示すデータをメモリ２４から読み出し、レンズ駆動回路２７に対して撮像レンズ１１の移動量を指示する。レンズ駆動回路２７は、この指示に従って撮像レンズ１１の位置を移動し、２次元画像情報を検出のための焦点調節を行う。
【００５３】
ステップ３０５では、後に詳述する方法により被写体の距離情報に対応した２次元画像情報の検出（２Ｄ撮影）が行われ、２次元画像データとして画像記録媒体Ｍに保存される。
【００５４】
以上により、第２の実施形態においても第１の実施形態と同様、２次元画像情報、３次元画像情報ともに合焦された状態で検出することができる。また、第２の実施形態では、自動焦点調節は赤外線による３次元画像情報の検出に対してのみ実行され、可視光による２次元画像情報の検出では、メモリ２４に予め記録された移動量に基づいて焦点調節が行われる。したがって、第１の実施形態と同様、自動焦点調節が１回で済み、迅速な焦点調節が行える。
【００５５】
次に図１３を参照して本発明の第３の実施形態の３次元画像検出装置で行われる撮影動作について説明する。なお図１３は、本実施形態において実行される撮影動作のプログラムのフローチャートである。第３の実施形態は、第１の実施形態と撮影動作が若干異なるのみでその他の点については第１の実施形態と同様である。
【００５６】
ステップ４０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ４０２において、可視光に対する自動焦点調節（２Ｄ合焦）が実行される。すなわち、適正な焦点調節のもとで２次元画像情報を検出するため、ＣＣＤ２８で検出される画像信号のうち、Ｒ、Ｇ、Ｂの色フィルタに対応する画素で検出される画像信号に、例えば従来公知のコントラスト方式を適用して焦点調節を行う。
【００５７】
ステップ４０３では、２次元画像情報の検出（２Ｄ撮影）が行われる。すなわちＣＣＤ２８において通常のビデオ制御が行われ、ＲＧＢ成分およびＩｒ成分の画像情報が検出され、各色成分毎に画像データとして画像メモリ３４へ一時的に記憶される。その後ＲＧＢ成分に対応する画像データのみが２次元画像データとして画像記録媒体Ｍに保存される。
【００５８】
ステップ４０４では、赤外光に対する自動焦点調節（３Ｄ合焦）が実行される。すなわち、適正な焦点調節のもとで３次元画像情報を検出するため、ＣＣＤ２８で検出される画像信号のうち、Ｉｒの色フィルタに対応する画素で検出される画像信号に、例えば従来公知のコントラスト方式を適用して焦点調節を行う。
【００５９】
ステップ４０５では、３次元画像情報の検出（３Ｄ撮影）が行われる。すなわち３次元画像検出動作により各画素において信号電荷が検出される。各画素において検出された画像信号は、画像情報として各色成分毎に画像データとして画像メモリ３４へ一時的に記憶される。その後Ｉｒ成分に対応する画像データから距離データが演算され３次元画像データとして画像記録媒体Ｍに保存される。
【００６０】
以上により第３の実施形態によれば、２次元画像情報及び３次元画像情報ともに焦点調節がなされたシャープな画像として検出することができる。
【００６１】
なお、本実施形態では自動焦点調節には、コントラスト方式が用いられたが自動焦点調節の方式は限定されるものではない。また、本実施形態では撮像レンズの位置を調整することにより焦点調節が行われたが、ＣＣＤなどの撮像面を移動させてもよく、これら双方を移動させてもよい。
【００６２】
第１及び第２の実施形態において、３次元画像情報または２次元画像情報の一方に関する焦点調節はメモリ２４に記録されたデータに基づいて行われたが、撮像レンズのズーミングに対応した所定移動量を予め設定された数式を用いて算出するようにしてもよい。
【００６３】
【発明の効果】
以上のように本発明によれば、２次元画像情報および３次元画像情報を同一の撮影光学系を用いて検出し、３次元画像情報の検出を可視波長外の光により行う３次元画像検出装置において、各検出が常に合焦された状態で行われ、かつ迅速に焦点調節を行える３次元画像検出装置の焦点調節機構を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態であるカメラ型の測距装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】ＣＣＤ２８に設けられた色フィルタアレイの配置を示す図である。
【図４】ＣＣＤ２８に設けられた色フィルタの透過率特性を示す図である。
【図５】本実施形態における撮影動作のプログラムのフローチャートである。
【図６】測距光による距離測定の原理を説明するための図である。
【図７】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図８】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図９】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図１０】被写体までの距離に関するデータを検出する３次元画像検出動作のタイミングチャートである。
【図１１】３次元画像検出動作のフローチャートである。
【図１２】第２の実施形態における撮影動作のフローチャートである。
【図１３】第３の実施形態における撮影動作のフローチャートである。
【符号の説明】
１１撮像レンズ
１４発光装置
２４メモリ
２７レンズ駆動回路
２８ＣＣＤ

Claims

撮像レンズと、
受光量に応じた信号電荷を蓄積可能な撮像部と、
前記撮像レンズから入射する可視光により被写体の視覚的な画像情報を前記撮像部において検出する２次元画像検出手段と、
前記撮像レンズから入射する可視波長域外の光により、前記撮像部において前記被写体までの距離情報を画素毎に検出する３次元画像検出手段と、
前記２次元画像検出手段または前記３次元画像検出手段のうちの一方の画像検出手段において、前記被写体に焦点が合うように前記撮像レンズと前記撮像部との間の相対的な位置を調節する第１の焦点調節手段と、
前記第１の焦点調節手段において調節された前記撮像レンズと前記撮像部との間の相対的な位置を、前記撮像レンズ及び前記撮像部のうちの少なくとも一方を光軸方向へ所定距離移動させることにより変位させ、前記第１の焦点調節手段において焦点調節が行われていない他方の画像検出手段における焦点調節を行う第２の焦点調節手段と
を備えたことを特徴とする３次元画像検出装置の焦点調節機構。
前記第１の焦点調節手段および前記第２の焦点調節手段が、前記撮像レンズを移動することにより前記撮像レンズと前記撮像部との間の相対的な位置の調節または前記所定距離の移動を行うことを特徴とする請求項１に記載の３次元画像検出装置の焦点調節機構。
前記可視波長域外の光が赤外波長域の光であることを特徴とする請求項１に記載の３次元画像検出装置の焦点調節機構。
前記所定距離移動させるためのデータがメモリに記録されていることを特徴とする請求項１に記載の３次元画像検出装置の焦点調節機構。
前記撮像レンズがズームレンズであり、前記データが前記撮像レンズの各ズーミングに対応して前記メモリに記録されていることを特徴とする請求項４に記載の３次元画像検出装置の焦点調節機構。
前記第１の焦点調節手段が、前記２次元画像検出手段により前記画像情報が検出される際に駆動されることを特徴とする請求項１に記載の３次元画像検出装置の焦点調節機構。
前記焦点調整手段が、前記３次元画像検出手段により前記距離情報が検出される際に駆動されることを特徴とする請求項１に記載の３次元画像検出装置の焦点調節機構。
撮像レンズと、
受光量に応じた信号電荷を蓄積可能な撮像部と、
前記撮像レンズから入射する可視光により被写体の視覚的な画像情報を前記撮像部において検出する２次元画像検出手段と、
前記撮像レンズから入射する可視波長域外の光により、前記撮像部において前記被写体までの距離情報を画素毎に検出する３次元画像検出手段と、
前記２次元画像検出手段および前記３次元画像検出手段の各々において、前記被写体に焦点が合うように前記撮像レンズと前記撮像部との間の相対的な位置を調節する焦点調節手段と
を備えたことを特徴とする３次元画像検出装置の焦点調節機構。