JP4010779B2

JP4010779B2 - Image detection device and diaphragm device

Info

Publication number: JP4010779B2
Application number: JP2001173630A
Authority: JP
Inventors: 修三瀬尾
Original assignee: ペンタックス株式会社
Priority date: 2001-06-08
Filing date: 2001-06-08
Publication date: 2007-11-21
Anticipated expiration: 2021-06-08
Also published as: JP2002369223A

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
従来、被計測物体（被写体）の３次元形状を計測する能動方式の３次元画像検出装置として、例えば「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載された３次元画像検出装置や、国際公開WO97/01111号公報に開示された３次元画像検出装置などが知られている。「Measurement Science and Technology」に記載された装置では、パルス変調されたレーザ光が被写体の全体に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、遠い被写体からの反射光による受光量は近い被写体からの反射光による受光量に比べて小さいので、被写体の距離に応じた出力がＣＣＤの各画素毎に得られる。一方、国際公開97/01111号公報に記載された装置では、パルス変調されたレーザ光等の光が被写体の全体に照射され、その反射光がメカニカル又は液晶素子等から成る電気光学的シャッタと組み合わされた２次元ＣＣＤセンサによって受光され、電気信号に変換される。そのシャッタは、測距光のパルスとは異なるタイミングで制御され、距離情報がＣＣＤの各画素毎に得られる。なお、ＣＣＤの画素毎に得られる距離情報に関する信号電荷は画像信号と考えることができるので、以下距離情報に対応する画像を３次元画像と呼び、ＣＣＤを通常方法で駆動して得られる視覚情報に対応する画像を２次元画像と呼ぶ。
【０００３】
３次元画像は、通常同一視点から撮像される被写体の２次元画像とともに用いられる。例えば、３次元画像による距離情報を利用して２次元画像における背景処理を行ったり、距離情報から被写体の３次元形状データを算出し２次元画像をテクスチャーデータとして利用したりするために用いられる。このような場合、２次元画像と３次元画像とは、同一の撮像光学系を用いて撮像されることが好ましい。２次元画像と３次元画像を同一の撮像光学系を用いて撮像する方法としては、例えば２次元画像の撮像後に続けて３次元画像の撮像を行うというように、２つの撮像を時系列的に行う方法などがある。
【０００４】
【発明が解決しようとする課題】
しかし、上述のように２次元画像と３次元画像とを時系列的に非同時に撮像する方法では、移動している被写体の撮像を行うことは困難である。２次元画像と３次元画像とを同時に撮像する方法としては、撮像光学系に入射された光を２つに分岐し、分岐された光をそれぞれ別のＣＣＤで同時に受光検出することが考えられる。しかし、２次元画像の撮像で検出される光と、３次元画像の撮像で検出される光とではその波長領域が異なるため、同一の照明の下で撮像が行われたとしても照明条件が異なることとなる。すなわち、同一撮像光学系を用いて同時に２次元画像と３次元画像とを撮像する場合、双方の撮像において同時に適正な露出を得ることは困難である。
【０００５】
本発明は、１つの撮像系を用いて、異なる波長領域の光による被写体像をそれぞれ適正な露出により同一タイミングで検出できる絞り装置と、この絞り装置を用いた画像検出装置とを得ることを目的としている。より具体的には、本発明は、被写体の２次元画像と３次元画像とをそれぞれ適正な露出により同一のタイミングで検出可能な３次元画像検出装置を得ることを目的としている。
【０００６】
【課題を解決するための手段】
本発明の画像検出装置は、被写体を撮像するための撮影光学系と、撮影光学系を介して第１の波長領域の光を受光し、第１の波長領域の光により被写体を撮像する第１の撮像素子と、撮像光学系を介して第２の波長領域の光を受光し、第２の波長領域の光により被写体を撮像する第２の撮像素子と、第１及び第２の波長領域の光を透過する第１の領域と第１または第２の波長領域の光のうち一方の波長領域の光のみを選択的に透過する第２の領域とを有し、第１及び第２の領域が同一面内にあるとともに第２の領域が第１の領域の周囲を取囲んで配置される撮影光学系の絞りとを備えたことを特徴としている。
【０００７】
画像検出装置が被写体までの距離情報に対応する３次元画像を検出可能な３次元画像検出装置の場合、画像検出装置は被写体に第１の波長領域の測距光を照射する光源を備え、第１の撮像素子における撮像動作が、この光源から所定のタイミングで照射される測距光に連動して制御され、第１の撮像素子において撮像される画像の各画素値が被写体までの距離に対応する。
【０００８】
例えばカラー静止画像である２次元画像と被写体の距離情報に対応する３次元画像とを撮像するような場合、第２の波長領域は可視光領域であることが必要であり、第１の波長領域はこれとなるべく重複しない例えば赤外光領域である。通常２次元画像の撮像に比べ３次元画像の撮像では信号出力が小さいので、より大きい３次元画像の出力を得るには、第２の領域を透過する光は第１の波長領域の光であることが好ましい。更に、より精緻な画像を得るには第１の領域は円形領域であることが好ましく、第２の領域はこの円形領域を取囲む円環領域であることが好ましい。
【０００９】
第１の撮像素子に、第１の波長領域の光のみを選択的に透過する光学フィルタを設け、第２の撮像素子に、第２の波長領域の光のみを選択的に透過する光学フィルタを設けることが好ましい。これにより、検出対象外の波長領域からの影響を各撮像素子において排除することができる。
【００１０】
撮影光学系に入射された光は、例えば第１又は第２の波長領域の光を反射するダイクロイックミラーにより分岐され、分岐された第１及び第２の波長領域の光はそれぞれ第１及び第２の撮像素子に導かれる。
【００１１】
また、本発明の絞り装置は、第１及び第２の波長領域の光を透過する第１の領域と、第１または第２の波長領域の光のうち一方の波長領域の光のみを選択的に透過する第２の領域とを備え、第１及び第２の領域が同一面内にあるとともに第２の領域が第１の領域の周囲を取囲んで配置されたことを特徴としている。
【００１２】
絞り装置の構成をより簡略にするとともにコストを削減するには、第１及び第２の領域は固定されていることが好ましい。またこのようにすると、絞り装置の開口の形状を所望の形状に容易に適合させることができる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態であるカメラ型の３次元画像検出装置の斜視図である。図１を参照して本実施形態において用いられるカメラ型の３次元画像検出装置について説明する。
【００１４】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓（対物部）１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５及び液晶表示パネル１６が設けられ、また右側にはモード切替ダイヤル１７が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、またビデオ出力端子２０、インターフェースコネクタ２１が設けられている。
【００１５】
図２は、図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５は後に詳述するように着脱可能な固定絞りであり撮影条件に合わせて適宜交換することができる。撮影レンズ１１の焦点調節動作及びズーミング動作はレンズ駆動回路２７によって制御される。
【００１６】
撮影レンズ１１の光軸上には、赤外領域の光を反射し可視光を透過するダイクロイックミラー１８が光軸と例えば４５°の傾きをもって配置されている。ダイクロイックミラー１８を透過した可視光は赤外カットフィルタ２８ｆを介して２次元画像用ＣＣＤ（第２の撮像素子）２８に達する。２次元画像用ＣＣＤ２８の撮像面には、可視光による被写体像（２次元画像に対応）が撮影レンズ１１により形成される。２次元画像用ＣＣＤ２８の撮像面ではこの被写体像に対応した電荷が発生する。２次元画像用ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作は、システムコントロール回路３５からＣＣＤ駆動回路３０へ出力されるＣＣＤ駆動用のパルス信号によって制御される。２次元画像用ＣＣＤ２８から読み出された電荷信号、すなわち２次元画像の画像信号はそれぞれアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。
【００１７】
一方、ダイクロイックミラー１８で反射された赤外光は可視光カットフィルタ２８ｆ’を介して３次元画像用ＣＣＤ（第１の撮像素子）２８’に達する。３次元画像用ＣＣＤ２８’の撮像面には、赤外光による被写体像（３次元画像に対応）が撮像レンズ１１により形成される。３次元画像用ＣＣＤ２８’の撮像面ではこの被写体像に対応した電荷が発生する。３次元画像用ＣＣＤ２８’における電荷の蓄積動作、電荷の読出動作等の動作は、システムコントロール回路３５からＣＣＤ駆動回路３０へ出力されるＣＣＤ駆動用のパルス信号によって制御される。３次元画像用ＣＣＤ２８’から読み出された電荷信号、すなわち３次元画像の画像信号はそれぞれアンプ３１’において増幅され、Ａ／Ｄ変換器３２’においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。
【００１８】
レンズ駆動回路２７及び撮像信号処理回路３３はシステムコントロール回路３５によって制御される。２次元画像または３次元画像の画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１９】
また画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端子２０を介して、カメラ本体１０の外部に設けられたＴＶモニタ３９に伝送可能である。システムコントロール回路３５はインターフェース回路４０に接続され、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがって画像メモリ３４から読み出された２次元画像及び３次元画像の画像信号は、インターフェースコネクタ２１に接続されたコンピュータ４１に伝送可能である。またシステムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された２次元画像及び３次元画像の画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。また記録媒体Ｍに一旦記録された画像信号は必要に応じて記録媒体Ｍから読み出され、システムコントロール回路３５を介してＬＣＤパネル３７に表示することができる。
【００２０】
システムコントロール回路３５には、発光素子制御回路４４が接続されている。発光装置１４には発光素子１４ａと照明レンズ１４ｂが設けられ、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａは測距光である赤外波長領域のレーザ光を照射するものであり、このレーザ光は照明レンズ１４ｂを介して被写体の全体に照射される。被写体において反射した赤外光は撮影レンズ１１に入射し、ダイクロイックミラー１８において３次元画像用ＣＣＤ２８’の方向へ反射され、３次元画像用ＣＣＤ２８’において３次元画像の画像信号として検出される。後述するように、この画像信号から３次元画像用ＣＣＤ２８’の各画素に対応した被写体までの距離が算出される。
【００２１】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７から成るスイッチ群４７と、液晶表示パネル（表示素子）１６とが接続されている。
【００２２】
次に図３及び図４を参照して、ＣＣＤを用いた本実施形態における距離測定の基本的な原理について説明する。なお図４において横軸は時間ｔである。
【００２３】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。光源から射出された測距光が、被写体で反射され距離測定装置Ｂにおいて反射光として検出されるまでに進む距離Ｒ（ここでは距離測定装置Ｂと被写体Ｓとの往復の距離２ｒ）は
Ｒ＝２ｒ＝δ・ｔ・Ｃ・・・（１）
により得られる。ただしＣは光速である。
【００２４】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切り換えるように反射光検知期間Ｔを設ける。すなわち、反射光検知期間Ｔは、反射光の立ち上がりが、反射光検知期間Ｔが開始する前にＣＣＤにおいて受光され、その立下りが反射光検知期間内にＣＣＤにおいて受光されるように定められる。図４に示されるように、この反射光検知期間Ｔにおける受光量Ａは距離ｒに相関する。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）大きくなるため、受光量Ａから被写体までの距離が算定される。
【００２５】
本実施形態における距離情報検出動作では、上述した原理を利用して３次元画像用ＣＣＤ２８’に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより行われる。すなわち、各フォトダイオード（各画素）において検出された受光量Ａに基づいて、カメラ本体１０から３次元画像用ＣＣＤ２８’の各フォトダイオードに対応する被写体Ｓ上の各点までの距離情報をフォトダイオード（画素）毎に画像信号（３次元画像）として検出する。距離情報検出動作では、この画像信号から被写体Ｓの表面形状を表わす距離データがフォトダイオード（画素）毎に算出される。
【００２６】
本実施形態において用いられる２次元画像用ＣＣＤ２８はカラー単板式のＣＣＤであり、３次元画像用ＣＣＤ２８’は赤外領域の光を検知するモノクロのＣＣＤである。２次元画像用ＣＣＤと３次元画像用ＣＣＤ２８’とでは、カラー画像を撮影するための色フィルタアレイが搭載されているか否かの違いはあるが、その他の構造に関しては略同一である。したがって、図５、図６を参照して３次元画像用ＣＣＤ２８’についてのみ説明し、２次元画像用ＣＣＤ２８の説明は割愛する。
【００２７】
図５は、３次元画像用ＣＣＤ２８’に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図６は、３次元画像用ＣＣＤ２８’を基板５３に垂直な平面で切断して示す断面図である。この３次元画像用ＣＣＤ２８’は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２８】
フォトダイオード５１と垂直転送部（信号電荷保持部）５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図５において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ、５２ｂ、５２ｃ、５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷を３次元画像用ＣＣＤ２８’から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００２９】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出し信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作により、いわゆる電子シャッタ動作が実現される。
【００３０】
２次元画像用ＣＣＤ２８を用いて２次元画像を撮像する場合には、この電子シャッタ動作により適正な露光時間が得られる。しかし、３次元画像用ＣＣＤ２８’を用いて３次元画像を撮像し、被写体までの距離を図３、図４を参照して説明した原理により測定する場合には、極めて高速な電子シャッタ動作が要求されるため、１回のシャッタ動作では十分な信号出力を得られない。したがって、本実施形態の距離情報検出動作では、３次元画像用ＣＣＤ２８’において上述の電子シャッタ動作を繰り返し行うことにより、垂直転送部５２において信号電荷を積分し、より大きな信号出力を得ている。
【００３１】
図７は、垂直転送部５２において信号電荷の積分を行う本実施形態の距離情報検出動作のタイミングチャートである。また、図８はこの距離情報検出動作のフローチャートである。図１、図２、図５〜図８を参照して本実施形態における３次元画像用ＣＣＤ２８’を用いた距離情報検出動作について説明する。
【００３２】
図７に示すように、垂直同期信号Ｓ１の出力に同期して一定のパルス幅Ｔ_Sを有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３の出力から所定時間経過後、電荷掃出し信号（パルス信号）Ｓ２が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出される。電荷掃出し信号Ｓ２は、測距光Ｓ３の立下りに略同期してその出力を終了し、電荷掃出し信号Ｓ２の出力の終了によりフォトダイオード５１における電荷蓄積が開始する。すなわち、フォトダイオード５１における電荷蓄積動作は、測距光Ｓ３の立下りに略同期して開始される。一方、垂直同期信号Ｓ１の出力に同期して出力された測距光Ｓ３は、被写体において反射され、δ・ｔ時間経過後ＣＣＤ２８において反射光Ｓ４として受光される。測距光Ｓ３の出力が終了してから一定時間が経過したとき、すなわち、電荷蓄積期間が開始してから一定時間が経過したとき、電荷転送信号（パルス信号）Ｓ５が出力され、これによりフォトダイオード５１に蓄積された電荷が垂直転送部５２に転送され、フォトダイオード５１における電荷蓄積動作が終了する。なお、電荷転送信号Ｓ５は、反射光の立下りが電荷蓄積期間Ｔ内に検知されるように、電荷掃出し信号Ｓ２の出力から十分時間が経過した後に出力される。
【００３３】
このように電荷掃出し信号Ｓ２の出力の終了から電荷転送信号Ｓ５の出力開始までの期間Ｔの間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。すなわち反射光Ｓ４は被写体までの距離に応じて測距光Ｓ３に比べてδ・ｔ時間だけ遅れ３次元画像用ＣＣＤ２８’において受光され、フォトダイオード５１では、反射光Ｓ４の一部のみが検知される。検知される光は、光が伝播するのにかかる時間（δ・ｔ）に相関し、この光によって生じる信号電荷Ｓ６は被写体までの距離に対応している。この信号電荷Ｓ６は、電荷転送信号Ｓ５によって垂直転送部５２に転送される。なお電荷蓄積期間Ｔは、測距光Ｓ３の立下りに同期して開始される必要はなく、計測される被写体の距離に応じてそのタイミングは調整される。
【００３４】
電荷転送信号Ｓ５の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ２が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔが経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３５】
このような信号電荷Ｓ６の垂直転送部５２への転送動作は、次の垂直同期信号Ｓ１が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ６が積分され、１フィールドの期間（２つの垂直同期信号Ｓ１によって挟まれる期間）に積分された信号電荷Ｓ６は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。
【００３６】
以上説明した信号電荷Ｓ６の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間の検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によって３次元画像用ＣＣＤ２８’から出力される。
【００３７】
次に本実施形態の３次元画像検出装置において実行される撮像処理動作について図８を参照して説明する。図８は、本実施形態の３次元画像検出装置において実行される撮像処理動作のフローチャートである。距離情報検出動作は、図８のフローチャートに従って２次元画像（スチルビデオ）を撮像するための２次元画像撮像動作とともに実行される。
【００３８】
ステップ１０１においてレリーズスイッチ１８が全押しされたことが確認されるとステップ１０２が実行される。ステップ１０２では、２次元画像用ＣＣＤ２８に対して通常のスチルビデオ撮影のための検知制御が開始されるとともに、３次元画像用ＣＣＤ２８’に対しては垂直同期信号Ｓ１が出力されるとともに測距光制御が開始される。すなわち２次元画像用ＣＣＤ２８において、可視光による被写体の静止画像が撮像されるのと並行して、光源装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。２次元画像用ＣＣＤ２８において撮像された静止画像は、画像信号処理回路３３を経て画像メモリ３４に記憶される。次いでステップ１０３が実行され、３次元画像用ＣＣＤ２８’における検知制御が開始される。すなわち図７を参照して説明した距離情報検出動作が開始され、電荷掃出し信号Ｓ２と電荷転送信号Ｓ５が交互に出力されて、距離情報の信号電荷Ｓ６が垂直転送部５２において積分される。
【００３９】
ステップ１０４では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０５へ進み、距離情報の信号電荷Ｓ６が３次元画像用ＣＣＤ２８’から出力される。この信号電荷Ｓ６はステップ１０６において画像メモリ３４に一時的に記憶される。ステップ１０７では測距光制御がオフ状態に切り換えられ、光源装置１４の発光動作が停止する。その後ステップ１０８において画像メモリ３４に一時的記憶されている2次元画像及び3次元画像が記録媒体Mに保存され、この撮影処理動作は終了する。
【００４０】
以上のように本実施形態では、被写体の例えばカラーの静止画である２次元画像と、各画素値が被写体までの距離に対応した３次元画像とが同時に撮像される。しかし、２次元画像は可視光による画像であり３次元画像は赤外光による画像であるためＣＣＤ２８、２８’において検出される波長領域はそれぞれに異なり、同一の照明の下でもそれぞれの画像に対する照明条件は異なることとなる。すなわち、本実施形態のように同一の撮影レンズ１１を用いて同時に２つの画像を撮像する場合、従来の絞りを２次元及び３次元画像の撮像で共用すると、各ＣＣＤ２８、２８’において露光量が異なることとなる。したがって、一方の画像の露出が適正に設定されているときに、他方の画像の露出が適正に設定されないという問題がある。
【００４１】
図９〜図１２を参照して本実施形態の３次元画像検出装置で用いられる固定絞り２５（図２参照）について説明する。図９、図１０はともに絞り２５の一例を示すものであり模式的な平面図である。以後図９に例示された絞りを２５ａ、図１０の例示された絞りを２５ｂとして参照する。
【００４２】
図９、図１０において、破線でハッチされた中央の円形領域（第１の領域）６１には、例えば可視光領域から近赤外領域の一部を含む凡そ３８０ｎｍ〜９５０ｎｍの波長領域（第１及び第２の波長領域）の光を選択的に透過する光学フィルタが設けられている。図９の円形領域６１を囲む実線と一点鎖線の斜線で示された円環領域（第２の領域）６２ａには、例えば近赤外領域の一部である凡そ７７０ｎｍ〜９５０ｎｍの波長領域（第１の波長領域）の光を選択的に透過する光学フィルタが設けられており、図１０の円形領域６１を囲む実線と破線の斜線で示された円環領域６２ｂ（第２の領域）には、例えば可視光領域である凡そ３８０ｎｍ〜７７０ｎｍの波長領域（第２の波長領域）の光を選択的に透過する光学フィルタが設けられている。なお、図９、１０において、の円環領域６２ａ、６２ｂを囲み、絞り２５ａ、２５ｂの最外周に設けられた白抜きで示された円環領域６０は光を一切透過しない遮光領域である。また、図９の円形領域６１、円環領域６２ａ及び円環領域６０、図１０の円形領域６１、円環領域６２ｂ及び円環領域６０は、それぞれ同一平面内の領域である。
【００４３】
図１１、図１２には、それぞれ図９、図１０の領域６１、６２ａ、６２ｂに設けられた光学フィルタの透過率特性の一例が示されている。図１１、図１２において、横軸は光の波長であり、縦軸は光の透過率である。波長λ₀、λ₁、λ₂は本実施形態の場合、例えばλ₀＝３８０ｎｍ、λ₁＝７７０ｎｍ、λ₂＝９５０ｎｍであり、曲線ＴＰ₁は円形領域６１に貼付された光学フィルタの透過率特性を示し、曲線ＴＰ_aは円環領域６２ａに貼付された光学フィルタの透過率を、曲線ＴＰ_bは円環領域６２ｂに貼付された光学フィルタの透過率を示している。
【００４４】
図９に示された絞り２５ａの場合、円形領域６１及び円環領域６２ａに貼付された光学フィルタは、共に赤外領域（λ₁からλ₂）の光を透過するので、赤外光に対する絞りは直径Ｄ１の円となる。これに対し円環領域６２ａに貼付された光学フィルタは可視光領域（λ₀からλ₁）の光を透過しないので、可視光は円形領域６１のみを透過することとなり、可視光に対する絞りは直径Ｄ２となる。すなわち、絞り２５ａを用いることにより、２次元画像の撮像に対する絞りの直径をＤ２とし、３次元画像の撮像に対する絞りの直径をＤ１とすることができ、赤外光に対する絞りの方を可視光による絞りよりも大きく設定することができる。
【００４５】
一方、図１０に示された絞り２５ｂの場合、円形領域６１及び円環領域６２ｂに貼付された光学フィルタは、共に可視光領域（λ₀からλ₁）の光を透過するので、可視光に対する絞りは直径Ｄ１の円となる。また、円環領域６２ｂに貼付された光学フィルタは赤外領域（λ₁からλ₂）の光を透過しないので、赤外光は円形領域６１のみを透過することとなり、赤外光に対する絞りは直径Ｄ２となる。すなわち、絞り２５ｂを用いることにより、２次元画像の撮像に対する絞りの直径をＤ１とし、３次元画像の撮像に対する絞りの直径をＤ２とすることができ、可視光に対する絞りの方を赤外光による絞りよりも大きく設定することができる。
【００４６】
以上のように、本実施形態によれば、一つの撮像光学系を用いて同一タイミングで撮像を行う場合であっても、上述のような固定絞り２５ａ、２５ｂを用いることにより、可視光と赤外光に対する絞りの大きさを異ならせることができる。また、絞り２５ａ、２５ｂの直径Ｄ１、Ｄ２の比やその大きさを適宜調節することにより、２次元画像及び３次元画像を同一撮像光学系において同一のタイミングで撮像する場合にも、双方の画像ともに適正な露出で撮像することが可能となる。
【００４７】
なお、本実施形態では、絞り２５に用いる光学フィルタの波長領域を、それぞれ可視光領域の光を選択的に透過するフィルタと、赤外領域の光を選択的に透過するフィルタとで構成したが、２次元画像としてカラー画像を必要としない場合などは、これらの波長領域を別の領域に定めてもよく、３次元画像の撮像に赤外領域以外の光を用いてもよい。また本実施形態では、固定絞りの中央の円形領域に可視光領域及び赤外領域の光を透過する光学フィルタを設けたが、この領域に光学フィルタを設けずに単なる開口にしてもよい。更に、絞りの開口の形状は、円形である必要はなく必要に応じて変形可能である。
【００４８】
本実施形態では赤外領域の光を反射し、その他の光を透過するダイクロイックミラーを用いるとともに２次元画像用ＣＣＤには赤外カットフィルタを設け、３次元画像用ＣＣＤには可視光カットフィルタを設けたが、ダイクロイックミラーを単なるハーフミラーに置き換えてもよい。ダイクロイックミラーのみを用い赤外カットフィルタ及び可視光カットフィルタを設けなくともよい。
【００４９】
また、本実施形態では、２次元画像と３次元画像を同時に撮像する３次元画像検出装置について説明を行ったが、例えば通常のカラー静止画像と、被写体までの距離とは関係のない通常の赤外線画像とを同一撮像光学系で同時に撮像するような画像検出装置に本実施形態の絞りを適用してもよい。
【００５０】
【発明の効果】
以上のように、本発明によれば、１つの撮像系を用いて、異なる波長領域の光による被写体像をそれぞれ適正な露出により同一タイミングで検出できる絞り装置と、この絞り装置を用いた画像検出装置とを得ることができる。また本発明によれば、被写体の２次元画像と３次元画像とをそれぞれ適正な露出により同一のタイミングで検出可能な３次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図１】本発明における一実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】測距光による距離測定の原理を説明するための図である。
【図４】測距光、反射光、ゲートパルス、及びＣＣＤが受光する光量分布を示す図である。
【図５】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図６】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図７】被写体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図８】本実施形態において実行される撮影処理動作のフローチャートである。
【図９】本実施形態において用いられる固定絞りの平面的な構成を模式的に示す図である。
【図１０】本実施形態において用いられる固定絞りの平面的な構成を模式的に示す図である。
【図１１】図９の固定絞りに用いられる光学フィルタの透過率特性を示す図である。
【図１２】図１０の固定絞りに用いられる光学フィルタの透過率特性を示す図である。
【符号の説明】
１１撮影レンズ（撮影レンズ系）
２８ＣＣＤ（第２の撮像素子）
２８’ ＣＣＤ（第１の撮像素子）
６１円形領域（第１の領域）
６２ａ、６２ｂ円環領域（第２の領域）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional image detection apparatus that detects a three-dimensional shape or the like of a subject using a light propagation time measurement method.
[0002]
[Prior art]
Conventionally, as an active three-dimensional image detection apparatus for measuring the three-dimensional shape of an object to be measured (subject), for example, “Measurement Science and Technology” (S. Christie et al., Vol. 6, p1301-1308, 1995) Known 3D image detection devices, 3D image detection devices disclosed in International Publication No. WO97 / 01111, and the like are known. In the apparatus described in “Measurement Science and Technology”, a pulse-modulated laser beam is irradiated on the entire object, and the reflected light is received by a two-dimensional CCD sensor to which an image intensifier is attached. Converted. The image intensifier is shutter-controlled by a gate pulse synchronized with laser light pulse emission. According to this configuration, the amount of light received by reflected light from a distant subject is smaller than the amount of light received by reflected light from a close subject, so that an output corresponding to the distance of the subject can be obtained for each pixel of the CCD. On the other hand, in the apparatus described in International Publication No. 97/01111, light such as pulse-modulated laser light is irradiated on the entire subject, and the reflected light is combined with an electro-optical shutter composed of a mechanical or liquid crystal element. The two-dimensional CCD sensor receives the light and converts it into an electrical signal. The shutter is controlled at a timing different from the pulse of the distance measuring light, and distance information is obtained for each pixel of the CCD. Since the signal charge related to the distance information obtained for each pixel of the CCD can be considered as an image signal, an image corresponding to the distance information is hereinafter referred to as a three-dimensional image, and visual information obtained by driving the CCD by a normal method. An image corresponding to is called a two-dimensional image.
[0003]
A three-dimensional image is usually used together with a two-dimensional image of a subject imaged from the same viewpoint. For example, it is used to perform background processing on a two-dimensional image using distance information from a three-dimensional image, or to calculate three-dimensional shape data of a subject from distance information and use the two-dimensional image as texture data. In such a case, it is preferable that the two-dimensional image and the three-dimensional image are captured using the same imaging optical system. As a method of capturing a two-dimensional image and a three-dimensional image using the same imaging optical system, for example, two images are time-sequentially such that a three-dimensional image is captured after the two-dimensional image is captured. There are ways to do it.
[0004]
[Problems to be solved by the invention]
However, as described above, it is difficult to capture a moving subject by the method of capturing a two-dimensional image and a three-dimensional image non-simultaneously in time series. As a method for simultaneously capturing a two-dimensional image and a three-dimensional image, it is conceivable that the light incident on the imaging optical system is branched into two, and the branched light is simultaneously received and detected by different CCDs. However, the light conditions detected by capturing a two-dimensional image and the light detected by capturing a three-dimensional image have different wavelength ranges, so that the illumination conditions are different even if the images are captured under the same illumination. It will be. That is, when a two-dimensional image and a three-dimensional image are simultaneously captured using the same imaging optical system, it is difficult to obtain an appropriate exposure at the same time in both imaging.
[0005]
SUMMARY OF THE INVENTION An object of the present invention is to obtain an aperture device that can detect subject images of light of different wavelength regions at the same timing by using a single imaging system, and an image detection device using the aperture device. It is said. More specifically, an object of the present invention is to obtain a three-dimensional image detection apparatus that can detect a two-dimensional image and a three-dimensional image of a subject at the same timing with appropriate exposure.
[0006]
[Means for Solving the Problems]
An image detection apparatus according to the present invention includes a photographing optical system for photographing a subject, first light in the first wavelength region via the photographing optical system, and first photographing the subject with the light in the first wavelength region. The second imaging element that receives light in the second wavelength region via the imaging optical system, and images the subject with the light in the second wavelength region, and the first and second wavelength regions. A first region that transmits light, and a second region that selectively transmits only light in one wavelength region of light in the first or second wavelength region, and the first and second regions And an aperture of a photographic optical system in which the second area is arranged so as to surround the first area.
[0007]
When the image detection device is a three-dimensional image detection device capable of detecting a three-dimensional image corresponding to distance information to the subject, the image detection device includes a light source that irradiates the subject with distance measurement light in the first wavelength region. The imaging operation of one image sensor is controlled in conjunction with distance measuring light emitted from the light source at a predetermined timing, and each pixel value of an image captured by the first image sensor corresponds to the distance to the subject. To do.
[0008]
For example, when capturing a two-dimensional image that is a color still image and a three-dimensional image corresponding to the distance information of the subject, the second wavelength region needs to be a visible light region, and the first wavelength region Is, for example, an infrared light region that does not overlap as much as possible. Since the signal output is usually smaller in capturing a 3D image than in capturing a 2D image, the light transmitted through the second region is light in the first wavelength region in order to obtain a larger 3D image output. It is preferable. Furthermore, in order to obtain a more precise image, the first area is preferably a circular area, and the second area is preferably an annular area surrounding the circular area.
[0009]
An optical filter that selectively transmits only light in the first wavelength region is provided in the first image sensor, and an optical filter that selectively transmits only light in the second wavelength region is provided in the second image sensor. It is preferable to provide it. Thereby, the influence from the wavelength region outside the detection target can be eliminated in each image sensor.
[0010]
The light incident on the imaging optical system is branched by, for example, a dichroic mirror that reflects light in the first or second wavelength region, and the branched light in the first and second wavelength regions is first and second, respectively. To the image sensor.
[0011]
In addition, the aperture device of the present invention selectively selects only light in one wavelength region among the first region that transmits light in the first and second wavelength regions and the light in the first or second wavelength region. And the second region is disposed in the same plane, and the second region is disposed so as to surround the first region.
[0012]
In order to simplify the configuration of the diaphragm device and reduce the cost, it is preferable that the first and second regions are fixed. In this case, the shape of the aperture of the diaphragm device can be easily adapted to a desired shape.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a perspective view of a camera-type three-dimensional image detection apparatus according to an embodiment of the present invention. A camera-type three-dimensional image detection apparatus used in the present embodiment will be described with reference to FIG.
[0014]
On the front surface of the camera body 10, a finder window (object section) 12 is provided at the upper left of the photographing lens 11, and a strobe 13 is provided at the upper right. On the upper surface of the camera body 10, a light emitting device (light source) 14 that irradiates laser light that is distance measuring light is disposed directly above the photographing lens 11. A release switch 15 and a liquid crystal display panel 16 are provided on the left side of the light emitting device 14, and a mode switching dial 17 is provided on the right side. A card insertion slot 19 for inserting a recording medium such as an IC memory card is formed on the side surface of the camera body 10, and a video output terminal 20 and an interface connector 21 are provided.
[0015]
FIG. 2 is a block diagram showing a circuit configuration of the camera shown in FIG.
A diaphragm 25 is provided in the photographic lens 11. The diaphragm 25 is a detachable fixed diaphragm as will be described in detail later, and can be appropriately replaced according to the photographing conditions. The focus adjustment operation and zooming operation of the photographic lens 11 are controlled by the lens driving circuit 27.
[0016]
On the optical axis of the photographing lens 11, a dichroic mirror 18 that reflects light in the infrared region and transmits visible light is disposed with an inclination of, for example, 45 ° with respect to the optical axis. Visible light that has passed through the dichroic mirror 18 reaches the CCD (second image sensor) 28 for two-dimensional images via the infrared cut filter 28f. A subject image (corresponding to a two-dimensional image) by visible light is formed by the photographing lens 11 on the imaging surface of the CCD 28 for two-dimensional image. On the imaging surface of the two-dimensional image CCD 28, an electric charge corresponding to the subject image is generated. Operations such as a charge accumulation operation and a charge read operation in the two-dimensional image CCD 28 are controlled by a CCD drive pulse signal output from the system control circuit 35 to the CCD drive circuit 30. The charge signal read from the two-dimensional image CCD 28, that is, the image signal of the two-dimensional image is amplified by the amplifier 31 and converted from an analog signal to a digital signal by the A / D converter 32. The digital image signal is subjected to processing such as gamma correction in the imaging signal processing circuit 33 and temporarily stored in the image memory 34.
[0017]
On the other hand, the infrared light reflected by the dichroic mirror 18 reaches the CCD (first image pickup device) 28 ′ for three-dimensional images via the visible light cut filter 28f ′. A subject image (corresponding to a three-dimensional image) by infrared light is formed by the imaging lens 11 on the imaging surface of the CCD 28 'for three-dimensional images. Electric charges corresponding to the subject image are generated on the imaging surface of the three-dimensional image CCD 28 '. Operations such as a charge accumulation operation and a charge read operation in the three-dimensional image CCD 28 ′ are controlled by a CCD drive pulse signal output from the system control circuit 35 to the CCD drive circuit 30. The charge signal read from the three-dimensional image CCD 28 ', that is, the image signal of the three-dimensional image is amplified by the amplifier 31' and converted from an analog signal to a digital signal by the A / D converter 32 '. The digital image signal is subjected to processing such as gamma correction in the imaging signal processing circuit 33 and temporarily stored in the image memory 34.
[0018]
The lens driving circuit 27 and the imaging signal processing circuit 33 are controlled by a system control circuit 35. The image signal of the two-dimensional image or the three-dimensional image is read from the image memory 34 and supplied to the LCD drive circuit 36. The LCD drive circuit 36 operates in accordance with the image signal, whereby an image corresponding to the image signal is displayed on the image display LCD panel 37.
[0019]
The image signal read from the image memory 34 is sent to the TV signal encoder 38 and can be transmitted to the TV monitor 39 provided outside the camera body 10 via the video output terminal 20. The system control circuit 35 is connected to the interface circuit 40, and the interface circuit 40 is connected to the interface connector 21. Therefore, the two-dimensional image and the image signal of the three-dimensional image read from the image memory 34 can be transmitted to the computer 41 connected to the interface connector 21. The system control circuit 35 is connected to the image recording device 43 via the recording medium control circuit 42. Accordingly, the two-dimensional image and the image signal of the three-dimensional image read from the image memory 34 can be recorded on a recording medium M such as an IC memory card attached to the image recording device 43. The image signal once recorded on the recording medium M can be read from the recording medium M as necessary and displayed on the LCD panel 37 via the system control circuit 35.
[0020]
A light emitting element control circuit 44 is connected to the system control circuit 35. The light emitting device 14 is provided with a light emitting element 14 a and an illumination lens 14 b, and the light emitting operation of the light emitting element 14 a is controlled by a light emitting element control circuit 44. The light emitting element 14a emits laser light in the infrared wavelength region, which is distance measuring light, and this laser light is irradiated to the entire subject via the illumination lens 14b. The infrared light reflected from the subject is incident on the photographing lens 11, reflected by the dichroic mirror 18 in the direction of the three-dimensional image CCD 28 ', and detected by the three-dimensional image CCD 28' as an image signal of the three-dimensional image. As will be described later, the distance to the subject corresponding to each pixel of the CCD 28 'for the three-dimensional image is calculated from this image signal.
[0021]
A switch group 47 including a release switch 15 and a mode switching dial 17 and a liquid crystal display panel (display element) 16 are connected to the system control circuit 35.
[0022]
Next, the basic principle of distance measurement in the present embodiment using a CCD will be described with reference to FIGS. In FIG. 4, the horizontal axis represents time t.
[0023]
The distance measuring light output from the distance measuring device B is reflected by the subject S and received by a CCD (not shown). The distance measuring light is pulsed light having a predetermined pulse width H. Therefore, the reflected light from the subject S is also pulsed light having the same pulse width H. The rising edge of the reflected light pulse is delayed by a time δ · t (where δ is a delay coefficient) from the rising edge of the ranging light pulse. The distance R traveled until the distance measuring light emitted from the light source is reflected by the subject and detected as reflected light by the distance measuring device B (here, the reciprocal distance 2r between the distance measuring device B and the subject S) is R = 2r = δ · t · C (1)
Is obtained. However, C is the speed of light.
[0024]
For example, the reflected light detection period T is provided so that the reflected light can be detected from the falling edge of the distance measuring light pulse and switched to the undetectable state after the reflected light pulse falls. That is, the reflected light detection period T is determined so that the rising edge of the reflected light is received by the CCD before the reflected light detection period T starts, and the falling edge is received by the CCD within the reflected light detection period. As shown in FIG. 4, the received light amount A in the reflected light detection period T correlates with the distance r. That is, the amount of received light A increases as the distance r increases (the time δ · t increases), so the distance from the received light amount A to the subject is calculated.
[0025]
The distance information detection operation in the present embodiment is performed by detecting the received light amount A in each of a plurality of two-dimensionally arranged photodiodes provided in the three-dimensional image CCD 28 ′ using the above-described principle. . That is, based on the received light amount A detected in each photodiode (each pixel), distance information from the camera body 10 to each point on the subject S corresponding to each photodiode of the CCD 28 ′ for the three-dimensional image is represented by the photodiode. Each pixel is detected as an image signal (three-dimensional image). In the distance information detection operation, distance data representing the surface shape of the subject S is calculated for each photodiode (pixel) from the image signal.
[0026]
The two-dimensional image CCD 28 used in this embodiment is a color single-plate CCD, and the three-dimensional image CCD 28 'is a monochrome CCD that detects light in the infrared region. The two-dimensional image CCD and the three-dimensional image CCD 28 'differ in whether or not a color filter array for photographing a color image is mounted, but the other structures are substantially the same. Accordingly, only the three-dimensional image CCD 28 'will be described with reference to FIGS. 5 and 6, and the description of the two-dimensional image CCD 28 will be omitted.
[0027]
FIG. 5 is a diagram showing the arrangement of the photodiode 51 and the vertical transfer unit 52 provided in the CCD 28 ′ for three-dimensional images. FIG. 6 is a cross-sectional view of the three-dimensional image CCD 28 ′ cut along a plane perpendicular to the substrate 53. This CCD 28 'for three-dimensional images is a conventionally known interline type CCD, and uses a VOD (vertical overflow drain) system for sweeping out unnecessary charges.
[0028]
The photodiode 51 and the vertical transfer unit (signal charge holding unit) 52 are formed along the surface of the n-type substrate 53. The photodiodes 51 are two-dimensionally arranged in a lattice pattern, and the vertical transfer units 52 are provided adjacent to the photodiodes 51 arranged in a line in a predetermined direction (vertical direction in FIG. 5). The vertical transfer unit 52 has four vertical transfer electrodes 52 a, 52 b, 52 c and 52 d for one photodiode 51. Therefore, in the vertical transfer unit 52, wells having four potentials can be formed, and the signal charges can be output from the CCD 28 'for three-dimensional images by controlling the depths of these wells as conventionally known. it can. The number of vertical transfer electrodes can be freely changed according to the purpose.
[0029]
A photodiode 51 is formed in a p-type well formed on the surface of the substrate 53, and the p-type well is completely depleted by a reverse bias voltage applied between the p-type well and the n-type substrate 53. In this state, charges corresponding to the amount of incident light (reflected light from the subject) are accumulated in the photodiode 51. When the substrate voltage Vsub is increased to a predetermined value or more, the charge accumulated in the photodiode 51 is swept out to the substrate 53 side. On the other hand, when a charge transfer signal (voltage signal) is applied to the transfer gate portion 54, the charge accumulated in the photodiode 51 is transferred to the vertical transfer portion 52. That is, after the charge is swept to the substrate 53 side by the charge sweeping signal, the signal charge accumulated in the photodiode 51 is transferred to the vertical transfer unit 52 side by the charge transfer signal. By such an operation, a so-called electronic shutter operation is realized.
[0030]
When a two-dimensional image is picked up using the two-dimensional image CCD 28, an appropriate exposure time can be obtained by this electronic shutter operation. However, when a three-dimensional image is picked up using the CCD 28 'for a three-dimensional image and the distance to the subject is measured according to the principle described with reference to FIGS. 3 and 4, an extremely fast electronic shutter operation is required. Therefore, a sufficient signal output cannot be obtained by one shutter operation. Therefore, in the distance information detection operation of the present embodiment, the above-described electronic shutter operation is repeatedly performed in the three-dimensional image CCD 28 ′, whereby the signal charge is integrated in the vertical transfer unit 52 to obtain a larger signal output.
[0031]
FIG. 7 is a timing chart of the distance information detection operation of this embodiment in which signal charges are integrated in the vertical transfer unit 52. FIG. 8 is a flowchart of this distance information detection operation. The distance information detection operation using the three-dimensional image CCD 28 ′ in this embodiment will be described with reference to FIGS. 1, 2, and 5 to 8.
[0032]
As shown in FIG. 7, pulsed ranging light S3 having a constant pulse width T _S is output in synchronization with the output of the vertical synchronization signal S1. After a predetermined time has elapsed from the output of the distance measuring light S3, a charge sweep signal (pulse signal) S2 is output, whereby unnecessary charges accumulated in the photodiode 51 are swept in the direction of the substrate 53. The output of the charge sweep signal S2 ends substantially in synchronization with the fall of the distance measuring light S3, and charge accumulation in the photodiode 51 starts when the output of the charge sweep signal S2 ends. That is, the charge accumulation operation in the photodiode 51 is started substantially in synchronization with the falling of the distance measuring light S3. On the other hand, the distance measuring light S3 output in synchronism with the output of the vertical synchronizing signal S1 is reflected by the subject and received as reflected light S4 by the CCD 28 after elapse of δ · t time. When a certain period of time has passed since the output of the distance measuring light S3, that is, when a certain period of time has elapsed since the start of the charge accumulation period, a charge transfer signal (pulse signal) S5 is output. The charge accumulated in the diode 51 is transferred to the vertical transfer unit 52, and the charge accumulation operation in the photodiode 51 is completed. The charge transfer signal S5 is output after a sufficient time has elapsed from the output of the charge sweep signal S2 so that the falling of the reflected light is detected within the charge accumulation period T.
[0033]
In this manner, during the period T from the end of the output of the charge sweep signal S2 to the start of the output of the charge transfer signal S5, the signal charges corresponding to the distance to the subject are accumulated in the photodiode 51. That is, the reflected light S4 is received by the CCD 28 'for three-dimensional images delayed by δ · t time in comparison with the distance measuring light S3 according to the distance to the subject, and only a part of the reflected light S4 is detected by the photodiode 51. The The detected light correlates with the time (δ · t) required for the light to propagate, and the signal charge S6 generated by this light corresponds to the distance to the subject. The signal charge S6 is transferred to the vertical transfer unit 52 by the charge transfer signal S5. The charge accumulation period T does not need to be started in synchronization with the fall of the distance measuring light S3, and the timing is adjusted according to the distance of the subject to be measured.
[0034]
After a predetermined time has elapsed from the output of the charge transfer signal S5, the charge sweep signal S2 is output again, and unnecessary charges accumulated in the photodiode 51 after the signal charge transfer to the vertical transfer unit 52 are swept in the direction of the substrate 53. Is issued. That is, signal charge accumulation is newly started in the photodiode 51. Similarly to the above, when the charge accumulation period T has elapsed, the signal charge is transferred to the vertical transfer unit 52.
[0035]
The transfer operation of the signal charge S6 to the vertical transfer unit 52 is repeatedly executed until the next vertical synchronization signal S1 is output. As a result, the signal charge S6 is integrated in the vertical transfer unit 52, and the signal charge S6 integrated in a period of one field (a period sandwiched between two vertical synchronization signals S1) is considered that the subject is stationary during that period. If it is thin, it corresponds to the distance information to the subject.
[0036]
The detection operation of the signal charge S6 described above relates to one photodiode 51, and such a detection operation is performed in all the photodiodes 51. As a result of the detection operation in the period of one field, distance information detected by the photodiode 51 is held in each part of the vertical transfer unit 52 adjacent to each photodiode 51. This distance information is output from the CCD 28 'for three-dimensional images by a vertical transfer operation in the vertical transfer unit 52 and a horizontal transfer operation in a horizontal transfer unit (not shown).
[0037]
Next, an imaging processing operation executed in the three-dimensional image detection apparatus of this embodiment will be described with reference to FIG. FIG. 8 is a flowchart of the imaging processing operation executed in the three-dimensional image detection apparatus of this embodiment. The distance information detection operation is executed together with a two-dimensional image capturing operation for capturing a two-dimensional image (still video) according to the flowchart of FIG.
[0038]
If it is confirmed in step 101 that the release switch 18 has been fully pressed, step 102 is executed. In step 102, detection control for normal still video shooting is started with respect to the CCD 28 for two-dimensional images, and a vertical synchronizing signal S1 is output to the CCD 28 'for three-dimensional images and distance measuring light. Control begins. That is, in the CCD 28 for two-dimensional images, the light source device 14 is driven and the pulsed ranging light S3 is intermittently output in parallel with capturing a still image of the subject by visible light. A still image captured by the two-dimensional image CCD 28 is stored in the image memory 34 via the image signal processing circuit 33. Next, step 103 is executed, and detection control in the CCD 28 'for three-dimensional images is started. That is, the distance information detection operation described with reference to FIG. 7 is started, the charge sweep signal S2 and the charge transfer signal S5 are alternately output, and the signal charge S6 of the distance information is integrated in the vertical transfer unit 52.
[0039]
In step 104, it is determined whether or not one field period has ended since the start of the distance information detection operation, that is, whether or not a new vertical synchronization signal S1 has been output. When one field period ends, the routine proceeds to step 105, where the signal charge S6 of distance information is output from the CCD 28 'for three-dimensional images. This signal charge S6 is temporarily stored in the image memory 34 in step 106. In step 107, the distance measuring light control is switched to the OFF state, and the light emission operation of the light source device 14 is stopped. Thereafter, in step 108, the two-dimensional image and the three-dimensional image temporarily stored in the image memory 34 are stored in the recording medium M, and this photographing processing operation ends.
[0040]
As described above, in the present embodiment, a two-dimensional image of a subject, for example, a color still image, and a three-dimensional image in which each pixel value corresponds to the distance to the subject are simultaneously captured. However, since the two-dimensional image is an image by visible light and the three-dimensional image is an image by infrared light, the wavelength regions detected by the CCDs 28 and 28 'are different from each other. The conditions will be different. That is, when two images are simultaneously picked up using the same photographing lens 11 as in the present embodiment, if the conventional diaphragm is shared for two-dimensional and three-dimensional image pickup, the exposure amount of each CCD 28, 28 'is increased. It will be different. Therefore, there is a problem that when the exposure of one image is set appropriately, the exposure of the other image is not set appropriately.
[0041]
A fixed diaphragm 25 (see FIG. 2) used in the three-dimensional image detection apparatus of the present embodiment will be described with reference to FIGS. FIGS. 9 and 10 both show an example of the diaphragm 25 and are schematic plan views. Hereinafter, the diaphragm illustrated in FIG. 9 is referred to as 25a, and the diaphragm illustrated in FIG. 10 is referred to as 25b.
[0042]
9 and 10, a central circular region (first region) 61 hatched with a broken line includes a wavelength region (first region) of about 380 nm to 950 nm including a part from the visible light region to the near infrared region, for example. And an optical filter that selectively transmits light in the second wavelength region). In the annular region (second region) 62a indicated by the solid line and the one-dot chain diagonal line surrounding the circular region 61 of FIG. 9, for example, a wavelength region (first region) of approximately 770 nm to 950 nm, which is a part of the near infrared region. An optical filter that selectively transmits light in the first wavelength region) is provided, and an annular region 62b (second region) indicated by a solid line and a dashed diagonal line surrounding the circular region 61 in FIG. For example, an optical filter that selectively transmits light in a wavelength region (second wavelength region) of approximately 380 nm to 770 nm that is a visible light region is provided. In FIGS. 9 and 10, the annular regions 60 that surround the annular regions 62 a and 62 b and are provided on the outermost periphery of the diaphragms 25 a and 25 b are light shielding regions that do not transmit any light. In addition, the circular region 61, the annular region 62a and the annular region 60 in FIG. 9, and the circular region 61, the annular region 62b, and the annular region 60 in FIG. 10 are regions in the same plane.
[0043]
FIGS. 11 and 12 show examples of transmittance characteristics of the optical filters provided in the regions 61, 62a, and 62b in FIGS. 9 and 10, respectively. 11 and 12, the horizontal axis represents the wavelength of light, and the vertical axis represents the light transmittance. In this embodiment, the wavelengths λ ₀ , λ ₁ , and λ ₂ are, for example, λ ₀ = 380 nm, λ ₁ = 770 nm, and λ ₂ = 950 nm, and the curve TP ₁ is the transmittance of the optical filter attached to the circular region 61. shows the characteristic, curve TP _a transmittance of the optical filter is attached to the annular region 62a, the curve TP _b shows the transmittance of the optical filter is attached to the annular region 62b.
[0044]
In the case of the diaphragm 25a shown in FIG. 9, the optical filters attached to the circular region 61 and the annular region 62a both transmit light in the infrared region (λ ₁ to λ ₂ ). Is a circle with a diameter D1. On the other hand, since the optical filter attached to the annular region 62a does not transmit light in the visible light region (λ ₀ to λ ₁ ), visible light transmits only the circular region 61, and the diaphragm for visible light has a diameter of D2. That is, by using the diaphragm 25a, the diameter of the diaphragm for capturing a two-dimensional image can be set to D2, and the diameter of the diaphragm for capturing a three-dimensional image can be set to D1, and the diaphragm for infrared light is made visible by visible light. It can be set larger than the aperture.
[0045]
On the other hand, in the case of the diaphragm 25b shown in FIG. 10, the optical filters attached to the circular region 61 and the annular region 62b both transmit light in the visible light region (λ ₀ to λ ₁ ). The aperture is a circle with a diameter D1. Further, since the optical filter attached to the annular region 62b does not transmit the light in the infrared region (λ ₁ to λ ₂ ), the infrared light transmits only the circular region 61. Diameter D2. That is, by using the diaphragm 25b, the diameter of the diaphragm for capturing a two-dimensional image can be set to D1, and the diameter of the diaphragm for capturing a three-dimensional image can be set to D2. It can be set larger than the aperture.
[0046]
As described above, according to the present embodiment, even when imaging is performed at the same timing using one imaging optical system, visible light and red can be obtained by using the fixed apertures 25a and 25b as described above. The size of the diaphragm with respect to outside light can be varied. Further, even when two-dimensional images and three-dimensional images are captured at the same timing in the same imaging optical system by appropriately adjusting the ratios and sizes of the diameters D1 and D2 of the diaphragms 25a and 25b, both images Both images can be taken with appropriate exposure.
[0047]
In the present embodiment, the wavelength region of the optical filter used for the diaphragm 25 is composed of a filter that selectively transmits light in the visible light region and a filter that selectively transmits light in the infrared region. When a color image is not required as a two-dimensional image, these wavelength regions may be determined as separate regions, or light other than the infrared region may be used for capturing a three-dimensional image. In this embodiment, an optical filter that transmits light in the visible light region and the infrared region is provided in the circular region at the center of the fixed stop. However, the optical filter may not be provided in this region but may be a simple opening. Further, the shape of the aperture of the diaphragm does not need to be circular, and can be modified as necessary.
[0048]
In this embodiment, a dichroic mirror that reflects light in the infrared region and transmits other light is used, and an infrared cut filter is provided in the two-dimensional image CCD, and a visible light cut filter is provided in the three-dimensional image CCD. Although provided, the dichroic mirror may be replaced with a simple half mirror. It is not necessary to provide an infrared cut filter and a visible light cut filter using only a dichroic mirror.
[0049]
Further, in the present embodiment, a description has been given of a three-dimensional image detection apparatus that captures a two-dimensional image and a three-dimensional image at the same time. The diaphragm of the present embodiment may be applied to an image detection apparatus that captures images simultaneously with the same imaging optical system.
[0050]
【The invention's effect】
As described above, according to the present invention, an aperture device that can detect subject images of light of different wavelength regions at the same timing with appropriate exposure using one imaging system, and image detection using this aperture device Device. In addition, according to the present invention, it is possible to obtain a three-dimensional image detection apparatus that can detect a two-dimensional image and a three-dimensional image of a subject at the same timing with appropriate exposure.
[Brief description of the drawings]
FIG. 1 is a perspective view of a camera-type three-dimensional image detection apparatus according to an embodiment of the present invention.
2 is a block diagram showing a circuit configuration of the camera shown in FIG. 1. FIG.
FIG. 3 is a diagram for explaining the principle of distance measurement using distance measuring light;
FIG. 4 is a diagram showing a light amount distribution received by ranging light, reflected light, gate pulse, and CCD.
FIG. 5 is a diagram illustrating an arrangement of photodiodes and vertical transfer units provided in a CCD.
FIG. 6 is a cross-sectional view showing a CCD cut along a plane perpendicular to the substrate.
FIG. 7 is a timing chart of a distance information detection operation for detecting data related to a distance to a subject.
FIG. 8 is a flowchart of a photographing process operation executed in the present embodiment.
FIG. 9 is a diagram schematically showing a planar configuration of a fixed diaphragm used in the present embodiment.
FIG. 10 is a diagram schematically showing a planar configuration of a fixed diaphragm used in the present embodiment.
11 is a diagram showing a transmittance characteristic of an optical filter used in the fixed diaphragm shown in FIG. 9;
12 is a diagram showing transmittance characteristics of an optical filter used in the fixed diaphragm shown in FIG.
[Explanation of symbols]
11 Shooting lens (shooting lens system)
28 CCD (second image sensor)
28 'CCD (first image sensor)
61 Circular area (first area)
62a, 62b Annular region (second region)

Claims

An imaging optical system for imaging a subject;
A first image sensor that receives light in a first wavelength region via the imaging optical system and images the subject with the light in the first wavelength region;
A second imaging element that receives light in the second wavelength region via the imaging optical system and images the subject with the light in the second wavelength region;
A first region that transmits light in the first and second wavelength regions, and a second region that selectively transmits only light in one wavelength region of the light in the first or second wavelength region. And the first and second regions are in the same plane, and the second region is disposed so as to surround the first region. An image detection apparatus characterized by the above.

The image detection apparatus includes a light source that irradiates the subject with distance measurement light in the first wavelength region, and the distance measurement in which an imaging operation in the first image sensor is irradiated at a predetermined timing from the light source. The image detection apparatus according to claim 1, wherein each pixel value of an image that is controlled in conjunction with light and captured by the first image sensor corresponds to a distance to the subject.

The image detection apparatus according to claim 1, wherein the first wavelength region is an infrared light region, and the second wavelength region is a visible light region.

The image detection apparatus according to claim 3, wherein the light transmitted through the second region is light in the first wavelength region.

The image detection apparatus according to claim 1, wherein the first area is a circular area, and the second area is an annular area surrounding the circular area.

The image detection apparatus according to claim 1, wherein an optical filter that selectively transmits only light in the first wavelength region is provided in the first imaging element.

The image detection apparatus according to claim 1, wherein an optical filter that selectively transmits only light in the second wavelength region is provided in the second imaging element.

The light incident on the photographing optical system is branched by a dichroic mirror that reflects the light in the first or second wavelength region, and the branched light in the first and second wavelength regions is the first and second wavelength regions, respectively. The image detection apparatus according to claim 1, wherein the image detection apparatus is guided to a second image sensor.