JP3954300B2

JP3954300B2 - ３次元画像検出装置

Info

Publication number: JP3954300B2
Application number: JP2000358054A
Authority: JP
Inventors: 修三瀬尾
Original assignee: ペンタックス株式会社
Priority date: 2000-11-24
Filing date: 2000-11-24
Publication date: 2007-08-08
Anticipated expiration: 2020-11-24
Also published as: JP2002165230A

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
従来、被計測物体（被写体）の３次元形状を計測する能動方式の３次元画像検出装置として、例えば「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載された３次元画像検出装置や、国際公開97/01111号公報に開示された３次元画像検出装置などが知られている。「Measurement Science and Technology」に記載された装置では、パルス変調されたレーザ光が被写体の全体に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、遠い被写体からの反射光による受光量は近い被写体からの反射光による受光量に比べて小さいので、被写体の距離に応じた出力がＣＣＤの各画素毎に得られる。一方、国際公開97/01111号公報に記載された装置では、パルス変調されたレーザ光等の光が被写体の全体に照射され、その反射光がメカニカル又は液晶素子等から成る電気光学的シャッタと組み合わされた２次元ＣＣＤセンサによって受光され、電気信号に変換される。そのシャッタは、測距光のパルスとは異なるタイミングで制御され、距離情報がＣＣＤの各画素毎に得られる。
【０００３】
【発明が解決しようとする課題】
これらの測距方法では、光源の位置とＣＣＤとの位置とを略一致させ、測距光が光源から照射されてからＣＣＤで受光されるまでの時間（光の伝播時間）が、ＣＣＤと被写体との間を光が往復する時間に略相当するとしてその距離が求められる。すなわち、測距光の発光とＣＣＤでの露光期間とを制御することにより、被写体の３次元形状をＣＣＤの受光面全体において一括して検出可能な上述のような３次元画像検出装置では、光源は被写体からの反射光を検知するＣＣＤの近くに配置される必要がある。
【０００４】
また、これらの測距方法では、被写体の３次元形状を一括して検出するため、被写体全体に測距光を照射する必要があり、測距光は拡散して被写体に照射される。したがって、３次元画像検出装置と被写体との距離が離れると、被写体に届く測距光の光量が著しく減少するため、光量不足となり距離測定が不可能になったり、距離測定の精度が低下するなどの問題がある。
【０００５】
本発明は、被写体と３次元画像検出装置との距離が大きい場合にも、十分に大きい出力を得ることができる３次元画像検出装置を得ることを目的としている。
【０００６】
【課題を解決するための手段】
本発明の３次元画像検出装置は、複数のビーム状の測距光を射出し撮像部から所定の位置に配置されたビーム光源と、拡散された測距光を照射し撮像部に対し任意の位置に配置可能な外部光源と、ビーム光源から被写体に複数のビーム状の測距光を射出しその反射光を撮像部で受光することにより、複数のビーム状の測距光がスポット状に照射された被写体の各点までの第１の距離を求めるスポット測距手段と、外部光源から被写体に拡散された測距光を照射し、その反射光を撮像部で受光することにより、外部光源から照射された測距光が被写体に反射され撮像部で受光されるまでに進んだ第２の距離を撮像部の画素毎に求める本測距手段と、第１の距離と第２の距離とに基づき外部光源の位置を算出する外部光源位置算出手段とを備えたことを特徴としている。
【０００７】
３次元画像検出装置は、第２の距離と、各画素の撮像部における位置と、外部光源の位置とから、各画素に対応する被写体までの距離を画素毎に算出するための手段を備えることが好ましく、これにより、被写体の３次元形状を３次元画像検出装置内において直接算出することが可能となる。また、高い出力と、指向性の高いビーム状の測距光を得るために、ビーム光源はレーザであることが好ましい。更に、ビーム光源は３以上のビームを同時に射出可能であることが好ましい。これにより、外部光源の位置を算出するのに必要なビーム測距を短時間に行うことができる。
【０００８】
また、本発明の３次元画像検出装置は、複数のビーム状の測距光を射出し、撮像部から所定の位置に配置されたビーム光源と、ビーム光源から被写体に複数のビーム状の測距光を射出し、その反射光を撮像部で受光することにより、複数のビーム状の測距光がスポット状に照射された被写体の各点までの第１の距離を求めるスポット測距手段と、撮像部に対し任意の位置に配置可能な外部光源から被写体に照射される拡散された測距光の被写体からの反射光を撮像部で受光することにより、外部光源から照射された測距光が被写体に反射され撮像部で受光されるまでに進んだ第２の距離を撮像部の画素毎に求めることができる本測距手段と、第１の距離と第２の距離とに基づき外部光源の位置を算出する外部光源位置算出手段とを備えたことを特徴としている。
【０００９】
また、本発明の３次元画像検出装置は、光源の発光を制御するための制御信号を出力する光源制御手段と、受光量に応じた電荷を画素毎に蓄積可能な撮像部と、撮像部の駆動を制御する撮像部駆動制御手段と、光源制御手段からの制御信号に基づき発光が制御される光源からの光を被写体に照射し、その反射光を撮像部において受光することにより、被写体までの距離情報を画素毎に検出する距離情報検出手段と、光源制御手段の制御信号によりその発光が制御され、複数のビーム状の光を射出するビーム光源と、光源制御手段から出力される制御信号を外部光源へ出力するための外部出力手段と、制御信号を択一的にビーム光源又は外部出力手段に出力する選択切換手段とを備えたことを特徴としている。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の第１の実施形態であるカメラ型の３次元画像検出装置の斜視図である。図１を参照して第１の実施形態において用いられるカメラ型の３次元画像検出装置について説明する。
【００１１】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓（対物部）１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距のためのビーム状のレーザ光線を射出する内蔵ビーム光源装置（ビーム光源）１４が配設されており、内蔵ビーム光源装置１４には、例えば３つのレーザ１４ａ、１４ｂ、１４ｃが設けられている。内蔵ビーム光源装置１４の左側にはレリーズスイッチ１５及び液晶表示パネル１６が設けられ、また右側にはモード切替ダイヤル１７が設けられている。カメラ本体１０の側面には、カメラ本体１０に外付けされる外部光源装置（外部光源）４５（図２参照）を接続するための外部光源接続コネクタ１８、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、またビデオ出力端子２０、インターフェースコネクタ２１が設けられている。
【００１２】
図２は、図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作及びズーミング動作はレンズ駆動回路２７によって制御される。
【００１３】
撮影レンズ１１の光軸上にはＣＣＤ（撮像部）２８が配設されている。ＣＣＤ２８の撮像面には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作は、システムコントロール回路３５からＣＣＤ駆動回路３０へ出力されるＣＣＤ駆動用のパルス信号によって制御される。ＣＣＤ２８から読み出された電荷信号、すなわち画像信号はそれぞれアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７及び撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１４】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１５】
また画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端子２０を介して、カメラ本体１０の外部に設けられたモニタ装置３９に伝送可能である。システムコントロール回路３５はインターフェース回路４０に接続され、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがって画像メモリ３４から読み出された画像信号は、インターフェースコネクタ２１に接続されたコンピュータ４１に伝送可能である。またシステムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。また記録媒体Ｍに一旦記録された画像信号は必要に応じて記録媒体Ｍから読み出され、システムコントロール回路３５を介してＬＣＤパネル３７に表示することができる。
【００１６】
システムコントロール回路３５には、発光素子制御回路４４が接続されている。発光装置１４に設けられたレーザ１４ａ、１４ｂ、１４ｃは、例えばレーザダイオードであり、レーザ１４ａ、１４ｂ、１４ｃの発光動作は発光素子制御回路４４によって制御される。レーザ１４ａ、１４ｂ、１４ｃはそれぞれ測距光であるビーム状のレーザ光線を照射するものであり、これらのレーザ光線は被写体上の異なる３つの位置にスポット状に照射される。被写体において反射した光は撮影レンズ１１に入射し、ＣＣＤ２８において画像信号として検出される。後述するように、この画像信号からレーザ光線が照射された被写体上の３つの点（スポット）までの距離が計測される（以後スポット測距と呼ぶ）。なお、このスポット測距において、ＣＣＤ２８における転送動作のタイミング等の制御はシステムコントロール回路３５とＣＣＤ駆動回路３０によって行われる。
【００１７】
発光素子制御回路４４は、外部光源接続コネクタ１８にも接続されており、発光素子制御回路４４から出力される制御信号は、外部光源接続コネクタ１８に接続されるケーブル（４６）を介して外部光源装置４５へ出力することができる。このとき、外部光源装置４５での発光動作は、発光素子制御回路４４からの制御信号に基づいて制御される。また、外部光源接続コネクタ１８は、システムコントロール回路３５へも接続されており、外部光源装置４５はシステムコントロール回路３５から制御可能である。外部光源装置４５は被写体近くに配置され、被写体に向けて拡散された測距光を被写体全体に照射する。このとき、被写体で反射された光は、撮像レンズ１１に入射し、ＣＣＤ２８において検知される。ＣＣＤ２８の各画素では、後述するように被写体までの距離に対応する信号電荷が蓄積され、被写体の３次元形状を表す３次元画像として検出される（以後本測距と呼ぶ）。なお、この本測距において、ＣＣＤ２８における転送動作のタイミング等の制御はシステムコントロール回路３５とＣＣＤ駆動回路３０によって行われる。
【００１８】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７から成るスイッチ群４７と、液晶表示パネル（表示素子）１６とが接続されている。
【００１９】
次に図３及び図４を参照して、ＣＣＤを用いた本実施形態における距離測定の基本的な原理について説明する。なお図４において横軸は時間ｔである。
【００２０】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。光源から射出された測距光が、被写体で反射され距離測定装置Ｂにおいて反射光として検出されるまでに進む距離Ｒ（ここでは距離測定装置Ｂと被写体Ｓとの往復の距離２ｒ）は
Ｒ＝２ｒ＝δ・ｔ・Ｃ・・・（１）
により得られる。ただしＣは光速である。
【００２１】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切り換えるように反射光検知期間Ｔを設ける。すなわち、反射光検知期間Ｔは、反射光の立ち上がりが、反射光検知期間Ｔが開始する前にＣＣＤにおいて受光され、その立下りが反射光検知期間内にＣＣＤにおいて受光されるように定められる。図４に示されるように、この反射光検知期間Ｔにおける受光量Ａは距離ｒに相関する。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）大きくなるため、受光量Ａから被写体までの距離が算定される。
【００２２】
本実施形態におけるスポット測距及び本測距では、上述した原理を利用してＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより行われる。すなわち、各フォトダイオード（各画素）において検出された受光量Ａに基づいて、カメラ本体１０からＣＣＤ２８の各フォトダイオードに対応する被写体Ｓ上の各点までの距離情報をフォトダイオード（画素）毎に画像信号（３次元画像）として検出する。本測距では、この画像信号から被写体Ｓの表面形状を表わす距離データがフォトダイオード（画素）毎に算出される。スポット測距ではレーザ１４ａ、１４ｂ、１４ｃにより測距光がスポット状に照射された被写体上の３つの点までの距離及び座標が算出される。
【００２３】
図５は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２４】
フォトダイオード５１と垂直転送部（信号電荷保持部）５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図５において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ、５２ｂ、５２ｃ、５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００２５】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出し信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作により、いわゆる電子シャッタ動作が実現される。
【００２６】
しかし、被写体までの距離を図３、図４を参照して説明した原理により測定する場合には、極めて高速な電子シャッタ動作が要求されるため、１回のシャッタ動作では十分な信号出力を得られない。したがって、本実施形態の距離情報検出動作では、上述の電子シャッタ動作を繰り返し行うことにより、垂直転送部５２において信号電荷を積分し、より大きな信号出力を得ている。
【００２７】
図７は、垂直転送部５２において信号電荷の積分を行う本実施形態の距離情報検出動作のタイミングチャートである。また、図８はこの距離情報検出動作のフローチャートである。図１、図２、図５〜図８を参照して本実施形態における距離情報検出動作について説明する。
【００２８】
図７に示すように、垂直同期信号Ｓ１の出力に同期して一定のパルス幅Ｔ_Sを有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３の出力から所定時間経過後、電荷掃出し信号（パルス信号）Ｓ２が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出される。電荷掃出し信号Ｓ２は、測距光Ｓ３の立下りに略同期してその出力を終了し、電荷掃出し信号Ｓ２の出力の終了によりフォトダイオード５１における電荷蓄積が開始する。すなわち、フォトダイオード５１における電荷蓄積動作は、測距光Ｓ３の立下りに略同期して開始される。一方、垂直同期信号Ｓ１の出力に同期して出力された測距光Ｓ３は、被写体において反射され、δ・ｔ時間経過後ＣＣＤ２８において反射光Ｓ４として受光される。測距光Ｓ３の出力が終了してから一定時間が経過したとき、すなわち、電荷蓄積期間が開始してから一定時間が経過したとき、電荷転送信号（パルス信号）Ｓ５が出力され、これによりフォトダイオード５１に蓄積された電荷が垂直転送部５２に転送され、フォトダイオード５１における電荷蓄積動作が終了する。なお、電荷転送信号Ｓ５は、反射光の立下りが電荷蓄積期間Ｔ内に検知されるように、電荷掃出し信号Ｓ２の出力から十分時間が経過した後に出力される。
【００２９】
このように電荷掃出し信号Ｓ２の出力の終了から電荷転送信号Ｓ５の出力開始までの期間Ｔの間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。すなわち反射光Ｓ４は被写体までの距離に応じて測距光Ｓ３に比べてδ・ｔ時間だけ遅れＣＣＤ２８において受光され、フォトダイオード５１では、反射光Ｓ４の一部のみが検知される。検知される光は、光が伝播するのにかかる時間（δ・ｔ）に相関し、この光によって生じる信号電荷Ｓ６は被写体までの距離に対応している。この信号電荷Ｓ６は、電荷転送信号Ｓ５によって垂直転送部５２に転送される。なお電荷蓄積期間Ｔは、測距光Ｓ３の立下りに同期して開始される必要はなく、計測される被写体の距離に応じてそのタイミングは調整される。
【００３０】
電荷転送信号Ｓ５の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ２が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔが経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３１】
このような信号電荷Ｓ６の垂直転送部５２への転送動作は、次の垂直同期信号Ｓ１が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ６が積分され、１フィールドの期間（２つの垂直同期信号Ｓ１によって挟まれる期間）に積分された信号電荷Ｓ６は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。
【００３２】
以上説明した信号電荷Ｓ６の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間の検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力される。
【００３３】
これら距離情報検出手段における各動作は、図８のフローチャートに従って実行される。すなわち、ステップ１０１において垂直同期信号Ｓ１が出力されるとともに測距光制御が開始される。すなわち内蔵ビーム光源装置１４又は外部光源装置４５が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ１０２が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図７を参照して説明した距離情報検出動作が開始され、電荷掃出し信号Ｓ２と電荷転送信号Ｓ５が交互に出力されて、距離情報の信号電荷Ｓ６が垂直転送部５２において積分される。
【００３４】
ステップ１０３では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０４へ進み、距離情報の信号電荷Ｓ６がＣＣＤ２８から出力される。この信号電荷Ｓ６はステップ１０５において画像メモリ３４に一時的に記憶される。ステップ１０６では測距光制御がオフ状態に切換えられ、内蔵ビーム光源装置１４又は外部光源装置４５の発光動作が停止され、この処理は終了する。
【００３５】
本実施形態では、内蔵ビーム光源装置１４を用いたスポット測距と外部光源４５を用いた本測距とにより被写体の３次元形状が検出される。図９は、本実施形態のスポット測距及び本測距における被写体Ｓ、カメラ本体１０、ケーブル４６を介してカメラ本体１０と接続される外部光源装置４５の配置を模式的に示す図である。図９を参照して、本実施形態において実行される上記距離情報検出動作を用いた３次元形状の算出方法について説明する。
【００３６】
点Ａ₁、Ａ₂、Ａ₃は、カメラ本体１０に設けられたスポット用光源装置１４のレーザ１４ａ、１４ｂ、１４ｃから射出されるレーザビームにより、スポット状に測距光が照射される被写体Ｓ上の点の位置を示している。距離ａ₁、ａ₂、ａ₃はカメラ本体１０から点Ａ₁、Ａ₂、Ａ₃までの距離（第１の距離）であり、距離ｂ₁、ｂ₂、ｂ₃は、外部光源装置４５から測距光が拡散されて射出される射出部Ｏ_Sから点Ａ₁、Ａ₂、Ａ₃までの距離である。
【００３７】
距離ａ₁、ａ₂、ａ₃は、スポット測距により測定される。すなわち、スポット用光源装置１４のレーザから図７のタイミングでパルス状のビーム光が測距光として射出され、点Ａ₁、Ａ₂、Ａ₃において反射された反射光がカメラ本体１０のＣＣＤ２８において、図７に示されるタイミングで検出されることにより距離ａ₁、ａ₂、ａ₃が測定される。スポット測距では、測距光たるレーザビームは被写体Ｓ上の点Ａ₁、Ａ₂、Ａ₃のみに照射されるので、ＣＣＤ２８の画素（フォトダイオード５１）のうち反射光を受光検知するのは、点Ａ₁、Ａ₂、Ａ₃に対応する画素のみである。したがって、これにより、点Ａ₁、Ａ₂、Ａ₃に対応する画素をその画素値から特定することができ、スポット測距では、点Ａ₁、Ａ₂、Ａ₃に対応する画素のみで距離の算出が行われる。なお、このとき算出される距離は、式（１）におけるｒ＝Ｒ／２である。
【００３８】
一方、距離ｂ₁、ｂ₂、ｂ₃は、本測距の検出結果及びスポット測距により求められる距離ａ₁、ａ₂、ａ₃により算出される。すなわち、外部光源装置４５から図７に示されたタイミングで被写体Ｓの全体に測距光が拡散されて照射され、被写体Ｓで反射された反射光がＣＣＤ２８において、図７に示されるタイミングで検出される。このとき、点Ａ₁、Ａ₂、Ａ₃において反射された光は、距離（第２の距離）ａ₁＋ｂ₁、ａ₂＋ｂ₂、ａ₃＋ｂ₃を経てＣＣＤ２８のフォトダイオード５１で検出されるので、点Ａ₁、Ａ₂、Ａ₃に対応する画素で検出された信号電荷からは、それぞれ距離ａ₁＋ｂ₁、ａ₂＋ｂ₂、ａ₃＋ｂ₃が算出される。すなわち、式（１）における距離Ｒである。距離ａ₁＋ｂ₁、ａ₂＋ｂ₂、ａ₃＋ｂ₃から距離ａ₁、ａ₂、ａ₃を減ずることにより、距離ｂ₁、ｂ₂、ｂ₃が求められる。なお、本測距では、測距光は被写体Ｓ全体に照射されるので、ＣＣＤ２８の略全画素において反射光が受光検知される。すなわち、本測距では、ＣＣＤ２８の全画素に対応する被写体Ｓ上の点までの距離に対応した信号電荷がそれぞれの画素で検出され、ＣＣＤ２８の各画素から被写体Ｓまでの距離（後述の距離ｂに対応）が、ＣＣＤ２８の全画素について算出される。
【００３９】
カメラ本体１０の撮像光学系において、その焦点とＣＣＤ２８の各画素との間の位置関係は既知なので、ある画素においてその画素値から距離が算出されると、その画素に対応する被写体Ｓ上の点の座標値（例えばカメラの焦点を座標原点とする）が求められる。したがって、距離ａ₁、ａ₂、ａ₃から点Ａ₁、Ａ₂、Ａ₃の座標（ｘ₁，ｙ₁，ｚ₁）、（ｘ₂，ｙ₂，ｚ₃）、（ｘ₃，ｙ₃，ｚ₃）が求められる。ここで、各点Ａ₁、Ａ₂、Ａ₃から外部光源装置４５における測距光の射出部Ｏ_Sまでの距離は、それぞれｂ₁、ｂ₂、ｂ₃なので、射出部Ｏ_Sの座標を（Ｘ，Ｙ，Ｚ）とすると、
（Ｘ−ｘ₁）²＋（Ｙ−ｙ₁）²＋（Ｚ−ｚ₁）²＝ｂ₁ ² ・・・（２）
（Ｘ−ｘ₂）²＋（Ｙ−ｙ₂）²＋（Ｚ−ｚ₂）²＝ｂ₂ ² ・・・（３）
（Ｘ−ｘ₃）²＋（Ｙ−Ｙ₃）²＋（Ｚ−Ｚ₃）²＝ｂ₃ ² ・・・（４）
が成り立ち、式（２）〜（４）を解くことにより射出部Ｏ_Sの座標（Ｘ，Ｙ，Ｚ）が求められる。なお、式（２）〜（４）は２次の方程式なので、その解には正負の任意性があるが、これは外部光源装置４５の実際の配置から特定される。
【００４０】
次に、ＣＣＤ２８の各画素に対応する被写体Ｓ上の点のうち、点Ａ₁、Ａ₂、Ａ₃以外の点に対応する点の座標又は距離を求める方法について説明する。
例えば被写体Ｓ上の点Ａ₁、Ａ₂、Ａ₃以外の点Ｃの座標を（ｘ，ｙ，ｚ）とし、カメラ本体１０からの距離をａ、外部光源装置４５の射出部Ｏ_Sからの距離をｂとすると、距離ａ、ｂは以下の式を解くことにより求められる。
（ｘ−Ｘ）²＋（ｙ−Ｙ）²＋（ｚ−Ｚ）²＝ｂ² ・・・（５）
ｘ²＋ｙ²＋ｚ²＝ａ² ・・・（６）
ａ＋ｂ＝ｄ・・・（７）
ｘ／α＝ｙ／β＝ｚ／γ ・・・（８）
ここでｄは、外部光源装置４５から射出された測距光が、点Ｃで反射されＣＣＤ２８で検出されるまでに進んだ距離（第２の距離）であり、上述した本測距において算出される。また、式（８）は座標原点（焦点）と点Ｂとを結ぶ直線の式であり、α、β、γは、点Ｂに対応する画素の位置によって一意的に決まり、既知の値である。すなわち、式（５）〜式（８）において未知変数はｘ、ｙ、ｚ、ａ、ｂの５つである。したがって、式（５）〜式（８）を解くことにより、上記未知変数ｘ、ｙ、ｚ、ａ、ｂを求めることができる。以上により、ＣＣＤ２８の各画素に対応する被写体Ｓ上の各点までの距離ａとその座標値とが算出され、被写体の３次元形状が取得される。
【００４１】
図１０は、本実施形態のカメラ型の３次元画像検出装置において実行されるプログラムのフローチャートであり、図１１、図１２はそれぞれ図１０の中のスポット測距、本測距のサブルーチンのフローチャートである。図８〜図１２を参照して本実施形態における３次元画像の検出動作について説明する。
【００４２】
ステップ２０１においてレリーズスイッチ１５が全押しされていることが確認されると、ステップ２０２において、内蔵ビーム光源装置１４を用いたスポット測距が開始され、ステップ２０３において、外部光源装置４５を用いた本測距が行われる。ステップ２０３における本測距が終了すると、ステップ２０４においてＣＣＤ２８による通常の撮影動作（ＣＣＤビデオ制御）がオン状態に定められ、カラーの静止画が撮像される。その後ステップ２０５において、ステップ２０２のスポット測距及びステップ２０３の本測距により求められた被写体の３次元画像の画像データ、距離データ、及びステップ２０４において得られた被写体のカラー静止画像の画像データなどが記録媒体Ｍに記録され、このプログラムは終了する。
【００４３】
ステップ２０２のスポット測距のサブルーチンでは、図１１に示されるように、ステップ３０１で、測距用の光源として内蔵ビーム光源装置が設定される。すなわち、発光素子制御回路４４（図２参照）から出力される信号が、レーザ１４ａ、１４ｂ、１４ｃへのみ出力されるように設定される。この設定は、システムコントロール回路３５からの制御信号により発光素子制御回路４４において行われる。ステップ３０２では、図８のフローチャートを参照して説明した距離情報検出動作がレーザ１４ａ、１４ｂ、１４ｃを光源として実行され、画像メモリ３４に各画素の画素値が３次元画像の画像データとして一時的に記憶される。なお、このときレーザ１４ａ、１４ｂ、１４ｃは同時に測距光を射出する。
【００４４】
ステップ３０３では、画像メモリ３４に一時的に記憶された３次元画像の画像データがシステムコントロール回路３５へ読み出され、ＣＣＤ２８の全画素の中から、３つのレーザ１４ａ、１４ｂ、１４ｃによりレーザビームがスポット状に照射される被写体上の３つの点（Ａ₁、Ａ₂、Ａ₃）に対応する画素が探索される。ステップ３０４では、ステップ３０３において探索され、レーザビームが照射されている３つの点に対応する画素の画素値に演算処理が施され、被写体までの距離ａ₁、ａ₂、ａ₃が距離データとして算出される。その後、ステップ３０５において、ステップ３０３で特定された点Ａ₁、Ａ₂、Ａ₃に対応する画素の位置、及びにステップ３０４において算出された点Ａ₁、Ａ₂、Ａ₃までの距離に基づいて演算処理が行われ、各点Ａ₁、Ａ₂、Ａ₃に対応する座標値（ｘ₁，ｙ₁，ｚ₁）、（ｘ₂，ｙ₂，ｚ₂）、（ｘ₃，ｙ₃，ｚ₃）が、カメラの焦点を座標原点とした座標系において求められる。ステップ３０６では、ステップ３０４、ステップ３０５で求められた点Ａ₁、Ａ₂、Ａ₃までの距離とその座標値とが記録媒体Ｍに記録されこのスポット測距のサブルーチンは終了する。
【００４５】
次に図１２を参照してステップ２０３の本測距のサブルーチンについて説明する。ステップ４０１では、測距用の光源として外部光源装置が設定される。すなわち、発光素子制御回路４４（図２参照）から出力される信号が、外部光源取付コネクタを介して接続された外部光源装置４５のみへ出力されるように設定される。この設定は、ステップ３０１と同様に、システムコントロール回路３５からの制御信号により発光素子制御回路４４において行われる。ステップ４０２では、図８のフローチャートを参照して説明した距離情報検出動作が外部光源装置４５を光源として実行され、画像メモリ３４に各画素の画素値が３次元画像の画像データとして一時的に記憶される。
【００４６】
ステップ４０３では、図１１のステップ３０５において算出された点Ａ₁、Ａ₂、Ａ₃の座標値（ｘ₁，ｙ₁，ｚ₁）、（ｘ₂，ｙ₂，ｚ₂）、（ｘ₃，ｙ₃，ｚ₃）を用いた式（２）〜（４）により外部光源装置４５の位置、すなわち、射出部Ｏ_Sの座標値（Ｘ，Ｙ，Ｚ）が求められる。ステップ４０４では、ステップ４０２において取得され、画像メモリ３４に一時的に記憶された３次元画像の画像データがシステムコントロール回路３５へ読み出され、各画素値に対し距離を求めるための演算処理が施される。すなわち、外部光源装置４５から射出された測距光が、ＣＣＤ２８のフォトダイオード５１で検出されるまでに進んだ距離ｄ（＝ａ＋ｂ）が画素毎に算出される。ステップ４０５では、距離ｄ及びステップ４０３において求められた外部光源装置４５の位置（Ｘ，Ｙ，Ｚ）等に基づいて、カメラ本体１０から被写体Ｓまでの距離ａが式（５）〜（８）を解くことによりＣＣＤ２８の画素毎に距離データとして求められる。これらの距離データは、ステップ４０５において、画像メモリ３５に一時的に記憶され、この本測距のサブルーチンは終了する。
【００４７】
以上のように、本実施形態によれば、カメラ本体から分離された外部光源装置を任意の位置に配置して、ＣＣＤの画素毎に被写体までの距離を検出することができる。すなわち、外部光源装置はカメラ本体から分離されているので、被写体近くに配置することができ、これにより被写体とカメラとの距離が離れているときでも十分な光量の測距光を被写体に照射できるので、高い信号出力が得られＳ／Ｎ比が向上する。
【００４８】
また、外部光源装置はカメラ本体とは独立しているためカメラ本体を小型化しつつ、大容量の光源を外部光源装置として用いることも可能となる。更に、カメラ本体には、内蔵ビーム光源装置が搭載されているので、外部光源装置の位置を簡単に特定することができる。
【００４９】
本実施形態では、内蔵ビーム光源装置として３つのレーザを用いたが、１つのレーザから射出される光線を回折格子などで複数の光線に分岐させてもよく、このときには、内蔵ビーム光源装置１４は１つのレーザと回折格子とから構成することができる。また、スポット測距において計測される被写体上の点の数は３点に限られるものではなく４点以上であってもよい。
【００５０】
本実施形態において、外部光源装置は、カメラ本体とケーブルにより接続され、外部光源装置の発光のタイミングはこのケーブルを介して制御されていたが、無線、光通信等を介して制御してもよい。
【００５１】
【発明の効果】
以上のように、本発明によれば、被写体と３次元画像検出装置との距離が大きい場合にも、十分に大きい出力を得ることができる３次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図１】本発明における一実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】測距光による距離測定の原理を説明するための図である。
【図４】測距光、反射光、ゲートパルス、及びＣＣＤが受光する光量分布を示す図である。
【図５】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図６】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図７】被写体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図８】本実施形態において実行される距離情報検出動作のサブルーチンのフローチャートである。
【図９】外部光源装置を用いた距離測定の原理を説明する図である。
【図１０】本実施形態のカメラ型の３次元画像検出装置で実行されるプログラムのフローチャートである。
【図１１】スポット測距で実行されるサブルーチンのフローチャートである。
【図１２】本測距で実行されるサブルーチンのフローチャートである。
【符号の説明】
１４内蔵ビーム光源装置
１４ａ、１４ｂ、１４ｃレーザ
１８外部光源接続コネクタ
２８ＣＣＤ
３０ＣＣＤ駆動回路
３５システムコントロール回路
４４発光素子制御回路
４５外部光源装置

Claims

複数のビーム状の測距光を射出し、撮像部から所定の位置に配置されたビーム光源と、
拡散された測距光を照射し、前記撮像部に対し任意の位置に配置可能な外部光源と、
前記ビーム光源から被写体に前記複数のビーム状の測距光を射出し、その反射光を前記撮像部で受光することにより、前記複数のビーム状の測距光がスポット状に照射された前記被写体の各点までの第１の距離を求めるスポット測距手段と、
前記外部光源から前記被写体に前記拡散された測距光を照射し、その反射光を前記撮像部で受光することにより、前記外部光源から照射された前記測距光が前記被写体に反射され前記撮像部で受光されるまでに進んだ第２の距離を前記撮像部の画素毎に求める本測距手段と、
前記第１の距離と、前記第２の距離とに基づき前記外部光源の位置を算出する外部光源位置算出手段と、
前記第２の距離と、前記各画素の前記撮像部における位置と、前記外部光源の位置とから、前記各画素に対応する被写体までの距離を前記画素毎に算出するための手段と
を備えることを特徴とする３次元画像検出装置。
前記ビーム光源がレーザであることを特徴とする請求項１に記載の３次元画像検出装置。
前記ビーム光源が３以上のビームを同時に射出可能であることを特徴とする請求項１に記載の３次元画像検出装置。
複数のビーム状の測距光を射出し、撮像部から所定の位置に配置されたビーム光源と、
前記ビーム光源から被写体に前記複数のビーム状の測距光を射出し、その反射光を前記撮像部で受光することにより、前記複数のビーム状の測距光がスポット状に照射された前記被写体の各点までの第１の距離を求めるスポット測距手段と、
前記撮像部に対し任意の位置に配置可能な外部光源から前記被写体に照射される拡散された測距光の前記被写体からの反射光を前記撮像部で受光することにより、前記外部光源から照射された前記測距光が前記被写体に反射され前記撮像部で受光されるまでに進んだ第２の距離を前記撮像部の画素毎に求めることができる本測距手段と、
前記第１の距離と、前記第２の距離とに基づき前記外部光源の位置を算出する外部光源位置算出手段と、
前記第２の距離と、前記各画素の前記撮像部における位置と、前記外部光源の位置とから、前記各画素に対応する被写体までの距離を前記画素毎に算出するための手段と
を備えることを特徴とする３次元画像検出装置。