JP3820087B2 - 3次元画像検出装置 - Google Patents
3次元画像検出装置 Download PDFInfo
- Publication number
- JP3820087B2 JP3820087B2 JP2000235651A JP2000235651A JP3820087B2 JP 3820087 B2 JP3820087 B2 JP 3820087B2 JP 2000235651 A JP2000235651 A JP 2000235651A JP 2000235651 A JP2000235651 A JP 2000235651A JP 3820087 B2 JP3820087 B2 JP 3820087B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- ranging
- subject
- distance
- charge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の3次元形状等を検出する3次元画像検出装置に関する。
【0002】
【従来の技術】
従来3次元画像入力装置における3次元計測では、光伝播時間測定法を利用したものが知られている。「Measurement Science and Technology」(S. Christie 他、vol.6, p1301-1308, 1995 年)に記載された3次元画像入力装置では、パルス変調されたレーザ光が被計測物体(被写体)に照射され、その反射光がイメージインテンシファイアが取付けられた2次元CCDセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、遠い被計測物体からの反射光による受光量は近い被計測物体からの反射光による受光量に比べて小さいので、被計測物体の距離に応じた出力がCCDの各画素毎に得られる。
【0003】
一方、国際公開97/01111号公報に開示された装置では、パルス変調されたレーザ光等の光が被計測物体に照射され、その反射光がメカニカル又は液晶素子等から成る電気光学的シャッタと組み合わされた2次元CCDセンサによって受光され、電気信号に変換される。そのシャッタは、測距光のパルスとは異なるタイミングで制御され、距離情報がCCDの各画素毎に得られる。
【0004】
【発明が解決しようとする課題】
これらの3次元画像検出装置で計測可能な距離は、測距光を照射する光源の駆動タイミングとシャッタを駆動するタイミングとによって決定する。したがって、被写体の距離計測を広い範囲にわたって行なうには、光源とシャッタの駆動タイミングを予め適正なタイミングに調整しておく必要がある。
【0005】
本発明は、3次元画像検出装置で被写体の距離を計測する際に、光源とシャッタの駆動タイミングを自動的に調整する3次元画像検出装置を得ることを目的としている。
【0006】
【課題を解決するための手段】
本発明の3次元画像検出装置は、第1の測距光を被写体に照射する第1の光源と、第1の測距光の被写体からの第1の反射光を受光し、受光量に応じた第1の信号電荷を蓄積可能な撮像部と、第1の信号電荷に基づいて被写体の3次元形状を検出する3次元計測手段と、被写体までの距離に関する情報であるプリ測距情報を検出するプリ測距手段と、第1の光源の発光と第1の信号電荷の蓄積とが行われるタイミングをプリ測距情報に基づいて調整するタイミング調整手段とを備えることを特徴としている。
【0007】
3次元画像検出装置は好ましくは、第2の測距光を被写体に照射する第2の光源と、第2の測距光の被写体から第2の反射光を受光検出する受光部とを備え、プリ測距手段は受光部における第2の反射光の検出結果に基づいてプリ測距情報を得る。受光部は好ましくは、受光量に応じた第2の信号電荷を蓄積可能な調光部であり、プリ測距手段は第2の信号電荷に基づいてプリ測距情報を得る。このとき第2の光源として例えば、第1の光源またはストロボ発光装置が用いられる。
【0008】
またプリ測距手段において、調光部は好ましくはストロボ用調光センサと積分コンデンサとによって構成され、ストロボ用調光センサは例えばフォトダイオードである。このとき例えば、第2の測距光の被写体からの反射光が逆バイアスを印加されたフォトダイオードで受光されることにより、フォトダイオードに逆電流が流れ、積分コンデンサで第2の信号電荷が蓄積され、積分コンデンサに生じる電位差からプリ測距情報を検出する。
【0009】
プリ測距手段は例えば、第2の反射光の受光部での受光位置を用いた三角測距によりプリ測距情報を得る。このとき受光部はPSD(position sensitive diode )であることが好ましい。
【0010】
第1の測距光は好ましくは、撮像部における電荷の蓄積が始まる前に照射され、第1の信号電荷が撮像部における電荷の蓄積が開始してから第1の反射光の撮像部における受光が終了するまでの間蓄積されるようにタイミング調整手段が駆動されることにより、被写体の3次元形状に係る距離情報が検出される。このとき、第1の反射光の全てが撮像部における電荷の蓄積が行われている間に受光されるようにタイミング調整手段を駆動し、距離情報に含まれる被写体の反射率に依存する反射率情報を検出することが好ましい。これにより3次元計測手段において反射率の影響が低減できる。
【0011】
また、タイミング調整手段によるタイミングの調整において、撮像部での電荷の蓄積のタイミングが第1の光源の発光のタイミングから相対的に一定の時間ずれて行われる。このとき好ましくは、プリ測距情報と一定の時間との対応関係を予めメモリに記録し、メモリに記録された対応関係にしたがってタイミングの調整が行われる。これによりプリ測距情報に基づくタイミングの調整を迅速かつ簡便に行うことができる。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の第1の実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【0013】
カメラ本体10の前面において、撮影レンズ11の左上にはファインダ窓12が設けられ、右上にはストロボ13が設けられている。ストロボ13の左隣には、ストロボ用調光受光センサ(フォトダイオード(PD))23が配置されている。カメラ本体10の上面において、撮影レンズ11の真上には、測距光であるレーザ光を照射する発光装置14が配設されている。発光装置14の左側にはレリーズスイッチ15、液晶表示パネル16が設けられ、右側にはモード切替ダイヤル17とV/Dモード切替スイッチ18が設けられている。カメラ本体10の側面には、ICメモリカード等の記録媒体を挿入するためのカード挿入口19が形成され、またビデオ出力端子20およびインターフェースコネクタ21が設けられている。
【0014】
図2は図1に示すカメラの回路構成を示すブロック図である。
撮影レンズ11の中には絞り25が設けられている。絞り25の開度はアイリス駆動回路26によって調整される。撮影レンズ11の焦点調節動作およびズーミング動作はレンズ駆動回路27によって制御される。
【0015】
撮影レンズ11の光軸上にはCCD(撮像部)28が配設されている。CCD28には、撮影レンズ11によって被写体像が形成され、被写体像に対応した電荷が発生する。CCD28における電荷の蓄積動作、電荷の読出動作等の動作はCCD駆動回路30によって制御される。CCD28から読み出された電荷信号すなわち画像信号はアンプ31において増幅され、A/D変換器32においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路33においてガンマ補正等の処理を施され、画像メモリ34に一時的に格納される。アイリス駆動回路26、レンズ駆動回路27、CCD駆動回路30、撮像信号処理回路33はシステムコントロール回路35によって制御される。
【0016】
画像信号は画像メモリ34から読み出され、LCD駆動回路36に供給される。LCD駆動回路36は画像信号に応じて動作し、これにより画像表示LCDパネル37には、画像信号に対応した画像が表示される。
【0017】
カメラをカメラ本体10の外部に設けられたモニタ装置とケーブルで接続すれば、画像メモリ34から読み出された画像信号はTV信号エンコーダ38、ビデオ出力端子20を介してモニタ装置に伝送可能である。またシステムコントロール回路35はインターフェース回路40に接続されており、インターフェース回路40はインターフェースコネクタ21に接続されている。したがってカメラをカメラ本体10の外部に設けられたコンピュータとインターフェースケーブルを介して接続すれば、画像メモリ34から読み出された画像信号をコンピュータに伝送可能である。システムコントロール回路35は、記録媒体制御回路42を介して画像記録装置43に接続されている。したがって画像メモリ34から読み出された画像信号は、画像記録装置43に装着されたICメモリカード等の記録媒体Mに記録可能である。
【0018】
発光装置14は発光素子14aと照明レンズ14bにより構成され、発光素子14aの発光動作は発光素子制御回路44によって制御される。発光素子14aはレーザダイオード(LD)であり、照射されるレーザ光は被写体の距離を検出するための測距光として用いられる。このレーザ光は照明レンズ14bを介して被写体の全体に照射される。3次元計測では、被写体で反射し撮影レンズ11に入射したレーザ光をCCD28で検出することにより、被写体の表面形状に関する距離情報が得られる。これに対し、3次元計測を行なう前に行われ、被写体までの距離を検出するプリ測距では、発光装置14aで照射されたレーザ光がストロボ用受光センサ23で受光検知され、被写体までの概ねの距離が検出される。
【0019】
ストロボ用調光センサ23は調光回路29に接続されている。ストロボ発光時、調光回路29はストロボ用調光センサ23で受光される光量にしたがってストロボ回路24にクエンチ信号を送りストロボ13の発光時間を制御する。またプリ測距時、ストロボ用調光センサ23からの信号は、調光回路29を経てA/Dコンバータ39へ送られA/D変換される。A/D変換された信号はシステムコントロール回路35へ出力される。なお調光回路29は、システムコントロール回路35によって制御される。
【0020】
システムコントロール回路35には、レリーズスイッチ15、モード切替ダイヤル17、V/Dモード切替スイッチ18から成るスイッチ群45と、液晶表示パネル(表示素子)16とが接続されている。
【0021】
次に図3および図4を参照して、本実施形態における距離測定の原理について説明する。なお図4において横軸は時間tである。
【0022】
距離測定装置Bから出力された測距光は被写体Sにおいて反射し、図示しないCCDによって受光される。測距光は所定のパルス幅Hを有するパルス状の光であり、したがって被写体Sからの反射光も、同じパルス幅Hを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・t(δは遅延係数)だけ遅れる。測距光と反射光は距離測定装置Bと被写体Sの間の2倍の距離rを進んだことになるから、その距離rは
r=δ・t・C/2 ・・・(1)
により得られる。ただしCは光速である。
【0023】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Tを設けると、この反射光検知期間Tにおける受光量Aは距離rの関数である。すなわち受光量Aは、距離rが大きくなるほど(時間δ・tが大きくなるほど)小さくなる。
【0024】
本実施形態では上述した原理を利用して、CCD28に設けられ、2次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Aを検出することにより、カメラ本体10から被写体Sの表面の各点までの距離をそれぞれ検出し、被写体Sの表面形状に関する3次元画像のデータを一括して入力している。
【0025】
図5は、CCD28に設けられるフォトダイオード51と垂直転送部52の配置を示す図である。図6は、CCD28を基板53に垂直な平面で切断して示す断面図である。このCCD28は従来公知のインターライン型CCDであり、不要電荷の掃出しにVOD(縦型オーバーフロードレイン)方式を用いたものである。
【0026】
フォトダイオード51と垂直転送部52はn型基板53の面に沿って形成されている。フォトダイオード51は2次元的に格子状に配列され、垂直転送部52は所定の方向(図5において上下方向)に1列に並ぶフォトダイオード51に隣接して設けられている。垂直転送部52は、1つのフォトダイオード51に対して4つの垂直転送電極52a,52b,52c,52dを有している。したがって垂直転送部52では、4つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をCCD28から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【0027】
基板53の表面に形成されたp型井戸の中にフォトダイオード51が形成され、p型井戸とn型基板53の間に印加される逆バイアス電圧によってp型井戸が完全空乏化される。この状態において、入射光(被写体からの反射光)の光量に応じた電荷がフォトダイオード51において蓄積される。基板電圧Vsub を所定値以上に大きくすると、フォトダイオード51に蓄積した電荷は、基板53側に掃出される。これに対し、転送ゲート部54に電荷転送信号(電圧信号)が印加されたとき、フォトダイオード51に蓄積した電荷は垂直転送部52に転送される。すなわち電荷掃出信号によって電荷を基板53側に掃出した後、フォトダイオード51に蓄積した信号電荷が、電荷転送信号によって垂直転送部52側に転送される。このような動作を繰り返すことにより、垂直転送部52において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【0028】
図7は3次元計測におけるタイミングチャートであり、図1、図2、図5〜図7を参照して本実施形態における3次元計測について説明する。なお本実施形態の3次元計測では、図4を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【0029】
垂直同期信号(図示せず)の出力に同期して電荷掃出し信号(パルス信号)S1が出力され、これによりフォトダイオード51に蓄積していた不要電荷が基板53の方向に掃出され、フォトダイオード51における蓄積電荷量はゼロになる(符号S2)。電荷掃出し信号S1の出力の開始の後、一定のパルス幅を有するパルス状の測距光S3が出力される。測距光S3が出力される期間(パルス幅)は調整可能であり、図示例では、電荷掃出し信号S1の出力と同時に測距光S3がオフするように調整されている。
【0030】
測距光S3は被写体において反射し、CCD28に入射する。すなわちCCD28によって被写体からの反射光S4が受光されるが、電荷掃出し信号S1が出力されている間は、フォトダイオード51において電荷は蓄積されない(符号S2)。電荷掃出し信号S1の出力が停止されると、フォトダイオード51では、反射光S4の受光によって電荷蓄積が開始され、反射光S4と外光とに起因する信号電荷S5が発生する。反射光S4が消滅すると(符号S6)フォトダイオード51では、反射光に基く電荷蓄積は終了するが(符号S7)、外光のみに起因する電荷蓄積が継続する(符号S8)。
【0031】
その後、電荷転送信号S9が出力されると、フォトダイオード51に蓄積された電荷が垂直転送部52に転送される。この電荷転送は、電荷転送信号の出力の終了(符号S10)によって完了する。すなわち、外光が存在するためにフォトダイオード51では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード51に蓄積されていた信号電荷S11が垂直転送部52へ転送される。電荷転送信号の出力終了後に蓄積している電荷S14は、そのままフォトダイオード51に残留する。
【0032】
このように電荷掃出し信号S1の出力の終了から電荷転送信号S9の出力が終了するまでの期間TU1の間、フォトダイオード51には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光S4の受光終了(符号S6)までフォトダイオード51に蓄積している電荷が、被写体の距離情報と対応した信号電荷S12(斜線部)として垂直転送部52へ転送され、その他の信号電荷S13は外光のみに起因するものである。
【0033】
電荷転送信号S9の出力から一定時間が経過した後、再び電荷掃出し信号S1が出力され、垂直転送部52への信号電荷の転送後にフォトダイオード51に蓄積された不要電荷が基板53の方向へ掃出される。すなわち、フォトダイオード51において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間TU1が経過したとき、信号電荷は垂直転送部52へ転送される。
【0034】
このような信号電荷S11の垂直転送部52への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部52において、信号電荷S11が積分され、1フィールドの期間(2つの垂直同期信号によって挟まれる期間)に積分された信号電荷S11は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。
【0035】
以上説明した信号電荷S11の検出動作は1つのフォトダイオード51に関するものであり、全てのフォトダイオード51においてこのような検出動作が行なわれる。1フィールドの期間における検出動作の結果、各フォトダイオード51に隣接した垂直転送部52の各部位には、そのフォトダイオード51によって検出された距離情報が保持される。この距離情報は垂直転送部52における垂直転送動作および図示しない水平転送部における水平転送動作によってCCD28から出力される。
【0036】
しかしCCD28により検出された反射光は、被写体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、CCD28により検出された反射光には、被写体からの反射光以外に外光等の成分も含まれており、これに起因する誤差も存在する。これらの誤差を補正する方法については、次の3次元計測のフローチャートの説明において述べる。
【0037】
図11と図12は3次元計測のフローチャートである。図1、図2、図7〜図12を参照して、本実施形態における3次元計測について説明する。なお図8〜図10は、距離補正情報、反射率情報および反射率補正情報の検出動作におけるタイミングチャートである。
【0038】
ステップ101においてレリーズスイッチ15が全押しされていることが確認されるとステップ102が実行され、ビデオ(V)モードと距離測定(D)モードのいずれが選択されているかが判定される。これらのモード間における切替はV/Dモード切替スイッチ18を操作することによって行なわれる。
【0039】
Dモードが選択されているとき、ステップ103においてプリ測距が行われる。その後ステップ104において垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置14が駆動され、パルス状の測距光S3が断続的に出力される。次いでステップ105が実行され、CCD28による検知制御が開始される。すなわち図7を参照して説明した距離情報検出動作が開始され、電荷掃出し信号S1と電荷転送信号S9が交互に出力されて、距離情報の信号電荷S11が垂直転送部52において積分される。
【0040】
ステップ106では、距離情報検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると、1フィールド期間にわたる信号電荷S11の積分が完了し、積分された信号電荷がステップ107においてCCD28から出力される。この積分された信号電荷は距離情報に対応し、ステップ108において画像メモリ34に一時的に記憶される。ステップ109では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0041】
ステップ110〜113では、距離補正情報の検出動作(図8参照)が行なわれる。まずステップ110では、垂直同期信号が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S21と電荷転送信号S22が交互に出力される。電荷蓄積時間TU1は図7に示す距離情報検出動作と同じであるが、被写体に測距光が照射されないため(符号S23)、反射光は存在せず(符号S24)。したがって、距離情報の信号電荷は発生しないが、CCD28には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷S25が発生し、電荷転送信号S22の出力によって、それまでフォトダイオードに蓄積していた信号電荷S26が垂直転送部へ転送される。この信号電荷S26は、外乱成分が距離情報に及ぼす影響を補正するための、電荷蓄積時間TU1に対する距離補正情報に対応している。
【0042】
ステップ111では、距離補正情報の検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S26の1フィールド期間にわたる積分が完了し、ステップ112においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は距離補正情報に対応し、ステップ113において画像メモリ34に一時的に記憶される。
【0043】
ステップ114〜118では、反射率情報の検出動作(図9参照)が行なわれる。ステップ113では、垂直同期信号が出力されるとともに測距光制御が開始され、パルス状の測距光S33が断続的に出力される。ステップ115では、CCD28による検知制御が開始され、電荷掃出し信号S31と電荷転送信号S35が交互に出力される。電荷掃出し信号S31が出力されることによって、フォトダイオードにおける蓄積電荷量はゼロになる(符号S32)。電荷掃出し信号S31の出力が終了すると、測距光S33が出力され、CCDには反射光S34が入射する。反射光S34が消滅した後、電荷転送信号S35が出力される。すなわち反射率情報の検出動作は、電荷掃出し信号S31の出力が終了してから電荷転送信号S35の出力が終了するまでの電荷蓄積期間TU2内に、反射光S34の全てが受光されるように制御される。
【0044】
このようにフォトダイオード51では、 反射光S34を受光している間は反射光S34と外光に起因する信号電荷S36が蓄積され、また、反射光S34を受光していない間は外光のみに起因する信号電荷S37、S38が蓄積される。そして電荷転送信号S35の出力により、それまでのフォトダイオードに蓄積されていた信号電荷S39が垂直転送部へ転送される。この信号電荷S39は反射率情報に対応し、外光に基く成分S’39を含んでいる。
【0045】
ステップ116では、反射率情報検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S39の1フィールド期間にわたる積分が完了し、ステップ117においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は反射率情報に対応し、ステップ118において画像メモリ34に一時的に記憶される。ステップ119では測距光制御がオフ状態に切換えられ、発光装置14の発光動作が停止する。
【0046】
ステップ120〜123では、反射率補正情報の検出動作(図10参照)が行なわれる。ステップ120では、垂直同期信号が出力されるとともにCCD28による検知制御が開始される。すなわち発光装置14の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号S41と電荷転送信号S42が交互に出力される。電荷蓄積時間TU2は図9に示す反射率情報検出動作と同じであるが、被写体に測距光が照射されないため(符号S43)、反射光は存在せず(符号S44)。したがって、反射率情報の信号電荷は発生しないが、CCD28には外光等の外乱成分に対応した信号電荷S46が発生する。この信号電荷S46は、外乱成分が電荷蓄積時間TU2に対する反射率情報に及ぼす影響を補正するための反射率補正情報に対応している。
【0047】
ステップ121では、反射率補正情報の検出動作の開始から1フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。1フィールド期間が終了すると信号電荷S47の1フィールド期間にわたる積分が完了し、ステップ122においてこの積分された信号電荷がCCD28から出力される。この積分された信号電荷は反射率補正情報に対応し、ステップ123において画像メモリ34に一時的に記憶される。
【0048】
ステップ124では、ステップ104〜123において得られた距離情報、距離補正情報、反射率情報および反射率補正情報を用いて距離データの演算処理が行なわれ、ステップ125において距離データが記録媒体Mにも記録されてこの検出動作は終了する。一方、ステップ102においてVモードが選択されていると判定されたとき、ステップ126において測距光制御がオフ状態に切換えられるとともに、ステップ127においてCCD28による通常の撮影動作(CCDビデオ制御)がオン状態に定められ、ステップ128で撮像された画像データが記録媒体Mに記録される。なおVモードでは、ストロボ13を発光した撮影が可能であり、ストロボ13を発光して撮影が行なわれるときには、ストロボ用調光センサ23はストロボ13の発光の制御に用いられる。
【0049】
次にステップ124において実行される演算処理の内容を図7〜図10を参照して説明する。
反射率Rの被写体が照明され、この被写体が輝度Iの2次光源と見做されてCCDに結像された場合を想定する。このとき、電荷蓄積時間tの間にフォトダイオード51に発生した電荷が積分されて得られる出力Snは、
Sn=k・R・I・t ・・・(2)
で表される。ここでkは比例定数で、撮影レンズのFナンバーや倍率等によって変化する。
【0050】
被写体がレーザ等の光源からの光で照明される場合、輝度Iはその光源による輝度IS と背景光による輝度IB との合成されたものとなり、
I=IS +IB ・・・(3)
と表せる。
【0051】
図7に示されるように電荷蓄積時間をTU1、測距光S3のパルス幅をTS 、距離情報の信号電荷S12のパルス幅をTD とし、1フィールド期間中のその電荷蓄積時間がN回繰り返されるとすると、得られる出力SM10は、
となる。なお、パルス幅TD は
と表せる。
【0052】
図9に示されるようにパルス状の電荷蓄積時間TU2が、測距光S23の期間(パルス幅)TS よりも十分大きく、反射光の単位受光時間を全部含むように制御された場合に得られる出力SM20は、
となる。
【0053】
図8に示されるように発光を止めて、図7と同じ時間幅でのパルス状の電荷蓄積を行なった場合に得られる出力SM11は、
となる。同様に、図10に示されるような電荷蓄積を行なった場合に得られる出力SM21は、
となる。
【0054】
(4)、(6)、(7)、(8)式から、
が得られる。
【0055】
上述したように測距光S3と反射光S4にはそれぞれ外光等の外乱成分(背景光による輝度IB )が含まれている。(9)式のTD /TS は、測距光S3を照射したときの被写体からの反射光S4の光量を、測距光S3の光量によって正規化したものであり、これは、測距光S3の光量(図7の信号電荷S11に相当)から外乱成分(図8の信号電荷S26に相当)を除去した値と、反射光S4の光量(図9の信号電荷S39に相当)から外乱成分(図10の信号電荷S’39に相当)を除去した値との比に等しい。
【0056】
(9)式の各出力値SM10、SM11、SM20、SM21はステップ107、112、117、122において、距離情報、距離補正情報、反射率情報、反射率補正情報として格納されている。したがって、これらの情報に基いて、TD /TS が得られる。パルス幅Ts は既知であるから、(5)式とTD /TS から距離rが得られる。すなわち
2r=C・TS ・(SM10−SM11)/(SM20−SM21) (10)
と表せる。
【0057】
しかし被写体までの距離rが大きくなり、TS =2r/Cとなる距離rS を超えると、反射光S4は全て蓄積間TU1の間に受光されることとなり、距離情報の検出ができなくなる。これを防ぐ1つの方法として、測距光S3のパルス幅TS と蓄積期間TU1を大きくし、測距レンジを広げることが考えられる。しかしフォトダイオード51に蓄積可能な電荷量には上限があるため、パルス幅TS を大きくし測距レンジを広げるには測距光の放射パワー(パルスS3の高さ)を低くしなくてはならない。測距光の放射パワーを低くすると距離情報に対応する信号電荷S12の蓄積電荷量は小さくなるが、外光により蓄積される信号電荷S13の蓄積電荷量は変わらないのでS/N比が悪化する。
【0058】
したがって本実施形態では、測距光S3のパルス幅TS は変えず、測距光S3が照射されてから蓄積期間TU1が開始するまでの時間を被写体の距離に応じて調整し、反射光の全てが蓄積期間内に受光されないように発光装置14およびCCD28を制御する。また反射率情報を得る際にも、反射光S34が全て蓄積期間TU2において受光されるように電荷掃出信号S31と電荷転送信号S35の出力が制御される。
【0059】
図13〜図15は、カメラから被写体までの距離が近距離、中距離、遠距離の場合について、測距光S3、S33が発光されるタイミングと反射光S4、S34がCCD28で受光されるタイミングを蓄積期間TU1とともにそれぞれ示している。なお、ここで蓄積期間TU1はパルス幅TS よりも十分長く設定されているのでTU2=TU1として、反射率情報を検出する際の蓄積期間TU2を距離情報検出の際の蓄積期間TU1で表している。
【0060】
図13に示されるように被写体までの距離が近いときには、測距光S3が立ち下がると略同時に蓄積期間TU1が始まる。すなわち図13のタイミングチャートに示される測距光S3の発光と蓄積期間TU1が設けられるタイミングは、図7のタイミングチャートに示されるものと同じである。図13の反射光S4の斜線部は距離情報に対応する信号電荷で、図7のパルスS12に対応しておりその幅はTD である。したがって被写体までの距離rは式(10)から求めることができる。またこのときの反射率情報も、図9で示されたタイミングにより得ることができる。すなわち図13において、反射光S34は蓄積期間TU1の間に全て受光される。
【0061】
図14、図15では、測距光S’3、S”3が立ち下がってからそれぞれΔt1 、Δt2 の時間が経過した後、フォトダイオード51における信号電荷の蓄積が行われる。すなわち、測距光の立ち下がりと略同時に信号電荷の蓄積が開始する図13の場合に比べ図14、図15での信号電荷の蓄積は時間Δt1 、Δt2 だけ遅れて開始する。この遅延された時間(遅延時間)をΔtで表すと、被写体までの距離rとTD およびΔtとの間には
TD +Δt=2r/C ・・・(11)
の関係がある。時間TD 、Δtの間に光りが進む距離をそれぞれ2rD 、2rt とするとこれらは
rD =C・TD /2
rt =C・Δt/2 ・・・(12)
となり、被写体までの距離rはこれらの和
r=rD +rt
として求められる。距離rD は式(10)によって求められるので被写体までの距離rは
で算出される。なお式(10)は、式(13)のΔt=0の場合に相当するので図13のタイミングチャートでは、遅延時間Δt=0である。
【0062】
反射率情報の検出においても距離情報の検出と同様に、図14、図15での蓄積は、図13の蓄積よりもΔt遅れて開始する。すなわち図13〜図15のように被写体までの距離が異なる場合においても、反射光は常に蓄積期間の略同一の区間において受光され、被写体までの距離が大きいために反射光の一部または全部が蓄積期間外で受光されることはないので、被写体の遠近によらず、反射率情報を正確に検出することができる。
【0063】
このように距離情報および反射率情報の検出において、信号電荷の蓄積を被写体の距離に応じてΔt時間遅延させ、蓄積期間内に受光される反射光から距離rD を検出すれば、S/N比を悪化させることなく広い測距レンジを得ることができる。なお遅延期間Δtはステップ103のプリ測距において求められる。
【0064】
次に図16〜図20を参照して、プリ測距における遅延時間Δtを求める方法について説明する。
【0065】
図16は、第1の実施形態におけるプリ測距の様子を模式的に表したものである。第1の実施形態のプリ測距では、発光装置14から一定時間レーザ光を照射し、被写体Sからの反射光をストロボ用調光センサ23で受光し、その受光量により被写体までの距離を概算して遅延時間Δtを算出する。
【0066】
図17は、ステップ103で行われるプリ測距に係る回路の構成を示すブロック図である。システムコントロール回路35、ストロボ回路24、A/Dコンバータ39、ストロボ用調光センサ(PD)23を除く回路構成は、図2に示された調光回路29に対応する。
【0067】
ストロボ用調光センサ23には、5Vの逆バイアス電圧が印加されており、光を受光すると照度に比例した逆電流iが矢印方向に流れる。このときコンデンサCには電荷が蓄積され電位Vが生じる。電位VはA/Dコンバータ39でデジタル信号に変換され、システムコントロール回路35へ出力される。電圧比較回路45は、電位Vと基準電圧(電位)とを比較し、その差に基づいてストロボ回路24にクエンチ信号を出力し、ストロボ13を発光する際に光量の制御を行なう。
【0068】
コンデンサCに蓄積される電荷は、逆電流iの大きさと、その流れた時間に相関する。発光装置14が発光する時間は一定なので、この反射光により逆電流iが流れる時間は一定であり、コンデンサCに蓄積される電荷量は、ストロボ用調光センサ23で受光される反射光の照度のみに依存する。ストロボ用調光センサ23で受光される反射光の照度は、光が反射した物体の距離に相関しており、距離が離れているほどその照度は小さくなる。したがってコンデンサCで生じる電位Vは、被写体までの距離に相関している。なおコンデンサCに蓄積された電荷は、スイッチSWをショートすることにより放電される。
【0069】
図18、はステップ103で実行されるプリ測距のフローチャートである。
ステップ201では、まずスイッチSWがショートされコンデンサCに蓄積されている電荷が放電される。その後、発光素子(LD)14aが一定の時間発光され、発光装置14からレーザ光が被写体に向けて照射される。被写体からの反射光はストロボ用調光センサ23で受光され、ステップ202においてその光量がコンデンサCで生じた信号電圧Vとして検出される。ステップ203では、ステップ202で検出された電圧信号をA/Dコンバータ39でデジタル信号に変換し、システムコントロール回路35へ出力する。
【0070】
ステップ204では、システムコントロール回路において信号電圧Vのレベルを基に被写体までの距離rt が概算される。ステップ205では概算された距離rt をもとに式(12)から遅延時間Δtの値が算出され、このサブルーチンは終了する。これにより、ステップ105においてCCD28の検知制御を行なう電荷掃出信号と電荷転送信号は、発光装置14の発光終了から算出されたΔt時間だけ遅延されて出力される。
【0071】
次にステップ204で実行される演算により信号電圧Vから距離rt を算出する方法について説明する。図19は、被写体までの距離rとコンデンサCで生じた電位Vとの関係を概念的に示している。
【0072】
一般に被写体までの距離rが大きくなるほど、被写体で反射されストロボ用調光センサ23に戻ってくる光の量は減るので、コンデンサCで生じる電位Vは単調に減少し(r>rC )最終的には0となる。ただし発光装置14とストロボ用調光センサ23は一定の距離隔てて配置されているので、被写体が極めて近接(r≦rc )している場合には、反射した光の多くはストロボ用調光センサ23で受光されずこの関係は成り立たない。本発明ではr>rc の領域にある被写体について3次元計測を行なうので、この領域についてのみ考えればよい。このとき距離rに対して電位Vは単調減少するので検出された電位Vから距離rが一意的に算出できる。
【0073】
例えば距離rと電位Vとの関係が図19のように直線Lで表されるとすると、その関係式は
V=−(V0 /r0 )・r+V0 ・・・(14)
である。ここでr0 、V0 はそれぞれ直線Lの横軸(距離r)と縦軸(電位V)での切片の値である。したがってコンデンサCで生じた電位がVt のとき、被写体までの距離rt は
rt =V0 /(V0 −Vt ) ・・・(15)
で求められる。したがって(12)式と(15)式からΔtは
により算出される。図20は、(14)式をグラフで表したものであり、被写体までの距離rt と遅延時間Δtとの関係が表わされている。
【0074】
なお(15)式で表される電位Vt と距離rt との関係や(16)式で表される距離rt (または電位Vt )と遅延時間Δtとの関係は予め求められ、カメラのメモリに変換テーブルとして記録されている。例えばデジタル化された電位Vt の値毎にメモリが対応づけられており、対応づけられたメモリには、対応する遅延時間Δtの値が記録されている。したがってステップ204やステップ205で行われる演算や変換は、この変換テーブルに基づいて行われる。このときシステムコントロール回路35は、測距光の照射とCCD28での信号電荷の蓄積が変換テーブルにより得られた遅延時間Δtの間隔をおいて行われるように、発光素子制御回路44およびCCD駆動回路30の駆動を制御する。
【0075】
以上により、本発実施形態によれば、発光装置14とストロボ用調光センサを用いて被写体のプリ測距を行ない、求められた被写体までの概ねの距離から3次元計測で用いる測距光の発光パルスと蓄積期間のタイミングを被写体の距離に応じて測距に最適なタイミングに調整できる。また本実施形態ではプリ測距のために新に計測装置を設けず、3次元計測のための発光装置14とストロボ用調光センサを用いてプリ測距を行なっているので、簡単かつ安価にプリ測距を実現できる。
【0076】
次に本発明の第2の実施形態について説明する。
図21は第2の実施形態におけるプリ測距の様子を模式的に表したものである。第1の実施形態のプリ測距では、発光装置14から一定の時間レーザ光が照射されたが、第2の実施形態ではストロボ13から一定の時間ストロボ光が照射され、被写体Sからの反射光をストロボ用調光センサ23で受光し、その受光量により被写体までの距離を概算して遅延時間Δtを算出する。プリ測距用の光源としてストロボ13を用いること以外は、第1の実施形態と同様である。
【0077】
第2の実施形態においていも、プリ測距用に新たな装置を設けていないので第1の実施形態と同様の効果が得られる。
【0078】
次に、図22から図25を参照して、本発明の第3の実施形態について説明する。図22は、第3の実施形態のカメラ型の3次元画像検出装置の斜視図である。第3の実施形態の構成も、第1の実施形態と略同様であるが、第3の実施形態では、プリ測距用の赤外線発光装置60および受光装置61を備えており、プリ測距はこれらの装置を用いて行われる。
【0079】
図23は、図22に示すカメラの回路構成を示すブロック図である。
図23も、第1の実施形態におけるカメラの回路構成を示す図2と略同様であり、赤外線発光装置60及び受光装置61に関わる部分のみが異なる。すなわち、赤外線発光装置60は、赤外LED62aからなり、測距回路63によりその発光は制御される。また、受光装置61は、PSD(position senitive diode )61aと集光レンズ61bからなり、PSD61aで検出された信号は測距回路63において処理される。測距装置63は、システムコントロール回路35によって制御され、測距回路63により検出されたプリ測距情報は、システムコントロール回路35へ出力される。なお、本図では、ストロボ13に関わる回路構成は省略されている。
【0080】
図24は、第3の実施形態におけるプリ測距の様子を模式的に表わしたものである。第3の実施形態のプリ測距では、赤外線発光装置60から赤外光が照射され、被写体Sで反射された反射光を受光装置61のPSD61aで検出することにより被写体Sまでの距離が,三角測量法により求められる。
【0081】
図25は、第3の実施形態のカメラにおいて実行されるプリ測距のフローチャートである。第3の実施形態においても、3次元計測全体のフローチャートは図11、図12に示されたものと同様であり、異なるのは、図11のステップ103の内容のみである。すなわち、図25のフローチャートは、図11のステップ103(プリ測距)のサブルーチンを第3の実施形態について表わしたものである。
【0082】
ステップ301では、赤外光が赤外LED60aから照射される。被写体で反射された赤外光は、ステップ302においてPSD61aで受光検出される。ステップ303では、反射赤外光のPSD61aでの受光位置から被写体までの距離が概算される。ステップ304では、ステップ303での距離演算により、距離が確定したか否かが判定される。すなわち、反射された赤外光が受光されず、被写体までの距離が算出できない場合などを確認する。被写体までの距離が確定されていないと判定されると、処理はステップ301に戻り、再度プリ測距のために赤外線の発光及び受光が行われる。一方、距離が確定されていると判定されたときには、図18のステップ205と同様にステップ305において、演算された距離から遅延量が求められこのサブルーチンは終了する。なお、このとき距離と遅延量との関係は第1の実施形態と同様、例えば予め用意された変換テーブルなどにより行われる。
【0083】
なお、第3の実施形態のPSDを用いたプリ測距は、一点測距装置であったが、専用のプリ測距装置としては多点測距装置であってもよい。
【0084】
以上により、本発実施形態によれば、被写体をプリ測距することにより被写体までの距離を予め概ね求められることから、3次元計測で用いる測距光の発光パルスと蓄積期間のタイミングを被写体の距離に応じて測距に最適なタイミングに調整でき、より精度の高い3次元計測を行うことができる。
【0085】
なお、本実施形態において、プリ測距は全てアクティブ方式で行われたが、パッシブ方式であってもよい。
【0086】
【発明の効果】
以上のように本発明によれば、3次元画像検出装置で被写体の距離を計測する際に、光源とシャッタの駆動タイミングを自動的に調整する3次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図である。
【図3】測距光による距離測定の原理を説明するための図である。
【図4】測距光、反射光、ゲートパルス、およびCCDが受光する光量分布を示す図である。
【図5】CCDに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図6】CCDを基板に垂直な平面で切断して示す断面図である。
【図7】3次元計測で距離情報を検出する際のタイミングチャートである。
【図8】3次元計測で距離補正情報を検出する際のタイミングチャートである。
【図9】3次元計測で反射率情報を検出する際のタイミングチャートである。
【図10】3次元計測で反射率補正情報を検出する際のタイミングチャートである。
【図11】3次元計測のフローチャートの前半部である。
【図12】3次元計測のフローチャートの後半部である。
【図13】被写体が近距離に存在する場合における測距光の照射、反射光の受光、蓄積期間のタイミングチャートである。
【図14】被写体が中距離に存在する場合における測距光の照射、反射光の受光、蓄積期間のタイミングチャートである。
【図15】被写体が遠距離に存在する場合における測距光の照射、反射光の受光、蓄積期間のタイミングチャートである。
【図16】第1の実施形態でのプリ測距を模式的に表した図である。
【図17】プリ測距に係る回路の構成を示すブロック図である。
【図18】プリ測距のフローチャートである。
【図19】被写体までの距離とコンデンサに生じる電位との関係を示す図である。
【図20】被写体までの距離と遅延時間との関係を示す図である。
【図21】第2の実施形態でのプリ測距を模式的に表した図である。
【図22】本発明の第3の実施形態であるカメラ型の3次元画像検出装置の斜視図である。
【図23】図22に示すカメラの回路構成を示すブロック図である。
【図24】第3の実施形態でのプリ測距を模式的に表した図である。
【図25】第3の実施形態におけるプリ測距のフローチャートである。
【符号の説明】
13 ストロボ
14 発光装置
23 ストロボ用調光センサ
28 CCD
61a PSD
62a 赤外線LED
Claims (15)
- 第1の測距光を被写体に照射する第1の光源と、
前記第1の測距光の前記被写体からの第1の反射光を受光し、受光量に応じた第1の信号電荷を蓄積可能な撮像部と、
前記第1の信号電荷に基づいて前記被写体の3次元形状を検出する3次元計測手段と、
前記被写体までの距離に関する情報であるプリ測距情報を検出するプリ測距手段と、
前記第1の光源の発光と前記第1の信号電荷の蓄積とが行われるタイミングを前記プリ測距情報に基づいて調整するタイミング調整手段と
を備えることを特徴とする3次元画像検出装置。 - 第2の測距光を前記被写体に照射する第2の光源と、前記第2の測距光の前記被写体から第2の反射光を受光検出する受光部とを備え、前記プリ測距手段が前記受光部における前記第2の反射光の検出結果に基づいて前記プリ測距情報を得ることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記受光部が受光量に応じた第2の信号電荷を蓄積可能な調光部であり、前記プリ測距手段が前記第2の信号電荷に基づいて前記プリ測距情報を得ることを特徴とする請求項2に記載の3次元画像検出装置。
- 前記第2の光源として前記第1の光源が用いられることを特徴とする請求項3に記載の3次元画像検出装置。
- 前記プリ測距手段において、前記調光部がストロボ用調光センサと積分コンデンサとによって構成されることを特徴とする請求項3に記載の3次元画像検出装置。
- 前記ストロボ用調光センサがフォトダイオードであることを特徴とする請求項5に記載の3次元画像検出装置。
- 前記プリ測距手段において、前記第2の測距光の前記被写体からの反射光が逆バイアスを印加された前記フォトダイオードで受光されることにより、前記フォトダイオードに逆電流が流れ、前記積分コンデンサで前記第2の信号電荷が蓄積されることを特徴とする請求項6に記載の3次元画像検出装置。
- 前記第2の信号電荷により前記積分コンデンサに生じる電位差から前記プリ測距情報を検出することを特徴とする請求項7に記載の3次元画像検出装置。
- 前記第2の光源としてストロボ発光装置が用いられることを特徴とする請求項3に記載の3次元画像検出装置。
- 前記プリ測距手段が、前記第2の反射光の前記受光部での受光位置を用いた三角測距により前記プリ測距情報を得ることを特徴とする請求項2に記載の3次元画像検出装置。
- 前記受光部がPSD(position sensitive diode )であることを特徴とする請求項10に記載の3次元画像検出装置。
- 前記第1の測距光が前記撮像部における電荷の蓄積が始まる前に照射され、前記第1の信号電荷が前記撮像部における電荷の蓄積が開始してから前記第1の反射光の前記撮像部における受光が終了するまでの間蓄積されるように前記タイミング調整手段が駆動されることにより、前記被写体の3次元形状に係る距離情報が検出されることを特徴とする請求項1に記載の3次元画像検出装置。
- 前記第1の反射光の全てが前記撮像部における電荷の蓄積が行われている間に受光されるように前記タイミング調整手段を駆動し、前記距離情報に含まれる前記被写体の反射率に依存する反射率情報を検出することを特徴とする請求項12に記載の3次元画像検出装置。
- 前記タイミング調整手段による前記タイミングの調整において、前記撮像部での電荷の蓄積のタイミングが前記第1の光源の発光のタイミングから相対的に一定の時間ずれて行われることを特徴とする請求項12に記載の3次元画像検出装置。
- 前記プリ測距情報と前記一定の時間との対応関係を予めメモリに記録し、前記メモリに記録された対応関係にしたがって前記タイミングの調整が行われることを特徴とする請求項14に記載の3次元画像検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000235651A JP3820087B2 (ja) | 1999-08-11 | 2000-08-03 | 3次元画像検出装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11-227732 | 1999-08-11 | ||
JP22773299 | 1999-08-11 | ||
JP2000235651A JP3820087B2 (ja) | 1999-08-11 | 2000-08-03 | 3次元画像検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001116516A JP2001116516A (ja) | 2001-04-27 |
JP3820087B2 true JP3820087B2 (ja) | 2006-09-13 |
Family
ID=26527839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000235651A Expired - Fee Related JP3820087B2 (ja) | 1999-08-11 | 2000-08-03 | 3次元画像検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3820087B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4530571B2 (ja) * | 2001-04-16 | 2010-08-25 | Hoya株式会社 | 3次元画像検出装置 |
US7061534B2 (en) | 2001-08-31 | 2006-06-13 | Pentax Corporation | Three-dimensional image capturing device |
JP4595135B2 (ja) * | 2004-10-07 | 2010-12-08 | 株式会社メガチップス | 距離測定システムおよび距離測定方法 |
JP4942467B2 (ja) * | 2006-12-11 | 2012-05-30 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
JP5222000B2 (ja) * | 2007-03-30 | 2013-06-26 | パナソニック株式会社 | 撮像素子 |
KR101332386B1 (ko) | 2007-10-05 | 2013-11-22 | 엘지전자 주식회사 | 입체 영상 데이터 획득 장치 및 방법 |
KR101367281B1 (ko) | 2007-11-13 | 2014-02-25 | 삼성전자주식회사 | 깊이 영상 생성 방법 및 장치 |
JP2011007511A (ja) * | 2009-06-23 | 2011-01-13 | Honda Motor Co Ltd | 三次元形状測定装置 |
CN105899966B (zh) * | 2014-01-14 | 2019-05-07 | 松下知识产权经营株式会社 | 距离图像生成装置以及距离图像生成方法 |
JP6320154B2 (ja) * | 2014-04-25 | 2018-05-09 | キヤノン株式会社 | 撮像装置及び撮像装置の駆動方法 |
WO2016075885A1 (ja) | 2014-11-11 | 2016-05-19 | パナソニックIpマネジメント株式会社 | 距離検出装置及び距離検出方法 |
JP6410861B2 (ja) | 2017-03-09 | 2018-10-24 | キヤノン株式会社 | 計測装置、処理装置および物品製造方法 |
CN109729723B (zh) * | 2017-08-28 | 2024-02-20 | 索尼半导体解决方案公司 | 测距装置和测距方法 |
JP6805448B2 (ja) * | 2019-04-23 | 2020-12-23 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像システム、移動体、制御方法、及びプログラム |
JP7463671B2 (ja) * | 2019-08-01 | 2024-04-09 | Toppanホールディングス株式会社 | 距離画像撮像装置、及び距離画像撮像方法 |
-
2000
- 2000-08-03 JP JP2000235651A patent/JP3820087B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001116516A (ja) | 2001-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4530571B2 (ja) | 3次元画像検出装置 | |
EP3625589B1 (en) | System and method for determining a distance to an object | |
JP3820087B2 (ja) | 3次元画像検出装置 | |
US7834985B2 (en) | Surface profile measurement | |
US7119842B2 (en) | Image capturing device including a spectrally-selectively transmissive diaphragm | |
JP2020517924A (ja) | ピクセル構造 | |
JP3574607B2 (ja) | 3次元画像入力装置 | |
EP3550329A1 (en) | System and method for determining a distance to an object | |
KR20190057124A (ko) | 물체까지의 거리를 결정하기 위한 시스템 | |
JP4010779B2 (ja) | 画像検出装置と絞り装置 | |
JP2004007625A (ja) | 自動速度最適化機能を有するtdiイメージャ | |
JP4391643B2 (ja) | 3次元画像入力装置 | |
JP4105801B2 (ja) | 3次元画像入力装置 | |
US6437853B2 (en) | Three-dimensional image capturing device | |
US6721007B1 (en) | Three-dimensional image capturing device | |
US6812964B1 (en) | Three-dimensional image capturing device | |
JP4369575B2 (ja) | 3次元画像検出装置 | |
JP4369574B2 (ja) | 3次元画像検出装置 | |
JP4270658B2 (ja) | 3次元画像検出装置 | |
JP4250281B2 (ja) | 3次元画像検出装置 | |
US6778219B1 (en) | Three-dimensional image capturing device | |
JP4428831B2 (ja) | 3次元画像検出装置 | |
US6982761B1 (en) | Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements | |
JP4136195B2 (ja) | 3次元画像入力装置 | |
JP3954300B2 (ja) | 3次元画像検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060616 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |