JP3668466B2 - 実時間レンジファインダ - Google Patents
実時間レンジファインダ Download PDFInfo
- Publication number
- JP3668466B2 JP3668466B2 JP2002135010A JP2002135010A JP3668466B2 JP 3668466 B2 JP3668466 B2 JP 3668466B2 JP 2002135010 A JP2002135010 A JP 2002135010A JP 2002135010 A JP2002135010 A JP 2002135010A JP 3668466 B2 JP3668466 B2 JP 3668466B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image
- subject
- optical
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体の３次元位置（距離画像）を測定するレンジファインダに関する。
【０００２】
【従来の技術】
レンジファインダは、被写体の距離画像を測定する装置であり、種々の測定原理が開発されている。例えば、図１４に示すように被写体となる物体に対して縦に長い線状の光（スリット光）を照射し、これを横方向に掃引してその反射光をカメラで捉えて物体全体の３次元位置を計測する。
【０００３】
図１５に上記測定原理を採用したレンジファインダの構成例を示す。同図に示すレンジファインダは、光源１からの光をスリット２で縦に長い線状の光にし、これの投影方向を回転ミラー３により被写体４に対して水平方向に掃引する。被写体４からの反射光をレンズ５を通してホトセンサ６で受光し、各ホトセンサ６の受光タイミングをタイミング測定部７から距離計算部８へ入力して掃引開始時刻から各ホトセンサ６に光が到達するまでの経過時間を計測する。これにより、各ホトセンサ６に光が到達したときのスリット光の投影方向θを知ることが出来る。そして、投影方向θと、ホトセンサ６の位置から三角測量の原理で、被写体４の点Ｐの３次元位置を計測する。これを、各ホトセンサ６について計算することにより、被写体４の各点の３次元位置を計測することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のようなレンジファインダは、フォトセンサ部分において各フォトセンサに光が到達した時刻を測定するので、各フォトセンサに時間計測のための時間計測機能を持たせなければならなかった。また、一般的な距離画像の解像度を得るためには、フォトセンサの解像度を上げる必要がある。そのためにフォトセンサ列をＩＣ化し、各フォトセンサ周辺に時間計測回路を施すというかなり大きな集積化を必要とする。このため、システムを実現するためには専用ＩＣを製作しなければならず、実現が困難であった。
【０００５】
本発明は、以上のような実情に鑑みてなされたもので、既存の技術を用いて、各フォトセンサに時間計測機能を持たせたような特別なセンサを用いることなく、容易に実時間で距離計測の出来る実時間レンジファインダを提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
本発明は上記目的を達成するため、被写体に投射するスリット光を空間的に掃引する光源部と、前記スリット光に掃引された被写体から光が入射し前記スリット光の波長特性に合せた波長成分を抽出する光学フィルタと、前記光学フィルタに対応して配置された撮像素子と、スリット光による第１の掃引と第２の掃引において光源の光強度の変化パターンを異ならせる光源部制御手段と、第１の掃引に対する撮像素子の出力と第２の掃引に対する撮像素子の出力から画像の各位置におけるスリット光の出射角度を計算し、これによって画像の各位置における被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダである。
【０００７】
【発明の実施の形態】
本発明の第１の態様にかかる発明は、位置によって光透過率の異なる光パタンを生成する第１の光変調器と、前記第１の光変調器とは異なった光パタンを生成する第２の光変調器と、前記第１、第２の光変調器それぞれに対して波長特性の異なる光を入射する第１、第２の光源と、前記第１、第２の光変調器から出力された光パタンの投射された被写体からの光がそれぞれ入射し前記第１、第２の光源の波長特性に合わせた波長成分をそれぞれ抽出する複数の光学フィルタと、前記複数の光学フィルタに対応して配置された複数の撮像素子と、各々の撮像素子から得られた画像データの各画素の値と前記撮像素子と前記光源との幾何学的配置から、被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、被写体に照射する光を複数のパタン光にすることにより、各フォトセンサに時間計測機能を持たせるようなセンサを用意することなく、容易に実時間で距離計測出来る作用を奏する。
【０００８】
本発明の第２の態様にかかる発明は、位置によって光透過率の異なる光パタンを生成する第１の光変調器と、前記光変調器とは異なった光パタンを生成する第２の光変調器と、前記第１、第２の光変調器それぞれに対して波長特性の異なる光を入射する第１、第２の光源と、前記第１、第２の光変調器の光パタンを被写体に投光するパタン光動作と前記波長特性の異なる複数の光を一様な光強度分布で前記被写体に投光する拡散光動作とを交互に時分割で行う光源制御手段と、前記パタン光動作及び拡散光動作にて光の投射された被写体からの光がそれぞれ入射し前記第１、第２の光源の波長特性に合わせた波長成分をそれぞれ抽出する複数の光学フィルタと、前記複数の光学フィルタに対応して配置された複数の撮像素子と、前記拡散光動作時に各々の撮像素子から得られた画像データの各画素の値から被写体の表面反射率補正係数を計算し、前記パタン光動作時に各々の撮像素子から得られた画像データの各画素の値と前記撮像素子と前記光源との幾何学的配置と前記反射率補正係数とから、被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、被写体表面の反射率特性が波長に依存する場合であっても距離計測を行うことができるといった作用を奏する。
【０００９】
本発明の第３の態様にかかる発明は、位置によって光透過率の異なる光パタンを生成する第１の光変調器と、前記光変調器とは異なった光パタンを生成する第２の光変調器と、前記第１、第２の光変調器それぞれに対して波長特性の異なる光を入射する第１、第２の光源と、前記第１、第２の光変調器から出力された光パタンの投射された被写体からの光を受光する撮像素子と、前記第１、第２の光源の波長特性に合せた波長特性をそれぞれ有し前記撮像素子上に空間多重するように配置された複数の光学フィルタと、前記撮像素子にて取得された各々の複数種類の波長の光領域での画像データの各画素の値と前記撮像素子と前記光源との幾何学的配置から被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、一つの撮像素子を設けるだけで被写体の距離画像を得られるといった作用を奏する。
【００１０】
本発明の第４の態様にかかる発明は、位置によって光透過率の異なる光パタンを生成する第１の光変調器と、前記光変調器とは異なった光パタンを生成する第２の光変調器と、前記第１、第２の光変調器それぞれに対して波長特性の異なる光を入射する第１、第２の光源と、前記第１、第２の光変調器からの光パタンを被写体に投光するパタン光動作と前記波長特性の異なる複数の光を一様な光強度分布で前記被写体に投光する拡散光動作とを交互に時分割で行う光源制御手段と、前記パタン光動作及び拡散光動作にて光の投射された被写体からの光を受光する撮像素子と、前記第１、第２の光源の波長特性に合せた波長特性をそれぞれ有し前記撮像素子上に空間多重するように配置された複数の光学フィルタと、前記拡散光動作時に前記撮像素子から得られた画像データの各画素の値から被写体の表面反射率補正係数を計算し、前記パタン光動作時に前記撮像素子から得られた画像データの各画素の値と前記撮像素子と前記光源との幾何学的配置と前記表面反射率補正係数とから、被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、被写体表面の反射率特性が波長に依存する場合であっても一つの撮像素子で距離計測を行うことができるといった作用を奏する。
【００１１】
本発明の第５の態様にかかる発明は、被写体に投射するスリット光を空間的に掃引する光源部と、前記スリット光に掃引された被写体から光が入射し前記スリット光の波長特性に合せた波長成分を抽出する光学フィルタと、前記光学フィルタに対応して配置された撮像素子と、スリット光による第１の掃引と第２の掃引において光源の光強度の変化パターンを異ならせる光源部制御手段と、第１の掃引に対する撮像素子の出力と第２の掃引に対する撮像素子の出力から画像の各位置におけるスリット光の出射角度を計算し、これによって画像の各位置における被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、複数フォトセンサの受光タイミングの測定を行うこと無く、距離計測を行うことができるといった作用を奏する。
【００１２】
本発明の第６の態様は、第５の態様にかかる発明において、実時間レンジファインダにおいて、光源部は、位置によって異なった光透過率を有する光変調器を用いて、被写体にある特定の光パタンを一度に投光することにより、スリット光の掃引動作に代えるようにしたものであり、一回の投光動作で距離計測を行うことができるといった作用を奏する。
【００１３】
以下に、本発明の実施の形態について図面に基づいて具体的に説明する。
【００１４】
（第１の実施の形態）
図１は本発明の第１の実施の形態となる実時間レンジファインダの構成図を示すものである。第１の実施の形態の実時間レンジファインダは、光パタン生成部（Ａ）１１及び光パタン生成部（Ｂ）１２で光強度分布及び波長特性の異なる光パタンを生成しハーフミラー１３で合成して被写体ＯＢへ照射する。また、被写体ＯＢからの反射光をレンズ１４で集光し光パタン生成部（Ａ）１１及び光パタン生成部（Ｂ）１２の光出力に対応した各反射光を分離して受光するように構成している。具体的には、レンズ１４に入射した被写体ＯＢからの反射光をハーフミラー（Ａ）１５へ導光し、さらにハーフミラー（Ａ）１５での反射成分を別のハーフミラー（Ｂ）１６へ導光している。ハーフミラー（Ａ）１５の透過側の光軸上に光学フィルタ（Ａ）１７、撮像素子（Ａ）１８を配置し、またハーフミラー（Ｂ）１６の反射側の光軸上に光学フィルタ（Ｂ）１９、撮像素子（Ｂ）２０を配置している。
【００１５】
なお、ハーフミラー（Ｂ）１６の透過側の光軸上に撮像素子（Ｃ）２１を配置して可視光領域の光を受光して被写体ＯＢの映像信号を出力できるようにしている。
【００１６】
撮像素子（Ａ）１８の映像出力端子に光パタンＡ信号処理回路２２を接続し、撮像素子（Ｂ）２０の映像出力端子に光パタンＢ信号処理回路２３を接続している。これら光パタンＡ信号処理回路２２及び光パタンＢ信号処理回路２３の出力信号を距離計算部２４へ入力することにより距離画像を計測する。
【００１７】
また、撮像素子（Ｃ）２１の映像出力端子にカラーカメラ信号処理回路２５を接続してテクスチャ画像を得るようにしている。
【００１８】
撮像素子（Ａ）１８、（Ｂ）２０、光パタンＡ信号処理回路２２、光パタンＢ信号処理回路２３、距離計算部２４の動作タイミングは、制御部２６により制御されている。制御部２６は、さらに光源コントローラ２７に指示して光パタン生成部（Ａ）１１、（Ｂ）１２の動作を制御する。
【００１９】
図２に光パタン生成部（Ａ）１１の構成を示す。光源３０の前面に光学フィルタ３１を配置し、光源３０からみて光学フィルタ３１の後側に光変調器３２及び出射レンズ３３を配置している。光学フィルタ３１は波長λA近傍の成分のみを透過させる透過率特性を持つ。光変調器３２は、例えば液晶フィルタで構成されており、図３（ａ）に示すように光透過率が水平方向の左側から右側に向けて連続的に高くなる透過率特性に設定されている。なお、もう一つの光パタン生成部（Ｂ）１２は光パタン生成部（Ａ）１１と同様に構成されているが、光学フィルタの透過波長帯域が異なっている。光パタン生成部（Ｂ）１２に設けられた光学フィルタは波長λAとは異なる波長λBに透過率のピークが来るような透過率特性を有している。また光パタン生成部（Ｂ）１２の光変調器は光透過率分布が光変調器３２の分布状態を反転したものとなっている。
【００２０】
以上のように構成された本実施の形態の実時間レンジファインダの動作について説明する。
【００２１】
まず、光パタン生成部（Ａ）（Ｂ）の動作を説明する。光パタン生成部（Ａ）１１では、光源３０から出力された光は光学フィルタ３１を通過し、図４（ａ）に示すような波長λA近辺の光のみが取り出される。そして、図４（ａ）に示す波長λA側の波長特性を持ち、かつ、図３（ｂ）に実線で示すような光強度分布の光パタンが光変調器３２から出射し、水平方向に強度の異なる光が出射レンズ３３によってハーフミラー１３に入射する。一方、光パタン生成部（Ｂ）１２においても同様に、図４（ａ）に示す波長λB側の波長特性を持ち、かつ、図３（ｂ）に破線で示すような光強度分布の光パタンが光学フィルタ及び光変調器で生成され、出射レンズを通してハーフミラー１３に入射する。
【００２２】
これら２つの光パタン生成部（Ａ）（Ｂ）から出射される光をハーフミラー１３で合成し、合成した光は片方はハーフミラー１３で横方向に反転するため、図３（ｂ）に示されるように実線と破線の特性でそれぞれ各波長λA、λBのものが被写体ＯＢに投影される。
【００２３】
出射された光は被写体ＯＢに当たり、その反射光がレンズ１４、ハーフミラー（Ａ）１５、ハーフミラー（Ｂ）１６により撮像素子（Ａ）１８、（Ｂ）２０、（Ｃ）２１に入射する。撮像素子（Ａ）１８の前面に配置した光学フィルタ（Ａ）１７は、図４（ｂ）に示すように波長λAを含んだ所定領域の成分は透過するが波長λBを含んだ所定領域の成分はカットするような特性に設定している。また、撮像素子（Ｂ）２０の前面に配置した光学フィルタ（Ｂ）１９は、図４（ｂ）に示すように波長λBを含んだ所定領域の成分は透過するが波長λAを含んだ領域の成分はカットするような特性に設定している。したがって、光パタン生成部（Ａ）１１、光パタン生成部（Ｂ）１２の光を撮像素子（Ａ）１８、（Ｂ）２０とで分離して受光できる。
【００２４】
ここで、撮像素子（Ａ）１８、撮像素子（Ｂ）２０の出力の各画素での光強度の比ｆは、光パタンの水平角度位置θに対して図５のように変化する。この光強度の比を撮像素子（Ａ）１８、（Ｂ）２０で計測し、光の出射角度θ0を測定する。図５では、光強度比がＩA／ＩBの出射光の水平角度θ0が測定できることを示している。ＩA／ＩBの関数をｆとおくと、θ0＝ｆ-1（ＩA／ＩB）となる）。
【００２５】
次に、距離計算部２４は、光パタンＡ信号処理部２２、光パタンＢ信号処理部２３の出力から、各画素の信号強度を元に、各画素位置の光強度比をもとめ、それから図５の特性より、光の出射した角度を計算する。この角度と、撮像素子（Ａ）（Ｂ）と光パタン生成部（Ａ）（Ｂ）の幾何学的位置関係より、光パタン生成部（Ａ）（Ｂ）から出射される光の方向を計算し、三角測量の原理により、各画素の位置に写っている被写体ＯＢの部分の３次元位置を計算する。これによって、被写体ＯＢの距離画像が得られる。同時に、撮像素子（Ｃ）２１、カラーカメラ信号処理部２５の出力によって、得られた距離画像に対応する被写体ＯＢのテクスチャ画像が得られる。
【００２６】
ここまでは、被写体表面の反射率特性が光の波長に依存しない場合即ち被写体が一様な色である場合、または図４の２つの波長λA、λBが十分近い値であり被写体の反射率特性が２つの波長でほぼ同じと考えられる場合の実時間レンジファインダの動作である。
【００２７】
しかし、一般的には被写体の表面反射率は場所によって光波長特性が変化する。そこで、図６に示すように、第１の実施の形態で説明した光パタン生成部（Ａ）（Ｂ）の光がパタン光である場合の動作（パタン光動作）と、拡散光動作を交互に行うことにより、被写体の表面反射率が光波長に依存する場合でも距離計測を行うことが出来る。基本的に、パタン光計測の動作時は、これまで説明してきた動作と同じである。
【００２８】
ただし、前述の説明で、角度θ0を求める時に異なった計算を行う。即ち、拡散光動作の場合は光パタン生成部（Ａ）（Ｂ）の光変調器３２が被写体ＯＢに一様な光を投射するように設定され（一様な透過率になるように設定され）、この時の光パタン生成部（Ａ）（Ｂ）それぞれの出射光の被写体反射光を撮像し、光パタンＡ信号処理部２２、光パタンＢ信号処理部２３の出力の比を各フォトセンサ（撮像素子上の各画素センサ）毎について計算しておき、被写体の各光源の光照射時の表面反射率の比を用意し、これを補正係数とする。次に、角度θ0を計算する場合に、光強度比ＩA／ＩBに、補正係数をかけ、その値をもとにｆ-1（ＩA／ＩB×補正係数）を各フォトセンサ出力毎に計算し、正しい光受光角度を計測する。これにより、被写体の表面反射率の光波長依存性による誤差を補正し、これと撮像素子と光パタン生成部の幾何学位置関係をもとに、三角測量の原理によって被写体の３次元位置を計算する。
【００２９】
なお、第１の実施の形態において、撮像素子（Ａ）１８、（Ｂ）２０の前面に配置する光学フィルタは、図３（ｂ）に示すように光波長の高低によって２つの光を分離しても良い。一般的に、光パタン生成部（Ａ）１１、（Ｂ）１２から出射される光は赤外に設定され、これにより距離計測を行い、撮像素子（Ｃ）２１は可視領域の光を受光しカラーカメラ信号処理部２５により被写体のテクスチャを撮像する。但し、撮像素子（Ａ）１８、（Ｂ）２０は光学フィルタ特性を可視領域に設定し、撮像素子（Ｃ）２１と同時に撮像せず、光パタン生成部（Ａ）１１、（Ｂ）１２の動作を時分割にして、これにタイミングを合わせて撮像素子（Ａ）１８、（Ｂ）２０、（Ｃ）２１が動作すれば光源を赤外領域に設定する必要はない。また、光パタンを作成する光変調器は映像プロジェクタなどパターン画像を投影するもので代用することができる。
【００３０】
また、第１の実施の形態において、パタン光は赤外領域の光を利用すれば、撮像素子（Ｃ）２１、カラーカメラ信号処理回路２３によりテクスチャ画像を距離画像計測と同時に撮像することが出来るが、パタン光を可視領域に設定し、スリット光投光時以外のタイミングで時分割処理によりテクスチャ画像を撮像してもよい。
【００３１】
また、第１の実施の形態において、光源３０をランプ状のものとして説明したが、ＬＥＤ等、波長選択特性をもつ光源を用いてもよい。この場合、２つのＬＥＤ光の波長を異なる値にしておき、これに合わせた光学フィルタを撮像素子側に装着する。光源部での光学フィルタは省略することもできる。
【００３２】
また、２種の光の波長を非常に近いものに設定すれば、被写体の表面反射率が光波長によって急激に変化しない場合には、拡散光計測を行うことなく、精度の良い距離画像を計測することが出来る。
【００３３】
また、第１の実施の形態において、光源を２種類としたが、２種類以上の光源を用いて、それらそれぞれの光を独立に受光し、各フォトセンサにおいてそれぞれの光強度の組み合わせをもとに、光が出射された角度を計算してもよい。
【００３４】
以上のように、本実施の形態によれば、既存の技術を用いて、出射される光を複数のパタン光にすることにより、各フォトセンサに時間計測機能を持たせるようなセンサを用意することなく、容易に実時間で距離計測の出来るレンジファインダを実現することができる。
【００３５】
（第２の実施の形態）
図７は、本発明の第２の実施の形態となる実時間レンジファインダの構成図を示す。なお、図７において上述した第１の実施の形態と同一機能を有する部分には同一符号を付している。
【００３６】
本実施の形態の実時間レンジファインダは、光源（Ｃ）４１の前面に光学フィルタ（Ｃ）４２が配置され、光学フィルタ（Ｃ）４２の出射側にスリット４３が配置されている。スリット４３にて生成した縦方向のスリット光は回転ミラー４４を介して被写体ＯＢへ照射される。光源（Ｃ）４１は光源コントローラ４５から制御され、スリット４３はスリット制御部４６から制御される。また、回転ミラー４４は回転制御部４７から制御される。一方、被写体ＯＢからの反射光をレンズ４８で受光しハーフミラー（Ａ）１５に入射して分岐する。ハーフミラー（Ａ）１５の透過側の光軸上に光学フィルタ（Ｃ）４９、撮像素子（Ａ）５０を配置している。また、ハーフミラー（Ａ）１５の反射側の光軸上に撮像素子（Ｃ）２１が配置されている。
【００３７】
撮像素子（Ａ）５０の映像出力端子に画像処理部５１を接続しており、画像処理部に５１にメモリ５２を付設している。また、距離計算部２４、光源コントローラ４５、スリット制御部４６、回転制御部４７を制御部５３が制御している。
【００３８】
以上のように構成された本実施の形態の実時間レンジファインダについて、以下その動作を説明する。
【００３９】
まず、光源（Ｃ）４１から発した光は光学フィルタ（Ｃ）４２を通過し、ある赤外波長特性を持った光となり、スリット４３によって縦方向のスリット光となる。これを回転ミラー４４によって横方向に掃引して被写体ＯＢにスリット光を投射する。
【００４０】
回転ミラー４４によるスリット光の掃引は、図８（ａ）に示されるように、１フィールドで横方向に一回行われる。撮像素子による撮像がノンインタレースの場合には１フレームで横方向に一回行われる。
【００４１】
この時、図８（ｂ）に示すように、光源コントローラ４５によって第１回の掃引においては光強度をだんだん強くし、第２回の掃引においては光強度をだんだん弱くするように光源（Ｃ）４１の光強度が制御される。
【００４２】
このようにして作成された光を被写体ＯＢに照射し、その反射光を撮像素子（Ａ）５０によってとらえる。この場合、露出はシャッター動作の無い露出とし、各フィールド（フレーム）において走査された光の反射光を撮像素子に蓄積して撮像した画像を画像処理部５１に転送する。
【００４３】
画像処理部５１は、図８（ｂ）に示すフィールド（１）の部分で撮像された画像をメモリ５２に蓄積し、これとフィールド（２）の部分で撮像された画像とを同時化し、各画像の同じ座標での輝度値を参照する。１回目の掃引による画像の輝度値と２回目の掃引による画像の輝度値の組み合わせによって、特定の角度θが決定される（図８（ｃ））。すなわち、２フィールド（フレーム）で１つの距離画像を得ることができる。例えば、時刻ｔ１での座標とｔ２での画像のｘ座標が等しいとすると、その輝度（画像信号の大きさ）を測定しＬ１、Ｌ２となった場合、Ｌ１／Ｌ２の値を計算して図８（ｃ）により、角度θを特定する。この時、Ｌ１／Ｌ２の比の値は、強度は異なるが同じ光源に対する被写体の反射光を捕らえているので被写体の表面にテクスチャ模様（色分布）が存在していてもこれに依存しない。これによって高精度な角度θの推定が行える。
【００４４】
後は、距離計算部２４が、それぞれの座標における角度θを求め、回転ミラー４４とレンズ４８の距離（基線長）から被写体ＯＢまでの距離を三角測量によって計算し、画面全体の距離情報を得、距離画像として出力する。
【００４５】
また、テクスチャ画像は撮像素子（Ｃ）２１によって撮像され、カラーカメラ信号処理部２５によって画像信号となり、テクスチャ画像として出力される。この時、１つの距離画像に対して２つのテクスチャ画像を得ることが出来るが、どちらか一方か両方か、それぞれの画素での平均値や中間値を計算して出力しても良い。
【００４６】
以上のように本実施の形態によれば、スリット光を２回掃引してその時の光強度の変化を異なるものにすることによって、得られた２回分の掃引（２フィールドまたは２フレーム）に対する２画像の各部分のスリット光投射角度を、被写体の表面反射率に依存しないで一意的に決定でき、これによって簡単に距離計算が２フィールド（フレーム）に一回可能になる。
【００４７】
また、第２の実施の形態において、光源（Ｃ）４１にランプ状のものを用いたが、赤外ＬＥＤや赤外レーザで構成すれば、光学フィルタ（Ｃ）４２を省略することもできる。
【００４８】
また、第２の実施の形態において、スリット光を横方向に掃引して光パタンを生成したが、図２に示されるような光パタン生成部を用いて、掃引動作を無くしてもよい。この場合は、第１、第２の掃引の代わりに、第１、第２の光パタンを時分割で照射し、そのタイミングに合わせて順次撮像素子（Ａ）１８で被写体の反射光を撮像することになる。
【００４９】
（第３の実施の形態）
図９は、本発明の第３の実施の形態となる実時間レンジファインダの構成図を示す。なお、上述した第２の実施の形態と同一部分には同一符号を付している。
【００５０】
第３の実施の形態は、被写体ＯＢの反射光が入射するレンズ４８から光が入射するハーフミラー（Ａ）１５の反射側の光軸上にハーフミラー（Ｂ）６０が配置されている。このハーフミラー（Ｂ）６０の反射側の光軸上に光学フィルタ（Ｂ）６１及び撮像素子（Ｂ）６２が配置されている。２つの撮像素子（Ａ）５０と撮像素子（Ｂ）６２の出力を画像信号処理部６３へ入力している。また、光源は光源（Ｃ）４１の１種類であり、これに合わせた波長通過特性を有する光学フィルタ（Ｃ）４２を用いている。
【００５１】
以上のように構成された本実施の形態の実時間レンジファインダについて、以下その動作を説明する。
【００５２】
まず、光源（Ｃ）４１の掃引は図１０（ａ）に示されるように、１フィールドで横方向に２回行われる。撮像素子による撮像がノンインタレースの場合には１フレームで横方向に２回行われる。この時、光源（Ｃ）４１の光強度は光源コントローラ４５によって第１回の掃引においては光強度をだんだん強くし、第２回の掃引においては光強度を徐々に弱くするように制御される（図１０（ｂ））。
【００５３】
このようにして作成された光を被写体ＯＢに照射し、その反射光を撮像素子（Ａ）５０、（Ｂ）６２によってとらえる。撮像素子への露出は、この場合、シャッター動作での露出とし、各掃引において走査された光の反射光をそれぞれの撮像素子（Ａ）５０、（Ｂ）６２に蓄積して、撮像した画像を画像信号処理部６３に転送する。すなわち、図１０（ｃ）に示すように、第１の掃引用撮像素子（Ａ）５０の露出時間はＴ１、第２の掃引用撮像素子（Ｂ）６２の露出時間はＴ２となる。この時、図１０（ｃ）に示す（１）領域の部分で撮像された画像と（２）領域の部分で撮像された画像とを画像信号処理部６３で処理し、各画像の同じ座標での輝度値を参照する。以降の動作は本発明の第２の実施の形態と同様である。
【００５４】
１回目の掃引による画像の輝度値と２回目の掃引による画像の輝度値の組み合わせによって、特定の角度θが決定される（図１０（ｄ））。つまり、１フィールド（フレーム）で２回の掃引分の画像を撮像素子のシャッター動作によって２種類獲得し、これらから１つの距離画像を得ることができる。例えば、時刻ｔ３での座標とｔ４での画像のｘ座標が等しいとすると、その輝度（画像信号の大きさ）を測定しＬ３、Ｌ４となった場合、Ｌ３／Ｌ４の値を計算して図１０（ｃ）により、角度θを特定する。この時、Ｌ３／Ｌ４の比の値は、強度は異なるが同じ光源に対する被写体の反射光を捕らえているので被写体の表面にテクスチャ模様が存在していてもこれに依存しない。
【００５５】
これによって、本実施の形態でも、高精度な角度θの推定が行える。後は距離計算部２４が、それぞれの座標における角度θを求め、回転ミラー４４とレンズ４８との距離（基線長）から被写体ＯＢまでの距離を三角測量によって計算し、画面全体の距離情報を得、距離画像として出力する。
【００５６】
また、テクスチャ画像は撮像素子（Ｃ）２２によって撮像され、カラーカメラ信号処理部２５によって画像信号となり、テクスチャ画像として出力される。
【００５７】
また、２回のスリット光掃引は、図１０では１フィールド（フレーム）期間で丁度２回終了するようにしたが、図１１（ａ）〜（ｃ）に示すように１フィールド（フレーム）期間の一部分を用いて高速に掃引を行っても良い。その他の動作は前述の第３の実施の形態と同じである。
【００５８】
以上のように本実施の形態によれば、スリット光を２回掃引してその時の光強度の変化を異なるものにすることによって、得られた２回分の掃引に対する２画像の各部分のスリット光投射角度を、被写体の表面反射率に依存しないで一意的に決定でき、これによって簡単に１フィールドに１回距離計算が可能になる。
【００５９】
また、本実施の形態において、光源をランプ状のものを用いたが、赤外ＬＥＤや赤外レーザで構成すれば、光学フィルタ（Ｃ）４２を省略することもできる。
【００６０】
また、本実施の形態において、スリット光を横方向に掃引して光パタンを生成したが、図２に示されるような光パタン生成部を用いて、掃引動作を無くしてもよい。この場合は、第１、第２の掃引の代わりに、第１、第２の光パタン光変調器で用意して時分割でパタン光を照射することになる。
【００６１】
尚、第１〜第３の実施の形態において、光パタンの変化を直線的に行ったが、どのような変化パタンを用いてもよい。また、光パタンの変化を各距離計測毎に変え、雑音に対して強い測定をおこなってもよい。この場合、連続する複数の距離計測結果を用いて平均処理・メディアン処理など、光学フィルタ手法を用いて高精度な距離計測結果を出力してもよい。
【００６２】
なお、第１〜第３の実施の形態において、複数の撮像素子をハーフミラーを用いて組み合わせて同一視野が撮像できるようにしたが、図１２（ａ）のようにレンズ７１，７２をそれぞれの撮像素子（Ａ）１８、（Ｂ）２０の前に設けてもよい。また、図１２（ｂ）のように、ハーフミラー７３をＸ型に配置し、これによって３つの撮像素子（Ａ）１８、（Ｂ）２０、（Ｃ）２２に入射光を分けてもよい。また、３板撮像素子カメラなどで応用されているダイクロイックミラーを用いた構造で３つの撮像素子カメラに光を分けても良い。つまり、同一視野の画像を光学的に得る方法であれば、どのような方法でも適用することが出来る。
【００６３】
また、第１の実施の形態において、複数の撮像素子を用いて２種類の波長の光を分けるのではなく、図１３（ａ）のように一つの撮像素子（Ｄ）７４にて２種類の波長の光を受け、その表面に図１３（ｂ）のように２種類の光学フィルタＡ、Ｂを交互にストライプ状に配置して２種類の波長に対する画像を１つの画像に多重して検出しても良い。この場合、ストライプは縦、横どちらでもよい。また、図１３（ｃ）に示すように、市松模様状に光学フィルタＡ、Ｂを配置しても良い。ただし、これらの場合、それぞれの波長の光に対する画像の解像度は低下する。
【００６４】
【発明の効果】
以上詳記したように本発明によれば、既存の技術を用いて、各フォトセンサに時間計測機能を持たせたような特別なセンサを用いることなく、容易に実時間で距離計測の出来るレンジファインダを実現できる。
【図面の簡単な説明】
【図１】本発明にかかる第１の実施の形態の実時間レンジファインダの構成図
【図２】第１の実施の形態に備えた光パタン生成部の構成図
【図３】（ａ）光パタン生成部に備えた光変調器の特性図
（ｂ）光パタン生成部から出社する光パタンの光強度分布図
【図４】（ａ）光パタン生成部に備えた光学フィルタの透過率特性図
（ｂ）受光部に備えた光学フィルタの透過率特性図
【図５】第１の実施の形態におけるパタン光出射角度と画素強度比の関係図
【図６】第１の実施の形態における時分割動作説明図
【図７】本発明の第２の実施の形態の実時間レンジファインダの構成図
【図８】（ａ）第２の実施の形態における光源部での掃引動作を示す図
（ｂ）第２の実施の形態における光源部での掃引と光強度との関係図
（ｃ）第２の実施の形態における光強度比と光投射角度の関係図
【図９】本発明にかかる第３の実施の形態の実時間レンジファインダの構成図
【図１０】（ａ）第３の実施の形態における光源部でのスリット光の掃引動作を示す図
（ｂ）第３の実施の形態における光源部での掃引と光強度との関係図
（ｃ）第３の実施の形態における露出時間と撮像画像との関係図
（ｄ）第３の実施の形態における光強度比と光投射角度の関係図
【図１１】（ａ）第３の実施の形態における高速走査の場合の光源部でのスリット光の掃引動作を示す図
（ｂ）第３の実施の形態における高速走査の場合の光源部での掃引と光強度との関係図
（ｃ）第３の実施の形態における高速走査の場合の露出タイミング図
【図１２】（ａ）本発明の各実施の形態における受光部側の変形例を示す図
（ｂ）本発明の各実施の形態における受光部側の他の変形例を示す図
【図１３】（ａ）本発明の各実施の形態における受光部側の変形例を示す図
（ｂ）本発明の各実施の形態の受光部における光学フィルタの配置例を示す図（ｃ）本発明の各実施の形態の受光部における光学フィルタの他の配置例を示
【図１４】従来のレンジファインダの概念図
【図１５】従来のレンジファインダの構成図
【符号の説明】
１１ 光パタン生成部（Ａ）
１２ 光パタン生成部（Ｂ）
１３ ハーフミラー
１４ レンズ
１５ ハーフミラー（Ａ）
１６ ハーフミラー（Ｂ）
１７ 光学フィルタ（Ａ）
１８ 撮像素子（Ａ）
１９ 光学フィルタ（Ｂ）
２０ 撮像素子（Ｂ）
２１ 撮像素子（Ｃ）
２２ 光パタンＡ信号処理回路
２３ 光パタンＢ信号処理回路
２４ 距離計算部
３０ 光源
３１ 光学フィルタ
３２ 光変調器
３３ 出射レンズ
【発明の属する技術分野】
本発明は、被写体の３次元位置（距離画像）を測定するレンジファインダに関する。
【０００２】
【従来の技術】
レンジファインダは、被写体の距離画像を測定する装置であり、種々の測定原理が開発されている。例えば、図１４に示すように被写体となる物体に対して縦に長い線状の光（スリット光）を照射し、これを横方向に掃引してその反射光をカメラで捉えて物体全体の３次元位置を計測する。
【０００３】
図１５に上記測定原理を採用したレンジファインダの構成例を示す。同図に示すレンジファインダは、光源１からの光をスリット２で縦に長い線状の光にし、これの投影方向を回転ミラー３により被写体４に対して水平方向に掃引する。被写体４からの反射光をレンズ５を通してホトセンサ６で受光し、各ホトセンサ６の受光タイミングをタイミング測定部７から距離計算部８へ入力して掃引開始時刻から各ホトセンサ６に光が到達するまでの経過時間を計測する。これにより、各ホトセンサ６に光が到達したときのスリット光の投影方向θを知ることが出来る。そして、投影方向θと、ホトセンサ６の位置から三角測量の原理で、被写体４の点Ｐの３次元位置を計測する。これを、各ホトセンサ６について計算することにより、被写体４の各点の３次元位置を計測することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のようなレンジファインダは、フォトセンサ部分において各フォトセンサに光が到達した時刻を測定するので、各フォトセンサに時間計測のための時間計測機能を持たせなければならなかった。また、一般的な距離画像の解像度を得るためには、フォトセンサの解像度を上げる必要がある。そのためにフォトセンサ列をＩＣ化し、各フォトセンサ周辺に時間計測回路を施すというかなり大きな集積化を必要とする。このため、システムを実現するためには専用ＩＣを製作しなければならず、実現が困難であった。
【０００５】
本発明は、以上のような実情に鑑みてなされたもので、既存の技術を用いて、各フォトセンサに時間計測機能を持たせたような特別なセンサを用いることなく、容易に実時間で距離計測の出来る実時間レンジファインダを提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
本発明は上記目的を達成するため、被写体に投射するスリット光を空間的に掃引する光源部と、前記スリット光に掃引された被写体から光が入射し前記スリット光の波長特性に合せた波長成分を抽出する光学フィルタと、前記光学フィルタに対応して配置された撮像素子と、スリット光による第１の掃引と第２の掃引において光源の光強度の変化パターンを異ならせる光源部制御手段と、第１の掃引に対する撮像素子の出力と第２の掃引に対する撮像素子の出力から画像の各位置におけるスリット光の出射角度を計算し、これによって画像の各位置における被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダである。
【０００７】
【発明の実施の形態】
本発明の第１の態様にかかる発明は、位置によって光透過率の異なる光パタンを生成する第１の光変調器と、前記第１の光変調器とは異なった光パタンを生成する第２の光変調器と、前記第１、第２の光変調器それぞれに対して波長特性の異なる光を入射する第１、第２の光源と、前記第１、第２の光変調器から出力された光パタンの投射された被写体からの光がそれぞれ入射し前記第１、第２の光源の波長特性に合わせた波長成分をそれぞれ抽出する複数の光学フィルタと、前記複数の光学フィルタに対応して配置された複数の撮像素子と、各々の撮像素子から得られた画像データの各画素の値と前記撮像素子と前記光源との幾何学的配置から、被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、被写体に照射する光を複数のパタン光にすることにより、各フォトセンサに時間計測機能を持たせるようなセンサを用意することなく、容易に実時間で距離計測出来る作用を奏する。
【０００８】
本発明の第２の態様にかかる発明は、位置によって光透過率の異なる光パタンを生成する第１の光変調器と、前記光変調器とは異なった光パタンを生成する第２の光変調器と、前記第１、第２の光変調器それぞれに対して波長特性の異なる光を入射する第１、第２の光源と、前記第１、第２の光変調器の光パタンを被写体に投光するパタン光動作と前記波長特性の異なる複数の光を一様な光強度分布で前記被写体に投光する拡散光動作とを交互に時分割で行う光源制御手段と、前記パタン光動作及び拡散光動作にて光の投射された被写体からの光がそれぞれ入射し前記第１、第２の光源の波長特性に合わせた波長成分をそれぞれ抽出する複数の光学フィルタと、前記複数の光学フィルタに対応して配置された複数の撮像素子と、前記拡散光動作時に各々の撮像素子から得られた画像データの各画素の値から被写体の表面反射率補正係数を計算し、前記パタン光動作時に各々の撮像素子から得られた画像データの各画素の値と前記撮像素子と前記光源との幾何学的配置と前記反射率補正係数とから、被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、被写体表面の反射率特性が波長に依存する場合であっても距離計測を行うことができるといった作用を奏する。
【０００９】
本発明の第３の態様にかかる発明は、位置によって光透過率の異なる光パタンを生成する第１の光変調器と、前記光変調器とは異なった光パタンを生成する第２の光変調器と、前記第１、第２の光変調器それぞれに対して波長特性の異なる光を入射する第１、第２の光源と、前記第１、第２の光変調器から出力された光パタンの投射された被写体からの光を受光する撮像素子と、前記第１、第２の光源の波長特性に合せた波長特性をそれぞれ有し前記撮像素子上に空間多重するように配置された複数の光学フィルタと、前記撮像素子にて取得された各々の複数種類の波長の光領域での画像データの各画素の値と前記撮像素子と前記光源との幾何学的配置から被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、一つの撮像素子を設けるだけで被写体の距離画像を得られるといった作用を奏する。
【００１０】
本発明の第４の態様にかかる発明は、位置によって光透過率の異なる光パタンを生成する第１の光変調器と、前記光変調器とは異なった光パタンを生成する第２の光変調器と、前記第１、第２の光変調器それぞれに対して波長特性の異なる光を入射する第１、第２の光源と、前記第１、第２の光変調器からの光パタンを被写体に投光するパタン光動作と前記波長特性の異なる複数の光を一様な光強度分布で前記被写体に投光する拡散光動作とを交互に時分割で行う光源制御手段と、前記パタン光動作及び拡散光動作にて光の投射された被写体からの光を受光する撮像素子と、前記第１、第２の光源の波長特性に合せた波長特性をそれぞれ有し前記撮像素子上に空間多重するように配置された複数の光学フィルタと、前記拡散光動作時に前記撮像素子から得られた画像データの各画素の値から被写体の表面反射率補正係数を計算し、前記パタン光動作時に前記撮像素子から得られた画像データの各画素の値と前記撮像素子と前記光源との幾何学的配置と前記表面反射率補正係数とから、被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、被写体表面の反射率特性が波長に依存する場合であっても一つの撮像素子で距離計測を行うことができるといった作用を奏する。
【００１１】
本発明の第５の態様にかかる発明は、被写体に投射するスリット光を空間的に掃引する光源部と、前記スリット光に掃引された被写体から光が入射し前記スリット光の波長特性に合せた波長成分を抽出する光学フィルタと、前記光学フィルタに対応して配置された撮像素子と、スリット光による第１の掃引と第２の掃引において光源の光強度の変化パターンを異ならせる光源部制御手段と、第１の掃引に対する撮像素子の出力と第２の掃引に対する撮像素子の出力から画像の各位置におけるスリット光の出射角度を計算し、これによって画像の各位置における被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダであり、複数フォトセンサの受光タイミングの測定を行うこと無く、距離計測を行うことができるといった作用を奏する。
【００１２】
本発明の第６の態様は、第５の態様にかかる発明において、実時間レンジファインダにおいて、光源部は、位置によって異なった光透過率を有する光変調器を用いて、被写体にある特定の光パタンを一度に投光することにより、スリット光の掃引動作に代えるようにしたものであり、一回の投光動作で距離計測を行うことができるといった作用を奏する。
【００１３】
以下に、本発明の実施の形態について図面に基づいて具体的に説明する。
【００１４】
（第１の実施の形態）
図１は本発明の第１の実施の形態となる実時間レンジファインダの構成図を示すものである。第１の実施の形態の実時間レンジファインダは、光パタン生成部（Ａ）１１及び光パタン生成部（Ｂ）１２で光強度分布及び波長特性の異なる光パタンを生成しハーフミラー１３で合成して被写体ＯＢへ照射する。また、被写体ＯＢからの反射光をレンズ１４で集光し光パタン生成部（Ａ）１１及び光パタン生成部（Ｂ）１２の光出力に対応した各反射光を分離して受光するように構成している。具体的には、レンズ１４に入射した被写体ＯＢからの反射光をハーフミラー（Ａ）１５へ導光し、さらにハーフミラー（Ａ）１５での反射成分を別のハーフミラー（Ｂ）１６へ導光している。ハーフミラー（Ａ）１５の透過側の光軸上に光学フィルタ（Ａ）１７、撮像素子（Ａ）１８を配置し、またハーフミラー（Ｂ）１６の反射側の光軸上に光学フィルタ（Ｂ）１９、撮像素子（Ｂ）２０を配置している。
【００１５】
なお、ハーフミラー（Ｂ）１６の透過側の光軸上に撮像素子（Ｃ）２１を配置して可視光領域の光を受光して被写体ＯＢの映像信号を出力できるようにしている。
【００１６】
撮像素子（Ａ）１８の映像出力端子に光パタンＡ信号処理回路２２を接続し、撮像素子（Ｂ）２０の映像出力端子に光パタンＢ信号処理回路２３を接続している。これら光パタンＡ信号処理回路２２及び光パタンＢ信号処理回路２３の出力信号を距離計算部２４へ入力することにより距離画像を計測する。
【００１７】
また、撮像素子（Ｃ）２１の映像出力端子にカラーカメラ信号処理回路２５を接続してテクスチャ画像を得るようにしている。
【００１８】
撮像素子（Ａ）１８、（Ｂ）２０、光パタンＡ信号処理回路２２、光パタンＢ信号処理回路２３、距離計算部２４の動作タイミングは、制御部２６により制御されている。制御部２６は、さらに光源コントローラ２７に指示して光パタン生成部（Ａ）１１、（Ｂ）１２の動作を制御する。
【００１９】
図２に光パタン生成部（Ａ）１１の構成を示す。光源３０の前面に光学フィルタ３１を配置し、光源３０からみて光学フィルタ３１の後側に光変調器３２及び出射レンズ３３を配置している。光学フィルタ３１は波長λA近傍の成分のみを透過させる透過率特性を持つ。光変調器３２は、例えば液晶フィルタで構成されており、図３（ａ）に示すように光透過率が水平方向の左側から右側に向けて連続的に高くなる透過率特性に設定されている。なお、もう一つの光パタン生成部（Ｂ）１２は光パタン生成部（Ａ）１１と同様に構成されているが、光学フィルタの透過波長帯域が異なっている。光パタン生成部（Ｂ）１２に設けられた光学フィルタは波長λAとは異なる波長λBに透過率のピークが来るような透過率特性を有している。また光パタン生成部（Ｂ）１２の光変調器は光透過率分布が光変調器３２の分布状態を反転したものとなっている。
【００２０】
以上のように構成された本実施の形態の実時間レンジファインダの動作について説明する。
【００２１】
まず、光パタン生成部（Ａ）（Ｂ）の動作を説明する。光パタン生成部（Ａ）１１では、光源３０から出力された光は光学フィルタ３１を通過し、図４（ａ）に示すような波長λA近辺の光のみが取り出される。そして、図４（ａ）に示す波長λA側の波長特性を持ち、かつ、図３（ｂ）に実線で示すような光強度分布の光パタンが光変調器３２から出射し、水平方向に強度の異なる光が出射レンズ３３によってハーフミラー１３に入射する。一方、光パタン生成部（Ｂ）１２においても同様に、図４（ａ）に示す波長λB側の波長特性を持ち、かつ、図３（ｂ）に破線で示すような光強度分布の光パタンが光学フィルタ及び光変調器で生成され、出射レンズを通してハーフミラー１３に入射する。
【００２２】
これら２つの光パタン生成部（Ａ）（Ｂ）から出射される光をハーフミラー１３で合成し、合成した光は片方はハーフミラー１３で横方向に反転するため、図３（ｂ）に示されるように実線と破線の特性でそれぞれ各波長λA、λBのものが被写体ＯＢに投影される。
【００２３】
出射された光は被写体ＯＢに当たり、その反射光がレンズ１４、ハーフミラー（Ａ）１５、ハーフミラー（Ｂ）１６により撮像素子（Ａ）１８、（Ｂ）２０、（Ｃ）２１に入射する。撮像素子（Ａ）１８の前面に配置した光学フィルタ（Ａ）１７は、図４（ｂ）に示すように波長λAを含んだ所定領域の成分は透過するが波長λBを含んだ所定領域の成分はカットするような特性に設定している。また、撮像素子（Ｂ）２０の前面に配置した光学フィルタ（Ｂ）１９は、図４（ｂ）に示すように波長λBを含んだ所定領域の成分は透過するが波長λAを含んだ領域の成分はカットするような特性に設定している。したがって、光パタン生成部（Ａ）１１、光パタン生成部（Ｂ）１２の光を撮像素子（Ａ）１８、（Ｂ）２０とで分離して受光できる。
【００２４】
ここで、撮像素子（Ａ）１８、撮像素子（Ｂ）２０の出力の各画素での光強度の比ｆは、光パタンの水平角度位置θに対して図５のように変化する。この光強度の比を撮像素子（Ａ）１８、（Ｂ）２０で計測し、光の出射角度θ0を測定する。図５では、光強度比がＩA／ＩBの出射光の水平角度θ0が測定できることを示している。ＩA／ＩBの関数をｆとおくと、θ0＝ｆ-1（ＩA／ＩB）となる）。
【００２５】
次に、距離計算部２４は、光パタンＡ信号処理部２２、光パタンＢ信号処理部２３の出力から、各画素の信号強度を元に、各画素位置の光強度比をもとめ、それから図５の特性より、光の出射した角度を計算する。この角度と、撮像素子（Ａ）（Ｂ）と光パタン生成部（Ａ）（Ｂ）の幾何学的位置関係より、光パタン生成部（Ａ）（Ｂ）から出射される光の方向を計算し、三角測量の原理により、各画素の位置に写っている被写体ＯＢの部分の３次元位置を計算する。これによって、被写体ＯＢの距離画像が得られる。同時に、撮像素子（Ｃ）２１、カラーカメラ信号処理部２５の出力によって、得られた距離画像に対応する被写体ＯＢのテクスチャ画像が得られる。
【００２６】
ここまでは、被写体表面の反射率特性が光の波長に依存しない場合即ち被写体が一様な色である場合、または図４の２つの波長λA、λBが十分近い値であり被写体の反射率特性が２つの波長でほぼ同じと考えられる場合の実時間レンジファインダの動作である。
【００２７】
しかし、一般的には被写体の表面反射率は場所によって光波長特性が変化する。そこで、図６に示すように、第１の実施の形態で説明した光パタン生成部（Ａ）（Ｂ）の光がパタン光である場合の動作（パタン光動作）と、拡散光動作を交互に行うことにより、被写体の表面反射率が光波長に依存する場合でも距離計測を行うことが出来る。基本的に、パタン光計測の動作時は、これまで説明してきた動作と同じである。
【００２８】
ただし、前述の説明で、角度θ0を求める時に異なった計算を行う。即ち、拡散光動作の場合は光パタン生成部（Ａ）（Ｂ）の光変調器３２が被写体ＯＢに一様な光を投射するように設定され（一様な透過率になるように設定され）、この時の光パタン生成部（Ａ）（Ｂ）それぞれの出射光の被写体反射光を撮像し、光パタンＡ信号処理部２２、光パタンＢ信号処理部２３の出力の比を各フォトセンサ（撮像素子上の各画素センサ）毎について計算しておき、被写体の各光源の光照射時の表面反射率の比を用意し、これを補正係数とする。次に、角度θ0を計算する場合に、光強度比ＩA／ＩBに、補正係数をかけ、その値をもとにｆ-1（ＩA／ＩB×補正係数）を各フォトセンサ出力毎に計算し、正しい光受光角度を計測する。これにより、被写体の表面反射率の光波長依存性による誤差を補正し、これと撮像素子と光パタン生成部の幾何学位置関係をもとに、三角測量の原理によって被写体の３次元位置を計算する。
【００２９】
なお、第１の実施の形態において、撮像素子（Ａ）１８、（Ｂ）２０の前面に配置する光学フィルタは、図３（ｂ）に示すように光波長の高低によって２つの光を分離しても良い。一般的に、光パタン生成部（Ａ）１１、（Ｂ）１２から出射される光は赤外に設定され、これにより距離計測を行い、撮像素子（Ｃ）２１は可視領域の光を受光しカラーカメラ信号処理部２５により被写体のテクスチャを撮像する。但し、撮像素子（Ａ）１８、（Ｂ）２０は光学フィルタ特性を可視領域に設定し、撮像素子（Ｃ）２１と同時に撮像せず、光パタン生成部（Ａ）１１、（Ｂ）１２の動作を時分割にして、これにタイミングを合わせて撮像素子（Ａ）１８、（Ｂ）２０、（Ｃ）２１が動作すれば光源を赤外領域に設定する必要はない。また、光パタンを作成する光変調器は映像プロジェクタなどパターン画像を投影するもので代用することができる。
【００３０】
また、第１の実施の形態において、パタン光は赤外領域の光を利用すれば、撮像素子（Ｃ）２１、カラーカメラ信号処理回路２３によりテクスチャ画像を距離画像計測と同時に撮像することが出来るが、パタン光を可視領域に設定し、スリット光投光時以外のタイミングで時分割処理によりテクスチャ画像を撮像してもよい。
【００３１】
また、第１の実施の形態において、光源３０をランプ状のものとして説明したが、ＬＥＤ等、波長選択特性をもつ光源を用いてもよい。この場合、２つのＬＥＤ光の波長を異なる値にしておき、これに合わせた光学フィルタを撮像素子側に装着する。光源部での光学フィルタは省略することもできる。
【００３２】
また、２種の光の波長を非常に近いものに設定すれば、被写体の表面反射率が光波長によって急激に変化しない場合には、拡散光計測を行うことなく、精度の良い距離画像を計測することが出来る。
【００３３】
また、第１の実施の形態において、光源を２種類としたが、２種類以上の光源を用いて、それらそれぞれの光を独立に受光し、各フォトセンサにおいてそれぞれの光強度の組み合わせをもとに、光が出射された角度を計算してもよい。
【００３４】
以上のように、本実施の形態によれば、既存の技術を用いて、出射される光を複数のパタン光にすることにより、各フォトセンサに時間計測機能を持たせるようなセンサを用意することなく、容易に実時間で距離計測の出来るレンジファインダを実現することができる。
【００３５】
（第２の実施の形態）
図７は、本発明の第２の実施の形態となる実時間レンジファインダの構成図を示す。なお、図７において上述した第１の実施の形態と同一機能を有する部分には同一符号を付している。
【００３６】
本実施の形態の実時間レンジファインダは、光源（Ｃ）４１の前面に光学フィルタ（Ｃ）４２が配置され、光学フィルタ（Ｃ）４２の出射側にスリット４３が配置されている。スリット４３にて生成した縦方向のスリット光は回転ミラー４４を介して被写体ＯＢへ照射される。光源（Ｃ）４１は光源コントローラ４５から制御され、スリット４３はスリット制御部４６から制御される。また、回転ミラー４４は回転制御部４７から制御される。一方、被写体ＯＢからの反射光をレンズ４８で受光しハーフミラー（Ａ）１５に入射して分岐する。ハーフミラー（Ａ）１５の透過側の光軸上に光学フィルタ（Ｃ）４９、撮像素子（Ａ）５０を配置している。また、ハーフミラー（Ａ）１５の反射側の光軸上に撮像素子（Ｃ）２１が配置されている。
【００３７】
撮像素子（Ａ）５０の映像出力端子に画像処理部５１を接続しており、画像処理部に５１にメモリ５２を付設している。また、距離計算部２４、光源コントローラ４５、スリット制御部４６、回転制御部４７を制御部５３が制御している。
【００３８】
以上のように構成された本実施の形態の実時間レンジファインダについて、以下その動作を説明する。
【００３９】
まず、光源（Ｃ）４１から発した光は光学フィルタ（Ｃ）４２を通過し、ある赤外波長特性を持った光となり、スリット４３によって縦方向のスリット光となる。これを回転ミラー４４によって横方向に掃引して被写体ＯＢにスリット光を投射する。
【００４０】
回転ミラー４４によるスリット光の掃引は、図８（ａ）に示されるように、１フィールドで横方向に一回行われる。撮像素子による撮像がノンインタレースの場合には１フレームで横方向に一回行われる。
【００４１】
この時、図８（ｂ）に示すように、光源コントローラ４５によって第１回の掃引においては光強度をだんだん強くし、第２回の掃引においては光強度をだんだん弱くするように光源（Ｃ）４１の光強度が制御される。
【００４２】
このようにして作成された光を被写体ＯＢに照射し、その反射光を撮像素子（Ａ）５０によってとらえる。この場合、露出はシャッター動作の無い露出とし、各フィールド（フレーム）において走査された光の反射光を撮像素子に蓄積して撮像した画像を画像処理部５１に転送する。
【００４３】
画像処理部５１は、図８（ｂ）に示すフィールド（１）の部分で撮像された画像をメモリ５２に蓄積し、これとフィールド（２）の部分で撮像された画像とを同時化し、各画像の同じ座標での輝度値を参照する。１回目の掃引による画像の輝度値と２回目の掃引による画像の輝度値の組み合わせによって、特定の角度θが決定される（図８（ｃ））。すなわち、２フィールド（フレーム）で１つの距離画像を得ることができる。例えば、時刻ｔ１での座標とｔ２での画像のｘ座標が等しいとすると、その輝度（画像信号の大きさ）を測定しＬ１、Ｌ２となった場合、Ｌ１／Ｌ２の値を計算して図８（ｃ）により、角度θを特定する。この時、Ｌ１／Ｌ２の比の値は、強度は異なるが同じ光源に対する被写体の反射光を捕らえているので被写体の表面にテクスチャ模様（色分布）が存在していてもこれに依存しない。これによって高精度な角度θの推定が行える。
【００４４】
後は、距離計算部２４が、それぞれの座標における角度θを求め、回転ミラー４４とレンズ４８の距離（基線長）から被写体ＯＢまでの距離を三角測量によって計算し、画面全体の距離情報を得、距離画像として出力する。
【００４５】
また、テクスチャ画像は撮像素子（Ｃ）２１によって撮像され、カラーカメラ信号処理部２５によって画像信号となり、テクスチャ画像として出力される。この時、１つの距離画像に対して２つのテクスチャ画像を得ることが出来るが、どちらか一方か両方か、それぞれの画素での平均値や中間値を計算して出力しても良い。
【００４６】
以上のように本実施の形態によれば、スリット光を２回掃引してその時の光強度の変化を異なるものにすることによって、得られた２回分の掃引（２フィールドまたは２フレーム）に対する２画像の各部分のスリット光投射角度を、被写体の表面反射率に依存しないで一意的に決定でき、これによって簡単に距離計算が２フィールド（フレーム）に一回可能になる。
【００４７】
また、第２の実施の形態において、光源（Ｃ）４１にランプ状のものを用いたが、赤外ＬＥＤや赤外レーザで構成すれば、光学フィルタ（Ｃ）４２を省略することもできる。
【００４８】
また、第２の実施の形態において、スリット光を横方向に掃引して光パタンを生成したが、図２に示されるような光パタン生成部を用いて、掃引動作を無くしてもよい。この場合は、第１、第２の掃引の代わりに、第１、第２の光パタンを時分割で照射し、そのタイミングに合わせて順次撮像素子（Ａ）１８で被写体の反射光を撮像することになる。
【００４９】
（第３の実施の形態）
図９は、本発明の第３の実施の形態となる実時間レンジファインダの構成図を示す。なお、上述した第２の実施の形態と同一部分には同一符号を付している。
【００５０】
第３の実施の形態は、被写体ＯＢの反射光が入射するレンズ４８から光が入射するハーフミラー（Ａ）１５の反射側の光軸上にハーフミラー（Ｂ）６０が配置されている。このハーフミラー（Ｂ）６０の反射側の光軸上に光学フィルタ（Ｂ）６１及び撮像素子（Ｂ）６２が配置されている。２つの撮像素子（Ａ）５０と撮像素子（Ｂ）６２の出力を画像信号処理部６３へ入力している。また、光源は光源（Ｃ）４１の１種類であり、これに合わせた波長通過特性を有する光学フィルタ（Ｃ）４２を用いている。
【００５１】
以上のように構成された本実施の形態の実時間レンジファインダについて、以下その動作を説明する。
【００５２】
まず、光源（Ｃ）４１の掃引は図１０（ａ）に示されるように、１フィールドで横方向に２回行われる。撮像素子による撮像がノンインタレースの場合には１フレームで横方向に２回行われる。この時、光源（Ｃ）４１の光強度は光源コントローラ４５によって第１回の掃引においては光強度をだんだん強くし、第２回の掃引においては光強度を徐々に弱くするように制御される（図１０（ｂ））。
【００５３】
このようにして作成された光を被写体ＯＢに照射し、その反射光を撮像素子（Ａ）５０、（Ｂ）６２によってとらえる。撮像素子への露出は、この場合、シャッター動作での露出とし、各掃引において走査された光の反射光をそれぞれの撮像素子（Ａ）５０、（Ｂ）６２に蓄積して、撮像した画像を画像信号処理部６３に転送する。すなわち、図１０（ｃ）に示すように、第１の掃引用撮像素子（Ａ）５０の露出時間はＴ１、第２の掃引用撮像素子（Ｂ）６２の露出時間はＴ２となる。この時、図１０（ｃ）に示す（１）領域の部分で撮像された画像と（２）領域の部分で撮像された画像とを画像信号処理部６３で処理し、各画像の同じ座標での輝度値を参照する。以降の動作は本発明の第２の実施の形態と同様である。
【００５４】
１回目の掃引による画像の輝度値と２回目の掃引による画像の輝度値の組み合わせによって、特定の角度θが決定される（図１０（ｄ））。つまり、１フィールド（フレーム）で２回の掃引分の画像を撮像素子のシャッター動作によって２種類獲得し、これらから１つの距離画像を得ることができる。例えば、時刻ｔ３での座標とｔ４での画像のｘ座標が等しいとすると、その輝度（画像信号の大きさ）を測定しＬ３、Ｌ４となった場合、Ｌ３／Ｌ４の値を計算して図１０（ｃ）により、角度θを特定する。この時、Ｌ３／Ｌ４の比の値は、強度は異なるが同じ光源に対する被写体の反射光を捕らえているので被写体の表面にテクスチャ模様が存在していてもこれに依存しない。
【００５５】
これによって、本実施の形態でも、高精度な角度θの推定が行える。後は距離計算部２４が、それぞれの座標における角度θを求め、回転ミラー４４とレンズ４８との距離（基線長）から被写体ＯＢまでの距離を三角測量によって計算し、画面全体の距離情報を得、距離画像として出力する。
【００５６】
また、テクスチャ画像は撮像素子（Ｃ）２２によって撮像され、カラーカメラ信号処理部２５によって画像信号となり、テクスチャ画像として出力される。
【００５７】
また、２回のスリット光掃引は、図１０では１フィールド（フレーム）期間で丁度２回終了するようにしたが、図１１（ａ）〜（ｃ）に示すように１フィールド（フレーム）期間の一部分を用いて高速に掃引を行っても良い。その他の動作は前述の第３の実施の形態と同じである。
【００５８】
以上のように本実施の形態によれば、スリット光を２回掃引してその時の光強度の変化を異なるものにすることによって、得られた２回分の掃引に対する２画像の各部分のスリット光投射角度を、被写体の表面反射率に依存しないで一意的に決定でき、これによって簡単に１フィールドに１回距離計算が可能になる。
【００５９】
また、本実施の形態において、光源をランプ状のものを用いたが、赤外ＬＥＤや赤外レーザで構成すれば、光学フィルタ（Ｃ）４２を省略することもできる。
【００６０】
また、本実施の形態において、スリット光を横方向に掃引して光パタンを生成したが、図２に示されるような光パタン生成部を用いて、掃引動作を無くしてもよい。この場合は、第１、第２の掃引の代わりに、第１、第２の光パタン光変調器で用意して時分割でパタン光を照射することになる。
【００６１】
尚、第１〜第３の実施の形態において、光パタンの変化を直線的に行ったが、どのような変化パタンを用いてもよい。また、光パタンの変化を各距離計測毎に変え、雑音に対して強い測定をおこなってもよい。この場合、連続する複数の距離計測結果を用いて平均処理・メディアン処理など、光学フィルタ手法を用いて高精度な距離計測結果を出力してもよい。
【００６２】
なお、第１〜第３の実施の形態において、複数の撮像素子をハーフミラーを用いて組み合わせて同一視野が撮像できるようにしたが、図１２（ａ）のようにレンズ７１，７２をそれぞれの撮像素子（Ａ）１８、（Ｂ）２０の前に設けてもよい。また、図１２（ｂ）のように、ハーフミラー７３をＸ型に配置し、これによって３つの撮像素子（Ａ）１８、（Ｂ）２０、（Ｃ）２２に入射光を分けてもよい。また、３板撮像素子カメラなどで応用されているダイクロイックミラーを用いた構造で３つの撮像素子カメラに光を分けても良い。つまり、同一視野の画像を光学的に得る方法であれば、どのような方法でも適用することが出来る。
【００６３】
また、第１の実施の形態において、複数の撮像素子を用いて２種類の波長の光を分けるのではなく、図１３（ａ）のように一つの撮像素子（Ｄ）７４にて２種類の波長の光を受け、その表面に図１３（ｂ）のように２種類の光学フィルタＡ、Ｂを交互にストライプ状に配置して２種類の波長に対する画像を１つの画像に多重して検出しても良い。この場合、ストライプは縦、横どちらでもよい。また、図１３（ｃ）に示すように、市松模様状に光学フィルタＡ、Ｂを配置しても良い。ただし、これらの場合、それぞれの波長の光に対する画像の解像度は低下する。
【００６４】
【発明の効果】
以上詳記したように本発明によれば、既存の技術を用いて、各フォトセンサに時間計測機能を持たせたような特別なセンサを用いることなく、容易に実時間で距離計測の出来るレンジファインダを実現できる。
【図面の簡単な説明】
【図１】本発明にかかる第１の実施の形態の実時間レンジファインダの構成図
【図２】第１の実施の形態に備えた光パタン生成部の構成図
【図３】（ａ）光パタン生成部に備えた光変調器の特性図
（ｂ）光パタン生成部から出社する光パタンの光強度分布図
【図４】（ａ）光パタン生成部に備えた光学フィルタの透過率特性図
（ｂ）受光部に備えた光学フィルタの透過率特性図
【図５】第１の実施の形態におけるパタン光出射角度と画素強度比の関係図
【図６】第１の実施の形態における時分割動作説明図
【図７】本発明の第２の実施の形態の実時間レンジファインダの構成図
【図８】（ａ）第２の実施の形態における光源部での掃引動作を示す図
（ｂ）第２の実施の形態における光源部での掃引と光強度との関係図
（ｃ）第２の実施の形態における光強度比と光投射角度の関係図
【図９】本発明にかかる第３の実施の形態の実時間レンジファインダの構成図
【図１０】（ａ）第３の実施の形態における光源部でのスリット光の掃引動作を示す図
（ｂ）第３の実施の形態における光源部での掃引と光強度との関係図
（ｃ）第３の実施の形態における露出時間と撮像画像との関係図
（ｄ）第３の実施の形態における光強度比と光投射角度の関係図
【図１１】（ａ）第３の実施の形態における高速走査の場合の光源部でのスリット光の掃引動作を示す図
（ｂ）第３の実施の形態における高速走査の場合の光源部での掃引と光強度との関係図
（ｃ）第３の実施の形態における高速走査の場合の露出タイミング図
【図１２】（ａ）本発明の各実施の形態における受光部側の変形例を示す図
（ｂ）本発明の各実施の形態における受光部側の他の変形例を示す図
【図１３】（ａ）本発明の各実施の形態における受光部側の変形例を示す図
（ｂ）本発明の各実施の形態の受光部における光学フィルタの配置例を示す図（ｃ）本発明の各実施の形態の受光部における光学フィルタの他の配置例を示
【図１４】従来のレンジファインダの概念図
【図１５】従来のレンジファインダの構成図
【符号の説明】
１１ 光パタン生成部（Ａ）
１２ 光パタン生成部（Ｂ）
１３ ハーフミラー
１４ レンズ
１５ ハーフミラー（Ａ）
１６ ハーフミラー（Ｂ）
１７ 光学フィルタ（Ａ）
１８ 撮像素子（Ａ）
１９ 光学フィルタ（Ｂ）
２０ 撮像素子（Ｂ）
２１ 撮像素子（Ｃ）
２２ 光パタンＡ信号処理回路
２３ 光パタンＢ信号処理回路
２４ 距離計算部
３０ 光源
３１ 光学フィルタ
３２ 光変調器
３３ 出射レンズ
Claims (1)
- 被写体に投射するスリット光を空間的に掃引する光源部と、前記スリット光に掃引された被写体から光が入射し前記スリット光の波長特性に合せた波長成分を抽出する光学フィルタと、前記光学フィルタに対応して配置された撮像素子と、スリット光による第１の掃引と第２の掃引において光源の光強度の変化パターンを異ならせる光源部制御手段と、第１の掃引に対する撮像素子の出力と第２の掃引に対する撮像素子の出力から画像の各位置におけるスリット光の出射角度を計算し、これによって画像の各位置における被写体までの距離を計算する距離計算部とを具備する実時間レンジファインダ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002135010A JP3668466B2 (ja) | 2002-05-10 | 2002-05-10 | 実時間レンジファインダ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002135010A JP3668466B2 (ja) | 2002-05-10 | 2002-05-10 | 実時間レンジファインダ |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26926197A Division JP3414624B2 (ja) | 1997-09-16 | 1997-09-16 | 実時間レンジファインダ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003014422A JP2003014422A (ja) | 2003-01-15 |
| JP3668466B2 true JP3668466B2 (ja) | 2005-07-06 |
Family
ID=19194446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002135010A Expired - Lifetime JP3668466B2 (ja) | 2002-05-10 | 2002-05-10 | 実時間レンジファインダ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3668466B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100803752B1 (ko) | 2005-10-19 | 2008-02-15 | 삼성전기주식회사 | 화소 분석 시스템 및 방법 |
| JP6478725B2 (ja) * | 2015-03-09 | 2019-03-06 | キヤノン株式会社 | 計測装置及びロボット |
| CN112567199B (zh) * | 2018-08-24 | 2022-11-08 | 雅马哈发动机株式会社 | 三维测量装置、三维测量方法 |
| EP4086597A4 (en) * | 2020-02-13 | 2024-01-10 | Hamamatsu Photonics K.K. | IMAGING UNIT AND MEASURING DEVICE |
-
2002
- 2002-05-10 JP JP2002135010A patent/JP3668466B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003014422A (ja) | 2003-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3417222B2 (ja) | 実時間レンジファインダ | |
| US9170097B2 (en) | Hybrid system | |
| US7349104B2 (en) | System and a method for three-dimensional imaging systems | |
| US9030529B2 (en) | Depth image acquiring device, system and method | |
| US6819436B2 (en) | Image capturing apparatus and distance measuring method | |
| US6600168B1 (en) | High speed laser three-dimensional imager | |
| US20140168424A1 (en) | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene | |
| EP3801366B1 (en) | Device, method and system for generating dynamic projection patterns in a camera | |
| JP3414624B2 (ja) | 実時間レンジファインダ | |
| JP3695188B2 (ja) | 形状計測装置および形状計測方法 | |
| US20040125205A1 (en) | System and a method for high speed three-dimensional imaging | |
| JP2002213931A (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| JP2007518098A (ja) | 三次元ビデオスキャナ | |
| US20080266391A1 (en) | Apparatus for and Method of Measuring Image | |
| JP2002139304A (ja) | 距離測定装置、及び距離測定方法 | |
| CN107783353A (zh) | 用于捕捉立体影像的装置及系统 | |
| JP2714152B2 (ja) | 物体形状測定方法 | |
| CA2799705A1 (en) | Method and apparatus for triangulation-based 3d optical profilometry | |
| KR100895856B1 (ko) | 회전다면경과 듀얼 미러를 이용한 입체 형상 측정 장치 및 그를 이용한 입체 형상 측정 방법 | |
| JP2006308323A (ja) | ３次元形状測定方法 | |
| JP3668466B2 (ja) | 実時間レンジファインダ | |
| JP2008070374A (ja) | 画像撮像装置及び距離測定方法 | |
| JPH10268067A (ja) | 積雪深計測装置 | |
| JP3711808B2 (ja) | 形状計測装置および形状計測方法 | |
| JP2004053532A (ja) | 光学的形状測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050408 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120415 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |