JP3265212B2 - 多重フォーカス測距装置 - Google Patents
多重フォーカス測距装置Info
- Publication number
- JP3265212B2 JP3265212B2 JP977297A JP977297A JP3265212B2 JP 3265212 B2 JP3265212 B2 JP 3265212B2 JP 977297 A JP977297 A JP 977297A JP 977297 A JP977297 A JP 977297A JP 3265212 B2 JP3265212 B2 JP 3265212B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- light
- image
- subject
- prism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Automatic Focus Adjustment (AREA)
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
Description
離を被接触で測定するための測距装置に係り、特に複数
個のCCD撮像素子のような撮像デバイスを用いて多重
フォーカス画像を作成し、該画像から演算処理により距
離を算出する多重フォーカス測距装置に関する。
距技術は、従来より数多くの方式が実用化されている。
それらの中で、特に銀塩フィルム使用のカメラやビデオ
カメラのAF(オートフォーカス)に使用される測距シ
ステムとして、被写体に向けて赤外線を発信し、三角測
量の原理で被写体までの距離を測定する方法がある。こ
の三角測量の原理を用いた測距システムでは、赤外セン
サを横に並べ、反射光のスポット位置dと、赤外LED
の発光レンズ・受光レンズ間の距離Bおよび受光レンズ
の焦点距離fから、距離DをD=B・f/dにより求め
る。
a Lens) 方式や、画像信号の高周波成分を検出する方式
などの測距システムがビデオカメラで使用されている。
前者のTCL方式は、マイクロレンズアレイを介して一
対のCCDリニアイメージセンサに被写体の像を結像さ
せ、両センサの出力信号の位相差から位置情報を検出す
る方式である。一方、後者の高周波成分を検出する方式
は、フォーカスが合ったときには被写体を撮像して得ら
れた画像のコントラストが強いために、画像信号の高周
波成分が最大になるという特徴を利用して、高周波成分
が最大値となるように山登りサーボをかける方式であ
る。これらの詳細は例えば、木内雄二著「画像入力ハン
ドブック」の第8章カラーテレビカメラ、 (2)多機能
化、 (b)AF(Auto Focus)の項(270-275p) に述べられ
ている。
ォーカスの用途には実用化されているが、高精度の距離
測定を必要とする用途には不十分である。銀塩フィルム
使用のカメラやビデオカメラでは、レンズの絞り値から
決まる合焦となる距離範囲、いわゆる焦点深度が存在
し、この焦点深度内にフォーカス位置があれば、距離測
定の絶対値が異なっていてもフォーカスずれにはなら
ず、実用上問題がないからである。
システムとしては、レーザ測距計などが知られている
が、装置の構成、特に光学系が大掛かりなものとなり、
簡便に測定を行うことはできない。
らせて撮像して複数の画像、すなわち多重フォーカス画
像を作成し、この多重フォーカス画像から演算処理によ
り被写体までの距離を測定する方法も提案されている。
多重フォーカス画像を得るために、被写体の像をフォー
カス位置をずらせて撮像する方法としては図17、図1
8に示す方法が考えられている。
の相対位置をフォーカス軸方向に移動させて複数の画像
を時分割で得る方法である。ところが、この方法では多
重フォーカス画像を構成する複数の画像が時間的に異な
る情報であるため、リアルタイムで迅速に距離測定を行
うことは難しい。
からの光を複数のハーフミラーM1〜M3と全反射ミラ
ーM4を用いて平行な複数の光路に分割し、それらを複
数の撮像デバイス4A,4B,4Cに導いて、多重フォ
ーカス画像を構成する複数の画像を得る方法である。こ
の方法では、光学系が多数の分離されたハーフミラーM
1〜M3や全反射ミラーM4により構成され、これらを
精度よく位置決めすることが困難であり、位置決めを正
しく行っても経時的に位置ずれが発生することは避けら
れないため、精度のよい距離測定を行うことは困難であ
った。
のオートフォーカスに用いられている測距技術では距離
を高精度に測定することができず、またレーザ測距計な
どは高精度ではあるが装置が大掛かりとなり、さらに多
重フォーカス画像を用いた測距システムでは、従来、多
重フォーカス画像をリアルタイムで迅速に精度よく得る
ことができないために、やはり高精度な測定が難しいと
いう問題点があった。
題点を解決し、被写体までの距離を簡易な構成によりリ
アルタイムで精度よく測定することができる多重フォー
カス測距装置を提供することを目的とする。
め、本発明に係る多重フォーカス測距装置では、被写体
からの光を所定位置に結像させるための撮像レンズを通
過した光が複合プリズムに入射する。この複合プリズム
は、撮像レンズを通過した被写体からの光を分割して3
つの光出射端から取り出すように構成される。この複合
プリズムにより各光出射端から取り出された被写体から
の光がそれぞれ入射する位置に撮像レンズからの光学距
離を異ならせて、入射する光に対応してフォーカスの異
なる複数の多重フォーカス画像を構成する画像信号を出
力する3個の撮像デバイスが配置される。そして、これ
らの各撮像デバイスから出力される画像信号(多重フォ
ーカス画像信号)から、演算処理により被写体までの距
離が算出される。
ズを通過した被写体からの光が入射するように配置され
た第1の単位プリズムと、第1の単位プリズムと接合さ
れた第2の単位プリズムと、第2の単位プリズムと接合
された第3の単位プリズムと、第1の単位プリズムと第
2の単位プリズムの接合面に配置され、第1の単位プリ
ズムに入射した光の1/3を反射させて第1の光出射端
に導き、2/3を透過させて第2の単位プリズムに入射
させる第1の多層干渉膜と、第2の単位プリズムと第3
の単位プリズムの接合面に配置され、第1の多層干渉膜
を透過して第2の単位プリズムに入射した光の1/2を
反射させて第2の光出射端に導き、残りの1/2を第3
の単位プリズムに入射させて第3の光出射端に導く第2
の多層干渉膜とを有する。
を上記のようにするため、撮像デバイスの少なくとも一
つは複合プリズムの光出射端上に所定の厚さのスペーサ
を介して配置されるか、あるいは各撮像デバイスはそれ
ぞれ対応する出射端上に厚さの異なるスペーサをそれぞ
れ介して配置される。スペーサは、例えば撮像デバイス
またはプリズムの光出射端上に設けられた固定くさび状
部材と、この固定くさび状部材と係合する可動くさび状
部材とからなる。
装置では、撮像レンズを通過した被写体からの光を複合
プリズムにより分割してそれぞれ異なる光出射端から取
り出し、撮像レンズからの光学距離を相対的に異ならせ
た撮像デバイスに入射させることによって多重フォーカ
ス画像信号が得られる。従って、多重フォーカス画像を
構成する各画像信号(多重フォーカス画像信号)を時間
的に同時に取得することができ、また多重フォーカス画
像信号を得るのに必要な光学系は基本的に一体化された
複合プリズムのみであるから、位置決めが容易となり、
経時的な位置ずれの問題も緩和されるため、リアルタイ
ムで高精度な距離測定が可能となる。
イメージセンサを用いれば、CCDビデオカメラと同様
の比較的簡単な光学系で多重フォーカス画像信号を生成
することができ、この多重フォーカス画像信号から演算
処理によって距離が高精度に求まるため、簡易な構成に
よって装置を実現することができる。
体までの距離を演算処理で測定するための距離測定アル
ゴリズムとしては、例えば多重フォーカス画像信号から
被写体上のエッジを検出し、これらのエッジのそれぞれ
に対して、撮像レンズの中心と撮像デバイスの撮像面を
結ぶフォーカス軸と、該フォーカス軸に直交する空間軸
とで定義された空間焦点画像を画像信号から作成した
後、これらの各空間焦点画像について、該空間焦点画像
上でエッジの位置を通る直線がフォーカス軸に一致する
ように整形を行って整形空間焦点画像を仮定し、これら
の各整形空間焦点画像上の等明度点を結ぶ等明度直線の
交点を合焦位置として、被写体までの距離を算出する手
順を用いることができる。
の等明度点を結ぶ等明度直線束上の各点の明度が多重フ
ォーカス画像の明度に一致しているか否かを所定の評価
関数で評価し、この評価関数が最適となるように等明度
直線束のパラメータを最適化した後、等明度直線束を構
成する等明度直線の交点を合焦位置として、被写体まで
の距離を算出することができる。
ば3個の撮像デバイスによる3枚分の多重フォーカス画
像信号からでも十分に高精度の距離測定が可能となり、
また距離算出のための演算処理スピードも向上する。
施の形態を説明する。図1に、本発明の一実施形態に係
る多重フォーカス測距装置の構成を示す。同図におい
て、被写体1からの光は撮像レンズ2を介して複合プリ
ズム3に入射され、この複合プリズム3によって3つの
光路に分割された後、例えば2次元CCDイメージセン
サからなる3個の撮像デバイス4A,4B,4Cの撮像
面上に結像される。撮像デバイス4A,4B,4Cは、
結像された被写体像を光電変換して光の強弱に応じた信
号電荷を生成し、画像信号として出力する。
像デバイス4A,4B,4Cの配置を説明する。複合プ
リズム3は、3つの単位プリズム3A,3B,3Cを接
合して一体化したものであり、単位プリズム3Aと3C
の接合面および単位プリズム3Aと3Bの接合面に、第
1および第2の多層干渉膜11,12がそれぞれ蒸着に
より形成されている。撮像デバイス4A,4B,4C
は、単位プリズム3A,3B,3Cの光出射端上にそれ
ぞれ配置される。
ズム3に入射した光は、まず第1の単位プリズム3Cを
通して第1の多層干渉膜11に入射する。この第1の多
層干渉膜11を透過した光は、第2の単位プリズム3A
を通して第2の多層干渉膜12に入射する。第1の多層
干渉膜11を反射した光は、第1の単位プリズム3Cの
光出射端(第1の光出射端)上に配置された撮像デバイ
ス4Cに入射する。第2の多層干渉膜12を反射した光
は、第2の単位プリズム3Aの光出射端(第2の光出射
端)上に配置された撮像デバイス4Aに入射する。第2
の多層干渉膜12を透過した光は、第3の単位プリズム
3Bの光出射端(第3の光出射端)上に配置された撮像
デバイス4Bに入射する。
/3を反射させ、2/3を透過させるように構成され、
第2の多層干渉膜12は入射光のうちの1/2を反射さ
せ、1/2を透過させるように構成される。このように
すると、複合プリズム3に入射した被写体1からの光は
3つの光路に等分割され、撮像デバイス4A,4B,4
Cに同一光量、同一サイズで被写体1の像が結像され
る。
それぞれ単位プリズム3A,3B,3Cの光出射端上
に、入射光の光軸方向に相対的にずらせて、すなわち撮
像レンズ2からの光学距離を異ならせて配置される。具
体的には、撮像レンズ2で所定のフォーカス調整を行っ
た場合に複合プリズム3における単位プリズム3A,3
B,3Cの光出射端からそれぞれ出射される光の本来の
結像位置を13A,13B,13Cとすると、撮像デバ
イス4Aは撮像面を本来の結像位置13A上に配置さ
れ、撮像デバイス4Bは撮像面を本来の結像位置13B
より1mmだけ前方にずらせて配置され、撮像デバイス
4Cは撮像面を本来の結像位置13Cより1mmだけ後
方にずらせて配置される。
では、撮像デバイス4A,4B,4Cは撮像デバイス4
A,4B,4Cの端部に接着された固定くさび状部材2
0aと、この固定くさび状部材20aと複合プリズム3
の各光出射端との間に挿入される可動くさび状部材20
bからなるスペーサ20A,20B,20Cを介して複
合プリズム3に対し位置決めされている。ここで、スペ
ーサ20A,20B,20Cの厚さ(固定くさび状部材
20aおよび可動くさび状部材20bの高さ)をHa,
Hb,Hcとすると、Ha>Hb>Hcの関係となって
いる。なお、図では固定くさび状部材20aを撮像デバ
イス4A,4B,4Cに接着したが、複合プリズム3の
出射端上に固定くさび状部材を接着しても構わない。
B,20Cを用いれば、可動くさび状部材20bを矢印
で示す方向に動かして撮像デバイス4A,4B,4Cと
複合プリズム3の光出射端との間に挿入すると、可動く
さび状部材20bが固定くさび状部材20aと係合す
る。これにより、撮像デバイス4A,4B,4Cと複合
プリズム3の光出射端との間の間隙を撮像デバイス4
A,4B,4Cと本来の結像位置13A,13B,13
Cとの関係が上記の値となるように調整することができ
る。この調整後は、撮像デバイス4A,4B,4Cと複
合プリズム3の光出射端との間に接着剤を適用して、両
者を接着して位置関係を固定すればよい。このようにす
ると、複合プリズム3と撮像デバイス4A,4B,4C
の位置関係が長期間にわたって高精度に維持され、経年
変化による測定誤差の増加を防止することができる。
対して撮像デバイス4A,4B,4Cを配置すると、撮
像レンズ2を焦点合わせリングにより光軸方向(フォー
カス軸の方向)に動かして所定のフォーカス調整を行っ
た場合、撮像デバイス4Aは撮像面が合焦位置に一致し
たジャストフォーカスの状態、撮像デバイス4Bは撮像
面が合焦位置より前方に位置した前ピンの状態、撮像デ
バイス4Cは撮像面が合焦位置より後方に位置した後ピ
ンの状態となり、全体として多重フォーカスの撮像系が
構成されることになる。
ング信号は垂直駆動回路6および水平駆動回路7に供給
され、撮像デバイス4A,4B,4Cの駆動に必要な垂
直駆動パルスおよび水平駆動パルスが生成される。これ
らの駆動パルスは撮像デバイス4A,4B,4Cに供給
され、これにより撮像デバイス4A,4B,4Cの撮像
面上に形成された信号電荷が画像信号として取り出され
る。
して用いられる2次元CCDイメージセンサの一例を示
す。このCCDイメージセンサは、撮像面に2次元配列
されたフォトダイオード21と垂直転送CCD22およ
び水平転送CCD23からなる。フォトダイオード21
は、例えば水平方向800画素、垂直方向500画素の
合計40万画素からなり、垂直転送CCD22と共に感
光部を構成する。フォトダイオード21に蓄積された信
号電荷は、まず垂直CCD22により垂直方向に転送さ
れ、さらに水平転送CCD23により水平方向に転送さ
れた後、出力回路24により電圧信号に変換され、画像
信号として出力される。
4B,4Cからの画像信号はCDS回路(相関二重サン
プリング回路)8A,8B,8Cによりノイズ除去が行
われた後、信号処理回路9A,9B,9Cに入力され、
クランプ、A/D変換、マトリクス演算などの一連の信
号処理によって、多重フォーカス画像信号が生成され
る。信号処理回路9A,9B,9Cにより生成された多
重フォーカス画像信号は演算処理部10に入力され、こ
こで多重フォーカス画像を用いた距離測定のための演算
処理が後述する距離測定アルゴリズムに従って行われ
る。演算処理部10は例えばCPUによって実現され、
ソフトウェアにより距離測定アルゴリズムを実行する。
ォーカス測距装置によると、従来の多重フォーカス画像
を用いた測距装置の問題点が解決される。すなわち、本
実施形態では撮像レンズ2を通過した被写体1からの光
を複合プリズム3により3分割してそれぞれ異なる光出
射端から取り出し、撮像レンズ2からの光学距離を相対
的に異ならせた撮像デバイス4A,4B,4Cに入射さ
せることによって多重フォーカス画像が得られる。
数の画像信号を時間的に同時に取得することができ、ま
た多重フォーカス画像を得るのに必要な光学系は撮像レ
ンズ2を除いて基本的に複合プリズム3のみであるた
め、位置決めが容易であり、経時的な位置ずれの問題も
緩和される。これにより、リアルタイムで高精度な距離
測定が可能となる。
いては、基本的にCCDビデオカメラと同様の光学系を
用いて多重フォーカス画像信号を生成し、この多重フォ
ーカス画像信号から演算処理によって距離を高精度に求
めるため、従来の高精度測距システムであるレーザ測距
計のように大掛かりの光学系を必要とせず、簡易な構成
によって装置を実現することができる。
ス画像を用いた距離測定アルゴリズムについて説明す
る。まず、多重フォーカス画像を用いた第1の距離測定
アルゴリズムとして、電子情報通信学会論文誌D−II V
ol.77-D-II No.6 pp.1048-1058“多重フォーカス画像を
用いたエッジ検出と距離計測”1994年6月発行(文
献1)に記載されたアルゴリズムについて述べる。
線で示す)と白部分の境界に直線エッジEが存在する被
写体1を考える。この被写体1からの光を図1に示した
ように撮像レンズ2および複合プリズム3を介して撮像
デバイス4A,4B,4Cに入射させることにより、被
写体1の像を3種類のフォーカス(ジャストフォーカ
ス、前ピン、後ピン)で撮像する。
ら得られる画像信号に基づく2次元画像を多重フォーカ
ス画像と呼ぶ。この多重フォーカス画像を構成する各々
の2次元画像をフォーカス軸wに沿って並べると、図4
に示すような画像空間(これを多重フォーカス画像空間
という)を作成することができる。
と撮像デバイス4A,4B,4Cの撮像面を結ぶ共通の
軸であり、より正確には撮像レンズ2の中心位置を原点
Oとし、ここから撮像デバイス4A,4B,4Cの撮像
面に向かう方向を正方向とする仮想的な軸である。ま
た、uは撮像レンズ2から被写体1までの距離(以下、
被写体距離という)、fは撮像レンズ1の焦点距離、w
は任意のフォーカス位置、そしてvは例えば撮像デバイ
ス4Bが合焦状態にあるときのフォーカス軸w上の撮像
面位置(合焦位置という)である。
は、次式に示すレンズの公式 1/f=(1/u)+(1/v) (1) が成立すれば、fとvから求まる。焦点距離fは既知で
あるので、合焦位置vが求まればuも求まることにな
る。そこで、本実施形態では以下のようにして合焦位置
vを算出する。
P(以下、エッジ点という)と撮像レンズ2の中心Oを
通る直線は、各2次元画像平面上のエッジ点Pのぼけ像
の中心点を結ぶ直線となる。この直線POを含む平面の
うち、直線エッジEの像と直交する平面φを考える。こ
の平面φで多重フォーカス画像空間を切断したときに得
られる断面画像は、各2次元画像平面のエッジ点Pに対
応する点を結んだ直線付近のフォーカス変化に伴ったぼ
けの変化を表している。このぼけ変化をフォーカス軸w
に沿って解析するために、フォーカス軸wを含み、かつ
平面φが通る撮像レンズ2の直径を含む平面μに、平面
φで切断した断面画像を投影すると、図5に示すような
明度分布の画像が得られる。この画像は、フォーカス軸
wとこれに直交する空間軸sとで定義されるので、空間
焦点(spatial-focal)画像と呼ぶことにする。
に対応する点を結んだ直線が撮像レンズ2の中心O
(0,0) と合焦時のエッジ点Pの像の位置(合焦エッ
ジ点位置という)Q(v,d)を通る直線s=(d/
v)wとして描かれ、この直線の上側は図4中の被写体
1上の領域L1 に、下側は領域L2 にそれぞれ対応す
る。また、直線s=(d/v)wに沿ったエッジ点P周
辺のぼけ変化は、ぼけ円の半径R(w)に対して線形に
変化するので、合焦エッジ点位置Q(v,d)で交差す
る次の2直線 s=((d+r)/v)w−r (2) s=((d−r)/v)w−r (3) により、(i),(ii)w,sの値によって明度がI2 <I<
I1 の範囲で変化する遠距離側および近距離側ぼけ領域
と、(iii) 明度がI1 一定のL1 側合焦明度領域および
(iV)明度がI2 一定のL2 側合焦明度領域の4つの領域
に分割することができる。
明度点は直線上に並ぶ。これを等明度直線という。この
等明度直線は、領域L1 側ではフォーカス範囲f≦w<
v,v<w≦wmax に対してそれぞれ s=((d−λr)/v)w+λr (4) s=((d+λr)/v)w−λr (5) と表され、これは合焦エッジ点位置Q(v,d)を通る
V字形の2本の半直線となる。
≦w<v,v<w≦wmax に対してそれぞれ s=((d+λr)/v)w−λr (6) s=((d−λr)/v)w+λr (7) と表され、これは合焦エッジ点位置Q(v,d)を通る
逆V字形の2本の半直線となる。なお、式(4)〜
(7)におけるλは、0<λ<1の定数である。
て求めれば、それらの等明度直線の交点として合焦位置
vを求めることができる。合焦位置vが求まれば、式
(1)から被写体距離uを容易に計算で求めることがで
きる。
ジが連結したものと考えることができる。従って、被写
体1上のエッジの位置および方向を検出し、それぞれの
直線エッジに対して空間焦点画像を作成し、これを上述
のように解析してそれぞれの合焦位置vを求めることに
より、被写体1のエッジ上の各点に対応する被写体距離
uを求めることができる。
写体1上のエッジの位置を知っておかなければならず、
そのためにはエッジ検出を行う必要がある。多重フォー
カス画像中の全ての画像は、基本的にはぼけた画像と考
えなければならないので、単一画像を微分等により解析
してエッジ検出を行う手法は採用できない。そこで、多
重フォーカス画像中の対応点の明度変化を解析すること
によりエッジ検出を行う方法が望ましい。そのようなエ
ッジ検出法については、後述する。
て、上述した第2の距離測定アルゴリズムの手順を整理
して説明する。まず、多重フォーカス画像から被写体上
のエッジの位置および方向を検出する(ステップS1
1)。この多重フォーカス画像のエッジ検出には、例え
ばフォーカス変化によって生じるある点での明度変化の
分散を画素値とする分散値画像を用いる方法が好まし
い。この分散値画像はエッジ上で極小値をとるので、
(1) 分散値画像に線検出オペレータを適用し、分散値の
谷線上の点を検出する、(2) 検出された点に対して分散
値の閾値処理を行う、という手順によってエッジ検出が
可能である。この方法によると、直線エッジのみならず
非直線エッジについても正確な検出を行うことができ
る。
ジに対して前述した空間焦点画像を作成する(ステップ
S12)。次に、ステップS12で作成された各空間焦
点画像について等明度点を検出する(ステップS1
3)。次に、ステップS13で検出された等明度点を結
んで等明度直線を求める(ステップS14)。そして、
この等明度直線の交点を求め、その交点位置を合焦位置
vとし、これから式(1)に従い被写体距離uを求める
(ステップS15)。
ムでは、空間焦点画像上の等明度直線の交点として合焦
位置vを求めたが、このアルゴリズムは観点を変えれば
次のように考えることも可能である。
の被写体1を撮像すると、図8に示すような画像信号波
形が得られる。図8の画像信号波形では、白レベルと黒
レベルの間がある幅を持つグレーレベルとなる。グレー
レベルの部分の幅、いわゆるぼけ幅(blur width)は、図
9に示すように撮像面が合焦位置から外れるほど大きく
なり、合焦位置(図9のフォーカス目盛が100の位
置)ではほぼ0となる。図10は、この様子を撮像レン
ズ2の焦点合わせリングの回転角度とぼけ幅の関係で示
している。
撮像デバイス4A,4B,4Cから出力される画像信号
についてそれぞれ求め、それらを直線で結ぶことによ
り、合焦位置を求めることができる。これは前述した空
間焦点画像の等明度直線の交点を求めることに相当す
る。
ける第2の距離測定アルゴリズムについて説明する。本
アルゴリズムでは、第1の距離測定アルゴリズムで用い
た図5に示したような空間焦点画像上でエッジ位置を通
る直線s=(d/v)wがフォーカス軸wに一致するよ
うに空間焦点画像の整形を行う。整形前の空間焦点画像
上の明度分布をIo(w,s)、整形後の空間焦点画像の
明度分布をIaligned(w,s)で表すと、この整形は次
式で表される。
al-focal) 画像と呼ぶことにする。図11に、この整形
空間焦点画像上の明度分布を示す。図11の横軸はフォ
ーカス軸w、縦軸は空間軸sである。この整形により、
式(4)(5)に示した領域L1 側の明度I1 −δの等
明度直線は、次式の形となる。 s=−(λr/v)w+λr (9) s=(λr)/v)w−λr (10) 同様に、式(6)(7)に示した領域L2 側の明度I2
+δの等明度直線は、次式の形となる。 s=(λr/v)w−λr (11) s=−(λr)/v)w+λr (12) このように上記の整形により、整形空間焦点画像上の明
度I1 −δ,I2 +δの等明度直線は、(a)合焦エッ
ジ点位置Q(v,d)を通り、フォーカス軸wに平行の
直線に対して線対称、(b)合焦エッジ点位置Q(v,
d)を通る直線w=vに対して線対称、という二つの性
質を持つことになる。すなわち、整形空間焦点画像は図
11に示したように左右対称であり、明度変化は上下対
称となる。
2の距離測定アルゴリズムは、多重フォーカス画像から
エッジ点を検出し、検出されたエッジ点を中心とした整
形空間焦点画像を作成し、明度分布のモデル当てはめに
より合焦位置を求め、この合焦位置から被写体距離を計
算する、という手順となる。
図13に示すフローチャートを用いてさらに具体的に説
明する。まず、先に説明した第1の距離測定アルゴリズ
ムと同様に、多重フォーカス画像から被写体1上のエッ
ジの位置および方向を検出し(ステップS21)、次い
で検出された各エッジに対し、図5に示したような空間
焦点画像を作成する(ステップS22)。次に、図5の
空間焦点画像上でエッジ位置を通る直線s=(d/v)
wがフォーカス軸wに一致するように空間焦点画像の整
形を行い、図11に示すような明度分布の整形空間焦点
画像を作成する(ステップS23)。次に、ぼけモデル
および整形空間焦点画像の性質を踏まえて、整形空間焦
点画像上に図12に示す等明度直線束を仮定する(ステ
ップS24)。次に、図12の等明度直線束上の各点の
明度が観測された明度(多重フォーカス画像の明度)に
一致しているか否かを所定の評価関数を用いて評価する
(ステップS25)。次に、上記の評価関数が最適とな
るように等明度直線束のパラメータを最適化する(ステ
ップS26)。最後に、等明度直線束を構成する等明度
直線の交点を求め、その交点位置を合焦位置vとして、
これから式(1)に従って被写体距離uを求める(ステ
ップS27)。
度直線束について説明する。図12は、明度(I1 +I
2 )/2±jδ(j=1,2,…,n)の等明度直線束
の形状モデルを示している。但し、n,δはnδ<(I
1 +I2 )/2を満たす適当な定数である。このモデル
は次式で表される。
(v0 ,s0 )は、合焦位置を表す。また、cj >0で
ある。
いて説明する。今、図1の撮像デバイス4A,4B,4
Cによりフォーカス位置w1 ,w2 ,w3 (w1 <w2
<w3 )で撮像を行い、多重フォーカス画像B(x,
y,w1),B(x,y,w2 ),B(x,y,w3 )
が得られたとする。これらの多重フォーカス画像B
(x,y,w1 ),B(x,y,w2 ),B(x,y,
w3 )から作成される整形空間焦点画像I(w,s)を
次のようにとる。
0 )とフォーカス位置w1 ,w2 ,w3 との関係より、
図14に示す4通りの場合が存在する。但し、図14で
は簡単のため等明度直線をlj ,mj の2本のみ描いて
いる。図14の直線lj ,mj とw1 ,w2 ,w3 との
交点をPjk(j=1,2,…,n、k=1,2,…,
6)とすると、Pjkは次のようになる。
は直線lj 上にあり、Pj4,Pj5,Pj6は直線mj 上に
ある。 (2) w1 <v0 <w2 のとき、Pj2,Pj3,Pj4は直線
lj 上にあり、Pj1,Pj5,Pj6は直線mj 上にある。 (3) w2 <v0 <w3 のとき、Pj3,Pj4,Pj5は直線
lj 上にあり、Pj1,Pj2,Pj6は直線mj 上にある。 (4) w3 <v0 のとき、Pj4,Pj5,Pj6は直線lj 上
にあり、Pj1,Pj2,Pj3は直線mj 上にある。
(5)で表される観測画像(整形空間焦点画像)I
(w,s)上において、交点Pjk(k=1,2,…,
6)における明度は次のようなる。 Pj1:Iw1(s0 +cj σ1 (w1 −v0 )) Pj2:Iw2(s0 +cj σ2 (w2 −v0 )) Pj3:Iw3(s0 +cj σ3 (w3 −v0 )) Pj4:Iw1(s0 −cj σ1 (w1 −v0 )) Pj5:Iw2(s0 −cj σ2 (w2 −v0 )) Pj6:Iw3(s0 −cj σ3 (w3 −v0 )) (16) 但し、 (1) v0 <w1 のとき、σ1 =σ2 =σ3 =1 (2) w1 <v0 <w2 のとき、σ1 =−1,σ2 =σ3
=1 (3) w2 <v0 <w3 のとき、σ1 =σ2 =−1,σ3
=1 (4) w3 <v0 のとき、σ1 =σ2 =σ3 =−1 である。
j3の明度は((I1 +I2 )/2)+jδ、交点Pj4,
Pj5,Pj6の明度は((I1 +I2 )/2)−jδでそ
れぞれ与えられる。
る尺度(評価関数)として、観測画像(整形空間焦点画
像)I(w,s)上での交点Pj1,Pj2,Pj3の明度
と、((I1 +I2 )/2)+jδとのずれ、観測画像
(整形空間焦点画像)I(w,s)上での交点Pj4,P
j5,Pj6の明度と、((I1 +I2 )/2)−jδとの
ずれの2乗和Sを用い、このSを最小化するパラメータ
としてv0 ,s0 ,cj ,σi を求めれば、v0 の値に
より図14に示した場合分けと合焦位置の計算ができた
ことになる。
量が膨大なものとなる。次の二つの仮定を設ければ、計
算量を減らして距離測定のための演算処理スピードを向
上させることができる。
明度の空間軸s方向の変化は、ある区間では線形であ
る。 (仮定2):観測された整形空間焦点画像の明度分布I
(wi ,s)(i=1,2,3)に対して直線当てはめ
を行い、式(15)を次のように表す。 I(w1 ,s)=a1 +b1 s I(w2 ,s)=a2 +b2 s I(w3 ,s)=a3 +b3 s (17) このとき、図14に示した交点Pjk(j=1,2,…,
n、k=1,2,…,6)における明度は次のようにな
る。
に求める計算法をとることができ、高速計算が可能とな
るため、距離測定の演算処理スピードが向上する。ま
た、第1の距離測定アルゴリズムでは多重フォーカス画
像として多数枚の画像が必要となるが、第2の距離測定
アルゴリズムによれば、3枚の多重フォーカス画像から
でも十分に高精度の距離測定ができるという利点があ
る。
撮像デバイス4A,4B,4Cの好ましい配置方法につ
いて説明する。図2を用いて説明したように、撮像デバ
イス4A,4B,4Cは撮像レンズ2からの光学距離を
異ならせて配置されており、例えば撮像デバイス4Aは
撮像面を本来の結像位置13A上に位置させて配置さ
れ、撮像デバイス4Bは撮像面を本来の結像位置13B
より1mmだけ前方にずらせて配置され、撮像デバイス
4Cは撮像面を本来の結像位置13Cより1mmだけ後
方にずらせて配置される。
係で複合プリズム3に対し撮像デバイス4A,4B,4
Cを配置するために、撮像デバイス4Aは単位プリズム
3Aの光出射端上に厚さ2mmの透明ガラス板14を介
して固定され、撮像デバイス4Bは単位プリズム3Bの
光出射端上に厚さ1mmの透明ガラス板15を介して固
定され、また撮像デバイス4Cは単位プリズム3Cの光
出射端上に直接固定される。なお、複合プリズム3に対
する透明ガラス板14,15および撮像デバイス4A,
4B,4Cの固定は、例えば標準の貼合わせ装置を用い
て貼合わせにより行えばよい。
デバイス4A,4B,4Cの位置関係が長期間にわたっ
て高精度に維持されるようになるため、経年変化による
測定誤差の増加を防止することができる。
形態を説明する。本実施形態は、先に説明した複合プリ
ズム3に代えて色分解プリズム(ここでは、ダイクロイ
ックプリズム)16を用いた点が先の実施形態と異な
る。この色分解プリズム16は、基本的には図2および
図15に示した複合プリズム3と同様に3つの単位プリ
ズム16A,16B,16Cを接合して一体化したもの
であり、単位プリズム16Aと16Cの接合面および単
位プリズム16Aと16Bの接合面に、第1および第2
の多層干渉膜17,18がそれぞれ蒸着により形成され
ている。撮像デバイス4A,4B,4Cは、単位プリズ
ム16A,16B,16Cの光出射端上にそれぞれ配置
される。
バイス4A,4B,4Cを先と同様の位置関係で配置す
るために、図15と同様、撮像デバイス4Aは単位プリ
ズム16Aの光出射端上に厚さ2mmの透明ガラス板1
4を介して固定され、撮像デバイス4Bは単位プリズム
16Bの光出射端上に厚さ1mmの透明ガラス板15を
介して固定され、また撮像デバイス4Cは単位プリズム
16Cの光出射端上に直接固定される。
反射させ、青色光を透過させる分光特性を持ち、第2の
多層干渉膜18は青色光を反射させ、緑色光を透過させ
る分光特性を持つ。このようにすると単位プリズム16
Aの光出射端から青色光、単位プリズム16Bの光出射
端から緑色光、単位プリズム16Cの光出射端から赤色
光がそれぞれ出射され、これらが撮像デバイス4A,4
B,4Cにそれぞれ入射する。従って、撮像デバイス4
A,4B,4Cから青、緑、赤の画像信号がそれぞれ異
なるフォーカス状態で得られることになる。
出力される画像信号は、図1の場合と同様にCDS回路
8A,8B,8Cおよび信号処理回路9A,9B,9C
を経て多重フォーカス画像信号となる。そして、この多
重フォーカス画像信号が演算処理部10に入力され、こ
こで先に説明した第1または第2の距離測定アルゴリズ
ムに従って演算処理が行われることにより、被写体距離
が算出される。
ズムを用いたカラーCCDカメラの光学系に透明ガラス
板14,15を組み合わせて多重フォーカス画像を撮像
することができ、装置を非常に簡単に実現することがで
きる。
4B,4Cのうち、撮像デバイス4Aがジャストフォー
カスの状態、撮像デバイス4Bが前ピンの状態、撮像デ
バイス4Cが後ピンの状態となるようにしたが、これら
の対応関係はあくまで一例であり、要するに撮像デバイ
ス4A,4B,4Cのうちの一つがジャストフォーカ
ス、一つが前ピン、一つがのピンとなるようにすればよ
い。
像デバイスは1mm前方、後ピンの撮像デバイスは1m
m後方にそれぞれ配置したが、この1mmというオフセ
ット値は撮像レンズ2の絞り値がF5.6程度で、5〜
6m程度の被写体距離を測定する場合に最適な値であっ
て、絞り値や測定しようとする被写体距離の範囲に応じ
て任意のオフセット値に選ぶことができる。その他、本
発明は種々の変形して実施することが可能である。
重フォーカス画像から演算処理により被写体までの距離
を測定する測距装置において、撮像レンズを通過した被
写体からの光を3つの単位プリズムと2つの多層干渉膜
から構成される複合プリズムにより3分割して、それら
の光をそれぞれ異なる光出射端から取り出した後、撮像
レンズからの光学距離を相対的に異ならせた撮像デバイ
スに入射させることによって多重フォーカス画像信号を
得るようにしたことにより、多重フォーカス画像信号を
構成する3つの画像信号を時間的に同時に取得すること
ができる。
に必要な光学系は、基本的に一体化された複合プリズム
のみでよいから、位置決めが容易となり、経時的な位置
ずれの問題も緩和される。従って、リアルタイムで高精
度な距離測定が可能となる。
メージセンサを用いれば、CCDビデオカメラと同様の
比較的簡単な光学系で多重フォーカス画像信号を生成す
ることができ、この多重フォーカス画像信号から演算処
理によって距離が高精度に求まるため、簡易な構成によ
って装置を実現することができる。
体上のエッジを検出し、各エッジに対して空間焦点画像
を作成した後、これらの各空間焦点画像について該空間
焦点画像上でエッジの位置を通る直線がフォーカス軸に
一致するように整形を行って整形空間焦点画像を仮定
し、これらの各整形空間焦点画像上の等明度点を結ぶ等
明度直線の交点を合焦位置として、被写体までの距離を
算出するという距離測定アルゴリズムを用いれば、最低
限3個の撮像デバイスによる3枚の多重フォーカス画像
信号のみに基づいて十分に高精度の距離測定が可能とな
り、しかも距離算出のための演算処理スピードがより速
くなるという利点がある。
装置の構成を示すブロック図
スの配置の一例を示す図
メージセンサの概略構成を示す図
フローチャート
エッジを有する被写体の例を示す図
図7の被写体を撮像したときの画像信号波形を示す図
フォーカス位置とぼけ幅の関係を示す図
の焦点調整リングの回転角度とぼけ幅の関係を示す図
の整形空間焦点画像の明度分布を示す図
の等明度直線束モデルを示す図
のフローチャート
のフォーカス位置と合焦位置の関係を示す図
イスの配置の他の例を示す図
と撮像デバイスの配置を示す図
の方法を示す図
の方法を示す図
Claims (7)
- 【請求項1】被写体からの光を所定位置に結像させるた
めの撮像レンズと、前記撮像レンズを通過した前記被写体からの光を分割し
て第1、第2及び第3 の光出射端から取り出す複合プリ
ズムと、 前記複合プリズムの各光出射端から取り出された前記被
写体からの光がそれぞれ入射する位置に前記撮像レンズ
からの光学距離を異ならせて配置され、入射する光に対
応してフォーカスの異なる複数の多重フォーカス画像を
構成する画像信号を出力する3個の撮像デバイスと、 前記撮像デバイスからそれぞれ出力される画像信号を演
算処理して前記被写体までの距離を測定する演算処理手
段とを備え、 前記複合プリズムは、 前記撮像レンズを通過した前記被写体からの光が入射す
るように配置された第1の単位プリズムと、 第1の単位プリズムと接合された第2の単位プリズム
と、 第2の単位プリズムと接合された第3の単位プリズム
と、 第1の単位プリズムと第2の単位プリズムの接合面に配
置され、第1の単位プリズムに入射した光の1/3を反
射させて第1の光出射端に導き、2/3を透過させて第
2の単位プリズムに入射させる第1の多層干渉膜と、 第2の単位プリズムと第3の単位プリズムの接合面に配
置され、第1の多層干渉膜を透過して第2の単位プリズ
ムに入射した光の1/2を反射させて第2の光出射端に
導き、残りの1/2を第3の単位プリズムに入射させて
第3の光出射端に導く第2の多層干渉膜とを有する こと
を特徴とする多重フォーカス測距装置。 - 【請求項2】被写体からの光を所定位置に結像させるた
めの撮像レンズと、 前記撮像レンズを通過した前記被写体からの光を分割し
て第1、第2及び第3の光出射端から取り出す複合プリ
ズムと、 前記複合プリズムの各 光出射端から取り出された前記被
写体からの光がそれぞれ入射する位置に前記撮像レンズ
からの光学距離を異ならせて配置され、入射する光に対
応してフォーカスの異なる複数の多重フォーカス画像を
構成する画像信号を出力する3個の撮像デバイスと、 前記撮像デバイスからそれぞれ出力される画像信号を演
算処理して前記被写体までの距離を測定する演算処理手
段とを備え、 前記演算処理手段は、 前記複数の撮像デバイスから出力される画像信号から前
記被写体上のエッジを検出し、 これらのエッジのそれぞれに対して、前記撮像レンズの
中心と前記撮像デバイスの撮像面を結ぶフォーカス軸
と、該フォーカス軸に直交する空間軸とで定義された空
間焦点画像を前記画像信号から作成し、 これらの各空間焦点画像について、該空間焦点画像上で
前記エッジの位置を通る直線が前記フォーカス軸に一致
するように整形を行って整形空間焦点画像を仮定し、 これらの各整形空間焦点画像上の等明度点を結ぶ等明度
直線の交点を合焦位置として、前記被写体までの距離を
算出する ことを特徴とする多重フォーカス測距装置。 - 【請求項3】被写体からの光を所定位置に結像させるた
めの撮像レンズと、 前記撮像レンズを通過した前記被写体からの光を分割し
て第1、第2及び第3の光出射端から取り出す複合プリ
ズムと、 前記複合プリズムの各光出射端から取り出された前記被
写体からの光がそれぞれ入射する位置に前記撮像レンズ
からの光学距離を異ならせて配置され、入射する光に対
応してフォーカスの異なる複数の多重フォーカス画像を
構成する画像信号を出力する3個の撮像デバイスと、 前記撮像デバイスからそれぞれ出力される画像信号を演
算処理して前記被写体までの距離を測定する演算処理手
段とを備え、 前記演算処理手段は、 前記複数の撮像デバイスから出力される画像信号から前
記被写体上のエッジを検出し、 これらのエッジのそれぞれに対して、前記撮像レンズの
中心と前記撮像デバイスの撮像面を結ぶフォーカス軸
と、該フォーカス軸に直交する空間軸とで定義された空
間焦点画像を前記画像信号から作成し、 これらの各空間焦点画像について、該空間焦点画像上で
前記エッジの位置を通る直線が前記フォーカス軸に一致
するように整形を行って整形空間焦点画像を仮定し、 これらの各整形空間焦点画像上の等明度点を結ぶ等明度
直線束上の各点の明度が前記多重フォーカス画像の明度
に一致しているか否かを所定の評価関数で評価し、 前記評価関数が最適となるように前記等明度直線束のパ
ラメータを最適化した後、 前記等明度直線束を構成する等明度直線の交点を合焦位
置として、前記被写体までの距離を算出することを特徴
とする 多重フォーカス測距装置。 - 【請求項4】前記複合プリズムは、 前記撮像レンズを通過した前記被写体からの光が入射す
るように配置された第1の単位プリズムと、 第1の単位プリズムと接合された第2の単位プリズム
と、 第2の単位プリズムと接合された第3の単位プリズム
と、 第1の単位プリズムと第2の単位プリズムの接合面に配
置され、第1の単位プリズムに入射した光の1/3を反
射させて第1の光出射端に導き、2/3を透過させて第
2の単位プリズムに入射させる第1の多層干渉膜と、 第2の単位プリズムと第3の単位プリズムの接合面に配
置され、第1の多層干渉膜を透過して第2の単位プリズ
ムに入射した光の1/2を反射させて第2の光出射端に
導き、残りの1/2を第3の単位プリズムに入射させて
第3の光出射端に導く第2の多層干渉膜とを有すること
を特徴とする請求項2または3記載の 多重フォーカス測
距装置。 - 【請求項5】前記撮像デバイスの少なくとも一つは、前
記光出射端上に所定の厚さのスペーサを介して配置され
ることを特徴とする請求項1乃至3のいずれか1項記載
の多重フォーカス測距装置。 - 【請求項6】前記撮像デバイスは、前記光出射端上に厚
さの異なるスペーサをそれぞれ介して配置されることを
特徴とする請求項1乃至3のいずれか1項記載の多重フ
ォーカス測距装置。 - 【請求項7】前記スペーサは、前記撮像デバイスまたは
前記光出射端上に設けられた固定くさび状部材と、該固
定くさび状部材と係合する可動くさび状部材とからなる
ことを特徴とする請求項5または6に記載の多重フォー
カス測距装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP977297A JP3265212B2 (ja) | 1997-01-22 | 1997-01-22 | 多重フォーカス測距装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP977297A JP3265212B2 (ja) | 1997-01-22 | 1997-01-22 | 多重フォーカス測距装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10206150A JPH10206150A (ja) | 1998-08-07 |
JP3265212B2 true JP3265212B2 (ja) | 2002-03-11 |
Family
ID=11729556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP977297A Expired - Lifetime JP3265212B2 (ja) | 1997-01-22 | 1997-01-22 | 多重フォーカス測距装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3265212B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002365710A (ja) * | 2001-06-04 | 2002-12-18 | Fuji Photo Optical Co Ltd | ピント表示装置 |
US7345706B2 (en) | 2002-08-23 | 2008-03-18 | Fuji Photo Optical Co., Ltd. | Auto focus system |
JP2006154465A (ja) * | 2004-11-30 | 2006-06-15 | Olympus Corp | 焦点検出装置およびその制御方法 |
JP5430292B2 (ja) * | 2009-03-26 | 2014-02-26 | 京セラ株式会社 | 被写体距離計測装置 |
JP5459768B2 (ja) * | 2009-10-28 | 2014-04-02 | 京セラ株式会社 | 被写体距離推定装置 |
US8983176B2 (en) | 2013-01-02 | 2015-03-17 | International Business Machines Corporation | Image selection and masking using imported depth information |
US9183620B2 (en) | 2013-11-21 | 2015-11-10 | International Business Machines Corporation | Automated tilt and shift optimization |
US9196027B2 (en) | 2014-03-31 | 2015-11-24 | International Business Machines Corporation | Automatic focus stacking of captured images |
US9449234B2 (en) | 2014-03-31 | 2016-09-20 | International Business Machines Corporation | Displaying relative motion of objects in an image |
US9300857B2 (en) | 2014-04-09 | 2016-03-29 | International Business Machines Corporation | Real-time sharpening of raw digital images |
JP2019007826A (ja) * | 2017-06-23 | 2019-01-17 | ミツミ電機株式会社 | 測距カメラおよび測距方法 |
-
1997
- 1997-01-22 JP JP977297A patent/JP3265212B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
Title |
---|
浅田尚紀 藤原久永 松山隆司,多重フォーカス画像を用いたエッジ検出と距離測定,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,1994年6月25日,Vol.J−77−D−II,1048−1058,002,CSNT199800736002 |
Also Published As
Publication number | Publication date |
---|---|
JPH10206150A (ja) | 1998-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3265212B2 (ja) | 多重フォーカス測距装置 | |
JP2007528028A (ja) | 異なる焦点に合わせられた画像を生成する光学システム | |
JPH01155308A (ja) | 焦点検出装置 | |
JP2959142B2 (ja) | 固体撮像装置 | |
JP3306858B2 (ja) | 立体形状計測装置 | |
US7016604B2 (en) | Autofocus using a holographic aperture element | |
JP3029004B2 (ja) | 立体ビジョンカメラ | |
JPH0713699B2 (ja) | 自動焦点検出用の投光系 | |
JPS6113566B2 (ja) | ||
JPH1123261A (ja) | 測距装置 | |
JPH1096852A (ja) | 2次元撮像素子を用いた焦点検出装置 | |
JP2916202B2 (ja) | 合焦位置検出装置 | |
JP2002148732A (ja) | 3次元動画入力装置 | |
JP3029005B2 (ja) | 立体ビジョンカメラ | |
JPS63235908A (ja) | 焦点検出装置 | |
JP3174128B2 (ja) | カメラ | |
JP2874485B2 (ja) | 合焦検出手段を有した撮像装置 | |
JP2831388B2 (ja) | パッシブ型オートフォーカス装置の測距機構 | |
JPS63235907A (ja) | 焦点検出装置 | |
JP2932827B2 (ja) | 合焦検出装置 | |
JPS60140306A (ja) | 広視野測距カメラ | |
JPS63235906A (ja) | 焦点検出装置 | |
JPS6145205A (ja) | オ−トフオ−カス装置 | |
JP2000352662A (ja) | 焦点検出光学系 | |
JPS62260481A (ja) | テレビカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071228 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081228 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091228 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091228 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121228 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121228 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131228 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |