JP3414624B2 - 実時間レンジファインダ - Google Patents

実時間レンジファインダ

Info

Publication number
JP3414624B2
JP3414624B2 JP26926197A JP26926197A JP3414624B2 JP 3414624 B2 JP3414624 B2 JP 3414624B2 JP 26926197 A JP26926197 A JP 26926197A JP 26926197 A JP26926197 A JP 26926197A JP 3414624 B2 JP3414624 B2 JP 3414624B2
Authority
JP
Japan
Prior art keywords
light
optical
pattern
subject
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP26926197A
Other languages
English (en)
Other versions
JPH1194520A (ja
Inventor
謙也 魚森
森村  淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP26926197A priority Critical patent/JP3414624B2/ja
Publication of JPH1194520A publication Critical patent/JPH1194520A/ja
Application granted granted Critical
Publication of JP3414624B2 publication Critical patent/JP3414624B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、被写体の3次元位
置(距離画像)を測定するレンジファインダに関する。
【0002】
【従来の技術】レンジファインダは、被写体の距離画像
を測定する装置であり、種々の測定原理が開発されてい
る。例えば、図14に示すように被写体となる物体に対
して縦に長い線状の光(スリット光)を照射し、これを
横方向に掃引してその反射光をカメラで捉えて物体全体
の3次元位置を計測する。
【0003】図15に上記測定原理を採用したレンジフ
ァインダの構成例を示す。同図に示すレンジファインダ
は、光源1からの光をスリット2で縦に長い線状の光に
し、これの投影方向を回転ミラー3により被写体4に対
して水平方向に掃引する。被写体4からの反射光をレン
ズ5を通してホトセンサ6で受光し、各ホトセンサ6の
受光タイミングをタイミング測定部7から距離計算部8
へ入力して掃引開始時刻から各ホトセンサ6に光が到達
するまでの経過時間を計測する。これにより、各ホトセ
ンサ6に光が到達したときのスリット光の投影方向θを
知ることが出来る。そして、投影方向θと、ホトセンサ
6の位置から三角測量の原理で、被写体4の点Pの3次
元位置を計測する。これを、各ホトセンサ6について計
算することにより、被写体4の各点の3次元位置を計測
することができる。
【0004】
【発明が解決しようとする課題】しかしながら、上記の
ようなレンジファインダは、フォトセンサ部分において
各フォトセンサに光が到達した時刻を測定するので、各
フォトセンサに時間計測のための時間計測機能を持たせ
なければならなかった。また、一般的な距離画像の解像
度を得るためには、フォトセンサの解像度を上げる必要
がある。そのためにフォトセンサ列をIC化し、各フォ
トセンサ周辺に時間計測回路を施すというかなり大きな
集積化を必要とする。このため、システムを実現するた
めには専用ICを製作しなければならず、実現が困難で
あった。
【0005】本発明は、以上のような実情に鑑みてなさ
れたもので、既存の技術を用いて、各フォトセンサに時
間計測機能を持たせたような特別なセンサを用いること
なく、容易に実時間で距離計測の出来るレンジファイン
ダを提供することを目的とするものである。
【0006】
【課題を解決するための手段】本発明は上記目的を達成
するため、位置によって異なった光透過率を有する第1
の光変調器と前記光変調器とは異なった光透過率を有す
る第2の光変調器に、波長特性の異なる光を入射し、こ
れの光出力を合成して同一被写体に投光し、第1、第2
の光源の波長成分をそれぞれ抽出する光学フィルタを用
いて撮像し、得られた画像データの各画素の値と撮像素
子と前記光源の幾何学的配置から、被写体までの距離を
計算する距離計算部を有することを特徴とする実時間レ
ンジファインダである。また、本発明の請求項1の発明
は、位置によって光強度が連続的に変化する光パタンを
生成する第1の光変調器と、前記第1の光変調器とは異
なった光パタンを生成する第2の光変調器と、前記第
1、第2の光変調器それぞれに対して波長特性の異なる
光を入射する第1、第2の光源と、前記第1、第2の光
変調器から出力された光パタンの投射された被写体から
光がそれぞれ入射し前記第1、第2の光源の波長特性に
合わせた波長成分をそれぞれ抽出する複数の光学フィル
タと、前記複数の光学フィルタに対応して配置された複
数の撮像素子と、各々の撮像素子から得られた画像デー
タの各画素位置の光強度比から求められた光の出射した
角度を用いて被写体までの距離を計算する距離計算部と
を具備する実時間レンジファインダである。また、本発
明の請求項2の発明は、位置によって光強度が連続的に
変化する光パタンを生成する第1の光変調器と、前記第
1の光変調器とは異なった光パタンを生成する第2の光
変調器と、前記第1、第2の光変調器それぞれに対して
波長特性の異なる光を入射する第1、第2の光源と、前
記第1、第2の光変調器からの光パタンを被写体に投光
するパタン光動作と前記波長特性の異なる複数の光を一
様な光強度分布で前記被写体に投光する拡散光動作とを
交互に時分割で行う光源制御手段と、前記パタン光動作
及び拡散光動作にて光の投射された被写体からの光がそ
れぞれ入射し前記第1、第2の光源の波長特性に合わせ
た波長成分をそれぞれ抽出する複数の光学フィルタと、
前記複数の光学フィルタに対応して配置された複数の撮
像素子と、前記拡散光動作時に各々の撮像素子から得ら
れた画像 データの各画素の値から被写体の表面反射率補
正係数を計算し、前記パタン光動作時に各々の撮像素子
から得られた画像データの各画素位置の光強度比から求
められた光の出射した角度と前記反射率補正係数とか
ら、被写体までの距離を計算する距離計算部とを具備す
る実時間レンジファインダである。本発明の請求項3の
発明は、位置によって光強度が連続的に変化する光パタ
ンを生成する第1の光変調器と、前記第1の光変調器と
は異なった光パタンを生成する第2の光変調器と、前記
第1、第2の光変調器それぞれに対して波長特性の異な
る光を入射する第1、第2の光源と、前記第1、第2の
光変調器から出力された光パタンの投射された被写体か
らの光を受光する撮像素子と、前記第1、第2の光源の
波長特性に合せた波長特性をそれぞれ有し前記撮像素子
上に空間多重するように配置された光学フィルタと、前
記撮像素子にて取得された各々の種類の波長の光領域で
の画像データの各画素位置の光強度比から求められた光
の出射した角度を用いて被写体までの距離を計算する距
離計算部とを具備する実時間レンジファインダである。
また、本発明の請求項4の発明は、位置によって光強度
が連続的に変化する光パタンを生成する第1の光変調器
と、前記第1の光変調器とは異なった光パタンを生成す
る第2の光変調器と、前記第1、第2の光変調器それぞ
れに対して波長特性の異なる光を入射する第1、第2の
光源と、前記第1、第2の光変調器からの光パタンを被
写体に投光するパタン光動作と前記波長特性の異なる複
数の光を一様な光強度分布で前記被写体に投光する拡散
光動作とを交互に時分割で行う光源制御手段と、前記パ
タン光動作及び拡散光動作にて光の投射された被写体か
らの光を受光する撮像素子と、前記第1、第2の光源の
波長特性に合せた波長特性をそれぞれ有し前記撮像素子
上に空間多重するように配置された光学フィルタと、前
記拡散光動作時に前記撮像素子から得られた画像データ
の各画素の値から被写体の表面反射率補正係数を計算
し、前記パタン光動作時に前記撮像素子から得られた画
像データの各画素位置の光強度比から求められた光の出
射した角度と前記表面反射率補正係数とから、被写体ま
での距離を計算する距離計算部とを具備する実時間レン
ジファインダである。
【0007】
【発明の実施の形態】本発明の第1の態様に記載の発明
は、位置によって光透過率の異なる光パタンを生成する
第1の光変調器と、前記第1の光変調器とは異なった光
パタンを生成する第2の光変調器と、前記第1、第2の
光変調器それぞれに対して波長特性の異なる光を入射す
る第1、第2の光源と、前記第1、第2の光変調器から
出力された光パタンの投射された被写体からの光がそれ
ぞれ入射し前記第1、第2の光源の波長特性に合わせた
波長成分をそれぞれ抽出する複数の光学フィルタと、前
記複数の光学フィルタに対応して配置された複数の撮像
素子と、各々の撮像素子から得られた画像データの各画
素の値と前記撮像素子と前記光源との幾何学的配置か
ら、被写体までの距離を計算する距離計算部とを具備す
る実時間レンジファインダであり、被写体に照射する光
を複数のパタン光にすることにより、各フォトセンサに
時間計測機能を持たせるようなセンサを用意することな
く、容易に実時間で距離計測出来る作用を奏する。
【0008】第2の態様に記載の発明は、位置によって
光透過率の異なる光パタンを生成する第1の光変調器
と、前記光変調器とは異なった光パタンを生成する第2
の光変調器と、前記第1、第2の光変調器それぞれに対
して波長特性の異なる光を入射する第1、第2の光源
と、前記第1、第2の光変調器の光パタンを被写体に投
光するパタン光動作と前記波長特性の異なる複数の光を
一様な光強度分布で前記被写体に投光する拡散光動作と
を交互に時分割で行う光源制御手段と、前記パタン光動
作及び拡散光動作にて光の投射された被写体からの光が
それぞれ入射し前記第1、第2の光源の波長特性に合わ
せた波長成分をそれぞれ抽出する複数の光学フィルタ
と、前記複数の光学フィルタに対応して配置された複数
の撮像素子と、前記拡散光動作時に各々の撮像素子から
得られた画像データの各画素の値から被写体の表面反射
率補正係数を計算し、前記パタン光動作時に各々の撮像
素子から得られた画像データの各画素の値と前記撮像素
子と前記光源との幾何学的配置と前記反射率補正係数と
から、被写体までの距離を計算する距離計算部とを具備
する実時間レンジファインダであり、被写体表面の反射
率特性が波長に依存する場合であっても距離計測を行う
ことができるといった作用を奏する。
【0009】第3の態様に記載の発明は、位置によって
光透過率の異なる光パタンを生成する第1の光変調器
と、前記光変調器とは異なった光パタンを生成する第2
の光変調器と、前記第1、第2の光変調器それぞれに対
して波長特性の異なる光を入射する第1、第2の光源
と、前記第1、第2の光変調器から出力された光パタン
の投射された被写体からの光を受光する撮像素子と、前
記第1、第2の光源の波長特性に合せた波長特性をそれ
ぞれ有し前記撮像素子上に空間多重するように配置され
た複数の光学フィルタと、前記撮像素子にて取得された
各々の複数種類の波長の光領域での画像データの各画素
の値と前記撮像素子と前記光源との幾何学的配置から被
写体までの距離を計算する距離計算部とを具備する実時
間レンジファインダであり、一つの撮像素子を設けるだ
けで被写体の距離画像を得られるといった作用を奏す
る。
【0010】第4の態様に記載の発明は、位置によって
光透過率の異なる光パタンを生成する第1の光変調器
と、前記光変調器とは異なった光パタンを生成する第2
の光変調器と、前記第1、第2の光変調器それぞれに対
して波長特性の異なる光を入射する第1、第2の光源
と、前記第1、第2の光変調器からの光パタンを被写体
に投光するパタン光動作と前記波長特性の異なる複数の
光を一様な光強度分布で前記被写体に投光する拡散光動
作とを交互に時分割で行う光源制御手段と、前記パタン
光動作及び拡散光動作にて光の投射された被写体からの
光を受光する撮像素子と、前記第1、第2の光源の波長
特性に合せた波長特性をそれぞれ有し前記撮像素子上に
空間多重するように配置された複数の光学フィルタと、
前記拡散光動作時に前記撮像素子から得られた画像デー
タの各画素の値から被写体の表面反射率補正係数を計算
し、前記パタン光動作時に前記撮像素子から得られた画
像データの各画素の値と前記撮像素子と前記光源との幾
何学的配置と前記表面反射率補正係数とから、被写体ま
での距離を計算する距離計算部とを具備する実時間レン
ジファインダであり、被写体表面の反射率特性が波長に
依存する場合であっても一つの撮像素子で距離計測を行
うことができるといった作用を奏する。
【0011】第5の態様に記載の発明は、被写体に投射
するスリット光を空間的に掃引する光源部と、前記スリ
ット光に掃引された被写体から光が入射し前記スリット
光の波長特性に合せた波長成分を抽出する光学フィルタ
と、前記光学フィルタに対応して配置された撮像素子
と、スリット光による第1の掃引と第2の掃引において
光源の光強度の変化パターンを異ならせる光源部制御手
段と、第1の掃引に対する撮像素子の出力と第2の掃引
に対する撮像素子の出力から画像の各位置におけるスリ
ット光の出射角度を計算し、これによって画像の各位置
における被写体までの距離を計算する距離計算部とを具
備する実時間レンジファインダであり、複数フォトセン
サの受光タイミングの測定を行うこと無く、距離計測を
行うことができるといった作用を奏する。
【0012】第6の態様に記載の発明は、第5の態様
載の実時間レンジファインダにおいて、光源部は、位置
によって異なった光透過率を有する光変調器を用いて、
被写体にある特定の光パタンを一度に投光することによ
り、スリット光の掃引動作に代えるようにしたものであ
り、一回の投光動作で距離計測を行うことができるとい
った作用を奏する。
【0013】以下に、本発明の実施の形態について図面
に基づいて具体的に説明する。
【0014】(第1の実施の形態)図1は本発明の第1
の実施の形態となる実時間レンジファインダの構成図を
示すものである。第1の実施の形態の実時間レンジファ
インダは、光パタン生成部(A)11及び光パタン生成
部(B)12で光強度分布及び波長特性の異なる光パタ
ンを生成しハーフミラー13で合成して被写体OBへ照
射する。また、被写体OBからの反射光をレンズ14で
集光し光パタン生成部(A)11及び光パタン生成部
(B)12の光出力に対応した各反射光を分離して受光
するように構成している。具体的には、レンズ14に入
射した被写体OBからの反射光をハーフミラー(A)1
5へ導光し、さらにハーフミラー(A)15での反射成
分を別のハーフミラー(B)16へ導光している。ハー
フミラー(A)15の透過側の光軸上に光学フィルタ
(A)17、撮像素子(A)18を配置し、またハーフ
ミラー(B)16の反射側の光軸上に光学フィルタ
(B)19、撮像素子(B)20を配置している。
【0015】なお、ハーフミラー(B)16の透過側の
光軸上に撮像素子(C)21を配置して可視光領域の光
を受光して被写体OBの映像信号を出力できるようにし
ている。
【0016】撮像素子(A)18の映像出力端子に光パ
タンA信号処理回路22を接続し、撮像素子(B)20
の映像出力端子に光パタンB信号処理回路23を接続し
ている。これら光パタンA信号処理回路22及び光パタ
ンB信号処理回路23の出力信号を距離計算部24へ入
力することにより距離画像を計測する。
【0017】また、撮像素子(C)21の映像出力端子
にカラーカメラ信号処理回路25を接続してテクスチャ
画像を得るようにしている。
【0018】撮像素子(A)18、(B)20、光パタ
ンA信号処理回路22、光パタンB信号処理回路23、
距離計算部24の動作タイミングは、制御部26により
制御されている。制御部26は、さらに光源コントロー
ラ27に指示して光パタン生成部(A)11、(B)1
2の動作を制御する。
【0019】図2に光パタン生成部(A)11の構成を
示す。光源30の前面に光学フィルタ31を配置し、光
源30からみて光学フィルタ31の後側に光変調器32
及び出射レンズ33を配置している。光学フィルタ31
は波長λA近傍の成分のみを透過させる透過率特性を持
つ。光変調器32は、例えば液晶フィルタで構成されて
おり、図3(a)に示すように光透過率が水平方向の左
側から右側に向けて連続的に高くなる透過率特性に設定
されている。なお、もう一つの光パタン生成部(B)1
2は光パタン生成部(A)11と同様に構成されている
が、光学フィルタの透過波長帯域が異なっている。光パ
タン生成部(B)12に設けられた光学フィルタは波長
λAとは異なる波長λBに透過率のピークが来るような透
過率特性を有している。また光パタン生成部(B)12
の光変調器は光透過率分布が光変調器32の分布状態を
反転したものとなっている。
【0020】以上のように構成された本実施の形態の実
時間レンジファインダの動作について説明する。
【0021】まず、光パタン生成部(A)(B)の動作
を説明する。光パタン生成部(A)11では、光源30
から出力された光は光学フィルタ31を通過し、図4
(a)に示すような波長λA近辺の光のみが取り出され
る。そして、図4(a)に示す波長λA側の波長特性を
持ち、かつ、図3(b)に実線で示すような光強度分布
の光パタンが光変調器31から出射し、水平方向に強度
の異なる光が出射レンズ33によってハーフミラー13
に入射する。一方、光パタン生成部(B)12おいても
同様に、図4(a)に示す波長λB側の波長特性を持
ち、かつ、図3(b)に破線で示すような光強度分布の
光パタンが光学フィルタ及び光変調器で生成され、出射
レンズを通してハーフミラー13に入射する。
【0022】これら2つの光パタン生成部(A)(B)
から出射される光をハーフミラー13で合成し、合成し
た光は片方はハーフミラー13で横方向に反転するた
め、図3(b)に示されるように実線と破線の特性でそ
れぞれ各波長λA、λBのものが被写体OBに投影され
る。
【0023】出射された光は被写体OBに当たり、その
反射光がレンズ14、ハーフミラー(A)15、ハーフ
ミラー(B)16により撮像素子(A)18、(B)2
0、(C)21に入射する。撮像素子(A)18の前面
に配置した光学フィルタ(A)17は、図4(b)に示
すように波長λAを含んだ所定領域の成分は透過するが
波長λBを含んだ所定領域の成分はカットするような特
性に設定している。また、撮像素子(B)20の前面に
配置した光学フィルタ(B)19は、図4(b)に示す
ように波長λBを含んだ所定領域の成分は透過するが波
長λAを含んだ領域の成分はカットするような特性に設
定している。したがって、光パタン生成部(A)11、
光パタン生成部(B)12の光を撮像素子(A)18、
(B)20とで分離して受光できる。
【0024】ここで、撮像素子(A)18、撮像素子
(B)20の出力の各画素での光強度の比fは、光パタ
ンの水平角度位置θに対して図5のように変化する。こ
の光強度の比を撮像素子(A)18、(B)20で計測
し、光の出射角度θ0を測定する。図5では、光強度比
がIa/Ibの出射光の水平角度θ0が測定できること
を示している。Ia/Ibの関数をfとおくと、θ0=
f-1(Ia/Ib)となる)。
【0025】次に、距離計算部24は、光パタンA信号
処理部22、光パタンB信号処理部23の出力から、各
画素の信号強度を元に、各画素位置の光強度比をもと
め、それから図5の特性より、光の射した角度を計算
する。この角度と、撮像素子(A)(B)と光パタン生
成部(A)(B)の幾何学的位置関係より、光パタン生
成部(A)(B)から出射される光の方向を計算し、三
角測量の原理により、各画素の位置に写っている被写体
OBの部分の3次元位置を計算する。これによって、被
写体OBの距離画像が得られる。同時に、撮像素子
(C)21、カラーカメラ信号処理部25の出力によっ
て、得られた距離画像に対応する被写体OBのテクスチ
ャ画像が得られる。
【0026】ここまでは、被写体表面の反射率特性が光
の波長に依存しない場合即ち被写体が一様な色である場
合、または図4の2つの波長λA、λBが十分近い値であ
り被写体の反射率特性が2つの波長でほぼ同じと考えら
れる場合の実時間レンジファインダの動作である。
【0027】しかし、一般的には被写体の表面反射率は
場所によって光波長特性が変化する。そこで、図6に示
すように、第1の実施の形態で説明した光パタン生成部
(A)(B)の光がパタン光である場合の動作(パタン
光動作)と、拡散光動作を交互に行うことにより、被写
体の表面反射率が光波長に依存する場合でも距離計測を
行うことが出来る。基本的に、パタン光計測の動作時
は、これまで説明してきた動作と同じである。
【0028】ただし、前述の説明で、角度θ0を求める
時に異なった計算を行う。即ち、拡散光動作の場合は光
パタン生成部(A)(B)の光変調器32が被写体OB
に一様な光を投射するように設定され(一様な透過率に
なるように設定され)、この時の光パタン生成部(A)
(B)それぞれの出射光の被写体反射光を撮像し、光パ
タンA信号処理部22、光パタンB信号処理部23の出
力の比を各フォトセンサ(撮像素子上の各画素センサ)
毎について計算しておき、被写体の各光源の光照射時の
表面反射率の比を用意し、これを補正係数とする。次
に、角度θ0を計算する場合に、光強度比Ia/Ib
に、補正係数をかけ、その値をもとにf-1(Ia/Ib
×補正係数)を各フォトセンサ出力毎に計算し、正しい
光受光角度を計測する。これにより、被写体の表面反射
率の光波長依存性による誤差を補正し、これと撮像素子
と光パタン生成部の幾何学位置関係をもとに、三角測量
の原理によって被写体の3次元位置を計算する。
【0029】なお、第1の実施の形態において、撮像素
子(A)18、(B)20の前面に配置する光学フィル
タは、図3(b)に示すように光波長の高低によって2
つの光を分離しても良い。一般的に、光パタン生成部
(A)11、(B)12から出射される光は赤外に設定
され、これにより距離計測を行い、撮像素子(C)21
は可視領域の光を受光しカラーカメラ信号処理部25に
より被写体のテクスチャを撮像する。但し、撮像素子
(A)18、(B)20は光学フィルタ特性を可視領域
に設定し、撮像素子(C)21と同時に撮像せず、光パ
タン生成部(A)11、(B)12の動作を時分割にし
て、これにタイミングを合わせて撮像素子(A)18、
(B)20、(C)21が動作すれば光源を赤外領域に
設定する必要はない。また、光パタンを作成する光変調
器は映像プロジェクタなどパターン画像を投影するもの
で代用することができる。
【0030】また、第1の実施の形態において、パタン
光は赤外領域の光を利用すれば、撮像素子(C)21、
カラーカメラ信号処理回路23によりテクスチャ画像を
距離画像計測と同時に撮像することが出来るが、パタン
光を可視領域に設定し、スリット光投光時以外のタイミ
ングで時分割処理によりテクスチャ画像を撮像してもよ
い。
【0031】また、第1の実施の形態において、光源3
0をランプ状のものとして説明したが、LED等、波長
選択特性をもつ光源を用いてもよい。この場合、2つの
LED光の波長を異なる値にしておき、これに合わせた
光学フィルタを撮像素子側に装着する。光源部での光学
フィルタは省略することもできる。
【0032】また、2種の光の波長を非常に近いものに
設定すれば、被写体の表面反射率が光波長によって急激
に変化しない場合には、拡散光計測を行うことなく、精
度の良い距離画像を計測することが出来る。
【0033】また、第1の実施の形態において、光源を
2種類としたが、2種類以上の光源を用いて、それらそ
れぞれの光を独立に受光し、各フォトセンサにおいてそ
れぞれの光強度の組み合わせをもとに、光が出射された
角度を計算してもよい。
【0034】以上のように、本実施の形態によれば、既
存の技術を用いて、出射される光を複数のパタン光にす
ることにより、各フォトセンサに時間計測機能を持たせ
るようなセンサを用意することなく、容易に実時間で距
離計測の出来るレンジファインダを実現することができ
る。
【0035】(第2の実施の形態)図7は、本発明の第
2の実施の形態となる実時間レンジファインダの構成図
を示す。なお、図7において上述した第1の実施の形態
と同一機能を有する部分には同一符号を付している。
【0036】本実施の形態の実時間レンジファインダ
は、光源(C)41の前面に光学フィルタ(C)42が
配置され、光学フィルタ(C)42の出射側にスリット
43が配置されている。スリット43にて生成した縦方
向のスリット光は回転ミラー44を介して被写体OBへ
照射される。光源(C)41は光源コントローラ45か
ら制御され、スリット43はスリット制御部46から制
御される。また、回転ミラー44は回転制御部47から
制御される。一方、被写体OBからの反射光をレンズ4
8で受光しハーフミラー(A)15に入射して分岐す
る。ハーフミラー(A)15の透過側の光軸上に光学フ
ィルタ(C)49、撮像素子(A)50を配置してい
る。また、ハーフミラー(A)15の反射側の光軸上に
撮像素子(C)21が配置されている。
【0037】撮像素子(A)50の映像出力端子に画像
処理部51を接続しており、画像処理部に51にメモリ
52を付設している。また、距離計算部24、光源コン
トローラ45、スリット制御部46、回転制御部47を
制御部53が制御している。
【0038】以上のように構成された本実施の形態の実
時間レンジファインダについて、以下その動作を説明す
る。
【0039】まず、光源(C)41から発した光は光学
フィルタ(C)42を通過し、ある赤外波長特性を持っ
た光となり、スリット43によって縦方向のスリット光
となる。これを回転ミラー44によって横方向に掃引し
て被写体OBにスリット光を投射する。
【0040】回転ミラー44によるスリット光の掃引
は、図8(a)に示されるように、1フィールドで横方
向に一回行われる。撮像素子による撮像がノンインタレ
ースの場合には1フレームで横方向に一回行われる。
【0041】この時、図8(b)に示すように、光源コ
ントローラ45によって第1回の掃引においては光強度
をだんだん強くし、第2回の掃引においては光強度をだ
んだん弱くするように光源(C)41の光強度が制御さ
れる。
【0042】このようにして作成された光を被写体OB
に照射し、その反射光を撮像素子(A)50によってと
らえる。この場合、露出はシャッター動作の無い露出と
し、各フィールド(フレーム)において走査された光の
反射光を撮像素子に蓄積して撮像した画像を画像処理部
51に転送する。
【0043】画像処理部51は、図8(b)に示すフィ
ールド(1)の部分で撮像された画像をメモリ52に蓄
積し、これとフィールド(2)の部分で撮像された画像
とを同時化し、各画像の同じ座標での輝度値を参照す
る。1回目の掃引による画像の輝度値と2回目の掃引に
よる画像の輝度値の組み合わせによって、特定の角度θ
が決定される(図8(c))。すなわち、2フィールド
(フレーム)で1つの距離画像を得ることができる。例
えば、時刻t1での座標とt2での画像のx座標が等し
いとすると、その輝度(画像信号の大きさ)を測定しL
1、L2となった場合、L1/L2の値を計算して図8
(c)により、角度θを特定する。この時、L1/L2
の比の値は、強度は異なるが同じ光源に対する被写体の
反射光を捕らえているので被写体の表面にテクスチャ模
様(色分布)が存在していてもこれに依存しない。これ
によって高精度な角度θの推定が行える。
【0044】後は、距離計算部24が、それぞれの座標
における角度θを求め、回転ミラー44とレンズ48の
距離(基線長)から被写体OBまでの距離を三角測量に
よって計算し、画面全体の距離情報を得、距離画像とし
て出力する。
【0045】また、テクスチャ画像は撮像素子(C)2
1によって撮像され、カラーカメラ信号処理部25によ
って画像信号となり、テクスチャ画像として出力され
る。この時、1つの距離画像に対して2つのテクスチャ
画像を得ることが出来るが、どちらか一方か両方か、そ
れぞれの画素での平均値や中間値を計算して出力しても
良い。
【0046】以上のように本実施の形態によれば、スリ
ット光を2回掃引してその時の光強度の変化を異なるも
のにすることによって、得られた2回分の掃引(2フィ
ールドまたは2フレーム)に対する2画像の各部分のス
リット光投射角度を、被写体の表面反射率に依存しない
で一意的に決定でき、これによって簡単に距離計算が2
フィールド(フレーム)に一回可能になる。
【0047】また、第2の実施の形態において、光源
(C)41にランプ状のものを用いたが、赤外LEDや
赤外レーザで構成すれば、光学フィルタ(C)42を省
略することもできる。
【0048】また、第2の実施の形態において、スリッ
ト光を横方向に掃引して光パタンを生成したが、図2に
示されるような光パタン生成部を用いて、掃引動作を無
くしてもよい。この場合は、第1、第2の掃引の代わり
に、第1、第2の光パタンを時分割で照射し、そのタイ
ミングに合わせて順次撮像素子(A)18で被写体の反
射光を撮像することになる。
【0049】(第3の実施の形態)図9は、本発明の第
3の実施の形態となる実時間レンジファインダの構成図
を示す。なお、上述した第2の実施の形態と同一部分に
は同一符号を付している。
【0050】第3の実施の形態は、被写体OBの反射光
が入射するレンズ48から光が入射するハーフミラー
(A)15の反射側の光軸上にハーフミラー(B)60
が配置されている。このハーフミラー(B)60の反射
側の光軸上に光学フィルタ(B)61及び撮像素子
(B)62が配置されている。2つの撮像素子(A)5
0と撮像素子(B)62の出力を画像信号処理部63へ
入力している。また、光源は光源(C)41の1種類で
あり、これに合わせた波長通過特性を有する光学フィル
タ(C)42を用いている。
【0051】以上のように構成された本実施の形態の実
時間レンジファインダについて、以下その動作を説明す
る。
【0052】まず、光源(C)41の掃引は図10
(a)に示されるように、1フィールドで横方向に2回
行われる。撮像素子による撮像がノンインタレースの場
合には1フレームで横方向に2回行われる。この時、光
源(C)41の光強度は光源コントローラ45によって
第1回の掃引においては光強度をだんだん強くし、第2
回の掃引においては光強度を徐々に弱くするように制御
される(図10(b))。
【0053】このようにして作成された光を被写体OB
に照射し、その反射光を撮像素子(A)50、(B)6
2によってとらえる。撮像素子への露出は、この場合、
シャッター動作での露出とし、各掃引において走査され
た光の反射光をそれぞれの撮像素子(A)50、(B)
62に蓄積して、撮像した画像を画像信号処理部63に
転送する。すなわち、図10(c)に示すように、第1
の掃引用撮像素子(A)50の露出時間はT1、第2の
掃引用撮像素子(B)62の露出時間はT2となる。こ
の時、図10(c)に示す(1)領域の部分で撮像され
た画像と(2)領域の部分で撮像された画像とを画像信
号処理部63で処理し、各画像の同じ座標での輝度値を
参照する。以降の動作は本発明の第2の実施の形態と同
様である。
【0054】1回目の掃引による画像の輝度値と2回目
の掃引による画像の輝度値の組み合わせによって、特定
の角度θが決定される(図10(d))。つまり、1フ
ィールド(フレーム)で2回の掃引分の画像を撮像素子
のシャッター動作によって2種類獲得し、これらから1
つの距離画像を得ることができる。例えば、時刻t3で
の座標とt4での画像のx座標が等しいとすると、その
輝度(画像信号の大きさ)を測定しL3、L4となった
場合、L3/L4の値を計算して図10(c)により、
角度θを特定する。この時、L3/L4の比の値は、強
度は異なるが同じ光源に対する被写体の反射光を捕らえ
ているので被写体の表面にテクスチャ模様が存在してい
てもこれに依存しない。
【0055】これによって、本実施の形態でも、高精度
な角度θの推定が行える。後は距離計算部24が、それ
ぞれの座標における角度θを求め、回転ミラー44とレ
ンズ48との距離(基線長)から被写体OBまでの距離
を三角測量によって計算し、画面全体の距離情報を得、
距離画像として出力する。
【0056】また、テクスチャ画像は撮像素子(C)2
2によって撮像され、カラーカメラ信号処理部25によ
って画像信号となり、テクスチャ画像として出力され
る。
【0057】また、2回のスリット光掃引は、図10で
は1フィールド(フレーム)期間で丁度2回終了するよ
うにしたが、図11(a)〜(c)に示すように1フィ
ールド(フレーム)期間の一部分を用いて高速に掃引を
行っても良い。その他の動作は前述の第3の実施の形態
と同じである。
【0058】以上のように本実施の形態によれば、スリ
ット光を2回掃引してその時の光強度の変化を異なるも
のにすることによって、得られた2回分の掃引に対する
2画像の各部分のスリット光投射角度を、被写体の表面
反射率に依存しないで一意的に決定でき、これによって
簡単に1フィールドに1回距離計算が可能になる。
【0059】また、本実施の形態において、光源をラン
プ状のものを用いたが、赤外LEDや赤外レーザで構成
すれば、光学フィルタ(C)42を省略することもでき
る。
【0060】また、本実施の形態において、スリット光
を横方向に掃引して光パタンを生成したが、図2に示さ
れるような光パタン生成部を用いて、掃引動作を無くし
てもよい。この場合は、第1、第2の掃引の代わりに、
第1、第2の光パタン光変調器で用意して時分割でパタ
ン光を照射することになる。
【0061】尚、第1〜第3の実施の形態において、光
パタンの変化を直線的に行ったが、どのような変化パタ
ンを用いてもよい。また、光パタンの変化を各距離計測
毎に変え、雑音に対して強い測定をおこなってもよい。
この場合、連続する複数の距離計測結果を用いて平均処
理・メディアン処理など、光学フィルタ手法を用いて高
精度な距離計測結果を出力してもよい。
【0062】なお、第1〜第3の実施の形態において、
複数の撮像素子をハーフミラーを用いて組み合わせて同
一視野が撮像できるようにしたが、図12(a)のよう
にレンズ71,72をそれぞれの撮像素子(A)18、
(B)20の前に設けてもよい。また、図12(b)の
ように、ハーフミラー73をX型に配置し、これによっ
て3つの撮像素子(A)18、(B)20、(C)22
に入射光を分けてもよい。また、3板撮像素子カメラな
どで応用されているダイクロイックミラーを用いた構造
で3つの撮像素子カメラに光を分けても良い。つまり、
同一視野の画像を光学的に得る方法であれば、どのよう
な方法でも適用することが出来る。
【0063】また、第1の実施の形態において、複数の
撮像素子を用いて2種類の波長の光を分けるのではな
く、図13(a)のように一つの撮像素子(D)74に
て2種類の波長の光を受け、その表面に図13(b)の
ように2種類の光学フィルタA、Bを交互にストライプ
状に配置して2種類の波長に対する画像を1つの画像に
多重して検出しても良い。この場合、ストライプは縦、
横どちらでもよい。また、図13(c)に示すように、
市松模様状に光学フィルタA、Bを配置しても良い。た
だし、これらの場合、それぞれの波長の光に対する画像
の解像度は低下する。
【0064】
【発明の効果】以上詳記したように本発明によれば、既
存の技術を用いて、各フォトセンサに時間計測機能を持
たせたような特別なセンサを用いることなく、容易に実
時間で距離計測の出来るレンジファインダを実現でき
る。
【図面の簡単な説明】
【図1】本発明にかかる第1の実施の形態の実時間レン
ジファインダの構成図
【図2】第1の実施の形態に備えた光パタン生成部の構
成図
【図3】(a)光パタン生成部に備えた光変調器の特性
図 (b)光パタン生成部から出社する光パタンの光強度分
布図
【図4】(a)光パタン生成部に備えた光学フィルタの
透過率特性図 (b)受光部に備えた光学フィルタの透過率特性図
【図5】第1の実施の形態におけるパタン光出射角度と
画素強度比の関係図
【図6】第1の実施の形態における時分割動作説明図
【図7】本発明の第2の実施の形態の実時間レンジファ
インダの構成図
【図8】(a)第2の実施の形態における光源部での掃
引動作を示す図 (b)第2の実施の形態における光源部での掃引と光強
度との関係図 (c)第2の実施の形態における光強度比と光投射角度
の関係図
【図9】本発明にかかる第3の実施の形態の実時間レン
ジファインダの構成図
【図10】(a)第3の実施の形態における光源部での
スリット光の掃引動作を示す図 (b)第3の実施の形態における光源部での掃引と光強
度との関係図 (c)第3の実施の形態における露出時間と撮像画像と
の関係図 (d)第3の実施の形態における光強度比と光投射角度
の関係図
【図11】(a)第3の実施の形態における高速走査の
場合の光源部でのスリット光の掃引動作を示す図 (b)第3の実施の形態における高速走査の場合の光源
部での掃引と光強度との関係図 (c)第3の実施の形態における高速走査の場合の露出
タイミング図
【図12】(a)本発明の各実施の形態における受光部
側の変形例を示す図 (b)本発明の各実施の形態における受光部側の他の変
形例を示す図
【図13】(a)本発明の各実施の形態における受光部
側の変形例を示す図 (b)本発明の各実施の形態の受光部における光学フィ
ルタの配置例を示す図 (c)本発明の各実施の形態の受光部における光学フィ
ルタの他の配置例を示
【図14】従来のレンジファインダの概念図
【図15】従来のレンジファインダの構成図
【符号の説明】
11 光パタン生成部(A) 12 光パタン生成部(B) 13 ハーフミラー 14 レンズ 15 ハーフミラー(A) 16 ハーフミラー(B) 17 光学フィルタ(A) 18 撮像素子(A) 19 光学フィルタ(B) 20 撮像素子(B) 21 撮像素子(C) 22 光パタンA信号処理回路 23 光パタンB信号処理回路 24 距離計算部 30 光源 31 光学フィルタ 32 光変調器 33 出射レンズ
フロントページの続き (56)参考文献 特開 平2−300608(JP,A) 特開 平5−118826(JP,A) 特開 平7−208946(JP,A) 特開 平6−34323(JP,A) 特開 平3−139772(JP,A) 特開 昭63−138207(JP,A) 特開 平3−13925(JP,A) 特開 平8−43038(JP,A) 特開 平2−176410(JP,A) 特公 平7−11420(JP,B2) 特表 平5−502720(JP,A) BRIAN CARRIHILL,R OBERT HUMMEL,Exper iments with the In tensity Ratio Dept h Sensor,COMPUTER VISION,GRAPHICS,AN D IMAGE PROCESSIN G,Acadmec Press,In c.,1985年,No.32,337−358頁 (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 - 11/30

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 位置によって光強度が連続的に変化する
    光パタンを生成する第1の光変調器と、前記第1の光変
    調器とは異なった光パタンを生成する第2の光変調器
    と、前記第1、第2の光変調器それぞれに対して波長特
    性の異なる光を入射する第1、第2の光源と、前記第
    1、第2の光変調器から出力された光パタンの投射され
    た被写体から光がそれぞれ入射し前記第1、第2の光源
    の波長特性に合わせた波長成分をそれぞれ抽出する複数
    の光学フィルタと、前記複数の光学フィルタに対応して
    配置された複数の撮像素子と、各々の撮像素子から得ら
    れた画像データの各画素位置の光強度比から求められた
    光の出射した角度を用いて被写体までの距離を計算する
    距離計算部とを具備する実時間レンジファインダ。
  2. 【請求項2】 位置によって光強度が連続的に変化する
    光パタンを生成する第1の光変調器と、前記第1の光変
    調器とは異なった光パタンを生成する第2の光変調器
    と、前記第1、第2の光変調器それぞれに対して波長特
    性の異なる光を入射する第1、第2の光源と、前記第
    1、第2の光変調器からの光パタンを被写体に投光する
    パタン光動作と前記波長特性の異なる複数の光を一様な
    光強度分布で前記被写体に投光する拡散光動作とを交互
    に時分割で行う光源制御手段と、前記パタン光動作及び
    拡散光動作にて光の投射された被写体からの光がそれぞ
    れ入射し前記第1、第2の光源の波長特性に合わせた波
    長成分をそれぞれ抽出する複数の光学フィルタと、前記
    複数の光学フィルタに対応して配置された複数の撮像素
    子と、前記拡散光動作時に各々の撮像素子から得られた
    画像データの各画素の値から被写体の表面反射率補正係
    数を計算し、前記パタン光動作時に各々の撮像素子から
    得られた画像データの各画素位置の光強度比から求めら
    れた光の出射した角度と前記反射率補正係数とから、被
    写体までの距離を計算する距離計算部とを具備する実時
    間レンジファインダ。
  3. 【請求項3】 位置によって光強度が連続的に変化する
    光パタンを生成する第1の光変調器と、前記第1の光変
    調器とは異なった光パタンを生成する第2の光変調器
    と、前記第1、第2の光変調器それぞれに対して波長特
    性の異なる光を入射する第1、第2の光源と、前記第
    1、第2の光変調器から出力された光パタンの投射され
    た被写体からの光を受光する撮像素子と、前記第1、第
    2の光源の波長特性に合せた波長特性をそれぞれ有し前
    記撮像素子上に空間多重するように配置された光学フィ
    ルタと、前記撮像素子にて取得された各々の種類の波長
    の光領域での画像データの各画素位置の光強度比から求
    められた光の出射した角度を用いて被写体までの距離を
    計算する距離計算部とを具備する実時間レンジファイン
    ダ。
  4. 【請求項4】 位置によって光強度が連続的に変化する
    光パタンを生成する第1の光変調器と、前記第1の光変
    調器とは異なった光パタンを生成する第2の光変調器
    と、前記第1、第2の光変調器それぞれに対して波長特
    性の異なる光を入射する第1、第2の光源と、前記第
    1、第2の光変調器からの光パタンを被写体に投光する
    パタン光動作と前記波長特性の異なる複数の光を一様な
    光強度分布で前記被写体に投光する拡散光動作とを交互
    に時分割で行う光源制御手段と、前記パタン光動作及び
    拡散光動作にて光の投射された被写体からの光を受光す
    る撮像素子と、前記第1、第2の光源の波長特性に合せ
    た波長特性をそれぞれ有し前記撮像素子上に空間多重す
    るように配置された光学フィルタと、前記拡散光動作時
    に前記撮像素子から得られた画像データの各画素の値か
    ら被写体の表面反射率補正係数を計算し、前記パタン光
    動作時に前記撮像素子から得られた画像データの各画素
    位置の光強度比から求められた光の出射した角度と前記
    表面反射率補正係数とから、被写体までの距離を計算す
    る距離計算部とを具備する実時間レンジファインダ。
JP26926197A 1997-09-16 1997-09-16 実時間レンジファインダ Expired - Lifetime JP3414624B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26926197A JP3414624B2 (ja) 1997-09-16 1997-09-16 実時間レンジファインダ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26926197A JP3414624B2 (ja) 1997-09-16 1997-09-16 実時間レンジファインダ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002135010A Division JP3668466B2 (ja) 2002-05-10 2002-05-10 実時間レンジファインダ

Publications (2)

Publication Number Publication Date
JPH1194520A JPH1194520A (ja) 1999-04-09
JP3414624B2 true JP3414624B2 (ja) 2003-06-09

Family

ID=17469897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26926197A Expired - Lifetime JP3414624B2 (ja) 1997-09-16 1997-09-16 実時間レンジファインダ

Country Status (1)

Country Link
JP (1) JP3414624B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150506B2 (ja) * 2000-02-16 2008-09-17 富士フイルム株式会社 画像撮像装置及び距離測定方法
JP4040825B2 (ja) 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
US6618123B2 (en) 2000-10-20 2003-09-09 Matsushita Electric Industrial Co., Ltd. Range-finder, three-dimensional measuring method and light source apparatus
JP3984608B2 (ja) * 2000-10-20 2007-10-03 松下電器産業株式会社 レンジファインダ装置
JP3852285B2 (ja) * 2001-01-10 2006-11-29 富士ゼロックス株式会社 3次元形状計測装置および3次元形状計測方法
JP5092613B2 (ja) * 2007-08-06 2012-12-05 日産自動車株式会社 距離計測方法および装置、ならびに距離計測装置を備えた車両
JP4516590B2 (ja) * 2007-09-25 2010-08-04 富士フイルム株式会社 画像撮像装置及び距離測定方法
DE102008064104B4 (de) * 2008-12-19 2014-06-18 Aimess Services Gmbh Vorrichtung und Verfahren zum dreidimensionalen optischen Vermessen von stark reflektierenden oder durchsichtigen Objekten
WO2014175931A2 (en) * 2013-01-07 2014-10-30 Ascentia Imaging, Inc. Optical guidance systems and methods using mutually distinct signal-modifying sensors
JP2014163690A (ja) * 2013-02-21 2014-09-08 Mitsutoyo Corp 形状測定装置
CN107202554B (zh) * 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
KR20200040782A (ko) * 2017-08-28 2020-04-20 트리나미엑스 게엠베하 적어도 하나의 기하학적 정보를 판정하기 위한 측거기
JP6611872B2 (ja) * 2018-07-13 2019-11-27 キヤノン株式会社 計測装置
DE112018007930T5 (de) * 2018-08-24 2021-05-06 Yamaha Hatsudoki Kabushiki Kaisha Vorrichtung zur dreidimensionalen Messung, Verfahren zur dreidimensionalen Messung
JP7231433B2 (ja) * 2019-02-15 2023-03-01 株式会社キーエンス 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BRIAN CARRIHILL,ROBERT HUMMEL,Experiments with the Intensity Ratio Depth Sensor,COMPUTER VISION,GRAPHICS,AND IMAGE PROCESSING,Acadmec Press,Inc.,1985年,No.32,337−358頁

Also Published As

Publication number Publication date
JPH1194520A (ja) 1999-04-09

Similar Documents

Publication Publication Date Title
JP3417222B2 (ja) 実時間レンジファインダ
JP3414624B2 (ja) 実時間レンジファインダ
US7349104B2 (en) System and a method for three-dimensional imaging systems
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US6600168B1 (en) High speed laser three-dimensional imager
US6819436B2 (en) Image capturing apparatus and distance measuring method
EP3801366B1 (en) Device, method and system for generating dynamic projection patterns in a camera
JP3695188B2 (ja) 形状計測装置および形状計測方法
JP2002213931A (ja) 3次元形状計測装置および3次元形状計測方法
JPH11508371A (ja) テレセントリック立体カメラと方法
JP2714152B2 (ja) 物体形状測定方法
CA2423325C (en) Sensor and method for range measurements using a tdi device
JP2000147604A (ja) レンジファインダ
EP0882211B1 (en) A method and apparatus for reducing the unwanted effects of noise present in a three-dimensional color imaging system
JP7005175B2 (ja) 距離測定装置、距離測定方法及び撮像装置
JP3818028B2 (ja) 3次元画像撮像装置および3次元画像撮像方法
JP3668466B2 (ja) 実時間レンジファインダ
JP3711808B2 (ja) 形状計測装置および形状計測方法
JP2004053532A (ja) 光学的形状測定装置
JP2001133231A (ja) 3次元画像取得生成装置
JP2987000B2 (ja) 位置情報のコード化方法およびそのコードを用いた3次元計測方法
JP2641945B2 (ja) 距離画像取得方法及び装置
JP7215472B2 (ja) 撮像装置および撮像方法
JP2002013918A (ja) 3次元画像生成装置および3次元画像生成方法
JP4204746B2 (ja) 情報獲得方法、撮像装置及び、画像処理装置

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090404

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100404

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140404

Year of fee payment: 11

EXPY Cancellation because of completion of term