JPH10239054A - 視点・物点位置計測方法及び装置 - Google Patents
視点・物点位置計測方法及び装置Info
- Publication number
- JPH10239054A JPH10239054A JP9037899A JP3789997A JPH10239054A JP H10239054 A JPH10239054 A JP H10239054A JP 9037899 A JP9037899 A JP 9037899A JP 3789997 A JP3789997 A JP 3789997A JP H10239054 A JPH10239054 A JP H10239054A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- object point
- point position
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 視点・物点位置計測装置を大きくすることな
く、簡易に視点・物点位置を計測すること。 【解決手段】 複数の物点に対して、１つの視点で得ら
れた一組のステレオ画像と、相対位置関係が未知である
複数の視点それぞれで得られた単眼画像を用いて、前記
一組のステレオ画像を得た視点及び前記単眼画像を得た
視点の相対位置関係及び前記各物点の実空間座標を計測
する視点・物点位置計測方法であって、前記ステレオ画
像及び前記複数の視点それぞれで取得された単眼画像か
ら複数の物点の画像面座標を取得し、前記ステレオ画像
及び前記単眼画像の画像面座標と実空間座標との関係に
基づき、前記視点間の相対位置関係を示す座標変換パラ
メータと前記各物点の画像面座標で示された画像面座標
計測誤差の確率分布を求め、前記全ての視点と前記全て
の物点について前記確率分布を合成した合成確率密度分
布を求め、前記合成確率密度分布の最大値を与える前記
座標変換パラメータと前記各物点の画像面座標より得ら
れる前記各物点の実空間座標とを求める。
く、簡易に視点・物点位置を計測すること。 【解決手段】 複数の物点に対して、１つの視点で得ら
れた一組のステレオ画像と、相対位置関係が未知である
複数の視点それぞれで得られた単眼画像を用いて、前記
一組のステレオ画像を得た視点及び前記単眼画像を得た
視点の相対位置関係及び前記各物点の実空間座標を計測
する視点・物点位置計測方法であって、前記ステレオ画
像及び前記複数の視点それぞれで取得された単眼画像か
ら複数の物点の画像面座標を取得し、前記ステレオ画像
及び前記単眼画像の画像面座標と実空間座標との関係に
基づき、前記視点間の相対位置関係を示す座標変換パラ
メータと前記各物点の画像面座標で示された画像面座標
計測誤差の確率分布を求め、前記全ての視点と前記全て
の物点について前記確率分布を合成した合成確率密度分
布を求め、前記合成確率密度分布の最大値を与える前記
座標変換パラメータと前記各物点の画像面座標より得ら
れる前記各物点の実空間座標とを求める。
Description
【０００１】
【発明の属する技術分野】本発明は、非接触の形状計測
や測量の分野で利用される視点・物点位置計測方法及び
装置に関し、特に、一つの視点で得られた一組のステレ
オ画像計測と相対位置関係が未知である複数の視点で得
られた単眼画像とを用い、複数の視点の相対位置関係及
び各物点の実空間座標を決定する視点・物点位置計測方
法及び装置に適用して有効な技術に関するものである。
や測量の分野で利用される視点・物点位置計測方法及び
装置に関し、特に、一つの視点で得られた一組のステレ
オ画像計測と相対位置関係が未知である複数の視点で得
られた単眼画像とを用い、複数の視点の相対位置関係及
び各物点の実空間座標を決定する視点・物点位置計測方
法及び装置に適用して有効な技術に関するものである。
【０００２】
【従来の技術】画像情報から物体の三次元位置情報を抽
出する画像計測技術は、非接触な計測方法として様々な
分野での適用が望まれている。
出する画像計測技術は、非接触な計測方法として様々な
分野での適用が望まれている。
【０００３】特に、位置関係が既知な２台もしくはそれ
以上のカメラから得られたステレオ画像計測法は、三次
元空間に関する情報を用いることなく、直接物体の三次
元位置情報を取得できる方法として検討されてきた。
以上のカメラから得られたステレオ画像計測法は、三次
元空間に関する情報を用いることなく、直接物体の三次
元位置情報を取得できる方法として検討されてきた。
【０００４】ステレオ画像計測は、視点に設けられた左
右２台のカメラによって三次元空間の像を二次元に投影
し、２台のカメラ間の視差により物点の位置を計測する
方法である。
右２台のカメラによって三次元空間の像を二次元に投影
し、２台のカメラ間の視差により物点の位置を計測する
方法である。
【０００５】ここで、図９に示すように、水平面内にｘ
軸とｙ軸とを取り、鉛直方向にｚ軸を取り、画像図上の
水平方向にｕ軸、垂直方向にｖ軸を取った三次元空間
（実空間）において視点を原点Ｏとする実空間座標系を
考え、ｘ軸とｕ軸、ｙ軸とｖ軸とはそれぞれ平行であ
り、ｙ軸はカメラの光軸１に平行であるとし、また、２
台の左右カメラ間の距離は２ａであって、左右のカメラ
の主点Ｆl、Ｆrの座標はそれぞれ（−ａ，０，０），
（ａ，０，０）とし（以下、左右の画面をそれぞれ添字
ｌ，ｒで表す）、さらに、各主点Ｆl，Ｆrと対応する画
像面２との距離（焦点距離）はｆであり、かつ、実空間
内の点Ｐ（ｘ，ｙ，ｚ）が左右の画像面２上の点Ｉ
l（ｕl，ｖl）、Ｉr（ｕr，ｖr）に投影されたとする
と、△ＩlＩrＰと△ＦlＦrＰとが相似であることから、
画像座標面ｕl，ｕr，ｖから実空間座標ｘ，ｙ，ｚへの
変換は式（１）のようになる。なお、エピポーラ条件よ
りｖl＝ｖrとなるから、以降ｖlとｖrとを区別せずにｖ
で表すことにする。
軸とｙ軸とを取り、鉛直方向にｚ軸を取り、画像図上の
水平方向にｕ軸、垂直方向にｖ軸を取った三次元空間
（実空間）において視点を原点Ｏとする実空間座標系を
考え、ｘ軸とｕ軸、ｙ軸とｖ軸とはそれぞれ平行であ
り、ｙ軸はカメラの光軸１に平行であるとし、また、２
台の左右カメラ間の距離は２ａであって、左右のカメラ
の主点Ｆl、Ｆrの座標はそれぞれ（−ａ，０，０），
（ａ，０，０）とし（以下、左右の画面をそれぞれ添字
ｌ，ｒで表す）、さらに、各主点Ｆl，Ｆrと対応する画
像面２との距離（焦点距離）はｆであり、かつ、実空間
内の点Ｐ（ｘ，ｙ，ｚ）が左右の画像面２上の点Ｉ
l（ｕl，ｖl）、Ｉr（ｕr，ｖr）に投影されたとする
と、△ＩlＩrＰと△ＦlＦrＰとが相似であることから、
画像座標面ｕl，ｕr，ｖから実空間座標ｘ，ｙ，ｚへの
変換は式（１）のようになる。なお、エピポーラ条件よ
りｖl＝ｖrとなるから、以降ｖlとｖrとを区別せずにｖ
で表すことにする。
【０００６】
【数１】
【０００７】したがって、ステレオ画像計測による左右
の画像面において、物点の投影点の画像面座標を求める
ことにより、この物点の実空間座標を求めることができ
る。
の画像面において、物点の投影点の画像面座標を求める
ことにより、この物点の実空間座標を求めることができ
る。
【０００８】ここでいう物点とは、画像から抽出できる
三次元物体上の特徴であって、例えば、物体と背景との
境界のエッジ等がそれに相当する。
三次元物体上の特徴であって、例えば、物体と背景との
境界のエッジ等がそれに相当する。
【０００９】また、ステレオ画像計測の精度を向上させ
るために、例えば、特開平４−２３８５８６号公報に開
示されているように、相対位置関係が未知な複数の視点
から得られたステレオ画像データを合成する方法が提案
されている。
るために、例えば、特開平４−２３８５８６号公報に開
示されているように、相対位置関係が未知な複数の視点
から得られたステレオ画像データを合成する方法が提案
されている。
【００１０】この方法は、ステレオ画像計測の誤差の原
因である画像面座標計測誤差に正規分布を仮定し、画像
面座標計測誤差と実空間座標計測誤差との関係に基づ
き、視点間の相対位置関係を記述する座標変換パラメー
タとの各物点の真の実空間座標とを変数として含む形
で、各視点座標系における各物点の位置計測誤差の確率
密度分布を求め、各視点と各物点とのそれぞれについて
前記確率密度分布を合成した合成確率密度分布の最大値
を与える座標変換パラメータと各物点の実空間座標を同
時に求めるものである。
因である画像面座標計測誤差に正規分布を仮定し、画像
面座標計測誤差と実空間座標計測誤差との関係に基づ
き、視点間の相対位置関係を記述する座標変換パラメー
タとの各物点の真の実空間座標とを変数として含む形
で、各視点座標系における各物点の位置計測誤差の確率
密度分布を求め、各視点と各物点とのそれぞれについて
前記確率密度分布を合成した合成確率密度分布の最大値
を与える座標変換パラメータと各物点の実空間座標を同
時に求めるものである。
【００１１】
【発明が解決しようとする課題】ところが、上記従来技
術では、各視点で取得する画像情報は全てステレオ画像
であるため、装置自体が大きくなり、かつ、簡易な計測
は困難であったという問題点があった。
術では、各視点で取得する画像情報は全てステレオ画像
であるため、装置自体が大きくなり、かつ、簡易な計測
は困難であったという問題点があった。
【００１２】本発明の目的は、視点・物点位置計測装置
を大きくすることなく、簡易に視点・物点位置を計測す
ることが可能な技術を提供することにある。
を大きくすることなく、簡易に視点・物点位置を計測す
ることが可能な技術を提供することにある。
【００１３】
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記のとおりである。
発明のうち、代表的なものの概要を簡単に説明すれば、
下記のとおりである。
【００１４】複数の物点に対して、１つの視点で得られ
た一組のステレオ画像と、相対位置関係が未知である複
数の視点それぞれで得られた単眼画像を用いて、前記一
組のステレオ画像を得た視点及び前記単眼画像を得た視
点の相対位置関係及び前記各物点の実空間座標を計測す
る視点・物点位置計測方法であって、前記ステレオ画像
及び前記複数の視点それぞれで取得された単眼画像から
複数の物点の画像面座標を取得する第１の工程と、前記
ステレオ画像及び前記単眼画像の画像面座標と実空間座
標との関係に基づき、前記視点間の相対位置関係を示す
座標変換パラメータと前記各物点の画像面座標で示され
た画像面座標計測誤差の確率分布を求める第２の工程
と、前記全ての視点と前記全ての物点について前記確率
分布を合成した合成確率密度分布を求める第３の工程
と、前記合成確率密度分布の最大値を与える前記座標変
換パラメータと、前記各物点の画像面座標より得られる
前記各物点の実空間座標とを求める第４の工程とを備え
る。
た一組のステレオ画像と、相対位置関係が未知である複
数の視点それぞれで得られた単眼画像を用いて、前記一
組のステレオ画像を得た視点及び前記単眼画像を得た視
点の相対位置関係及び前記各物点の実空間座標を計測す
る視点・物点位置計測方法であって、前記ステレオ画像
及び前記複数の視点それぞれで取得された単眼画像から
複数の物点の画像面座標を取得する第１の工程と、前記
ステレオ画像及び前記単眼画像の画像面座標と実空間座
標との関係に基づき、前記視点間の相対位置関係を示す
座標変換パラメータと前記各物点の画像面座標で示され
た画像面座標計測誤差の確率分布を求める第２の工程
と、前記全ての視点と前記全ての物点について前記確率
分布を合成した合成確率密度分布を求める第３の工程
と、前記合成確率密度分布の最大値を与える前記座標変
換パラメータと、前記各物点の画像面座標より得られる
前記各物点の実空間座標とを求める第４の工程とを備え
る。
【００１５】これにより、一つの視点でのステレオ画像
と、他の視点での単眼画像を用いることで、視点・物点
位置データを取得でき、従来のように、全ての視点から
ステレオ画像を取得する必要がなくなるので、簡易に視
点・物点位置を計測することが可能となる。
と、他の視点での単眼画像を用いることで、視点・物点
位置データを取得でき、従来のように、全ての視点から
ステレオ画像を取得する必要がなくなるので、簡易に視
点・物点位置を計測することが可能となる。
【００１６】また、複数の物点に対して、１つの視点で
得られた一組のステレオ画像と、相対位置関係が未知で
ある複数の視点それぞれで得られた単眼画像を用いて、
前記一組のステレオ画像を得た視点及び前記単眼画像を
得た視点の相対位置関係及び前記各物点の実空間座標を
計測する視点・物点位置計測装置であって、前記ステレ
オ画像及び単眼画像を取得する手段と、前記取得した画
像に対して量子化、及び座標計測を行う手段とを有する
一台のディジタルカメラと、前記ステレオ画像または単
眼画像を取得するために、前記ディジタルカメラを平行
移動させる手段と、前記ディジタルカメラからの各画像
データを記憶する手段と、前記ステレオ画像及び前記複
数の視点それぞれで取得された単眼画像から複数の物点
の画像面座標を取得する手段と、前記ステレオ画像及び
前記単眼画像の画像面座標と実空間座標との関係に基づ
き、前記視点間の相対位置関係を示す座標変換パラメー
タと前記各物点の画像面座標で示された画像面座標計測
誤差の確率分布を求める手段と、前記全ての視点と前記
全ての物点について前記確率分布を合成した合成確率密
度分布を求める手段と、前記合成確率密度分布の最大値
を与える前記座標変換パラメータと、前記各物点の画像
面座標より得られる前記各物点の実空間座標とを求める
手段とを有する視点・物点位置データ取得手段とを備え
る。
得られた一組のステレオ画像と、相対位置関係が未知で
ある複数の視点それぞれで得られた単眼画像を用いて、
前記一組のステレオ画像を得た視点及び前記単眼画像を
得た視点の相対位置関係及び前記各物点の実空間座標を
計測する視点・物点位置計測装置であって、前記ステレ
オ画像及び単眼画像を取得する手段と、前記取得した画
像に対して量子化、及び座標計測を行う手段とを有する
一台のディジタルカメラと、前記ステレオ画像または単
眼画像を取得するために、前記ディジタルカメラを平行
移動させる手段と、前記ディジタルカメラからの各画像
データを記憶する手段と、前記ステレオ画像及び前記複
数の視点それぞれで取得された単眼画像から複数の物点
の画像面座標を取得する手段と、前記ステレオ画像及び
前記単眼画像の画像面座標と実空間座標との関係に基づ
き、前記視点間の相対位置関係を示す座標変換パラメー
タと前記各物点の画像面座標で示された画像面座標計測
誤差の確率分布を求める手段と、前記全ての視点と前記
全ての物点について前記確率分布を合成した合成確率密
度分布を求める手段と、前記合成確率密度分布の最大値
を与える前記座標変換パラメータと、前記各物点の画像
面座標より得られる前記各物点の実空間座標とを求める
手段とを有する視点・物点位置データ取得手段とを備え
る。
【００１７】これにより、従来ではディジタルカメラが
２台以上必要であったが、ディジタルカメラ１台で同等
な処理を行うことができるので、視点・物点位置計測装
置を大きくすることなく、簡易に視点・物点位置を計測
することが可能となる。
２台以上必要であったが、ディジタルカメラ１台で同等
な処理を行うことができるので、視点・物点位置計測装
置を大きくすることなく、簡易に視点・物点位置を計測
することが可能となる。
【００１８】
【発明の実施の形態】以下、本発明について図面を用い
て説明する。
て説明する。
【００１９】図１は、本発明の実施の形態に係わる視点
・物点位置計測装置の構成を説明するための図である。
・物点位置計測装置の構成を説明するための図である。
【００２０】本実施形態の視点・物点位置計測装置は、
図１に示すように、ステレオ画像、及び単眼画像を入力
する一台のＣＣＤカメラ３（ディジタルカメラ）と、ス
テレオ画像、または単眼画像を入力する際にＣＣＤカメ
ラ３を平行移動させるリニアなレール４と、そのＣＣＤ
カメラ３から入力されたディジタル画像情報（ステレオ
画像、単眼画像）を画像メモリ５１に一時的に記憶し、
これを後述する視点・物点位置データ取得装置６に入力
する画像取得装置５と、マイクロコンピュータ６１を有
し、入力された画像情報からエッジなどの特徴を手がか
りとして、画像面座標Ｉ（ｕ，ｖ）を求め、それを用い
て視点の位置関係及び物点位置を計測する視点・物点位
置データ取得装置６とから構成される。
図１に示すように、ステレオ画像、及び単眼画像を入力
する一台のＣＣＤカメラ３（ディジタルカメラ）と、ス
テレオ画像、または単眼画像を入力する際にＣＣＤカメ
ラ３を平行移動させるリニアなレール４と、そのＣＣＤ
カメラ３から入力されたディジタル画像情報（ステレオ
画像、単眼画像）を画像メモリ５１に一時的に記憶し、
これを後述する視点・物点位置データ取得装置６に入力
する画像取得装置５と、マイクロコンピュータ６１を有
し、入力された画像情報からエッジなどの特徴を手がか
りとして、画像面座標Ｉ（ｕ，ｖ）を求め、それを用い
て視点の位置関係及び物点位置を計測する視点・物点位
置データ取得装置６とから構成される。
【００２１】なお、ＣＣＤカメラ３で撮影された画像
は、ＣＣＤ素子により一画面当たり数百万画素に標本化
され、更に各画素毎にその画素に入力した光強度に対応
した濃度として数千階調に量子化される。
は、ＣＣＤ素子により一画面当たり数百万画素に標本化
され、更に各画素毎にその画素に入力した光強度に対応
した濃度として数千階調に量子化される。
【００２２】また、ステレオ画像は、図１に示すレール
４などの上に設置されたＣＣＤカメラ３を平行移動させ
て、一台のＣＣＤカメラ３により取得する。
４などの上に設置されたＣＣＤカメラ３を平行移動させ
て、一台のＣＣＤカメラ３により取得する。
【００２３】また、単眼画像は、図１に示すように、Ｃ
ＣＤカメラ３をレール４から取り外して取得するか、あ
るいはＣＣＤカメラ３をレール４に載せたまま移動する
ことにより取得する。
ＣＤカメラ３をレール４から取り外して取得するか、あ
るいはＣＣＤカメラ３をレール４に載せたまま移動する
ことにより取得する。
【００２４】次に、上述した本実施形態の視点・物点位
置計測装置における視点の位置関係及び物点位置の計測
処理について説明する。
置計測装置における視点の位置関係及び物点位置の計測
処理について説明する。
【００２５】本実施形態における視点の位置関係及び物
点位置の計測は、図２に示すように、一組のステレオ画
像を得る視点を基準視点Ｏsとし、ｎ個の物点を基準視
点のステレオ画像とｍ個の単眼画像を用いて行う。
点位置の計測は、図２に示すように、一組のステレオ画
像を得る視点を基準視点Ｏsとし、ｎ個の物点を基準視
点のステレオ画像とｍ個の単眼画像を用いて行う。
【００２６】図３は、本実施形態の視点・物点位置計測
装置における視点の位置関係及び物点位置の計測処理を
説明するフローチャートである。なお、本実施形態では
高さｚ方向を一定にした二次元の場合について説明して
いく。
装置における視点の位置関係及び物点位置の計測処理を
説明するフローチャートである。なお、本実施形態では
高さｚ方向を一定にした二次元の場合について説明して
いく。
【００２７】本実施形態の視点・物点位置計測装置にお
ける視点の位置関係及び物点位置の計測処理は、図３に
示すように、まず、基準視点Ｏsにおけるステレオ画像
計測を行う（ステップ３０１）。
ける視点の位置関係及び物点位置の計測処理は、図３に
示すように、まず、基準視点Ｏsにおけるステレオ画像
計測を行う（ステップ３０１）。
【００２８】これは、図４に示すように、第ｊ物点（ｊ
＝１...ｎ）の実空間計測座標ｐsj（ｘsj，ｙsj）が左
右の画像面２上の点Ｉl（ｕlj），Ｉr（ｕrj）に投影さ
れ、カメラ間隔を２ａとすると、次式（２）のように画
像面座標Ｉl（ｕlj），Ｉr（ｕrj）から実空間座標ｐsj
（ｘsj，ｙsj）が得られる。
＝１...ｎ）の実空間計測座標ｐsj（ｘsj，ｙsj）が左
右の画像面２上の点Ｉl（ｕlj），Ｉr（ｕrj）に投影さ
れ、カメラ間隔を２ａとすると、次式（２）のように画
像面座標Ｉl（ｕlj），Ｉr（ｕrj）から実空間座標ｐsj
（ｘsj，ｙsj）が得られる。
【００２９】
【数２】
【００３０】その後、単眼画像の計測を行う（ステップ
３０２）。
３０２）。
【００３１】これは、図５に示すように、第ｉ視点座標
系における第ｊ物点（ｊ＝１...ｎ）の実空間計測座標
ｐij（ｘij，ｙij）が第ｉ視点Ｏi（ｉ＝１...ｍ）にお
ける単眼画像面上の点Ｉij（ｕij）に投影されたとする
と、画像面座標Ｉij（ｕij）と実空間座標ｐij（ｘij，
ｙij）の間には次式（３）という関係が成り立つ。
系における第ｊ物点（ｊ＝１...ｎ）の実空間計測座標
ｐij（ｘij，ｙij）が第ｉ視点Ｏi（ｉ＝１...ｍ）にお
ける単眼画像面上の点Ｉij（ｕij）に投影されたとする
と、画像面座標Ｉij（ｕij）と実空間座標ｐij（ｘij，
ｙij）の間には次式（３）という関係が成り立つ。
【００３２】
【数３】
【００３３】次に、視点の相対位置関係を定式化する
（ステップ３０３）。
（ステップ３０３）。
【００３４】これは、基準視点座標系及び第ｉ視点座標
系の第ｊ物点の真の座標をそれぞれｐsj 0（ｘsj 0，ｙsj
0），ｐij 0（ｘij 0，ｙij 0）とすると、図６に示すよう
に、基準視点座標系の第ｉ視点座標系への変換を表す回
転パラメータθi 0、平行移動パラメータをｔxi 0，ｔyi 0
とすると、ｐsj 0、ｐij 0の関係は次式（４）、（５）で
表される。
系の第ｊ物点の真の座標をそれぞれｐsj 0（ｘsj 0，ｙsj
0），ｐij 0（ｘij 0，ｙij 0）とすると、図６に示すよう
に、基準視点座標系の第ｉ視点座標系への変換を表す回
転パラメータθi 0、平行移動パラメータをｔxi 0，ｔyi 0
とすると、ｐsj 0、ｐij 0の関係は次式（４）、（５）で
表される。
【００３５】
【数４】
【００３６】
【数５】
【００３７】次に、画像面座標計測誤差の確率分布の導
出を行う（ステップ３０４）。
出を行う（ステップ３０４）。
【００３８】これは、まず、第ｉ視点第ｊ物点の真の画
像面座標Ｉij 0（ｕij 0）を基準視点から見た第ｊ物点の
画像面座標Ｉl（ｕlj），Ｉr（ｕrj）と基準視点座標系
から第ｉ視点座標系への変換を表す回転パラメータ
θi 0、平行移動パラメータｔxi 0，ｔyi 0を用いて表す。
像面座標Ｉij 0（ｕij 0）を基準視点から見た第ｊ物点の
画像面座標Ｉl（ｕlj），Ｉr（ｕrj）と基準視点座標系
から第ｉ視点座標系への変換を表す回転パラメータ
θi 0、平行移動パラメータｔxi 0，ｔyi 0を用いて表す。
【００３９】そして、式（３）に式（５）を代入して式
（６）を形成し、
（６）を形成し、
【００４０】
【数６】
【００４１】その式（６）に式（２）を代入すると式
（７）となる。
（７）となる。
【００４２】
【数７】
【００４３】これにより、画像面座標計測誤差の確率分
布の導出を行う。
布の導出を行う。
【００４４】第ｊ物点の画像面座標計測誤差Δｕijは、
次式（８）となる。
次式（８）となる。
【００４５】
【数８】
【００４６】ここで、この画像面座標計測誤差Δｕijが
各物点・各画像間で独立かつ標準偏差σの正規分布に従
うと仮定すると、各画像における各物点の計測誤差が生
じる確率密度分布ｓijは次式（９）で表される。
各物点・各画像間で独立かつ標準偏差σの正規分布に従
うと仮定すると、各画像における各物点の計測誤差が生
じる確率密度分布ｓijは次式（９）で表される。
【００４７】
【数９】
【００４８】次に、画像面座標計測誤差の合成確率分布
の算出を行う（ステップ３０５）。
の算出を行う（ステップ３０５）。
【００４９】これは、まず、基準視点及び第ｉ視点の第
ｊ物点に対する画像面座標計測誤差をそれぞれΔｕlj，
Δｕrj，Δｕijとおき、基準視点とｍ個の単眼視点から
見たｎ個の物点に対する確率分布をそれぞれｓlj，
ｓrj，ｓijとおくと、全視点、且つ全物点に関して合成
した確率密度分布Ｓは、次式（１０）で表される。
ｊ物点に対する画像面座標計測誤差をそれぞれΔｕlj，
Δｕrj，Δｕijとおき、基準視点とｍ個の単眼視点から
見たｎ個の物点に対する確率分布をそれぞれｓlj，
ｓrj，ｓijとおくと、全視点、且つ全物点に関して合成
した確率密度分布Ｓは、次式（１０）で表される。
【００５０】
【数１０】
【００５１】ここで、合成確率密度分布Ｓを最大とする
条件は、式（１０）の中のＥで表される画像面座標計測
誤差の２乗和を最小とすることであり、このＥを評価関
数とする。なお、このときの式（１０）中の評価関数Ｅ
は、式（７）より次式（１１）のように表すことができ
る。
条件は、式（１０）の中のＥで表される画像面座標計測
誤差の２乗和を最小とすることであり、このＥを評価関
数とする。なお、このときの式（１０）中の評価関数Ｅ
は、式（７）より次式（１１）のように表すことができ
る。
【００５２】
【数１１】
【００５３】次に、視点の相対位置関係と物点の画像面
座標の導出を行う（ステップ３０６）。
座標の導出を行う（ステップ３０６）。
【００５４】これは、上記式（１１）を最小とするよう
なｕlj 0，ｕrj 0，ｔxi 0，ｔyi 0，θi 0を求めることによ
って行われる。
なｕlj 0，ｕrj 0，ｔxi 0，ｔyi 0，θi 0を求めることによ
って行われる。
【００５５】これらの値を解析的に算出することは困難
なので、本実施形態ではその算出を最適化手法の一つで
ある共役勾配法を用いて求める。
なので、本実施形態ではその算出を最適化手法の一つで
ある共役勾配法を用いて求める。
【００５６】共役勾配法は、関数ｅ＝ｆ（ｙ）を最小に
するｙを逐次近似の形で求める方法であり、第ｋ近似解
をｙkとし、これにΔｙkの修正を加えて第ｋ＋１近似解
を次式（１２）で算出する。
するｙを逐次近似の形で求める方法であり、第ｋ近似解
をｙkとし、これにΔｙkの修正を加えて第ｋ＋１近似解
を次式（１２）で算出する。
【００５７】
【数１２】
【００５８】そして、このΔｙkを式（１３）のように
おき、
おき、
【００５９】
【数１３】
【００６０】修正方向ベクトルｐkを以下の方法で決定
する。修正方向ベクトルｐkについては共役方向ベクト
ルを用いる。また、二次関数ｅ＝ｑ（ｙ）については、
共役方向ベクトルｐkは式（１４）で定義される。
する。修正方向ベクトルｐkについては共役方向ベクト
ルを用いる。また、二次関数ｅ＝ｑ（ｙ）については、
共役方向ベクトルｐkは式（１４）で定義される。
【００６１】
【数１４】
【００６２】式（１４）において、ｇkは勾配方向ベク
トルを表し、式（１５）で定義される。
トルを表し、式（１５）で定義される。
【００６３】
【数１５】
【００６４】ただし、ｐ1＝ｇ1であり、式（１５）にお
いて、式（１６）の関係を示す。
いて、式（１６）の関係を示す。
【００６５】
【数１６】
【００６６】一方、修正量αkは、式（１７）を解くこ
とによって決定される。
とによって決定される。
【００６７】
【数１７】
【００６８】ここで、ｅの極小点においては次式（１
８）のようになる。
８）のようになる。
【００６９】
【数１８】
【００７０】したがって、式（１４）で決定された修正
方向ベクトルｐkと式（１７）で決定された修正量αkを
用い、式（１８）の条件を満たすまで式（１２）の繰り
返し計算を行い、ｅの極小点を実際に数値的に算出す
る。なお、極小点の近傍では局所的に二次関数に近似で
きるので、この方法を一般の非線形関数に対しても適用
することができる。
方向ベクトルｐkと式（１７）で決定された修正量αkを
用い、式（１８）の条件を満たすまで式（１２）の繰り
返し計算を行い、ｅの極小点を実際に数値的に算出す
る。なお、極小点の近傍では局所的に二次関数に近似で
きるので、この方法を一般の非線形関数に対しても適用
することができる。
【００７１】この上述した共役勾配法を用いて、式（１
１）を最小にするｕlj 0，ｕrj 0，ｔxi 0，ｔyi 0，θi 0を
算出すると、ｙkは式（１９）のようになり、ｇkは式
（２０）のようになる。
１）を最小にするｕlj 0，ｕrj 0，ｔxi 0，ｔyi 0，θi 0を
算出すると、ｙkは式（１９）のようになり、ｇkは式
（２０）のようになる。
【００７２】
【数１９】
【００７３】
【数２０】
【００７４】ただし、式（２０）における条件は以下
（式（２１）〜式（２５））のようになる。
（式（２１）〜式（２５））のようになる。
【００７５】
【数２１】
【００７６】
【数２２】
【００７７】
【数２３】
【００７８】
【数２４】
【００７９】
【数２５】
【００８０】よって、求めたｕlj 0，ｕrj 0，ｔxi 0，ｔ
yi 0，θi 0より単眼視点の相対位置関係と物点の画像面
座標を推定することができる。
yi 0，θi 0より単眼視点の相対位置関係と物点の画像面
座標を推定することができる。
【００８１】最後に、ステップ３０６で求めた基準視点
における左右の画像面座標ｕlj 0，ｕrj 0を式（２）に代
入することにより、物点の実空間座標を求める（ステッ
プ３０７）。
における左右の画像面座標ｕlj 0，ｕrj 0を式（２）に代
入することにより、物点の実空間座標を求める（ステッ
プ３０７）。
【００８２】すると、次式（２６）、（２７）に示すよ
うに、物点の実空間座標を求めることができる。
うに、物点の実空間座標を求めることができる。
【００８３】
【数２６】
【００８４】
【数２７】
【００８５】次に、上述した本実施形態の視点の位置関
係及び物点位置の計測処理により、計測された視点・物
点位置をシミュレーションにより検証した結果について
説明する。なお、ここでは物点が交差点付近にある場合
を仮定する。
係及び物点位置の計測処理により、計測された視点・物
点位置をシミュレーションにより検証した結果について
説明する。なお、ここでは物点が交差点付近にある場合
を仮定する。
【００８６】また、シミュレーションは、焦点距離ｆ＝
８［ｍｍ］、１画素の大きさが６．７［μｍ］、画像面
座標計測誤差の標準偏差σが０．１画素のＣＤＤカメラ
３を用い、基準視点におけるカメラ間隔２ａ＝２［ｍ］
の場合を想定して行っている。
８［ｍｍ］、１画素の大きさが６．７［μｍ］、画像面
座標計測誤差の標準偏差σが０．１画素のＣＤＤカメラ
３を用い、基準視点におけるカメラ間隔２ａ＝２［ｍ］
の場合を想定して行っている。
【００８７】実験例１は、一組の基準視点と一つの単眼
視点、実験例２は一組の基準視点と二つの単眼視点の場
合で行ったものであり、いずれも二次元である。
視点、実験例２は一組の基準視点と二つの単眼視点の場
合で行ったものであり、いずれも二次元である。
【００８８】そして、シミュレーションの条件は、図７
に示すように、半径１５ｍの物点の存在領域を設定し、
この領域内にｎ（ｎ＝３，５，７，１３）個の物点をお
き、移動単眼画像の視点は、半径３０ｍの円周上にｍ
（ｍ＝１，２）個を配置し、視線方向は向心方向とし、
ｍ＝１のときはθ1＝９０度、ｍ＝２のときにはθ1＝１
２０度，θ2＝２４０度となるよう視点を配置してあ
る。
に示すように、半径１５ｍの物点の存在領域を設定し、
この領域内にｎ（ｎ＝３，５，７，１３）個の物点をお
き、移動単眼画像の視点は、半径３０ｍの円周上にｍ
（ｍ＝１，２）個を配置し、視線方向は向心方向とし、
ｍ＝１のときはθ1＝９０度、ｍ＝２のときにはθ1＝１
２０度，θ2＝２４０度となるよう視点を配置してあ
る。
【００８９】上述した条件でそれぞれ５００回ずつシミ
ュレーションを行い、各パラメータの２乗平均誤差の平
方根を求め、精度の比較を行う。
ュレーションを行い、各パラメータの２乗平均誤差の平
方根を求め、精度の比較を行う。
【００９０】図８（ａ）は、ｍ＝１における物点の位置
の計測誤差、視点位置関係の平行移動誤差、回転誤差に
対する物点の数の関係を示した表であり、図８（ｂ）
は、ｍ＝２における物点の位置の計測誤差、視点位置関
係の平行移動誤差、回転誤差に対する物点の数の関係を
示した表である。
の計測誤差、視点位置関係の平行移動誤差、回転誤差に
対する物点の数の関係を示した表であり、図８（ｂ）
は、ｍ＝２における物点の位置の計測誤差、視点位置関
係の平行移動誤差、回転誤差に対する物点の数の関係を
示した表である。
【００９１】これら図８（ａ）、図８（ｂ）により、最
も精度の悪い物点数が３のときにおいても、各パラメー
タの計測精度は、視点の平行移動量は、１０ｃｍ以下、
視点の回転移動量は０．２３度以下、物点の平行移動量
は４ｃｍ以下であった。
も精度の悪い物点数が３のときにおいても、各パラメー
タの計測精度は、視点の平行移動量は、１０ｃｍ以下、
視点の回転移動量は０．２３度以下、物点の平行移動量
は４ｃｍ以下であった。
【００９２】したがって、ステレオ画像及び前記複数の
視点それぞれで取得された単眼画像から複数の物点の画
像面座標を取得し、ステレオ画像及び単眼画像の画像面
座標と実空間座標との関係に基づき、視点間の相対位置
関係を示す座標変換パラメータと各物点の画像面座標で
示された画像面座標計測誤差の確率分布を求め、全ての
視点と前記全ての物点について確率分布を合成した合成
確率密度分布を求め、前記合成確率密度分布の最大値を
与える座標変換パラメータと、各物点の画像面座標より
得られる各物点の実空間座標とを求めることにより、必
要となるステレオ画像は一視点だけで、他の視点では単
眼画像を用いても視点・物点位置データを取得でき、従
来のように、全ての視点からステレオ画像を取得する必
要がなくなるので、簡易に視点・物点位置を計測するこ
とが可能となる。
視点それぞれで取得された単眼画像から複数の物点の画
像面座標を取得し、ステレオ画像及び単眼画像の画像面
座標と実空間座標との関係に基づき、視点間の相対位置
関係を示す座標変換パラメータと各物点の画像面座標で
示された画像面座標計測誤差の確率分布を求め、全ての
視点と前記全ての物点について確率分布を合成した合成
確率密度分布を求め、前記合成確率密度分布の最大値を
与える座標変換パラメータと、各物点の画像面座標より
得られる各物点の実空間座標とを求めることにより、必
要となるステレオ画像は一視点だけで、他の視点では単
眼画像を用いても視点・物点位置データを取得でき、従
来のように、全ての視点からステレオ画像を取得する必
要がなくなるので、簡易に視点・物点位置を計測するこ
とが可能となる。
【００９３】また、これにより、従来ではディジタルカ
メラが２台以上必要であったが、ディジタルカメラ１台
で同等な処理を行うことができるので、視点・物点位置
計測装置を大きくすることなく、簡易に視点・物点位置
を計測することが可能となる。
メラが２台以上必要であったが、ディジタルカメラ１台
で同等な処理を行うことができるので、視点・物点位置
計測装置を大きくすることなく、簡易に視点・物点位置
を計測することが可能となる。
【００９４】以上、本発明者によってなされた発明を、
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。
【００９５】
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記のとおりである。
的なものによって得られる効果を簡単に説明すれば、下
記のとおりである。
【００９６】一つの視点でのステレオ画像と、他の視点
での単眼画像を用いることで、視点・物点位置データを
取得でき、従来のように、全ての視点からステレオ画像
を取得する必要がなくなるので、簡易に視点・物点位置
を計測することが可能となる。
での単眼画像を用いることで、視点・物点位置データを
取得でき、従来のように、全ての視点からステレオ画像
を取得する必要がなくなるので、簡易に視点・物点位置
を計測することが可能となる。
【００９７】また、従来ではディジタルカメラが２台以
上必要であったが、ディジタルカメラ１台で同等な処理
を行うことができるので、視点・物点位置計測装置を大
きくすることなく、簡易に視点・物点位置を計測するこ
とが可能となる。
上必要であったが、ディジタルカメラ１台で同等な処理
を行うことができるので、視点・物点位置計測装置を大
きくすることなく、簡易に視点・物点位置を計測するこ
とが可能となる。
【図１】本発明の実施形態に係わる視点・物点位置計測
装置の構成を説明するための図である。
装置の構成を説明するための図である。
【図２】本実施形態の各視点における計測例を示した図
である。
である。
【図３】本実施形態の視点・物点位置計測装置における
視点の位置関係及び物点位置の計測処理を説明するフロ
ーチャートである。
視点の位置関係及び物点位置の計測処理を説明するフロ
ーチャートである。
【図４】二次元におけるステレオ画像の計測の原理を説
明するための図である。
明するための図である。
【図５】二次元における単眼画像の計測の原理を説明す
るための図である。
るための図である。
【図６】基準視点と第ｉ視点の座標変換を説明するため
の図である。
の図である。
【図７】シミュレーションにおける視点と物点の配置を
示した図である。
示した図である。
【図８】視点・物点位置をシミュレーションにより検証
した結果を示す表である。
した結果を示す表である。
【図９】従来における視点・物点位置計測装置の構成を
説明するための図である。
説明するための図である。
１…光軸、２…画像面、３…ＣＣＤカメラ、４…レー
ル、５…画像取得装置、６…視点・物点位置データ取得
装置、５１…画像メモリ、６１…マイクロコンピュー
タ。
ル、５…画像取得装置、６…視点・物点位置データ取得
装置、５１…画像メモリ、６１…マイクロコンピュー
タ。
Claims (3)
- 【請求項１】 複数の物点に対して、１つの視点で得ら
れた一組のステレオ画像と、相対位置関係が未知である
複数の視点それぞれで得られた単眼画像を用いて、前記
一組のステレオ画像を得た視点及び前記単眼画像を得た
視点の相対位置関係及び前記各物点の実空間座標を計測
する視点・物点位置計測方法であって、 前記ステレオ画像及び前記複数の視点それぞれで取得さ
れた単眼画像から複数の物点の画像面座標を取得する第
１の工程と、 前記ステレオ画像及び前記単眼画像の画像面座標と実空
間座標との関係に基づき、前記視点間の相対位置関係を
示す座標変換パラメータと前記各物点の画像面座標で示
された画像面座標計測誤差の確率分布を求める第２の工
程と、 前記全ての視点と前記全ての物点について前記確率分布
を合成した合成確率密度分布を求める第３の工程と、 前記合成確率密度分布の最大値を与える前記座標変換パ
ラメータと、前記各物点の画像面座標より得られる前記
各物点の実空間座標とを求める第４の工程とを備えたこ
とを特徴とする視点・物点位置計測方法。 - 【請求項２】 前記請求項１に記載の視点・物点位置計
測方法において、 前記第４の工程は、計算機を利用した非線形最適化法を
用いて前記合成確率密度分布の最大値を求めることを反
復的に行う工程からなることを特徴とする視点・物点位
置計測方法。 - 【請求項３】 複数の物点に対して、１つの視点で得ら
れた一組のステレオ画像と、相対位置関係が未知である
複数の視点それぞれで得られた単眼画像を用いて、前記
一組のステレオ画像を得た視点及び前記単眼画像を得た
視点の相対位置関係及び前記各物点の実空間座標を計測
する視点・物点位置計測装置であって、 前記ステレオ画像及び単眼画像を取得する手段と、前記
取得した画像に対して量子化、及び座標計測を行う手段
とを有する一台のディジタルカメラと、 前記ステレオ画像及び単眼画像を取得するために前記デ
ィジタルカメラを平行移動させる手段と、 前記ディジタルカメラからの各画像データを記憶する手
段と、 前記ステレオ画像及び前記複数の視点それぞれで取得さ
れた単眼画像から複数の物点の画像面座標を取得する手
段と、前記ステレオ画像及び前記単眼画像の画像面座標
と実空間座標との関係に基づき、前記視点間の相対位置
関係を示す座標変換パラメータと前記各物点の画像面座
標で示された画像面座標計測誤差の確率分布を求める手
段と、前記全ての視点と前記全ての物点について前記確
率分布を合成した合成確率密度分布を求める手段と、前
記合成確率密度分布の最大値を与える前記座標変換パラ
メータと、前記各物点の画像面座標より得られる前記各
物点の実空間座標とを求める手段とを有する視点・物点
位置データ取得手段とを備えたことを特徴とする視点・
物点位置計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9037899A JPH10239054A (ja) | 1997-02-21 | 1997-02-21 | 視点・物点位置計測方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9037899A JPH10239054A (ja) | 1997-02-21 | 1997-02-21 | 視点・物点位置計測方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10239054A true JPH10239054A (ja) | 1998-09-11 |
Family
ID=12510398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9037899A Pending JPH10239054A (ja) | 1997-02-21 | 1997-02-21 | 視点・物点位置計測方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10239054A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100926287B1 (ko) | 2007-12-28 | 2009-11-12 | 재단법인대구경북과학기술원 | 시차와 원근법을 이용한 거리 추정 장치 및 추정 방법 |
| JP2011242198A (ja) * | 2010-05-17 | 2011-12-01 | Fujitsu Ltd | 位置特定装置、位置特定方法、及びプログラム |
| CN103542804A (zh) * | 2013-10-18 | 2014-01-29 | 昆山思拓机器有限公司 | 一种双ccd对位识别机构 |
-
1997
- 1997-02-21 JP JP9037899A patent/JPH10239054A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100926287B1 (ko) | 2007-12-28 | 2009-11-12 | 재단법인대구경북과학기술원 | 시차와 원근법을 이용한 거리 추정 장치 및 추정 방법 |
| JP2011242198A (ja) * | 2010-05-17 | 2011-12-01 | Fujitsu Ltd | 位置特定装置、位置特定方法、及びプログラム |
| CN103542804A (zh) * | 2013-10-18 | 2014-01-29 | 昆山思拓机器有限公司 | 一种双ccd对位识别机构 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1589482B1 (en) | Three-dimensional image measuring apparatus and method | |
| CA2274977C (en) | Apparatus and method for 3-dimensional surface geometry reconstruction | |
| JP3347508B2 (ja) | 撮像画像処理装置および撮像画像処理方法 | |
| EP0526938A2 (en) | Method and apparatus for determining the distance between an image and an object | |
| US20060055943A1 (en) | Three-dimensional shape measuring method and its device | |
| CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
| CN112308963A (zh) | 一种无感三维人脸重建方法及采集重建系统 | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US6064760A (en) | Method for rigorous reshaping of stereo imagery with digital photogrammetric workstation | |
| CN112132971B (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
| Kochi et al. | Development of 3D image measurement system and stereo‐matching method, and its archaeological measurement | |
| CN113790711B (zh) | 一种无人机低空飞行位姿无控多视测量方法及存储介质 | |
| JPH10239054A (ja) | 視点・物点位置計測方法及び装置 | |
| Maimone et al. | A taxonomy for stereo computer vision experiments | |
| CN114136335A (zh) | 一种基于无人机倾斜摄影测量的空中三角形精度分析方法 | |
| KR100379948B1 (ko) | 3차원 형상 측정방법 | |
| JP2726366B2 (ja) | 視点・物点位置決定方法 | |
| CN113140031A (zh) | 三维影像建模系统、方法及应用其的口腔扫描设备 | |
| JP2001167249A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| Guarnieri et al. | 3D Modeling of Real Artistic Objects with Limited Computers Resources | |
| JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
| JP2002222223A (ja) | ３次元形状モデル生成システムと、重複点を削除する装置、方法、プログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2916319B2 (ja) | 三次元形状測定装置 | |
| JP3396950B2 (ja) | 三次元形状の測定方法および装置 | |
| CN117475108A (zh) | 一种基于三维重建的像素解析度计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20060220 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080417 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20080424 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Effective date: 20080519 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Effective date: 20080717 Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20080728 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20110801 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20120801 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20120801 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 5 Free format text: PAYMENT UNTIL: 20130801 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |