JP3504128B2 - ３次元情報復元装置及びその方法 - Google Patents
３次元情報復元装置及びその方法Info
- Publication number
- JP3504128B2 JP3504128B2 JP32870897A JP32870897A JP3504128B2 JP 3504128 B2 JP3504128 B2 JP 3504128B2 JP 32870897 A JP32870897 A JP 32870897A JP 32870897 A JP32870897 A JP 32870897A JP 3504128 B2 JP3504128 B2 JP 3504128B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- depth
- gradient
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、例えば、移動ロボ
ットの視覚制御や物体認識、画像監視、ＣＧモデリング
等に利用できる、複数視点画像から対象の３次元情報を
求める３次元情報復元装置及びその方法に関する。
ットの視覚制御や物体認識、画像監視、ＣＧモデリング
等に利用できる、複数視点画像から対象の３次元情報を
求める３次元情報復元装置及びその方法に関する。
【０００２】
【従来の技術】近年、複数視点において対象物体を撮影
した画像（以下、複数視点画像と呼ぶ）から物体の３次
元情報を復元する研究が盛んに行なわれている。この技
術は、移動ロボットの視覚制御や物体認識、画像監視、
ＦＡ、ＣＧモデリング等に利用することができる。
した画像（以下、複数視点画像と呼ぶ）から物体の３次
元情報を復元する研究が盛んに行なわれている。この技
術は、移動ロボットの視覚制御や物体認識、画像監視、
ＦＡ、ＣＧモデリング等に利用することができる。
【０００３】画像から３次元情報を得る方法について説
明する。
明する。
【０００４】図１にように複数台のカメラを並べ、視点
の異なる複数枚の画像を得る。同図においてはカメラ２
台の場合を示しているが、３台以上用いてもよい。
の異なる複数枚の画像を得る。同図においてはカメラ２
台の場合を示しているが、３台以上用いてもよい。
【０００５】その複数台のカメラから得た複数枚の画像
上で、３次元空間中で同じ点となる点同士を対応づけ、
三角測量の原理を用いて、３次元位置を算出する。この
技術は一般にステレオ視と呼ばれている。ステレオ視に
おいて最も問題となるのは対応づけである。すなわち、
３次元空間中で同一点に対応する点同士を複数画像間で
対応づけることが非常に難しく、現在も盛んに研究が行
われている課題である。対応づけの基本的な手順を、図
１に示すような左右２台のカメラによるステレオ視の場
合で説明する。３台以上用いる場合も同様である。
上で、３次元空間中で同じ点となる点同士を対応づけ、
三角測量の原理を用いて、３次元位置を算出する。この
技術は一般にステレオ視と呼ばれている。ステレオ視に
おいて最も問題となるのは対応づけである。すなわち、
３次元空間中で同一点に対応する点同士を複数画像間で
対応づけることが非常に難しく、現在も盛んに研究が行
われている課題である。対応づけの基本的な手順を、図
１に示すような左右２台のカメラによるステレオ視の場
合で説明する。３台以上用いる場合も同様である。
【０００６】（１） 図２のように、左画像上の任意の
点Ｐ（ｘ，ｙ）の周囲に正方形の窓（ウィンドウ）を設
定する。
点Ｐ（ｘ，ｙ）の周囲に正方形の窓（ウィンドウ）を設
定する。
【０００７】（２） 同様に右画像上の点Ｐ′（ｘ＋
ｄ，ｙ）の周囲にもウィンドウを設定する。
ｄ，ｙ）の周囲にもウィンドウを設定する。
【０００８】（３） 点Ｐと点Ｐ′のそれぞれの周囲の
ウィンドウ内の輝度パターンの類似度を計算する。
ウィンドウ内の輝度パターンの類似度を計算する。
【０００９】（４） ある範囲（ｄmin ≦ｄ≦ｄmax ）
のｄについてステップ（２），（３）を行なって、ｄに
対する類似度の変化を求める。
のｄについてステップ（２），（３）を行なって、ｄに
対する類似度の変化を求める。
【００１０】（５） 点Ｐ（ｘ，ｙ）の周囲のウィンド
ウ内の輝度パターンが最も類似する点を対応づけ、その
位置のずれｄを求める。このｄを点Ｐの視差と呼ぶ。
ウ内の輝度パターンが最も類似する点を対応づけ、その
位置のずれｄを求める。このｄを点Ｐの視差と呼ぶ。
【００１１】類似度の評価尺度としては輝度の相関Ｃが
よく用いられる。左右画像をｆ（ｘ，ｙ），ｇ（ｘ，
ｙ）とすると、点Ｐ（ｘ，ｙ）と点Ｐ′（ｘ＋ｄ，ｙ）
の周囲の（２ｗ＋１）×（２ｗ＋１）のウィンドウ内の
輝度パターンの類似度Ｃは次式で計算できる。
よく用いられる。左右画像をｆ（ｘ，ｙ），ｇ（ｘ，
ｙ）とすると、点Ｐ（ｘ，ｙ）と点Ｐ′（ｘ＋ｄ，ｙ）
の周囲の（２ｗ＋１）×（２ｗ＋１）のウィンドウ内の
輝度パターンの類似度Ｃは次式で計算できる。
【００１２】
【数１】
ここで、Ｎ＝（２ｗ＋１）×（２ｗ＋１），ａ1 ，ａ2
は各々左右画像のウィンドウ内の輝度の平均、σ1 2 ,
σ2 2 は各々左右画像のウィンドウ内の輝度の分散であ
る。
は各々左右画像のウィンドウ内の輝度の平均、σ1 2 ,
σ2 2 は各々左右画像のウィンドウ内の輝度の分散であ
る。
【００１３】Ｃはウィンドウ内の輝度パターンの類似度
であるが、ウィンドウ内の輝度パターンの差Ｅを用いて
もよい。この場合、Ｅが最も小さくなる点を対応点とす
る。Ｅは例えば、次式で計算できる。
であるが、ウィンドウ内の輝度パターンの差Ｅを用いて
もよい。この場合、Ｅが最も小さくなる点を対応点とす
る。Ｅは例えば、次式で計算できる。
【００１４】
【数２】
ＣやＥを用いて対応づけを行なって、画像上のある点Ｐ
の視差を求めると、複数カメラ間の相対的な位置関係や
カメラレンズの焦点距離等のパラメータを用いて、点Ｐ
の３次元位置を算出できる。
の視差を求めると、複数カメラ間の相対的な位置関係や
カメラレンズの焦点距離等のパラメータを用いて、点Ｐ
の３次元位置を算出できる。
【００１５】上記の方法では、各画像の正方ウィンドウ
内の輝度パターンを比較するので、ウィンドウ内の輝度
パターンは画像間で平行移動するという仮定を用いてい
る。この仮定は、厳密には平行に並べたカメラで、画像
面に平行な面を観測する場合だけ成り立つ。
内の輝度パターンを比較するので、ウィンドウ内の輝度
パターンは画像間で平行移動するという仮定を用いてい
る。この仮定は、厳密には平行に並べたカメラで、画像
面に平行な面を観測する場合だけ成り立つ。
【００１６】しかし、実際にはカメラの互いの向きの違
いと、物体表面の勾配によって輝度パターンは画像間で
変形する。カメラの向きは既知であるからカメラの向き
の違いによる変形は容易に補正可能であるが、物体表面
の勾配は基本的に未知であり、陽に補正することができ
ない。このため、物体表面の勾配による変形が対応づけ
の精度を悪化させるという問題があった。
いと、物体表面の勾配によって輝度パターンは画像間で
変形する。カメラの向きは既知であるからカメラの向き
の違いによる変形は容易に補正可能であるが、物体表面
の勾配は基本的に未知であり、陽に補正することができ
ない。このため、物体表面の勾配による変形が対応づけ
の精度を悪化させるという問題があった。
【００１７】
【発明が解決しようとする課題】このように、従来の方
法においては、入力した複数視点画像の対応づけを行う
際に、物体表面と画像面は局所的に平行であるという仮
定を暗黙に用いるため、対応精度の面で問題があった。
法においては、入力した複数視点画像の対応づけを行う
際に、物体表面と画像面は局所的に平行であるという仮
定を暗黙に用いるため、対応精度の面で問題があった。
【００１８】そこで、本発明は上記事情を鑑みてなされ
たもので、物体表面の局所勾配を対応領域内の輝度勾配
を用いて直接的に求め、求めた局所勾配に応じてウィン
ドウの形状を適応的に変化させ、その変形ウィンドウを
用いて対応づけを行うことにより、高精度な形状復元を
実現する３次元情報復元装置及びその方法を提供する。
たもので、物体表面の局所勾配を対応領域内の輝度勾配
を用いて直接的に求め、求めた局所勾配に応じてウィン
ドウの形状を適応的に変化させ、その変形ウィンドウを
用いて対応づけを行うことにより、高精度な形状復元を
実現する３次元情報復元装置及びその方法を提供する。
【００１９】
【課題を解決するための手段】請求項１の発明は、互い
に異なる位置から撮影した複数枚の画像から対象物上の
任意の点Ｐの３次元情報を復元する３次元情報復元装置
であって、前記複数枚の画像のうちの任意の１枚の画像
を基準画像とし、前記点Ｐの基準画像の視点に対する奥
行きをＺと仮定して、この仮定値Ｚと各画像の撮影条件
から、前記点Ｐの各画像への投影位置を求める奥行き仮
定手段と、前記奥行き仮定手段が求めた前記点Ｐの各画
像への投影位置の周囲の輝度情報と前記仮定値Ｚと前記
各画像の撮影条件から前記点Ｐの局所勾配を求め、その
局所勾配と各画像の撮影条件から前記点Ｐの近傍領域の
各画像への投影形状を求める投影形状計算手段と、前記
投影形状計算手段によって計算した前記点Ｐの近傍領域
の投影形状の複数画像間の輝度情報の相関を求める奥行
き評価手段と、前記奥行き仮定手段の仮定値Ｚを変化さ
せて、前記奥行き評価手段により求めた相関が最大とな
る仮定値Ｚを前記点Ｐの奥行きとして決定する奥行き決
定手段からなることを特徴とする３次元情報復元装置で
ある。
に異なる位置から撮影した複数枚の画像から対象物上の
任意の点Ｐの３次元情報を復元する３次元情報復元装置
であって、前記複数枚の画像のうちの任意の１枚の画像
を基準画像とし、前記点Ｐの基準画像の視点に対する奥
行きをＺと仮定して、この仮定値Ｚと各画像の撮影条件
から、前記点Ｐの各画像への投影位置を求める奥行き仮
定手段と、前記奥行き仮定手段が求めた前記点Ｐの各画
像への投影位置の周囲の輝度情報と前記仮定値Ｚと前記
各画像の撮影条件から前記点Ｐの局所勾配を求め、その
局所勾配と各画像の撮影条件から前記点Ｐの近傍領域の
各画像への投影形状を求める投影形状計算手段と、前記
投影形状計算手段によって計算した前記点Ｐの近傍領域
の投影形状の複数画像間の輝度情報の相関を求める奥行
き評価手段と、前記奥行き仮定手段の仮定値Ｚを変化さ
せて、前記奥行き評価手段により求めた相関が最大とな
る仮定値Ｚを前記点Ｐの奥行きとして決定する奥行き決
定手段からなることを特徴とする３次元情報復元装置で
ある。
【００２０】 請求項２の発明は、複数画像のうち少な
くとも１枚の画像上の任意の点の輝度勾配を計算する輝
度勾配計算手段を有し、前記投影形状計算手段が、前記
点Ｐの局所勾配を、前記輝度勾配計算手段により計算し
た、前記点Ｐの各画像への投影位置の周囲の輝度勾配と
前記仮定値Ｚと前記各画像の撮影条件を用いて求め、こ
の局所勾配と各画像の撮影条件を用いて前記点Ｐの奥行
きをＺと仮定した場合の前記点Ｐの近傍領域の各画像へ
の投影形状を求めることを特徴とする請求項１記載の３
次元情報復元装置である。
くとも１枚の画像上の任意の点の輝度勾配を計算する輝
度勾配計算手段を有し、前記投影形状計算手段が、前記
点Ｐの局所勾配を、前記輝度勾配計算手段により計算し
た、前記点Ｐの各画像への投影位置の周囲の輝度勾配と
前記仮定値Ｚと前記各画像の撮影条件を用いて求め、こ
の局所勾配と各画像の撮影条件を用いて前記点Ｐの奥行
きをＺと仮定した場合の前記点Ｐの近傍領域の各画像へ
の投影形状を求めることを特徴とする請求項１記載の３
次元情報復元装置である。
【００２１】 請求項３の発明は、複数画像のうち少な
くとも１枚の画像上の任意の点の輝度勾配を計算する輝
度勾配計算手段を有し、前記投影形状計算手段が、前記
点Ｐの各画像への投影位置の周囲の各点の輝度と、前記
輝度勾配計算手段により計算した輝度勾配から得られ
る、前記点Ｐの局所勾配と前記仮定値Ｚと前記各画像の
撮影条件に関する連立方程式を解くことにより前記点Ｐ
の局所勾配を求め、この局所勾配と各画像の撮影条件を
用いて前記点Ｐの奥行きをＺと仮定した場合の前記点Ｐ
の近傍領域の各画像への投影形状を求めることを特徴と
する請求項１記載の３次元情報復元装置である。
くとも１枚の画像上の任意の点の輝度勾配を計算する輝
度勾配計算手段を有し、前記投影形状計算手段が、前記
点Ｐの各画像への投影位置の周囲の各点の輝度と、前記
輝度勾配計算手段により計算した輝度勾配から得られ
る、前記点Ｐの局所勾配と前記仮定値Ｚと前記各画像の
撮影条件に関する連立方程式を解くことにより前記点Ｐ
の局所勾配を求め、この局所勾配と各画像の撮影条件を
用いて前記点Ｐの奥行きをＺと仮定した場合の前記点Ｐ
の近傍領域の各画像への投影形状を求めることを特徴と
する請求項１記載の３次元情報復元装置である。
【００２２】 請求項４の発明は、互いに異なる位置か
ら撮影した複数枚の画像から対象物上の任意の点Ｐの３
次元情報を復元する３次元情報復元装置であって、前記
複数枚の画像のうちの任意の１枚の画像を基準画像と
し、前記点Ｐの基準画像の視点に対する奥行きをＺと仮
定して、この仮定値Ｚと各画像の撮影条件から、前記点
Ｐの各画像への投影位置を求める奥行き仮定ステップ
と、前記奥行き仮定ステップで求めた前記点Ｐの各画像
への投影位置の周囲の輝度情報と前記仮定値Ｚと前記各
画像の撮影条件から前記点Ｐの局所勾配を求め、その局
所勾配と各画像の撮影条件から前記点Ｐの近傍領域の各
画像への投影形状を求める投影形状計算ステップと、前
記投影形状計算手段によって計算した前記点Ｐの近傍領
域の投影形状の複数画像間の輝度情報の相関を求める奥
行き評価ステップと、前記奥行き仮定手段の仮定値Ｚを
変化させて、前記奥行き評価手段により求めた相関が最
大となる仮定値Ｚを前記点Ｐの奥行きとして決定する奥
行き決定ステップからなることを特徴とする３次元情報
復元方法である。
ら撮影した複数枚の画像から対象物上の任意の点Ｐの３
次元情報を復元する３次元情報復元装置であって、前記
複数枚の画像のうちの任意の１枚の画像を基準画像と
し、前記点Ｐの基準画像の視点に対する奥行きをＺと仮
定して、この仮定値Ｚと各画像の撮影条件から、前記点
Ｐの各画像への投影位置を求める奥行き仮定ステップ
と、前記奥行き仮定ステップで求めた前記点Ｐの各画像
への投影位置の周囲の輝度情報と前記仮定値Ｚと前記各
画像の撮影条件から前記点Ｐの局所勾配を求め、その局
所勾配と各画像の撮影条件から前記点Ｐの近傍領域の各
画像への投影形状を求める投影形状計算ステップと、前
記投影形状計算手段によって計算した前記点Ｐの近傍領
域の投影形状の複数画像間の輝度情報の相関を求める奥
行き評価ステップと、前記奥行き仮定手段の仮定値Ｚを
変化させて、前記奥行き評価手段により求めた相関が最
大となる仮定値Ｚを前記点Ｐの奥行きとして決定する奥
行き決定ステップからなることを特徴とする３次元情報
復元方法である。
【００２３】 請求項５の発明は、複数画像のうち少な
くとも１枚の画像上の任意の点の輝度勾配を計算する輝
度勾配計算ステップを有し、前記投影形状計算ステップ
が、前記点Ｐの局所勾配を、前記輝度勾配計算ステップ
により計算した、前記点Ｐの各画像への投影位置の周囲
の輝度勾配と前記仮定値Ｚと前記各画像の撮影条件を用
いて求め、この局所勾配と各画像の撮影条件を用いて前
記点Ｐの奥行きをＺと仮定した場合の前記点Ｐの近傍領
域の各画像への投影形状を求めることを特徴とする請求
項４記載の３次元情報復元方法である。
くとも１枚の画像上の任意の点の輝度勾配を計算する輝
度勾配計算ステップを有し、前記投影形状計算ステップ
が、前記点Ｐの局所勾配を、前記輝度勾配計算ステップ
により計算した、前記点Ｐの各画像への投影位置の周囲
の輝度勾配と前記仮定値Ｚと前記各画像の撮影条件を用
いて求め、この局所勾配と各画像の撮影条件を用いて前
記点Ｐの奥行きをＺと仮定した場合の前記点Ｐの近傍領
域の各画像への投影形状を求めることを特徴とする請求
項４記載の３次元情報復元方法である。
【００２４】 請求項６の発明は、複数画像のうち少な
くとも１枚の画像上の任意の点の輝度勾配を計算する輝
度勾配計算ステップを有し、前記投影形状計算ステップ
が、前記点Ｐの各画像への投影位置の周囲の各点の輝度
と、前記輝度勾配計算ステップにより計算した輝度勾配
から得られる、前記点Ｐの局所勾配と前記仮定値Ｚと前
記各画像の撮影条件に関する連立方程式を解くことによ
り前記点Ｐの局所勾配を求め、この局所勾配と各画像の
撮影条件を用いて前記点Ｐの奥行きをＺと仮定した場合
の前記点Ｐの近傍領域の各画像への投影形状を求めるこ
とを特徴とする請求項４記載の３次元情報復元方法であ
る。
くとも１枚の画像上の任意の点の輝度勾配を計算する輝
度勾配計算ステップを有し、前記投影形状計算ステップ
が、前記点Ｐの各画像への投影位置の周囲の各点の輝度
と、前記輝度勾配計算ステップにより計算した輝度勾配
から得られる、前記点Ｐの局所勾配と前記仮定値Ｚと前
記各画像の撮影条件に関する連立方程式を解くことによ
り前記点Ｐの局所勾配を求め、この局所勾配と各画像の
撮影条件を用いて前記点Ｐの奥行きをＺと仮定した場合
の前記点Ｐの近傍領域の各画像への投影形状を求めるこ
とを特徴とする請求項４記載の３次元情報復元方法であ
る。
【００２５】 請求項７の発明は、互いに異なる位置か
ら撮影した複数枚の画像から対象物上の任意の点Ｐの３
次元情報を復元する３次元情報復元方法に関するプログ
ラムを記憶した記録媒体であって、前記複数枚の画像の
うちの任意の１枚の画像を基準画像とし、前記点Ｐの基
準画像の視点に対する奥行きをＺと仮定して、この仮定
値Ｚと各画像の撮影条件から、前記点Ｐの各画像への投
影位置を求める奥行き仮定機能と、前記奥行き仮定機能
が求めた前記点Ｐの各画像への投影位置の周囲の輝度情
報と前記仮定値Ｚと前記各画像の撮影条件から前記点Ｐ
の局所勾配を求め、その局所勾配と各画像の撮影条件か
ら前記点Ｐの近傍領域の各画像への投影形状を求める投
影形状計算機能と、前記投影形状計算機能によって計算
した前記点Ｐの近傍領域の投影形状の複数画像間の輝度
情報の相関を求める奥行き評価機能と、前記奥行き仮定
機能の仮定値Ｚを変化させて、前記奥行き評価機能によ
り求めた相関が最大となる仮定値Ｚを前記点Ｐの奥行き
として決定する奥行き決定機能を実現するプログラムを
記憶したことを特徴とする３次元情報復元方法に関する
記録媒体である。
ら撮影した複数枚の画像から対象物上の任意の点Ｐの３
次元情報を復元する３次元情報復元方法に関するプログ
ラムを記憶した記録媒体であって、前記複数枚の画像の
うちの任意の１枚の画像を基準画像とし、前記点Ｐの基
準画像の視点に対する奥行きをＺと仮定して、この仮定
値Ｚと各画像の撮影条件から、前記点Ｐの各画像への投
影位置を求める奥行き仮定機能と、前記奥行き仮定機能
が求めた前記点Ｐの各画像への投影位置の周囲の輝度情
報と前記仮定値Ｚと前記各画像の撮影条件から前記点Ｐ
の局所勾配を求め、その局所勾配と各画像の撮影条件か
ら前記点Ｐの近傍領域の各画像への投影形状を求める投
影形状計算機能と、前記投影形状計算機能によって計算
した前記点Ｐの近傍領域の投影形状の複数画像間の輝度
情報の相関を求める奥行き評価機能と、前記奥行き仮定
機能の仮定値Ｚを変化させて、前記奥行き評価機能によ
り求めた相関が最大となる仮定値Ｚを前記点Ｐの奥行き
として決定する奥行き決定機能を実現するプログラムを
記憶したことを特徴とする３次元情報復元方法に関する
記録媒体である。
【００２６】
【００２７】
【００２８】本発明によれば、複数視点画像間の対応づ
けを、従来より精度よく行うことができるため、対象物
体の３次元情報を高精度に復元することができる。ま
た、これによって、物体上の各点の局所勾配も同時に得
られる。
けを、従来より精度よく行うことができるため、対象物
体の３次元情報を高精度に復元することができる。ま
た、これによって、物体上の各点の局所勾配も同時に得
られる。
【００２９】
【発明の実施の形態】実 施 例
以下、図面を参照して、本発明の一実施例について説明
する。
する。
【００３０】図３に同実施例における本発明の概略構成
を示す。ここでは、画像入力部１、画像蓄積部２、輝度
勾配計算部３、３次元位置計算部４、出力部５から構成
し、３次元位置計算部４は、さらに、奥行き仮定部４−
１、投影形状計算部４−２、奥行き評価部４−３、奥行
き決定部４−４から構成している。
を示す。ここでは、画像入力部１、画像蓄積部２、輝度
勾配計算部３、３次元位置計算部４、出力部５から構成
し、３次元位置計算部４は、さらに、奥行き仮定部４−
１、投影形状計算部４−２、奥行き評価部４−３、奥行
き決定部４−４から構成している。
【００３１】これら装置のうち、画像入力部１は、複数
台のＴＶカメラで実現でき、輝度勾配計算部３、３次元
位置計算部４、出力部５は、パソコンにおいて、これら
装置の機能を実現するためのプログラムをハードディス
ク、ＦＤ、ＣＤ−ＲＯＭに記憶させておいて実現する。
また、画像蓄積部２は、このパソコンのハードディス
ク、メモリで実現する。
台のＴＶカメラで実現でき、輝度勾配計算部３、３次元
位置計算部４、出力部５は、パソコンにおいて、これら
装置の機能を実現するためのプログラムをハードディス
ク、ＦＤ、ＣＤ−ＲＯＭに記憶させておいて実現する。
また、画像蓄積部２は、このパソコンのハードディス
ク、メモリで実現する。
【００３２】なお、この明細書中における「３次元情
報」とは、物体の各部分の３次元位置及びその部分の局
所勾配をいう。
報」とは、物体の各部分の３次元位置及びその部分の局
所勾配をいう。
【００３３】（画像入力部１）画像入力部１は、複数台
のカメラを用いて、異なる視点からの複数枚の画像を入
力する。
のカメラを用いて、異なる視点からの複数枚の画像を入
力する。
【００３４】本実施例では、図４のようにカメラ２台を
用いて、左右のステレオ画像ｆ（ｘ，ｙ），ｇ（ｘ，
ｙ）を入力する。但し、ｆは左画像、ｇは右画像を意味
している。
用いて、左右のステレオ画像ｆ（ｘ，ｙ），ｇ（ｘ，
ｙ）を入力する。但し、ｆは左画像、ｇは右画像を意味
している。
【００３５】ここで、左画像を基準画像とし、左カメラ
の視点を原点とする、ＸＹＺ座標系（以下ではワールド
座標系と呼ぶ）を図４のように設定し、ワールド座標系
に対する右カメラの位置をｔ＝（ｔx ，ｔy ，ｔz ）
T ，姿勢ｉ＝（ｍ11，ｍ12，ｍ13）T ，ｊ＝（ｍ2
1，ｍ22，ｍ23）T ，ｋ＝（ｍ31，ｍ32，ｍ33）T を
図のように定義する。但し、ｔ，ｉ，ｊ，ｋは
カメラキャリブレーションにより予め求めておく。な
お、明細書の文書中で横倍角の文字は、２次元的に位置
を示す他に、行列、または、ベクトルを意味している。
但し、イメージ入力した部分については、横倍角の文字
でなく太字で表す。
の視点を原点とする、ＸＹＺ座標系（以下ではワールド
座標系と呼ぶ）を図４のように設定し、ワールド座標系
に対する右カメラの位置をｔ＝（ｔx ，ｔy ，ｔz ）
T ，姿勢ｉ＝（ｍ11，ｍ12，ｍ13）T ，ｊ＝（ｍ2
1，ｍ22，ｍ23）T ，ｋ＝（ｍ31，ｍ32，ｍ33）T を
図のように定義する。但し、ｔ，ｉ，ｊ，ｋは
カメラキャリブレーションにより予め求めておく。な
お、明細書の文書中で横倍角の文字は、２次元的に位置
を示す他に、行列、または、ベクトルを意味している。
但し、イメージ入力した部分については、横倍角の文字
でなく太字で表す。
【００３６】（画像蓄積部２）画像蓄積部２は、画像メ
モリを用いて、画像入力手段１により入力されたステレ
オ画像ｆ，ｇを蓄積する。
モリを用いて、画像入力手段１により入力されたステレ
オ画像ｆ，ｇを蓄積する。
【００３７】（輝度勾配計算部３）輝度勾配計算部３
は、画像蓄積部２に蓄積したステレオ画像ｆ，ｇの各画
素のｘ，ｙ方向の輝度勾配を計算する。
は、画像蓄積部２に蓄積したステレオ画像ｆ，ｇの各画
素のｘ，ｙ方向の輝度勾配を計算する。
【００３８】ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）の輝度勾配は
例えば、以下の式から計算する。
例えば、以下の式から計算する。
【００３９】
【数３】
（３次元位置計算部４）３次元位置計算部４は、基準画
像上の任意の点ｘ＝（ｘ，ｙ）T の右画像における位
置を求めることにより、ｘの３次元座標Ｘ＝（Ｘ，
Ｙ，Ｚ）T を求める。
像上の任意の点ｘ＝（ｘ，ｙ）T の右画像における位
置を求めることにより、ｘの３次元座標Ｘ＝（Ｘ，
Ｙ，Ｚ）T を求める。
【００４０】ピンホールカメラモデルでは、
【数４】
という関係式が成り立つ。Ｆはカメラレンズの焦点距離
である。Ｚが求まれば、式（５）よりＸ，Ｙは算出でき
るので、Ｚのみを未知パラメータとする。
である。Ｚが求まれば、式（５）よりＸ，Ｙは算出でき
るので、Ｚのみを未知パラメータとする。
【００４１】図５に３次元位置計算部４における処理の
流れを示し、以下に詳細に説明する。
流れを示し、以下に詳細に説明する。
【００４２】ステップ１
図６に示すように、奥行き仮定部４−１がｘの奥行き
をＺと仮定し、
をＺと仮定し、
【数５】
により、基準画像上の点ｘ＝（ｘ，ｙ）T の奥行きを
Ｚと仮定したときの右画像上の投影点ｘ′＝（ｘ′，
ｙ′）T を求める。
Ｚと仮定したときの右画像上の投影点ｘ′＝（ｘ′，
ｙ′）T を求める。
【００４３】ステップ２ｘ
，ｘ′の周囲にウィンドウを設定し、投影形状計
算部４−２が、ｘの奥行きをＺと仮定した場合の点
ｘの局所勾配（ｐ，ｑ）を求め、その局所勾配を考慮
して右画像上の点ｘ′の周囲のウィンドウをアフィン
変形させる。アフィン変形させたウィンドウをアフィン
ウィンドウと呼ぶ。
算部４−２が、ｘの奥行きをＺと仮定した場合の点
ｘの局所勾配（ｐ，ｑ）を求め、その局所勾配を考慮
して右画像上の点ｘ′の周囲のウィンドウをアフィン
変形させる。アフィン変形させたウィンドウをアフィン
ウィンドウと呼ぶ。
【００４４】ステップ３
奥行き評価部４−３が左画像上の点ｘの周囲の正方ウ
ィンドウ内の輝度パターンと、右画像上の点ｘ′の周
囲のアフィンウィンドウ内の輝度のパターンの相関Ｃ
（Ｚ）を計算する。
ィンドウ内の輝度パターンと、右画像上の点ｘ′の周
囲のアフィンウィンドウ内の輝度のパターンの相関Ｃ
（Ｚ）を計算する。
【００４５】ステップ４
ある範囲（Ｚmin ≦Ｚ≦Ｚmax ）のＺに対し、ステップ
１，ステップ２，ステップ３を行ない、奥行き決定部４
−４が相関Ｃ（Ｚ）が最大となる奥行きＺを求め、その
Ｚを点ｘの奥行きとする。
１，ステップ２，ステップ３を行ない、奥行き決定部４
−４が相関Ｃ（Ｚ）が最大となる奥行きＺを求め、その
Ｚを点ｘの奥行きとする。
【００４６】［投影形状計算部４−２］ステップ２の、
投影形状計算部４−２による点ｘの局所勾配の計算方
法について説明する。
投影形状計算部４−２による点ｘの局所勾配の計算方
法について説明する。
【００４７】左画像上の点ｘの周囲のウィンドウ内の
点ｘ＋ξ＝（ｘ＋ξ，ｙ＋η）T と、右画像上の
ｘ′の周囲のウィンドウ内の点ｘ′＋ξ′＝
（ｘ′＋ξ′，ｙ′＋η′）T が対応し、その３次元座
標をＸ＋ΔＸ＝（Ｘ＋ΔＸ，Ｙ＋ΔＹ，Ｚ＋ΔＺ）
T とする。Ｘ＋ΔＸとその左画像上の投影点ｘ＋
ξには、
点ｘ＋ξ＝（ｘ＋ξ，ｙ＋η）T と、右画像上の
ｘ′の周囲のウィンドウ内の点ｘ′＋ξ′＝
（ｘ′＋ξ′，ｙ′＋η′）T が対応し、その３次元座
標をＸ＋ΔＸ＝（Ｘ＋ΔＸ，Ｙ＋ΔＹ，Ｚ＋ΔＺ）
T とする。Ｘ＋ΔＸとその左画像上の投影点ｘ＋
ξには、
【数６】
である。
【００４８】上式は左画像上の点ｘの周りの正方領域
が、右画像上ではアフィン変形し、平行四辺形領域とな
ることを示す。
が、右画像上ではアフィン変形し、平行四辺形領域とな
ることを示す。
【００４９】対応点の輝度は線形変化すると仮定できる
ので、
ので、
【数７】
式（１５）を代入すると、
【数８】
但し、Δξ＝Ａv ξとした。右辺をテーラー展開
し、Δξの２次以上の項を無視すると、
し、Δξの２次以上の項を無視すると、
【数９】
ｇx ，ｇy は輝度勾配計算部３で計算した輝度の勾配で
ある。但し、Δξx ＝ｍ13（ｐξ＋ｑη），Δξy ＝ｍ
23（ｐξ＋ｑη）である。Δξx ，ξy を展開して整理
すると、
ある。但し、Δξx ＝ｍ13（ｐξ＋ｑη），Δξy ＝ｍ
23（ｐξ＋ｑη）である。Δξx ，ξy を展開して整理
すると、
【数１０】
として、α＝（ｐ，ｑ，ａ，ｂ）T を得ることができ
る。（ｐ，ｑ）を式（１５）に代入すると、左画像上の
ｘの近傍の正方領域の右画像における変形を得る。
る。（ｐ，ｑ）を式（１５）に代入すると、左画像上の
ｘの近傍の正方領域の右画像における変形を得る。
【００５０】［奥行き評価部４−３］ステップ３の奥行
き評価部４−３によるｘとｘ′の周囲の輝度パター
ンの相関値Ｃ（Ｚ）を計算する方法を以下に説明する。
き評価部４−３によるｘとｘ′の周囲の輝度パター
ンの相関値Ｃ（Ｚ）を計算する方法を以下に説明する。
【００５１】Ｃ（Ｚ）は以下の式から計算できる。
【００５２】
【数１１】
但し、ａ，ａ′はウィンドウ内の輝度の平均、σ2 ，
σ′2 はウィンドウ内の輝度の分散である。ａ′とσ′
はアフィンウィンドウ内で計算する。通常の正方ウィン
ドウ内の相関計算では、ξ＝（ξ，η）T は画像間で
共通であるが、式（２５）においては、画像毎に異な
る。ξ′＝（ξ′，η′）T は、式（２４）によって
計算した局所勾配（ｐ，ｑ）を式（１４）に代入して求
める。
σ′2 はウィンドウ内の輝度の分散である。ａ′とσ′
はアフィンウィンドウ内で計算する。通常の正方ウィン
ドウ内の相関計算では、ξ＝（ξ，η）T は画像間で
共通であるが、式（２５）においては、画像毎に異な
る。ξ′＝（ξ′，η′）T は、式（２４）によって
計算した局所勾配（ｐ，ｑ）を式（１４）に代入して求
める。
【００５３】［奥行き決定部４−４］奥行き決定部４−
４は、奥行き評価部４−３によって計算したＺ（Ｚmin
≦Ｚ≦Ｚmax ）に対する相関値の変化からピーク位置を
検出し、そのＺを点ｘの奥行きとする。
４は、奥行き評価部４−３によって計算したＺ（Ｚmin
≦Ｚ≦Ｚmax ）に対する相関値の変化からピーク位置を
検出し、そのＺを点ｘの奥行きとする。
【００５４】（出力部５）出力部５は奥行き決定部４−
４により決定した画像中の任意の点Ｐの奥行きを出力す
る。
４により決定した画像中の任意の点Ｐの奥行きを出力す
る。
【００５５】以上のようにして、複数枚の画像から、任
意の点Ｐの奥行きＺが求まり、式（５）より点Ｐの３次
元位置が求まり、式（２４）から局所勾配（ｐ，ｑ）を
得ることが出来る。
意の点Ｐの奥行きＺが求まり、式（５）より点Ｐの３次
元位置が求まり、式（２４）から局所勾配（ｐ，ｑ）を
得ることが出来る。
【００５６】変 更 例
（変更例１）上記実施例では、画像入力部１では、２台
のカメラを用いて複数視点画像を得たが、図７（ａ）の
ように、３台以上のカメラを用いたり、（ｂ）のよう
に、１台のカメラを動かすことにより、異なる視点から
の画像を得るようにしてもよいし、（ｃ）のようにカメ
ラを固定して、物体を回転させて複数視点画像を得ても
よい。
のカメラを用いて複数視点画像を得たが、図７（ａ）の
ように、３台以上のカメラを用いたり、（ｂ）のよう
に、１台のカメラを動かすことにより、異なる視点から
の画像を得るようにしてもよいし、（ｃ）のようにカメ
ラを固定して、物体を回転させて複数視点画像を得ても
よい。
【００５７】（変更例２）３次元位置計算部４で対応点
の輝度の線形変化を仮定したが、対応点の輝度が不変で
あると仮定してもよい。つまり、式（１７）を
の輝度の線形変化を仮定したが、対応点の輝度が不変で
あると仮定してもよい。つまり、式（１７）を
【数１２】
としてもよい。
【００５８】（変更例３）奥行き評価部４−３ではウィ
ンドウ内の輝度の相関を用いて奥行きＺの妥当性を評価
したが、以下に示すようなウィンドウ内の輝度の差の絶
対値の平均Ｅ1 ，２乗平均Ｅ2 等を評価尺度としてもよ
い。
ンドウ内の輝度の相関を用いて奥行きＺの妥当性を評価
したが、以下に示すようなウィンドウ内の輝度の差の絶
対値の平均Ｅ1 ，２乗平均Ｅ2 等を評価尺度としてもよ
い。
【００５９】
【数１３】
その他、本発明の要旨を逸脱しない範囲で変形を実施で
きる。
きる。
【００６０】
【発明の効果】本発明によれば、複数視点画像間の対応
づけを、従来より精度よく行うことができるため、対象
物体の３次元情報を高精度に復元することができる。ま
た、物体上の各点の局所勾配も同時に得られるので、移
動ロボットの走行制御等に直接用いることができる。そ
の他、実用的効果は多大である。
づけを、従来より精度よく行うことができるため、対象
物体の３次元情報を高精度に復元することができる。ま
た、物体上の各点の局所勾配も同時に得られるので、移
動ロボットの走行制御等に直接用いることができる。そ
の他、実用的効果は多大である。
【図１】ステレオ視を説明するための第１の図である。
【図２】視差の計算を説明するための図である。
【図３】本発明の全体構成である。
【図４】ステレオ視を説明するための第２の図である。
【図５】３次元位置計算部４における処理のながれであ
る。
る。
【図６】奥行きの計算を説明するための図である。
【図７】画像入力部の変形例である。
１ 画像入力部
２ 画像蓄積部
３ 輝度勾配計算部
４ ３次元位置計算部
５ 出力部
４−１ 奥行き仮定部
４−２ 投影形状計算部
４−３ 奥行き評価部
４−４ 奥行き決定部
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平７−174555（ＪＰ，Ａ)
特開 平７−190767（ＪＰ，Ａ)
特開 平７−253310（ＪＰ，Ａ)
特開 平８−249450（ＪＰ，Ａ)
特開 平８−285587（ＪＰ，Ａ)
特開 平11−53554（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00 315
G01B 11/00
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (7)
- 【請求項１】互いに異なる位置から撮影した複数枚の画
像から対象物上の任意の点Ｐの３次元情報を復元する３
次元情報復元装置であって、 前記 複数枚の画像のうちの任意の１枚の画像を基準画像
とし、前記点Ｐの基準画像の視点に対する奥行きをＺと
仮定して、この仮定値Ｚと各画像の撮影条件から、前記
点Ｐの各画像への投影位置を求める奥行き仮定手段と、 前記奥行き仮定手段が求めた前記点Ｐの各画像への投影
位置の周囲の輝度情報と前記仮定値Ｚと前記各画像の撮
影条件から前記点Ｐの局所勾配を求め、その局所勾配と
各画像の撮影条件から前記点Ｐの近傍領域の各画像への
投影形状を求める投影形状計算手段と、 前記投影形状計算手段によって計算した前記点Ｐの近傍
領域の投影形状の複数画像間の輝度情報の相関を求める
奥行き評価手段と、 前記奥行き仮定手段の仮定値Ｚを変化させて、前記奥行
き評価手段により求めた相関が最大となる仮定値Ｚを前
記点Ｐの奥行きとして決定する奥行き決定手段からなる
ことを特徴とする３次元情報復元装置。 - 【請求項２】複数画像のうち少なくとも１枚の画像上の
任意の点の輝度勾配を計算する輝度勾配計算手段を有
し、 前記投影形状計算手段が、 前記点Ｐの局所勾配を、前記輝度勾配計算手段により計
算した、前記点Ｐの各画像への投影位置の周囲の輝度勾
配と前記仮定値Ｚと前記各画像の撮影条件を用いて求
め、 この局所勾配と各画像の撮影条件を用いて前記点Ｐの奥
行きをＺと仮定した場合の前記点Ｐの近傍領域の各画像
への投影形状を求めることを特徴とする請求項１記載の
３次元情報復元装置。 - 【請求項３】複数画像のうち少なくとも１枚の画像上の
任意の点の輝度勾配を計算する輝度勾配計算手段を有
し、 前記投影形状計算手段が、 前記点Ｐの各画像への投影位置の周囲の各点の輝度と、
前記輝度勾配計算手段により計算した輝度勾配から得ら
れる、前記点Ｐの局所勾配と前記仮定値Ｚと前記各画像
の撮影条件に関する連立方程式を解くことにより前記点
Ｐの局所勾配を求め、 この局所勾配と各画像の撮影条件を用いて前記点Ｐの奥
行きをＺと仮定した場合の前記点Ｐの近傍領域の各画像
への投影形状を求めることを特徴とする請求項１記載の
３次元情報復元装置。 - 【請求項４】互いに異なる位置から撮影した複数枚の画
像から対象物上の任意の点Ｐの３次元情報を復元する３
次元情報復元装置であって、 前記 複数枚の画像のうちの任意の１枚の画像を基準画像
とし、前記点Ｐの基準画像の視点に対する奥行きをＺと
仮定して、この仮定値Ｚと各画像の撮影条件から、前記
点Ｐの各画像への投影位置を求める奥行き仮定ステップ
と、 前記奥行き仮定ステップで求めた前記点Ｐの各画像への
投影位置の周囲の輝度情報と前記仮定値Ｚと前記各画像
の撮影条件から前記点Ｐの局所勾配を求め、その局所勾
配と各画像の撮影条件から前記点Ｐの近傍領域の各画像
への投影形状を求める投影形状計算ステップと、 前記投影形状計算手段によって計算した前記点Ｐの近傍
領域の投影形状の複数画像間の輝度情報の相関を求める
奥行き評価ステップと、 前記奥行き仮定手段の仮定値Ｚを変化させて、前記奥行
き評価手段により求めた相関が最大となる仮定値Ｚを前
記点Ｐの奥行きとして決定する奥行き決定ステップから
なることを特徴とする３次元情報復元方法。 - 【請求項５】複数画像のうち少なくとも１枚の画像上の
任意の点の輝度勾配を計算する輝度勾配計算ステップを
有し、 前記投影形状計算ステップが、 前記点Ｐの局所勾配を、前記輝度勾配計算ステップによ
り計算した、前記点Ｐの各画像への投影位置の周囲の輝
度勾配と前記仮定値Ｚと前記各画像の撮影条件を用いて
求め、この局所勾配と各画像の撮影条件を用いて前記点
Ｐの奥行きをＺと仮定した場合の前記点Ｐの近傍領域の
各画像への投影形状を求めることを特徴とする請求項４
記載の３次元情報復元方法。 - 【請求項６】複数画像のうち少なくとも１枚の画像上の
任意の点の輝度勾配を計算する輝度勾配計算ステップを
有し、 前記投影形状計算ステップが、 前記点Ｐの各画像への投影位置の周囲の各点の輝度と、
前記輝度勾配計算ステップにより計算した輝度勾配から
得られる、前記点Ｐの局所勾配と前記仮定値Ｚと前記各
画像の撮影条件に関する連立方程式を解くことにより前
記点Ｐの局所勾配を求め、 この局所勾配と各画像の撮影条件を用いて前記点Ｐの奥
行きをＺと仮定した場合の前記点Ｐの近傍領域の各画像
への投影形状を求めることを特徴とする請求項４記載の
３次元情報復元方法。 - 【請求項７】互いに異なる位置から撮影した複数枚の画
像から対象物上の任意の点Ｐの３次元情報を復元する３
次元情報復元方法に関するプログラムを記憶した記録媒
体であって、前記複数枚の画像のうちの任意の１枚の画像を基準画像
とし、前記点Ｐの基準画像の視点に対する奥行きをＺと
仮定して、この仮定値Ｚと各画像の撮影条件から、前記
点Ｐの各画像への投影位置を求める奥行き仮定機能と、 前記奥行き仮定機能が求めた前記点Ｐの各画像への投影
位置の周囲の輝度情報と前記仮定値Ｚと前記各画像の撮
影条件から前記点Ｐの局所勾配を求め、その局所勾配と
各画像の撮影条件から前記点Ｐの近傍領域の各画像への
投影形状を求める投影形状計算機能と、 前記投影形状計算機能によって計算した前記点Ｐの近傍
領域の投影形状の複数画像間の輝度情報の相関を求める
奥行き評価機能と、 前記奥行き仮定機能の仮定値Ｚを変化させて、前記奥行
き評価機能により求めた相関が最大となる仮定値Ｚを前
記点Ｐの奥行きとして決定する奥行き決定機能 を実現す
るプログラムを記憶したことを特徴とする３次元情報復
元方法に関する記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32870897A JP3504128B2 (ja) | 1997-11-28 | 1997-11-28 | ３次元情報復元装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32870897A JP3504128B2 (ja) | 1997-11-28 | 1997-11-28 | ３次元情報復元装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11161794A JPH11161794A (ja) | 1999-06-18 |
| JP3504128B2 true JP3504128B2 (ja) | 2004-03-08 |
Family
ID=18213303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32870897A Expired - Fee Related JP3504128B2 (ja) | 1997-11-28 | 1997-11-28 | ３次元情報復元装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3504128B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003042730A (ja) * | 2001-07-30 | 2003-02-13 | Topcon Corp | 表面形状測定装置、及びその方法、並びに表面状態図化装置 |
| EP1422495A4 (en) * | 2001-07-30 | 2009-06-03 | Topcon Corp | SURFACE MEASUREMENT DEVICE, SURFACE FORMAT METHOD, SURFACE STATE GRAPHIC DEVICE |
| WO2004038660A1 (ja) * | 2002-10-22 | 2004-05-06 | Toyota Jidosha Kabushiki Kaisha | 画像処理方法および画像処理装置 |
-
1997
- 1997-11-28 JP JP32870897A patent/JP3504128B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11161794A (ja) | 1999-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11010925B2 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
| EP3067861B1 (en) | Determination of a coordinate conversion parameter | |
| JP4814669B2 (ja) | ３次元座標取得装置 | |
| JP3347508B2 (ja) | 撮像画像処理装置および撮像画像処理方法 | |
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| US20090153669A1 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| CN110044374B (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
| US6473536B1 (en) | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded | |
| WO2017022033A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2953154B2 (ja) | 形状合成方法 | |
| JP2003279310A (ja) | 位置姿勢補正装置、及び位置姿勢補正方法 | |
| KR20220113781A (ko) | 환경의 지형을 측정하는 방법 | |
| Shah et al. | Depth estimation using stereo fish-eye lenses | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| JP3504128B2 (ja) | ３次元情報復元装置及びその方法 | |
| JP2005241323A (ja) | 撮像システム及び校正方法 | |
| Pedersini et al. | 3D area matching with arbitrary multiview geometry | |
| JP7033294B2 (ja) | 撮像システム、撮像方法 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| KR102375135B1 (ko) | 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법 | |
| JP3512919B2 (ja) | 物体形状・カメラ視点移動の復元装置及び復元方法 | |
| JP3548652B2 (ja) | 物体形状復元装置及びその方法 | |
| Yamazoe et al. | Multiple camera calibration with bundled optimization using silhouette geometry constraints | |
| Arnold et al. | Formulating a Moving Camera Solution for Non-Planar Scene Estimation and Projector Calibration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031209 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091219 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091219 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101219 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |