JP4955609B2 - 消失点追跡方法及び消失点追跡装置 - Google Patents

Description

本発明は時系列画像において消失点を検出し追跡する画像処理技術に関する。

消失点は、三次元シーン中における平行線群の画像平面上での交点として定義される。原理上は画像から直線を検出すればその交点として消失点を検出することができる。そのため、最も典型的な方法では、単一の画像において、特徴点を抽出し、それらを通る直線を検出した後、その結果に基づいて消失点を求めるというアプローチを採っている（例えば特許文献１参照）。また時系列画像に対しては、各画像でこれを繰り返すことで追跡を実現することができる。しかし、こうした段階的な処理はどうしても前段の検出結果や精度に大きく依存してしまうという問題がある。

この問題に対しては、直線検出(さらには特徴点抽出)を行わずに直接的に消失点を求める手法がある。たとえば、特徴点のエッジ方向が消失点に向かう確率を定義し、その確率とエッジ方向を反復的に更新する方法（非特許文献１参照）、混合正規分布モデルに基づいて特徴点を分類しながら消失点によって拘束された直線の当てはめを行う方法（非特許文献２参照）、各画素の輝度勾配ベクトルに基づき各画素を5つのクラスに分類することで消失点を検出する方法（非特許文献３参照）などがある。このクラスタリング方式をベースに時系列画像へ拡張した手法も報告されている（非特許文献４、５参照）。これらの手法では時間的な拘束条件を導入することでさらなる高精度化が図るとともに追跡を実現している。しかしながら、いずれにしてもクラスタリングに反復計算を要し、多大な計算量を必要とすることが問題である。

特開平７−７８２４０号公報 中谷 広正, 北橋 忠宏,「反復演算による無限遠点抽出法」, 信学論 D, Vol.J68-D, No.8, pp.1541-1542, 1985。 "Vanishing point and vanishing line estimation with line clustering", A. Minagawa, N. Tagawa, T. Moriya, T. Gotoh, IEICE Trans. INF. Vol.E83-D, No.7, pp.1574-1582, 2000。 "The Manhattan world assumtion: Regularities in scene statistics which enable Bayesian inference", J.M. Coughlan and A. L. Yuille, Proc. NIPS 13, pp.845-851, 2000。 皆川 明洋, 小林 幸彦, 田川 憲男, 田中 利幸, 「時間変動を有する消失点系列の検出法」, 信学論 D-II, Vol.J85-D-II, No.1, pp.23-35, 2002。 皆川 明洋, 田川 憲男, 「時間変動を有する消失点系列の逐次的検出法」, 信学論 D-II, Vol.J86-D-II, No.6, pp.856-868, 2003。

上述したように、段階的な処理を行う従来手法は検出精度に問題がある。またクラスタリングをベースとした手法は処理速度が問題である。

本発明は、上記の課題を解決するためになされたものであり、高精度でかつ高速に画像の消失点を検出・追跡する方法を提供することを目的とする。

本発明に係る消失点追跡方法は、コンピュータ上で、複数の仮説により離散的な確率密度として消失点を表現し、時系列画像中の各画像で各仮説の尤度を評価し更新することで消失点を追跡する、パーティクルフィルタを用いた消失点追跡手法である。その消失点追跡手法は、コンピュータの制御手段により実行される以下のステップを含む。
−画像取得手段を介して時系列画像を入力するステップ、
−入力した時系列画像の各画像から特徴点を抽出するステップ、
−直線検出用ハフ変換により各特徴点をパラメータ空間へ投票するステップ、
−パラメータ空間に蓄積された投票度数に基づいて各仮説の尤度を算出するステップ、及び
−算出した尤度に基づき各画像の消失点を求めるステップ

本発明に係る消失点追跡装置は、時系列画像を入力する画像入力手段と、入力した時系列画像の各画像から消失点を検出する画像処理手段とを備える。画像処理手段は、複数の仮説により離散的な確率密度として消失点を表現し、入力した時系列画像の各画像から特徴点を抽出し、直線検出用ハフ変換により各特徴点をパラメータ空間へ投票し、パラメータ空間に蓄積された投票度数に基づいて各仮説の尤度を算出し、算出した尤度に基づき各画像の消失点を求める。

本発明によれば、尤度評価により消失点の検出を行い、直線を一旦検出することは行わないため、直線検出の精度に全く依存せずに消失点の検出ができる。また、各画像において反復計算（収束演算）を行う必要もないため、高速処理が実現できる。

以下、添付の図面を参照して本発明の実施の形態を説明する。

１．画像処理装置の構成
図１に、本発明の実施の形態における画像処理装置の構成を示す。画像処理装置１０は、画像を撮像する撮像部１１と、撮像部からの出力信号に所定の信号処理を行い画像データを生成する信号処理部１３と、生成された画像データに対して所定の画像処理を行う画像処理部１５と、画像データを格納するデータ記憶部１７と、画像やその他の情報を表示する表示部１９と、ユーザが操作を行う操作部２１とを備える。撮像部１１はＣＣＤのような撮像素子で構成される。

画像処理部１５はＣＰＵ等の制御手段から構成され、所定の制御プログラムを実行することで後述する機能を実現する。データ記憶部１７はハードディクスや半導体メモリ等の記録媒体で構成され、画像データや種々の制御情報を格納する。表示部１９は例えば液晶表示装置（ＬＣＤ）を含み、操作部２１はキーボードやマウス等である。画像処理装置１０は外部機器やネットワークと接続するためのインタフェースも備えてもよい。

撮像部１１は被写体の光学情報に基づき画像信号を生成する。信号処理部１３は撮像部１１からのアナログ画像信号をデジタル信号に変換して画像データを生成する。画像処理部１５は信号処理部１３から受信した画像データに対して種々の画像処理を行う。特に、画像処理部１５は、信号処理部１３から時系列の画像データを入力し、各画像データに対して消失点の検出処理を行う。なお、画像処理部１５は、消失点の検出処理を行うために、データ記憶部１７から時系列の画像データを取得してもよいし、または、通信ケーブル等を介して外部から時系列の画像データを取得してもよい。

２．消失点追跡処理
本実施形態の画像処理装置１０による消失点追跡処理について説明する。なお、以下では、説明の便宜上、時刻tにおける消失点の状態x_tを下式のように画像中での位置(x,y)に各軸方向の移動速度(u,v)を加えた４次元ベクトルによって記述する。
x_t = [x,y,u,v]^T

また、消失点の見かけの運動モデルとして以下の線形予測モデルを用いる。
x_t = F x_(t-1) + w
ここで、wは、平均0、共分散Σ_wをもつガウス雑音Ｎ(0,Σ_w)である。ただし、上記のモデルに限定するものではなく、状態を位置(x,y)だけの２次元ベクトルとし、運動モデルとしてランダムウォークを用いても問題はない。

本実施形態の画像処理装置１０は、パーティクルフィルタとハフ変換の手法を組み合わせて消失点の検出・追跡を行う。ここで、パーティクルフィルタとハフ変換について説明する。

２．１ パーティクルフィルタ
パーティクルフィルタ（例えば、M. Isard and A. Blake, "CONDENSATION ---Conditional Density Propagation for Visual Tracking," IJCV, Vol.29, No.1, pp.5-28, 1998、参照）は、雑音を含む観測値から対象の状態の事後確率を時系列で推定する手法であり、コンデンセーション、モンテカルロフィルタ、ブートストラップフィルタとも呼ばれる。パーティクルフィルタでは、状態パラメータに"位置"を含めることで対象の追跡を実現する。ここで、時刻tにおける対象の状態をx_t、画像から得られる観測値をz_tとし、時刻tまでに得られる観測値の系列をZ_t={z₁, … , z_t}とする。このとき、状態x_tの事後確率p(x_t | Z_t)は、ベイズの定理を用いると次のように表される。
p(x_t | Z_t) = p(z_t | x_t) p(x_t | Z_(t-1))
ただし、p(z_t | x_t)はx_tの尤度、p(x_t | Z_(t-1))は事前確率である。

事前確率p(x_t | Z_(t-1))については、マルコフ過程を仮定することにより、時刻t-1における事後確率p(x_(t-1) | Z_(t-1))と時刻t-1から、tへの状態遷移確率p(x_t | x_(t-1))で書き直すことができる。
p(x_t | Z_(t-1)) = ∫p(x_t | x_(t-1)) p(x_(t-1) | Z_(t-1)) dx_(t-1)

パーティクルフィルタでは、事後確率p(x_t | Z_t)を、状態量x_tのＮ個の仮説s_(t-1) ⁽ⁱ⁾とそれらに対応する重みπ_(t-1) ⁽ⁱ⁾によって離散的に近似する。ただしｉ=1, …, Nである。これにより、事後分布を効率よく推定している。

２．２ ハフ変換
ハフ変換は、画像中の特徴点が与えられたとき、その特徴点を含む図形についての仮説を生成し、多くの特徴点から支持される仮説を正しいものと考えて図形の検出を行う手法である。仮説の生成は仮説集合を表すパラメータ空間へ投票することによって実現され、各仮説に対して蓄積された投票度数を調べることによって図形の検出が行われる。

以下、精度と計算速度のバランスに優れるγ-ωハフ変換（和田 俊和, 藤井 高広, 松山 隆司, 「γ-ωハフ変換 ---可変標本化によるρ-θパラメータ空間のひずみの除去と投票軌跡の直線化---」, 信学論 D-II, Vol.J75-D-II, No.1, pp.21-30, 1992、参照）について説明する。

γ-ωハフ変換は、直線検出用ハフ変換として一般的なρ-θハフ変換の問題点を改善するために構築されたものであり、パラメータ空間を均一なセルに標本化し全画素からの投票を行ってもセルに蓄積される投票度数に偏りが生じないという特長がある。また、投票軌跡が２本の線分からなる折れ線となり、三角関数演算を必要としないため、投票や検証の手続きが容易に行える。

γ-ωハフ変換では、パラメータγ、ωをもつ直線を下式にて表す。
x = -αωy+γ (-1/α≦ω＜1/α)
y = (αω-2) x+γ ( 1/α≦ω＜3/α)

一方、画像中の特徴点(x_j, y_j)が与えられたときには、次式によって表されるγ-ωパラメータ空間中のセル集合(ω,γ_{xj,yj}(ω))に対して投票を行う。換言すれば、下式はパラメータ空間への投票軌跡を表す式となる。
γ_{{x_j,y_j}}(ω) = x_j + αωy_j (-1/α≦ω＜1/α)
γ_{{x_j,y_j}}(ω) = y_j + (2-αω) x_j ( 1/α≦ω＜3/α)
αは定数であり、投票奇跡の傾きと検出する直線の角度分解能を決める重要な係数である。通常はα＝１／[画像サイズ]あるいはα＝１／[画像サイズ／２]とすればよい。

２．３ 消失点検出・追跡処理
図２に、本実施形態の画像処理装置１０（画像処理部１５）による消失点検出・追跡処理のフローチャートを示す。同図のフローチャートを用いて、本実施の形態の画像処理装置１０による消失点検出・追跡処理を説明する。

最初に、パーティクルフィルタにおける初期設定を行う（ステップＳ１０）。具体的には、Ｎ個の仮説s_(t-1) ⁽ⁱ⁾を生成する。ここで、ｉ=1, …, Nであり、Ｎは例えば1000である。各仮説の位置(x,y)は画像中のランダムな位置とする。また速度(u,v)は(0,0)とする。

次に、画像処理部１５は、信号処理部１３またはデータ記憶部１７から、処理対象とする画像データを入力し（ステップＳ１１）、その画像データから特徴点を抽出する（ステップＳ１２）。具体的には、Sobelフィルタなどでエッジ検出を行い、エッジ点を特徴点として抽出したり、トップハットフィルタにより、周辺よりも明るい点を特徴点として抽出したりすればよい。例えば、図３に示す画像を入力画像とした場合、その入力画像に対するトップハットフィルタ処理結果は図４に示すようになる。図４では白い画素が特徴点を表している。

その後、抽出した特徴点に対して直線検出用ハフ変換により投票を行う（ステップＳ１３）。ここでは先に述べたγ―ωハフ変換を用いる。ただし、これに限定されるものではなく、直線検出用であれば他のハフ変換でもよい。図５は、図４の特徴点をγ-ωパラメータ空間へ投票したときの投票度数分布を示した図である。画像が白いほど投票度数が高いことを表している。

次に、ステップＳ１４からＳ１７にかけてパーティクルフィルタに沿った処理を行う。まず、仮説の選択を行う（ステップＳ１４）。前の時刻における事後確率p(x_(t-1) | Z_(t-1))を離散的に近似したＮ個の仮説s_(t-1) ⁽ⁱ⁾から、その重みπ_(t-1) ⁽ⁱ⁾の比に従い仮説群s'_(t-1) ⁽ⁱ⁾を抽出する。各仮説s'_(t-1) ⁽ⁱ⁾を、状態遷移確率p(x_t | x_(t-1)=s'_(t-1) ⁽ⁱ⁾)に従い遷移し（ステップＳ１５）、時刻tにおけるＮ個の仮説群s_t ⁽ⁱ⁾を生成する。その後、各仮説s_t ⁽ⁱ⁾の尤度p(z_t | x_t = s_t ⁽ⁱ⁾)を算出する（ステップＳ１６）。そして、下式により、各仮説s_t ⁽ⁱ⁾の尤度p(z_t | x_t = s_t ⁽ⁱ⁾)を正規化した重みπ_t ⁽ⁱ⁾を算出する（ステップＳ１７）。

特に、本実施形態の消失点検出処理では、ステップＳ１６が重要なポイントであり、仮説の尤度をγ-ωパラメータ空間に蓄積された投票度数をもとに算出することに特徴がある。以下、ステップＳ１６における処理を具体的に説明する。

仮説s_t ⁽ⁱ⁾=[x_i,y_i,u_i,v_i]^(T)が支持する画像上の位置(x_i,y_i)に消失点があると仮定すると、原理上その点を通る直線群が画像上に存在しなければならない。直線群の存在仮説は特徴点群によって支持されており、それはパラメータ空間の投票度数に反映されている。具体的には、仮説の尤度は、各仮説が指示する画像上の位置(x_i,y_i)からハフ変換した場合の投票軌跡γ_{xi,yi}(ω)上の投票度数を調べることで求める。投票軌跡γ_{xi,yi}(ω)上において、十分に高い（所定値以上の）投票度数のピークが複数（所定数以上）存在すれば、消失点である可能性が高いと言える。ただし、ピーク検出(直線検出に相当)を行って、ピーク数をカウントするのでは、量子化誤差などによる影響や閾値設定などの問題が発生する。そこで、本実施形態では、下式により投票度数を用いて尤度を評価する。なお、式ではγ-ωパラメータ空間に蓄積された投票度数をh(ω,γ)としている。またδは適当な定数とする。

尤度を示す本指標では、投票軌跡上の投票度数を１次元ヒストグラムとしてとらえ、近接するビン間の差分絶対値和を累積した値となっている。ヒストグラムにおいて、峰の尖り具合が大きいほど、また峰が多いほど、指標（尤度）は高い値となり、より正しい尤度が算出できる。

最後に、各時刻における消失点の状態hx_tを下記式により推定する（ステップＳ１８）。すなわち、消失点を仮説群の尤度による重みつき平均によって期待値として求める。

上記の方法により図３に示す画像に対して求めた消失点を図６に示す画像において白丸で示している。

以上の処理においてステップＳ１１〜ステップＳ１８までを時系列画像に対して繰り返すことで、消失点の追跡が可能となる。

本手法では、尤度評価により消失点の検出を行い、直線を一旦検出することは行わないため、直線検出の精度に全く依存せずに消失点の検出ができる。また、各画像において反復計算（収束演算）を行う必要もないため、高速処理が実現できるという効果がある。

本発明の実施の形態による画像処理装置の構成図 本実施の形態の画像処理装置による消失点検出・追跡処理を示すフローチャート 消失点追跡装置への入力画像の一例を示す図 入力画像から特徴点を抽出した結果を示す図 γ-ωパラメータ空間に蓄積された投票度数分布を示す図 図３の画像に対する消失点の検出結果を示す図

符号の説明

１０ 画像処理装置、１１ 撮像部、１３ 信号処理部、１５ 画像処理部、
１７ データ記憶部、 １９ 表示部、 ２１ 操作部。

Claims (4)

1. コンピュータ上で、複数の仮説により離散的な確率密度として消失点を表現し、時系列画像中の各画像で各仮説の尤度を評価し更新することで消失点を追跡する、パーティクルフィルタを用いた消失点追跡手法であって、
   コンピュータの制御手段により実行される、
   画像取得手段を介して時系列画像を入力するステップと、
   前記入力した時系列画像の各画像から特徴点を抽出するステップと、
   直線検出用ハフ変換により各特徴点をパラメータ空間へ投票するステップと、
   パラメータ空間に蓄積された投票度数に基づいて各仮説の尤度を算出するステップと、
   前記算出した尤度に基づき各画像の消失点を求めるステップとを有する
   ことを特徴とする消失点追跡方法。
2. 前記各仮説の尤度を算出するステップにおいて、各仮説が指示する画像上の位置をハフ変換した場合の投票軌跡に沿って投票度数から尤度を算出する、ことを特徴とする請求項１に記載の消失点追跡方法。
3. 前記尤度を、投票軌跡上の投票度数を１次元ヒストグラムとしてとらえ、近接するビン間の差分絶対値和を累積した値とする、ことを特徴とする請求項２に記載の消失点追跡方法。
4. 時系列画像の各画像から消失点を検出する装置であって、
   時系列画像を入力する画像取得手段と、
   入力した時系列画像の各画像から消失点を検出する画像処理手段とを備え、
   前記画像処理手段は、
   複数の仮説により離散的な確率密度として消失点を表現し、
   前記入力した時系列画像の各画像から特徴点を抽出し、
   直線検出用ハフ変換により各特徴点をパラメータ空間へ投票し、
   パラメータ空間に蓄積された投票度数に基づいて各仮説の尤度を算出し、
   前記算出した尤度に基づき各画像の消失点を求める
   ことを特徴とする消失点追跡装置。