JP4383990B2 - パラメータ推定装置、パラメータ推定方法、パラメータ推定プログラム、および、パラメータ推定プログラムの記録媒体 - Google Patents

Description

本発明は、画像中に含まれるオブジェクトのパラメータを推定する技術に関するものである。

カメラ等で撮影したオブジェクトには、どの方向から撮影したものか、どこから照明をあてているのか等、様々なパラメータが含まれている。例えば図５は、撮影角度(水平方向)をパラメータとして考えた場合の画像とパラメータとの関係である。これらのパラメータ情報を画像のみから推定することは、工業部品の分類、移動物体の監視、といった幅広い応用が考えられ、工学的価値は高い。

この技術を実現する方法として、特願２００３−３８３５８０では、線形部分空間法とサポートベクトル回帰とを組み合わせた方法が提案されている。これは、パラメータを様々に変化させたときの画像とパラメータとの関係を、特徴空間における画像の固有空間上での入出力関数として表現し、その関数を用いてパラメータを推定する方法である。この方法は、「パラメトリック固有空間法」(例えば、非特許文献１参照。)のようにサンプル点を全て保存するのではなく、関数の基底ベクトルに相当するベクトル(サポートベクトル)だけ保存すればよいため、メモリ空間を圧迫する心配が少ない。しかし、推定精度をよくするためには、サポートベクトルの数を多くとる必要がある。
村瀬洋、Ｓｈｒｅｅ Ｋ．ＮＡＹＡＲ、「２次元照合による３次元物体認識−パラメトリック固有空間法−」、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．２１７９−２１８７、１９９４

本発明は、画像内オブジェクトのパラメータ推定において、入出力関数をよりコンパクトなものに変換して必要メモリ量、計算量ともに小さくすることを目的とする。

上記目的を達成するために、本発明では、サポートベクトル回帰により定義される回帰推定式を変形する。このとき、カーネル関数に２次の多項式カーネルを用いることを前提とすれば、必要な変数の数はサポートベクトルの数によらず、固有空間次元数の２乗のオーダーに圧縮することができる。

以下、具体的な変形式について述べる。

サポートベクトル回帰により定義されている回帰推定式は、

である。ここで、α_i ^*、α_i、ｂ、はサポートベクトル回帰により定義された最適化問題を解くことにより算出される係数、ｍはサポートベクトルの数、ｋ(ｘ_i，ｘ)はカーネル関数である。

パラメータ推定において、入力ｘは、画像から得られる特徴ベクトルをオブジェクトの固有空間に射影したときにできる射影ベクトルである。固有空間とは、学習用のオブジェクト画像のセットから主成分分析により導き出される部分空間である。固有空間を用いることにより、サポートベクトルｘ_iの次元数を減らして、メモリ容量を少なくすることができる。

ここで、カーネル関数を、

とする。これは、２次の多項式カーネルと呼ばれる。これを数式１に代入すると、

となる。この数式をそのまま利用するとなると、必要なメモリ容量は大体、
(サポートベクトルの数)×(固有空間の次元数)
程度になる。これは、サポートベクトルが多く存在するときにはメモリ空間を圧迫するおそれがある。

そこで、これをさらに展開して整理すると、

となる。ここで、

と置けば、これらは学習時にあらかじめ全て計算できることになる。さらに、Ａはｄ×ｄの行列(ｄは固有空間の次元数)、βは１×ｄのベクトル、γは定数項であるから、サポートベクトルの数は関係が無くなる。つまり、どんなにサポートベクトルの数が増えても、メモリ容量には全く影響を与えないことになる。

また、行列Ａを対角化することによって、さらに必要なメモリ量を圧縮することができる。Ａを、

のように対角化する。ここで、

であり、λ_iはＡの固有値、ｐ_iはＡの固有ベクトルである。番号ｉはλ_iの絶対値が大きい順につけられているものとする。

ここで、番号ｉの大きい固有値は０に近いものが多く存在するはずである。これらは無視してもさして影響はないので、次のように数５〜８の式を定義し直す。

ここで、ｄ’は、

を満たす最も小さい数が採用される。Ｃは寄与度と呼ばれ、例えば、０．９９など１に近い値を用いる。これにより得られるｆ’(ｘ)は、ｆ(ｘ)の近似式となる。この式を利用すれば、さらに必要なメモリ量および計算量を削減することができる。

具体的なパラメータ推定装置は以下の構成を備える。すなわち、画像データに含まれるオブジェクトのパラメータを推定するパラメータ推定装置であって、画像データを入力する入力手段と、前記画像データに含まれるオブジェクトの特徴を抽出する特徴抽出手段と、前記抽出された特徴から主成分分析によりオブジェクトの部分空間を作成する部分空間作成手段と、サポートベクトル回帰によりパラメータ推定関数を作成するパラメータ推定関数作成手段と、前記入力手段に入力したパラメータ推定の対象であるオブジェクトを撮像した画像データから、前記特徴抽出手段によって抽出された特徴量を前記オブジェクトごとの部分空間に射影する部分空間射影手段と、前記パラメータ推定関数に基づいてパラメータを推定するパラメータ推定手段と、前記推定結果を出力する出力手段と、を備えており、前記パラメータ推定関数作成手段は、サポートベクトル回帰の定義する最適化問題を解く最適化計算手段と、回帰式をサポートベクトルの数に依らないように式変形したときに新たに定まる係数を全て算出する係数計算手段と、を備える。また、前記パラメータ推定関数作成手段は、前記式変形における係数の一部である行列を対角化し、回帰式において影響の少ない部分を省略する行列対角化計算手段を備える。

また、具体的なパラメータ推定方法は以下の構成を備える。すなわち、画像データに含まれるオブジェクトのパラメータを推定するパラメータ推定方法であって、入力手段が画像データを入力する入力ステップと、特徴抽出手段が前記画像データに含まれるオブジェクトの特徴を抽出する特徴抽出ステップと、部分空間作成手段が前記抽出された特徴から主成分分析によりオブジェクトの部分空間を作成する部分空間作成ステップと、パラメータ推定関数作成手段がサポートベクトル回帰によりパラメータ推定関数を作成するパラメータ推定関数作成ステップと、部分空間射影手段が前記入力手段に入力したパラメータ推定の対象であるオブジェクトを撮像した画像データから、前記特徴抽出手段によって抽出された特徴量を前記オブジェクトごとの部分空間に射影する部分空間射影ステップと、パラメータ推定手段が前記パラメータ推定関数に基づいてパラメータを推定するパラメータ推定ステップと、出力手段が前記推定結果を出力する出力ステップと、を備えており、前記パラメータ推定関数作成ステップは、最適化計算手段がサポートベクトル回帰の定義する最適化問題を解く最適化計算ステップと、係数計算手段が回帰式をサポートベクトルの数に依らないように式変形したときに新たに定まる係数を全て算出する係数計算ステップと、を備える。また、前記パラメータ推定関数作成ステップは、行列対角化計算手段が前記式変形における係数の一部である行列を対角化し、回帰式において影響の少ない部分を省略する行列対角化計算ステップを備える。

また、パラメータ推定プログラムは、上記のパラメータ推定装置またはパラメータ推定方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラムである。

また、パラメータ推定プログラムの記録媒体は上記のパラメータ推定装置またはパラメータ推定方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体である。

このように、カーネル関数に２次の多項式カーネルを用いることを前提とすれば、学習において求められたサポートベクトルによる回帰式を、サポートベクトルの数に依らない、よりコンパクトな式に変換できるため、この性質を利用して、メモリ容量、計算量、ともに小さいパラメータ推定を実現することができる。さらに、行列の対角化をし、回帰式における影響の小さい部分を省略することによって、ある程度の近似精度を保ちながら、さらにメモリ容量、計算量を減らすことが可能となる。

以上説明したように、本発明によれば、画像中に含まれるオブジェクトに対し、極めて少ないメモリ容量および極めて少ない処理で、精度の良いパラメータ推定を可能とする技術を提供できる。

以下本発明の実施形態について図面を用いて詳細に説明する。

図１はパラメータ推定装置の構成を示すブロック図で、図２はパラメータ推定方法のフローチャートである。

学習画像データ入力部１０１は、デジタルカメラ等で撮像された学習用のオブジェクト画像データおよびその正解パラメータ値を入力し、特徴抽出部１０２に伝送する(Ｓ０１)。

特徴抽出部１０２は、入力されたデジタル画像データから、そのオブジェクトの特徴量を抽出し、部分空間作成部１０３に伝送する(Ｓ０２)。

特徴量はいろいろ考えられるが、例えば、フーリエ変換のパワースペクトル、色ヒストグラム特徴(村瀬洋、Ｖ．Ｖ．Ｖｉｎｏｄ、「局所色情報を用いた高速物体検索−アクティブ検索法−」、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ、Ｎｏ．９、ｐｐ．２０３５−２０４２、１９９８)、局所方向ヒストグラム特徴(若林哲史、鶴岡信治、木村文隆、三宅康二、「特徴量の次元数増加による手書き数字認識の高精度化」、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ、Ｎｏ．１０、ｐｐ．２０４６−２０５３、１９９４)等がある。また、こういった特徴抽出処理を行わず、画像の輝度値そのものを特徴量としてもよい。

部分空間作成部１０３は、オブジェクト画像から抽出された特徴ベクトルの集合をもとに、そのオブジェクトの部分空間を作成する(Ｓ０３)。

部分空間は、特徴ベクトルの共分散行列の固有値および固有ベクトルを算出し、固有値の大きい固有ベクトルから順番に、必要なだけ選択する事により(ここでも、数１５式のように寄与度を用いて選択する。)、それらを基底ベクトルとした空間として表現することができる。これにより、オブジェクトの特徴ベクトルがより低次元に圧縮され、メモリ節約に貢献することとなる。

部分空間記憶部１０５では、部分空間作成部１０３にて作成されたオブジェクトの部分空間をメモリに記憶する(Ｓ０４)。

パラメータ推定関数作成部１０４では、サポートベクトル回帰により、パラメータ推定関数を生成する(Ｓ０５)。

ここで、推定回帰式は前記数式１２で表される。その際のパラメータ推定関数作成部１０４における演算処理装置構成および処理の実行方法を、図３のブロック図と図４のフローチャートに示す。

最適化計算部１１２では、サポートベクトル回帰の定義する最適化問題を解くことで、数式５〜８に含まれるα_i ^*、α_i、およびｂを算出する(Ｓ１１)。最適化問題は以下のように表される。

ここで、ｙ_iはｘ_iに対応する正解パラメータ値である。最適化は、凸二次計画法(今野浩、山下浩、「非線形計画法」、日科技連出版社、１９７８)を用いて解くことができる。

係数計算部１１３では、数式６〜８に基づいて、行列Ａ、ベクトルβ、定数γを算出する(Ｓ１２)。

行列対角化計算部１１４では、行列Ａの固有値と固有ベクトルを計算し、数式１３〜１５に基づいて、行列Ｐ’および行列Λ’を求める(Ｓ１３)。

パラメータ推定関数記憶部１０６では、パラメータ推定関数作成部１０４にて作成されたオブジェクトのパラメータ推定関数(具体的には、行列Ｐ’、行列Λ’、ベクトルβ、定数γ)をメモリに記憶する(Ｓ０６)。

このとき、行列Ｐ’、行列Λ’の代わりに行列Ａを記憶してもよい。その場合は、行列対角化計算部１１４は省略される。

パラメータ推定関数作成部１０４は全てのパラメータの推定関数を作成したかを判断し、全てのパラメータの推定関数を作成したと判断したときは処理を終了し、全てのパラメータの推定関数を作成していないと判断したときはＳ０５を行う。

対象画像データ入力部１０７では、デジタルカメラ等で撮像されたパラメータ推定対象となるオブジェクト画像データを入力し、特徴抽出部１０８に伝送する(Ｓ０７)。

特徴抽出部１０８は、特徴抽出部１０２と同様に、オブジェクトの特徴量を抽出し、部分空間射影部１０９へ伝送する(Ｓ０８)。

部分空間射影部１０９では、部分空間記憶部１０５によりメモリに記憶された部分空間を読み出し、部分空間に対象画像データの特徴ベクトルを射影する(Ｓ０９)。

パラメータ推定部１１０では、パラメータ推定関数記憶部１０６によりメモリに記憶されたパラメータ推定関数を読み出し、パラメータを推定する(Ｓ１０)。行列Ｐ’、行列Λ’、ベクトルβ、定数γを記憶しておいた場合には、数式１２が推定回帰式となり、行列Ａ、ベクトルβ、定数γを記憶しておいた場合には数式５〜８が推定回帰式となる。そして、推定されたパラメータ値を出力部１１１に伝送する。

パラメータ推定部１１０は全てのパラメータを推定したかを判断し、全てのパラメータを推定したと判断したときは処理を終了し、全てのパラメータを推定していないと判断したときはＳ１０を行う。

出力部１１１は、パラメータ推定部１１０で演算された結果を出力する。

なお、パラメータ推定装置は、例えば、パラメータ推定装置を構成するコンピュータ装置が有するＣＰＵによって実現され、必要とする特徴量抽出、部分空間作成、パラメータ推定関数作成、最適化計算、行列対角化計算などをアプリケーションプログラムとして搭載することができる。

また、コンピュータ装置には上記説明した特徴量抽出、部分空間作成、パラメータ推定関数作成、最適化計算、行列対角化計算などの処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。

また、学習画像データ入力部１０１と対象画像データ入力部１０７とは一つの画像データ入力部であってもよいし、特徴抽出部１０２と特徴抽出部１０８とは一つの特徴抽出部であってもよい。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ、等は本発明を構成する。

パラメータ推定装置の構成を示すブロック図。 パラメータ推定方法のフローチャート。 パラメータ推定関数作成部の構成を示すブロック図。 パラメータ推定関数作成部における処理の実行方法。 撮影角度をパラメータとした場合の画像とパラメータとの関係図。

符号の説明

１０１…学習画像データ入力部
１０２…特徴抽出部
１０３…部分空間作成部
１０４…パラメータ推定関数作成部
１０５…部分空間記憶部
１０６…パラメータ推定関数記憶部
１０７…対象画像データ入力部
１０８…特徴抽出部
１０９…部分空間射影部
１１０…パラメータ推定部
１１１…出力部
１１２…最適化計算部
１１３…係数計算部
１１４…行列対角化計算部

Claims (4)

1. 画像データに含まれるオブジェクトのパラメータを推定するパラメータ推定装置であって、
   画像データを入力する入力手段と、
   前記画像データに含まれるオブジェクトの特徴を抽出する特徴抽出手段と、
   前記抽出された特徴から主成分分析によりオブジェクトの部分空間を作成する部分空間作成手段と、
   サポートベクトル回帰によりパラメータ推定関数を作成するパラメータ推定関数作成手段と、
   前記入力手段に入力したパラメータ推定の対象であるオブジェクトを撮像した画像データから、前記特徴抽出手段によって抽出された特徴量を前記オブジェクトごとの部分空間に射影する部分空間射影手段と、
   前記パラメータ推定関数に基づいてパラメータを推定するパラメータ推定手段と、
   前記推定結果を出力する出力手段と、を備えており、
   前記パラメータ推定関数作成手段は、
   サポートベクトル回帰の定義する最適化問題を解く最適化計算手段と、
   回帰式をサポートベクトルの数に依らないように式変形したときに新たに定まる係数を全て算出する係数計算手段と、
   前記式変形における係数の一部である行列を対角化し、回帰式において影響の少ない部分を省略する行列対角化計算手段と、を備えることを特徴とするパラメータ推定装置。
2. 画像データに含まれるオブジェクトのパラメータを推定するパラメータ推定方法であって、
   入力手段が画像データを入力する入力ステップと、
   特徴抽出手段が前記画像データに含まれるオブジェクトの特徴を抽出する特徴抽出ステップと、
   部分空間作成手段が前記抽出された特徴から主成分分析によりオブジェクトの部分空間を作成する部分空間作成ステップと、
   パラメータ推定関数作成手段がサポートベクトル回帰によりパラメータ推定関数を作成するパラメータ推定関数作成ステップと、
   部分空間射影手段が前記入力手段に入力したパラメータ推定の対象であるオブジェクトを撮像した画像データから、前記特徴抽出手段によって抽出された特徴量を前記オブジェクトごとの部分空間に射影する部分空間射影ステップと、
   パラメータ推定手段が前記パラメータ推定関数に基づいてパラメータを推定するパラメータ推定ステップと、
   出力手段が前記推定結果を出力する出力ステップと、を備えており、
   前記パラメータ推定関数作成ステップは、
   最適化計算手段がサポートベクトル回帰の定義する最適化問題を解く最適化計算ステップと、
   係数計算手段が回帰式をサポートベクトルの数に依らないように式変形したときに新たに定まる係数を全て算出する係数計算ステップと、
   行列対角化計算手段が前記式変形における係数の一部である行列を対角化し、回帰式において影響の少ない部分を省略する行列対角化計算ステップと、を備えることを特徴とするパラメータ推定方法。
3. 請求項１記載のパラメータ推定装置として、コンピュータを機能させることを特徴とするパラメータ推定プログラム。
4. 請求項３記載のパラメータ推定プログラムを記録したことを特徴とする記録媒体。