JP6280422B2 - 被写体領域検出装置、被写体領域検出方法及び被写体領域検出プログラム - Google Patents

Description

本発明は、２枚の異なる画像上において、対応する被写体の領域を特定する被写体領域検出装置、被写体領域検出方法及び被写体領域検出プログラムに関する。

実空間を撮像したカメラにより入力されたテスト画像から、予め被写体を撮影した訓練画像に該当する領域を特定する技術は、被写体認識や検出を可能としている（例えば、非特許文献１参照）。図８は、非特許文献１の技術による被写体領域の検出方法を示す説明図である。非特許文献１記載の方法では、同一被写体をインライア別の位置・角度で撮影したテスト画像、訓練画像の２枚の画像を使用して、両画像間で同一点を示す対応点を決定する（図８（ａ））。次に、対応点の位置情報から、訓練画像からテスト画像へのアフィン変換行列を算出することで、訓練画像で撮像された被写体の領域に対応する位置をテスト画像上において特定する（図８（ｂ））方法が記述されている。この方法では仮にテスト画像において被写体の一部が他物体に隠蔽されていたとしても、少なくとも３点以上の対応点が決定されていれば、その３点からアフィン変換行列を求めることで、被写体の位置を特定することが可能である。

D. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Vol. 60 Issue 2, pp.91-110, November 2004.

ところで、従来の被写体領域検出方法では、被写体が２次元であるという仮定のもとで、テスト画像上での訓練画像に対応する領域を、該訓練画像に対するスケール、回転、スキューの要素で幾何変換するアフィン変換行列を求めることで決定している。

しかしながら、被写体が３次元物体の場合には、画像上では３次元的な歪みを生じ、アフィン変換では表現できなくなるため、テスト画像上での訓練画像に対応する領域を決定できなくなるという問題がある。

本発明は、このような事情に鑑みてなされたもので、被写体が３次元物体であった場合でも、訓練画像で撮像された被写体の領域に対応するテスト画像上における領域を特定することができる被写体領域検出装置、被写体領域検出方法及び被写体領域検出プログラムを提供することを目的とする。

本発明は、被写体を撮影した訓練画像と、前記被写体が写っている領域を検出すべきテスト画像と、前記訓練画像と前記テスト画像との対応点の情報とを入力する入力部と、前記対応点からそれぞれの画像を撮影したカメラの焦点距離と射影行列を推定し、前記対応点を構成する前記訓練画像上の点の第１の３次元座標値を算出する第１の３次元座標算出部と、前記第１の３次元座標値から、３次元点を代表する奥行きを示す基準Ｚ値を決定する基準Ｚ値決定部と、前記焦点距離と前記基準Ｚ値とを用いて前記訓練画像の被写体領域に相当する第２の３次元座標値を算出する第２の３次元座標算出部と、前記被写体領域に相当する前記第２の３次元座標値を、前記射影行列を用いて前記テスト画像に射影して得られた前記テスト画像上における前記被写体の領域を示す２次元座標値を出力する被写体領域検出部とを備えることを特徴とする。

本発明は、前記基準Ｚ値は、奥行きを示すＺ値の平均値、中央値、最小値及び最大値のいずれかから決定することを特徴とする。

本発明は、被写体を撮影した訓練画像と、前記被写体が写っている領域を検出すべきテスト画像と、前記訓練画像と前記テスト画像との対応点の情報とを入力する入力ステップと、前記対応点からそれぞれの画像を撮影したカメラの焦点距離と射影行列を推定し、前記対応点を構成する前記訓練画像上の点の第１の３次元座標値を算出する第１の３次元座標算出ステップと、前記第１の３次元座標値から、３次元点を代表する奥行きを示す基準Ｚ値を決定する基準Ｚ値決定ステップと、前記焦点距離と前記基準Ｚ値とを用いて前記訓練画像の被写体領域に相当する第２の３次元座標値を算出する第２の３次元座標算出ステップと、前記被写体領域に相当する前記第２の３次元座標値を、前記射影行列を用いて前記テスト画像に射影して得られた前記テスト画像上における前記被写体の領域を示す２次元座標値を出力する被写体領域検出ステップとを有することを特徴とする。

本発明は、前記基準Ｚ値は、奥行きを示すＺ値の平均値、中央値、最小値及び最大値のいずれかから決定することを特徴とする。

本発明は、コンピュータを、前記被写体領域検出装置として機能させるための被写体領域検出プログラムである。

本発明によれば、被写体が３次元物体であっても、訓練画像で撮像された被写体の領域に対応するテスト画像上における領域を特定することができるという効果が得られる。

本発明の一実施形態による被写体領域検出装置の構成を示すブロック図である。 図１に示す被写体領域検出装置１の処理動作を示すフローチャートである。 入力されるテスト画像、訓練画像及び対応点の一例を示す図である。 対応点の３次元座標値と基準Ｚ値の一例を示す図である。 訓練画像枠に該当する３次元座標値を示す図である。 訓練画像枠に該当する４点の２次元座標値を示す図である。 テスト画像上での被写体領域の一例を示す図である。 従来技術による被写体領域の検出方法を示す説明図である。

以下、図面を参照して、本発明の一実施形態による被写体領域検出装置を説明する。図１は同実施形態の構成を示すブロック図である。この図に示す被写体領域検出装置１は、３次元座標算出部２と、テスト画像上射影点算出部３とを備えている。図１に示す被写体領域検出装置１はコンピュータ装置によって構成する。

３次元座標算出部１はテスト画像、訓練画像の２枚の画像と、両画像間での対応点情報を入力する。そして、３次元座標算出部１は、対応点からテスト画像、訓練画像インライアの焦点距離及び訓練画像に対するテスト画像の射影行列を推定する。３次元座標算出部１は、推定結果を用いて対応点を構成する訓練画像上の点の３次元座標値を算出し、この３次元座標値と、推定焦点距離、推定射影行列を出力する。

ここで射影行列とは、実世界の３次元空間の座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラ画像の２次元座標（ｉ，ｊ）を関連付ける行列であり、（１）式に示すｐ１１からｐ３４の１２個のパラメータで記述される３×４の行列である（例えば、参考文献１参照）。（１）式において、演算子〜は、その両辺が定数倍の違いを許して等しいことを表している。

参考文献１：ディジタル画像処理編集委員会著，「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，２００４年，ｐ．２５２〜２５６．

テスト画像上射影点算出部３は、テスト画像、訓練画像と、３次元座標算出部２から出力された対応点の３次元座標、推定焦点距離、推定射影行列を入力する。そして、テスト画像上射影点算出部３は、この３次元座標値から基準Ｚ値を決定し、訓練画像の四隅に該当する３次元座標値を推定焦点距離を用いて算出する。

続いて、テスト画像上射影点算出部３は、この３次元座標値をテスト画像上に推定射影行列を用いて射影することで、訓練画像で撮像された被写体の領域に対応するテスト画像上における領域を決定し、テスト画像上での被写体領域として出力する。

次に、図１に示す被写体領域検出装置１の処理動作の詳細について説明する。始めに、図１に示す３次元座標算出部２の処理動作を説明する。まず、３次元座標算出部１は、テスト画像、訓練画像の２枚の画像と、両画像間での対応点情報を入力し、入力した対応点情報から、テスト画像、訓練画像インライアを撮影したカメラの焦点距離を推定する。

次に、訓練画像に対するテスト画像への射影行列を推定する。続いて、推定した射影行列と、入力した対応点の座標情報から、対応点の三次元座標を算出する。ここで、焦点距離及び射影行列の推定と、対応点の三次元座標の算出は、例えば参考文献２に記載の公知の方法によって実現できる。
参考文献２：山田，金澤，金谷，菅谷，”２画像からの３次元復元の最新アルゴリズム”， 情報処理学会研究報告，ＣＶＩＭ，［コンピュータビジョンとイメージメディア］ ２００９−ＣＶＩＭ−１６８（１５），１−８，２００９−０８−２４

最後に、３次元座標算出部２は、対応点の３次元座標、推定焦点距離、推定射影行列を出力して処理を終える。本実施形態の説明では、以降、テスト画像の推定焦点距離をｆｔ、訓練画像の推定焦点距離をｆｒ、訓練画像に対するテスト画像への射影行列をＰとして説明する。

次に、図１に示すテスト画像上射影点算出部３の処理動作を図２を参照して説明する。図２は、図１に示すテスト画像上射影点算出部３の処理動作を示すフローチャートである。まず、テスト画像上射影点算出部３は、テスト画像、訓練画像、対応点の３次元座標、推定焦点距離、推定射影行列を入力する（ステップＳ１）。

次に、テスト画像上射影点算出部３は、全３次元座標から基準Ｚ値を決定する（ステップＳ２）。ここでは図３に示すような対応点が入力されたものとする。図３は、入力されるテスト画像、訓練画像及び対応点の一例を示す図である。訓練画像は、直方体の物体が写っている画像である。テスト画像は、検出すべき直方体の物体と、円柱の物体が写っている画像である。ただし、テスト画像は、同一被写体（直方体の物体）を訓練画像とは別の位置・角度で撮影した画像になっている。対応点は、公知の方法によって対応付けられたものであり、ここでは、直方体の物体の４つの頂点が対応付けられている。

図４は、対応点Ｍの３次元座標値と基準Ｚ値（Ｚｒｅｆ）の一例を示す図である。図４に示す通り３次元座標は（Ｘ，Ｙ，Ｚ）で表現されるが、基準Ｚ値（Ｚｒｅｆ）とは算出された３次元点群を代表するＺ値を意味する。

この基準Ｚ値の算出は、例えば、入力された３次元座標のＺ値の平均Ｚａｖｅを求める、入力された３次元座標のＺ値の中央値Ｚｍｅｄを求める、入力された３次元座標のＺ値の最小値Ｚｍｉｎを求める、入力された３次元座標のＺ値の最大値Ｚｍａｘを求める、などの方法で実現される。

Ｚａｖｅ，Ｚｍｅｄ，Ｚｍｉｎ，Ｚｍａｘのいずれを用いてもよいが、対応点からの３次元座標算出では、一般的には誤差が生じるため、誤差の影響を受けないためには、Ｚｍｅｄ（Ｚの中央値）を用いるのが好適である。本実施形態では、図４に示すように、入力された３次元座標のＺ値の中央値であるＺｍｅｄを算出し、これをＺｒｅｆとしたものとする。

次に、テスト画像上射影点算出部３は、訓練画像で撮像された被写体の領域に対応する領域を決定し、この領域の輪郭を示す２次元座標値群を得る（ステップＳ３）。この処理は、例えば、訓練画像枠に該当する２次元座標値を、訓練画像の縦横サイズを用いて決定してもよい。つまり、訓練画像の縦横サイズがそれぞれＷ、Ｈだった場合、（０，０）＾Ｔ，（Ｗ，０）＾Ｔ，（Ｗ，Ｈ）＾Ｔ，（０，Ｈ）＾Ｔとなる。ここで、”＾Ｔ”は転置を意味する。

また、より正確に被写体領域を決定するために、例えば参考文献３記載のセグメンテーション手法を適用し、決定された領域に対して、例えば非特許文献２に記載の輪郭線検出を適用することで、２次元座標値群を得てもよい。
参考文献３：Carsten Rother, Vladimir Kolmogorov,Andrew Blake, "GrabCut: interactive foreground extraction using iterated graph cuts", in Proc. of SIGGRAPH, 309-314, 2004

本実施形態の説明では、以降、訓練画像枠に該当する２次元座標値群（ｉ_ｎ，ｊ_ｎ）＾Ｔ＝｛（０，０）＾Ｔ，（Ｗ，０）＾Ｔ，（Ｗ，Ｈ）＾Ｔ，（０，Ｈ）＾Ｔ｝を得たものとして説明する。なお、ｎは１から始まり２次元座標値の数を最大値にとるインデックスを意味し、この例では１〜４の値を取る。

次に、テスト画像上射影点算出部３は、訓練画像での被写体領域を示す、２次元座標値群（ｉ_ｎ，ｊ_ｎ）の３次元座標値Ｍ_ｎ＝（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）＾Ｔを、訓練画像の推定焦点距離ｆｒ，基準Ｚ値Ｚｒｅｆ、訓練画像の縦横幅を用いて、（２）〜（４）式に従って算出する（ステップＳ４）。
Ｘ_ｎ＝（ｉ_ｎ−Ｗ／２）×Ｚｒｅｆ／ｆｒ ・・・（２）
Ｙ_ｎ＝（ｊ_ｎ−Ｈ／２）×Ｚｒｅｆ／ｆｒ ・・・（３）
Ｚ_ｎ＝Ｚｒｅｆ ・・・（４）

本実施形態では図５に示すように、（ｉ_１，ｊ_１）＾Ｔの３次元座標値は（Ｘ_１，Ｙ_１，Ｚ_１）＾Ｔとして求め、同様に、（ｉ_２，ｊ_２）＾Ｔは（Ｘ_２，Ｙ_２，Ｚ_２）＾Ｔ、（ｉ_３，ｊ_３）＾Ｔは（Ｘ_３，Ｙ_３，Ｚ_３）＾Ｔ、（ｉ_４，ｊ_４）＾Ｔは（Ｘ_４，Ｙ_４，Ｚ_４）＾Ｔとしてそれぞれ求める。図５は、訓練画像枠に該当する３次元座標値を示す図である。

次に、テスト画像上射影点算出部３は、テスト画像上での被写体領域に該当する２次元座標値群ｘ’＝（ｉ’_ｎ，ｊ’_ｎ）＾Ｔを推定する。この処理は先に算出した訓練画像での被写体領域に該当する３次元座標値Ｍ_ｎを、推定射影行列Ｐを用いてテスト画像に射影することで実現できる。より具体的には、（１）式を用いて、３次元座標値Ｍ_ｎの射影点を（５）式により算出する。

本実施形態では、図６のように、（Ｘ_１，Ｙ_１，Ｚ_１）＾Ｔのテスト画像への射影点は（ｉ’_１，ｊ’_１）＾Ｔとして求め、同様に、（Ｘ_２，Ｙ_２，Ｚ_２）＾Ｔは（ｉ’_２，ｊ’_２）＾Ｔ、（Ｘ_３，Ｙ_３，Ｚ_３）＾Ｔは（ｉ’_３，ｊ’_３）＾Ｔ、（Ｘ_４，Ｙ_４，Ｚ_４）＾Ｔは（ｉ’_４，ｊ’_４）＾Ｔとしてそれぞれ求める。テスト画像上射影点算出部３は、この射影点群をテスト画像上での被写体領域に該当する２次元座標値群とする（ステップＳ５）。図６は、訓練画像枠に該当する４点の２次元座標値を示す図である。図６においては、（Ｘ_２，Ｙ_２，Ｚ_２）を（ｉ’_２，ｊ’_２）に射影した状態を示している。

最後に、テスト画像上射影点算出部３は、テスト画像上での被写体領域に該当する２次元座標値群を、テスト画像上での被写体領域として出力する（ステップＳ６）。本実施形態では、テスト画像上での被写体領域に該当する２次元座標値群として、（ｉ’_１，ｊ’_１）＾Ｔ、（ｉ’_２，ｊ’_２）＾Ｔ、（ｉ’_３，ｊ’_３）＾Ｔ、（ｉ’_４，ｊ’_４）＾Ｔが出力され、結果的に、図７に示すようなテスト画像上での被写体領域が推定されることになる。図７は、テスト画像上での被写体領域の一例を示す図である。図７に示す破線で囲った部分が被写体領域である。

以上説明したように、同一被写体をインライア別の位置・角度で撮影したテスト画像、訓練画像の２枚の画像において、両画像間で同一点を示す対応点から、訓練画像で撮像された被写体の領域に対応するテスト画像上における領域を特定することができる。特に、対応点を構成する訓練画像上の点の３次元座標値を全ての対応点に亘って算出し、この３次元座標値から基準Ｚ値を決定し、訓練画像の領域に該当する３次元座標値を算出して、この３次元座標値をテスト画像上に射影することで、被写体が３次元物体であっても、訓練画像で撮像された被写体の領域に対応するテスト画像上における領域を特定することができるようになる。

前述した実施形態における被写体領域検出装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

被写体が３次元物体であった場合でも、訓練画像で撮像された被写体の領域に対応するテスト画像上における領域を特定することが不可欠な用途に適用できる。

１・・・被写体領域検出装置、２・・・３次元座標算出部、３・・・テスト画像上射影点算出部

Claims (3)

1. 被写体を撮影した訓練画像と、前記被写体が写っている領域を検出すべきテスト画像と、前記訓練画像と前記テスト画像との対応点の情報とを入力する入力部と、
   前記対応点からそれぞれの画像を撮影したカメラの焦点距離と射影行列を推定し、前記対応点を構成する前記訓練画像上の点の第１の３次元座標値を算出する第１の３次元座標算出部と、
   前記第１の３次元座標値から、３次元点を代表する奥行きを示す基準Ｚ値を決定する基準Ｚ値決定部と、
   前記焦点距離と前記基準Ｚ値とを用いて前記訓練画像の被写体領域に相当する第２の３次元座標値を算出する第２の３次元座標算出部と、
   前記被写体領域に相当する前記第２の３次元座標値を、前記射影行列を用いて前記テスト画像に射影して得られた前記テスト画像上における前記被写体の領域を示す２次元座標値を出力する被写体領域検出部と
   を備え、
   前記基準Ｚ値は、奥行きを示すＺ値の中央値から決定することを特徴とする被写体領域検出装置。
2. 被写体を撮影した訓練画像と、前記被写体が写っている領域を検出すべきテスト画像と、前記訓練画像と前記テスト画像との対応点の情報とを入力する入力ステップと、
   前記対応点からそれぞれの画像を撮影したカメラの焦点距離と射影行列を推定し、前記対応点を構成する前記訓練画像上の点の第１の３次元座標値を算出する第１の３次元座標算出ステップと、
   前記第１の３次元座標値から、３次元点を代表する奥行きを示す基準Ｚ値を決定する基準Ｚ値決定ステップと、
   前記焦点距離と前記基準Ｚ値とを用いて前記訓練画像の被写体領域に相当する第２の３次元座標値を算出する第２の３次元座標算出ステップと、
   前記被写体領域に相当する前記第２の３次元座標値を、前記射影行列を用いて前記テスト画像に射影して得られた前記テスト画像上における前記被写体の領域を示す２次元座標値を出力する被写体領域検出ステップと
   を有し、
   前記基準Ｚ値は、奥行きを示すＺ値の中央値から決定することを特徴とする被写体領域検出方法。
3. コンピュータを、請求項１に記載の被写体領域検出装置として機能させるための被写体領域検出プログラム。

Images