JP7240115B2

JP7240115B2 - 情報処理装置及びその方法及びコンピュータプログラム

Info

Publication number: JP7240115B2
Application number: JP2018163624A
Authority: JP
Inventors: 真志中川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-08-31
Filing date: 2018-08-31
Publication date: 2023-03-15
Anticipated expiration: 2038-08-31
Also published as: US11393116B2; US20200074659A1; JP2020034525A

Description

本発明は、複数のカメラより得た画像から、奥行き情報を取得する技術に関するものである。

近年、現実空間に仮想空間の情報をリアルタイムに重ね合せて利用者に提示する複合現実感に関する研究が行われている。複合現実感の中で利用される描画処理装置は、ビデオカメラなどの撮像装置によって撮像された現実の映像の全域、または一部を、撮像装置の位置姿勢に応じて生成した仮想空間の画像（ＣＧ）に重畳した合成画像を生成する。このとき、現実空間の映像から特定の被写体領域を検出して被写体の三次元形状を推定することで、仮想空間に現実物体を合成することができる。ここで三次元形状を推定する手段として、複数のカメラを用いたステレオ計測法がある。ステレオ計測法は、撮像装置のキャリブレーションにより焦点距離やカメラ間の位置姿勢といったカメラパラメータを推定しておき、撮像画像の対応点とカメラパラメータから三角測量の原理によって奥行きを推定するものである。

しかしながら、ステレオ計測法では、特徴の少ない場所では対応点を検出することが難しく、正しい三次元位置や奥行きを推定できないという問題がある。かかる点に鑑み、ステレオ計測において奥行きを改善する手法も提案されている。例えば、特許文献１ではテクスチャの密度変化や消失点に向かう直線などを奥行き手掛かり情報として用いて撮像画像の対応点の精度を向上することで、ステレオ計測で得た奥行き情報を改善している。

特許文献２、特許文献３では、特徴の少ない被写体の検出を行う際に輪郭線上の点を対応点として対応付けを行うことで特徴の少ない被写体に対しても奥行きの計測を可能としている。また、特許文献３では平面近似による補正を行うことで精度よく被写体の奥行きを推定している。その他にも赤外線のパターンを投影して特徴を付与して左右の撮像画像で対応付けする方法もある。

特開２０１３－１８５９０５号公報特開２０１３－１３４７０６号公報特開２０１５－８２２８８号公報

しかしながら、経年変化やキャリブレーションの微小な誤差、昇温変化などにより撮像装置間の相対位置姿勢にずれが発生している場合は左右の対応付けがずれてしまい、正しい奥行きを得ることはできない。また、特許文献２、３のように複数の撮像画像間で輪郭とエピポーラ線の交点を対応付ける場合は、輪郭の形状によって大きな奥行き誤差が発生するという課題もある。

本発明はかかる問題に鑑み成されたものであり、撮像装置のキャリブレーション後に撮像装置間の物理的なずれが生じた場合であっても、対応点の信頼度を求め、その信頼度から、正しい奥行きを推定する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
複数の撮像装置から撮像した撮像画像を取得する画像取得手段と、
前記撮像装置で取得した画像から被写体の輪郭を抽出する輪郭の抽出手段と、
前記各画像間の輪郭と各画像を通過するエピポーラ線との交点を対応点とする対応付け手段と、
前記対応点の奥行きを算出する奥行き算出手段と、
前記交点における前記輪郭の接線方向と前記エピポーラ線との成す角度から、前記対応点の前記奥行きの信頼度を求める信頼度の抽出手段と、
前記信頼度から前記対応点の前記奥行きを補正する奥行き補正手段とを有する。

本発明によれば、複数の撮像装置に何らかの原因で位置ずれが生じた場合であっても、誤った奥行が算出されるのを抑制できる。

実施形態における情報処理装置のブロック構成図。実施形態の情報処理装置の利用形態を示す図。対応点検出を説明するための図。実施形態における対応点の位置補正処理を示すフローチャート。撮像装置間の相対位置に変化があった場合の、被写体の輪郭の位置変化を示す図。被写体輪郭の輪郭上の位置による誤差が異なることを説明するための図。被写体をステレオ計測する様を示す図。輪郭の対応点がずれた場合とずれていない場合の奥行の関係と、信頼度との関係を示す図。第１の実施形態に係る奥行の補正処理を示すフローチャート。奥行きに掛けるローパスフィルタを説明するための図。補正後の奥行きと真の奥行きとの関係を示す図。変形例１の情報処理装置の処理のフローチャート。変形例１の情報処理装置の処理のフローチャート。変形例２における補正処理を説明するための図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１は主として情報処理装置のブロック構成図、図２は情報処理装置の利用形態を示している。

実施形態の情報処理装置１０００は、２つの撮像装置１００ａ、１００ｂと、２つの表示装置２００ａ，２００ｂとが一体になったＨＭＤ２０００を接続する。撮像装置１００ａ，１００ｂの２つにより、ステレオ撮影を可能とする。また２つの表示装置２００ａ，２００ｂは操作者の左右の目に対応するものであるが、１つの表示画面を左右に領域に分割して、それらの領域で画像を表示しても良い。なお、撮像装置１００ａ，１００ｂは、互いに同期し、例えば３０フレーム／秒で撮像を行うものとする。

情報処理装置１０００は、画像取得部１０１０、データ記憶部１０２０、被写体抽出部１０３０、輪郭抽出部１０４０、画像間対応付け部１０５０、奥行き推定部１０６０、信頼度算出部１０７０、奥行き補正部１０８０、モデル生成部１０９０、表示画像生成部１１００、画像出力部２００を有する。また、情報処理装置１０００は、これら画像取得部１０１０などの構成要素を制御する制御部１５００を有する。この制御部１５００は、ＣＰＵなどで構成されるものである。なお、被写体抽出部１０３０などの処理内容を主体とする構成要素は、制御部１５００が実行するソフトウェアで実現しても構わない。

画像取得部１０１０は、撮像装置１００ａ，１００ｂによる撮像画像を取得し、取得した撮像画像をデータ記憶部１０２０に供給する。データ記憶部１０２０は、画像取得部１０１０から供給される撮像画像を格納する。なお、データ記憶部１０３０は、仮想物体のデータ、および被写体抽出に用いる色や形状認識情報等の情報も記憶する。

被写体抽出部１０３０は、２つの撮像画像それぞれから特定の被写体領域を抽出する。例えば、被写体の色を事前に登録しておき撮像画像から登録色領域を抽出する。輪郭抽出部１０４０は、被写体抽出部１０３０で抽出した被写体領域から輪郭を抽出する。なお、輪郭の並び順の情報も取得する。例えば、被写体領域に対して輪郭追跡を行って輪郭位置および、連結情報を取得する。

画像間対応付け部１０５０は、輪郭抽出部１０４０で得た輪郭情報を用いて２つの撮像画像間の対応点を検出する。例えば、図３に示すように各撮像画像で輪郭とエピポーラ線５００の交点を求め、撮像画像間で対応付けた交点を対応点とする。

奥行き推定部１０６０は、画像間対応付け部１０５０で対応付けた点を用いて対応点の三次元位置を推定する。例えば、撮像装置１００ａ，１００ｂが有するカメラパラメータ（主点、焦点距離や、それら２つの撮像装置間の相対位置姿勢）をあらかじめ算出しておくことで、三角測量の原理から対応点の三次元位置を算出できる。

信頼度算出部１０７０は、画像間対応付け部１０５０において輪郭とエピポーラ線の交点における信頼度を、輪郭の交点の接線方向とエピポーラ線が示す方向との成す角度に基づき算出する（詳細後述）。奥行き補正部１０８０は、奥行き推定部１０６０で得た奥行きと、信頼度算出部１０７０で得た信頼度から三次元位置（奥行き）を補正する。モデル生成部１０９０は、輪郭情報と奥行き補正部１０８０で補正した対応点の三次元位置を用いて被写体の三次元モデルを生成する。

表示画像生成部１１００は、データ記憶部１０２０に保存された撮像画像と、仮想物体のデータ、さらには、モデル生成部１０９０で生成したモデルとを合成した、左右の２つの表示画像を生成する。そして、表示画像生成部１１００は、生成した表示画像を表示装置２００ａ，２００ｂそれぞれに出力し、表示させる。

以上、実施形態における情報処理装置の構成要素を説明した。次に、図４のフローチャートにしたがって、本実施形態の情報処理装置１０００の処理内容を説明する。なお、同図に係る処理に係るプログラムは、制御部１５００内の不図示のメモリに格納されているものとする。

ステップＳ２０１０にて、制御部１５００は、画像取得部１０１０を介して撮像装置１００ａ、１００ｂが撮像している画像を取得する。例えば、画像取得部１０１０は、撮像装置１００ａ，１００ｂが撮像した画像を取得するためのビデオキャプチャーカードである。

ステップＳ２０２０にて、制御部１５００は、被写体抽出部１０３０および輪郭抽出部１０４０を制御し、画像取得部１０１０で取得した撮像画像（２つ）から被写体領域および輪郭を抽出する。抽出方法は特に問わないが、例えば、被写体抽出部１０３０は、機械学習により事前に被写体の特徴を学習して被写体を抽出しても良いし、被写体の色を登録して被写体を抽出してもよい。また、輪郭抽出部１０４０は、抽出した被写体領域に対して輪郭追跡を行うことで被写体の輪郭を抽出すればよい。

ステップＳ２０３０にて、制御部１５００は、画像間対応付け部１０５０および奥行き推定部１０６０を制御し、エピポーラ線と輪郭の交点を算出させ、撮像画像間の交点を対応付ける。まず、図３に示すように各撮像画像で輪郭とエピポーラ線の交点を求め、撮像画像間で各交点を対応付ける。次に、撮像装置１００ａ，１００ｂのカメラパラメータ（主点、焦点距離、相対位置姿勢）と対応点からステレオ計測を行い交点の三次元位置を算出する。

ステップＳ２０４０にて、制御部１５００は信頼度算出部１０７０を制御し、ステップＳ２０３０で求めた三次元位置の信頼度を算出させる。ここで信頼度とは、撮像装置１００ａ，１００ｂの相対位置姿勢に誤差が生じた際の奥行きの誤差の影響度合いを示す。

例えば、図５に示すように２つの撮像装置１００ａ，１００ｂをキャリブレーションしてステレオ平行化すると、エピポーラ線５００は２つの画像間で平行になる。しかしながら、経年変化や温度変化の影響によりキャリブレーション後に撮像装置１００ａ，１００ｂの相対位置姿勢が動いた場合、ステレオ計測の計算上のパラメータ（エピポーラ線の位置）は変わらないが、画像上の被写体の位置が図５の輪郭６１０から輪郭６２０に変化することがある。

その結果、図６に示すようにエピポーラ線と輪郭の交点がずれる。ここで、エピポーラ線と輪郭の交点における、輪郭線の接線方向とエピポーラ線との成す角度が直交するとき、元の検出位置とのずれ７００は小さい。しかし、上記交点における輪郭線の接線方向とエピポーラ線との成す角度が小さい、別な表現で言えば、上記交点における輪郭線の接線方向がエピポーラ線と平行に近い場合の検出点のずれ７１０が大きくなる。つまり、ずれ７００の位置の奥行き誤差は小さいが、ずれ７１０の奥行き誤差は大きくなる。このように、エピポーラ線と輪郭の接線方向との成す角度の大きさが奥行きの誤差に影響を与えている。そこでエピポーラ線と輪郭との交点における、その輪郭の接線方向とエピポーラ線の成す角度から信頼度を定義する。

ここで、信頼度ｒを０～１の実数範囲で表現するものとする。交点位置における輪郭の接線方向とエピポーラ線との成す角度をθとした場合、信頼度ｒは簡単には式（１）で表現できる。
ｒ＝１－｜ｃｏｓθ｜ …（１）
ここで、ｒが“１”に近いほど信頼度は高いことをしめし、“０”に近づくほど信頼度は低いこと表すことになる。

また、対応点の正確度を信頼度に加えても良い。例えば、ある対応点に対して撮像装置１００ａ，１００ｂのエピポーラ線と輪郭の接線方向との成す角度が一致している方が対応の正確度が高い。そこで、その角度の差分をφとして、信頼度ｒを次式（２）で表現しても良い。
ｒ＝（１－｜ｃｏｓθ｜）・ｃｏｓφ …（２）
その他、２つの撮像画像における対応点の画素値の差から対応の正確度を求め、信頼度に付与しても良い。

ステップＳ２０５０にて、制御部１５００は奥行き補正部１０８０を制御し、ステップＳ２０３０で求めた輪郭の奥行きを、ステップＳ２０４０で求めた信頼度に基づいて補正する。

次に輪郭の奥行きの補正処理をより詳細に説明する。

図７の被写体の奥行きをステレオ計測する場合、輪郭に沿った奥行きは図８に示すように連続性を持って変化する。なお、図８における、左端垂直軸は奥行きを示し、水平軸は輪郭上の予め設定した位置を始点とし、その始点から例えば反時計回りになぞった輪郭線上の位置を示している。また、右端垂直軸は、信頼度を表している。実施形態では、信頼度が０～１の範囲内としているので、図示の“１”を超える値は便宜的なものと理解されたい。

ここで、参照符号８１０は、対応点がずれた状態でステレオ計測した奥行きを示し、参照符号８２０は真の奥行きを表している。また、参照符号８３０は信頼度を示し、図示の通り０～１の値範囲で分布している。

図示の通り、ステレオ計測の奥行き８１０と真の奥行き８２０は輪郭の場所によって差があり、信頼度８３０の小さくなる場合の対応点は、大きな奥行き誤差が発生していることが判る。また、信頼度８３０の大きい場所では、ステレオ計測の奥行き８１０と真の奥行き８２０の差が小さいことも判る。

上記から、実施形態では、信頼度の大きい対応点の奥行きが保持（維持）されるように、奥行きの補正を行う。具体的には、輪郭に沿った奥行き変化を関数化し、最小二乗法により任意の関数に近似する。ここで、対応点ｉのステレオ計測の奥行きをｄ_i、近似関数の奥行きをｆ（ｉ）、信頼度をｒ_iとすれば、最小二乗法における誤差関数は次式（３）で定義できる。
Ｅ＝Σ（ｄ_i－ｆ（ｉ））×ｒ_i …（３）

ここで実施形態における奥行き補正部１０８０が行う補正処理を図９のフローチャートにしたがって説明する。

ステップＳ３０１０にて、奥行き補正部１０８０は、図１０に示すように奥行きの変化関数にローパスフィルタを掛けて平滑化関数８４０を求める。また、ステップＳ３０２０にて、奥行き補正部１０８０は、ローパスフィルタ後の関数から近似関数の次数や近似範囲を推定する。このとき近似関数や近似範囲は複数の関数の重ね合わせで表現してもよい。例えば、輪郭上の位置０～３００の奥行き変化は２次関数、輪郭位置３００～７００の奥行き変化は４次関数で近似してもよい。

ステップＳ３０３０にて、奥行き補正部１０８０は、ステレオ計測の奥行き関数に対して２次関数や４次関数、線形関数などで近似する。ここで、近似関数の誤差が大きい場合には、近似関数を変更して再計算してもよいし、ローパスフィルタの奥行きで補正してもよい。

次にステップＳ３０４０にて、奥行き補正部１０８０は、ステップＳ３０３０で求めた近似関数により対応点の新しい奥行きを算出する。なお、複数の近似関数を重ね合わせた場合には、奥行きの連続性を考慮して１つの対応点に対して複数の近似関数の奥行きを平均化する。図１１に補正後の輪郭に沿った奥行き８６０と真の奥行き８２０との関係を示す。また、撮像装置毎に補正した奥行きの差が大きい場合は、ノイズとして除外してもよい。

以上の処理により、撮像装置間のキャリブレーション後に経年変化や温度変化により相対位置姿勢が変わった場合でも、ステレオ計測による奥行きを正しく推定することができ、複合現実感において被写体を違和感なく仮想空間に合成することができる。

［変形例１］
上記実施形態では、奥行き補正の方法として輪郭に沿った奥行きの変化関数に対して、ｎ次関数で近似する方法を説明したが、より複雑な関数で近似しても良い。具体的には、輪郭に沿った奥行き関数に対して予め機械学習を用いて奥行き変化を学習しておき、学習結果を用いて奥行きと信頼度から奥行きを補正しても良い。

本変形例１における、制御部１５００による、学習データの生成処理を図１２のフローチャートを参照して説明する。

ステップＳ４０１０にて、制御部１５００は、複数の仮想空間における撮像装置のカメラパラメータを設定する。ステップＳ４０２０にて、制御部１５００は、被写体の仮想モデルを表示し撮像画像を取得する。ステップＳ４０３０にて、制御部１５００は、ステップＳ４０２０で得た複数の撮像装置の撮像画像に対して、先の説明した実施形態と同様に対応点を求め、ステレオ計測により誤差のない教師信号（奥行き）を計算する。

ステップＳ４０４０にて、制御部１５００は、経年変化や昇温変化をしたとみなして仮想撮像装置の位置姿勢を微小変化させる。ただし、仮想撮像装置のステレオ計測に用いる計算用のカメラパラメータは変化させない。ステップＳ４０５０にて、制御部１５００は、微小変化させた仮想撮像装置の撮像画像を取得（生成）する。

ステップＳ４０６０にて、制御部１５００は、ステップＳ４０５０で得た撮像画像とステップＳ４０１０で設定したカメラパラメータから入力データ（奥行き、および信頼度）を算出する。十分なデータを生成したら最後に、ステップＳ４０７０にて、制御部１５００は、作成した入力データ、および教師信号を用いて機械学習を行う。例えば、輪郭位置１～１０の入力データを入力したとき、輪郭位置１～１０の教師信号が得られるように学習する。なお、被写体の位置や形状によって補正する輪郭の長さが異なるため、学習時には補正する輪郭の長さや奥行きの最大最小の範囲が同一になるように正規化してもよい。学習が終わったら、学習結果を用いて奥行きの補正を行う。本変形例１における対応点の奥行き補正フローを図１３に示す。

まず、先の説明した実施形態と同様に、制御部１５００は、ステップＳ３０１０とステップＳ３０２０から近似関数の近似範囲を求める。なお、本変形例ではステップＳ３０２０における近似関数は機械学習の回帰モデルにより自動的に決定される。ステップＳ５０２０にて、制御部１５００は、推論結果を用いて補正範囲の奥行きを補正する。

［変形例２］
上記変形例１では近似関数の近似範囲を求め、範囲内の入力データから範囲内の奥行きを推定したが、必ずしも近似範囲を決める必要はない。例えば、任意の対応点の近傍にある複数の対応点の奥行き、および信頼度から注目している対応点の奥行きを補正しても良い。

具体的には、図１４に示すように対応点９００に注目し、予め設定された範囲、例えば対応点を中心に、前後５０個分の対応点９１０の奥行きと信頼度から対応点９００の奥行きを補正する。同様にすべての対応点に対して補正処理行うことで近似範囲を求めることなく奥行きを補正することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０００…情報処理装置、１０１０…画像取得部、１０２０…データ記憶部、１０３０…被写体抽出部、１０４０…輪郭抽出部、１０５０…画像間対応付け部、１０６０…奥行き推定部、１０７０…信頼度算出部、１０８０…奥行き補正部、１０９０…モデル生成部、１１００…表示画像生成部、２０００…ＨＭＤ，１００ａ，１００１ｂ…撮像装置、２００ａ，２００ｂ…表示装置

Claims

複数の撮像装置から撮像した撮像画像を取得する画像取得手段と、
前記撮像装置で取得した画像から被写体の輪郭を抽出する輪郭の抽出手段と、
前記各画像間の輪郭と各画像を通過するエピポーラ線との交点を対応点とする対応付け手段と、
前記対応点の奥行きを算出する奥行き算出手段と、
前記交点における前記輪郭の接線方向と前記エピポーラ線との成す角度から、前記対応点の前記奥行きの信頼度を求める信頼度の抽出手段と、
前記信頼度から前記対応点の前記奥行きを補正する奥行き補正手段と
を有することを特徴とする情報処理装置。
前記奥行き補正手段は、信頼度の大きい対応点の奥行きが保持されるように補正することを特徴とする請求項１に記載の情報処理装置。
前記奥行き補正手段は、輪郭と奥行きの変化と信頼度を機械学習によって学習し、対応点の奥行きを補正することを特徴とする請求項２に記載の情報処理装置。
前記奥行き補正手段は、対応点の近傍の奥行きと信頼度を機械学習によって学習し、対応点の奥行きを補正することを特徴とする請求項２に記載の情報処理装置。
情報処理装置の制御方法であって、
複数の撮像装置から撮像した撮像画像を取得する画像取得工程と、
前記撮像装置で取得した画像から被写体の輪郭を抽出する輪郭の抽出工程と、
前記各画像間の輪郭と各画像を通過するエピポーラ線との交点を対応点とする対応付け工程と、
前記対応点の奥行きを算出する奥行き算出工程と、
前記交点における前記輪郭の接線方向と前記エピポーラ線との成す角度から、前記対応点の前記奥行きの信頼度を求める信頼度の抽出工程と、
前記信頼度から前記対応点の前記奥行きを補正する奥行き補正工程と
を有することを特徴とする情報処理装置の制御方法。
コンピュータが読み込み実行することで、前記コンピュータに、請求項５に記載の方法の各工程を実行させるためのコンピュータプログラム。