JP4789745B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP4789745B2
JP4789745B2 JP2006219846A JP2006219846A JP4789745B2 JP 4789745 B2 JP4789745 B2 JP 4789745B2 JP 2006219846 A JP2006219846 A JP 2006219846A JP 2006219846 A JP2006219846 A JP 2006219846A JP 4789745 B2 JP4789745 B2 JP 4789745B2
Authority
JP
Japan
Prior art keywords
image
position
object
orientation
concealment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006219846A
Other languages
English (en)
Other versions
JP2008046750A (ja
JP2008046750A5 (ja
Inventor
壽弘 中澤
清秀 佐藤
大輔 小竹
好彦 岩瀬
利果 武本
雅博 鈴木
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2006219846A priority Critical patent/JP4789745B2/ja
Publication of JP2008046750A publication Critical patent/JP2008046750A/ja
Publication of JP2008046750A5 publication Critical patent/JP2008046750A5/ja
Application granted granted Critical
Publication of JP4789745B2 publication Critical patent/JP4789745B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3216Aligning or centering of the image pick-up or image-field by locating a pattern

Description

本発明は、撮像画像上で検出される画像特徴に基づいて、撮影装置もしくは観測対象物体の位置または姿勢のすくなくとも1つを算出するものである。

近年、現実空間と仮想空間を違和感なく融合させて提示する複合現実感(Mixed Reality、MR)技術の研究が盛んである。MR技術の中でも、現実空間に仮想空間を重ね合わせて提示するAugmented Reality(AR、拡張現実感、増強現実感とも呼ばれる)技術が特に注目を集めている。

ARの画像提示装置は、主にビデオシースルー型または光学シースルー型のヘッドマウントディスプレイ(HMD)により実現される。ビデオシースルー型の場合には、HMD内のビデオカメラ等の撮像装置によって撮影された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成された仮想空間(コンピュータグラフィクスにより描画された仮想物体や文字情報など)の画像を重畳した画像が提示される。光学シースルー型の場合には、HMDの位置及び姿勢に応じて生成された仮想空間の画像を透過型のディスプレイに表示し、観察者の網膜上で現実空間と仮想空間が合成される。

AR技術において最も重要な課題の一つは、現実空間と仮想空間との間の位置合わせをいかに正確に行うかであり、従来より多くの取り組みが行われてきた。ARにおける位置合わせの問題は、ビデオシースルー型HMDを利用する場合には、シーン中における(すなわちシーン中に規定される基準座標系における)撮像装置の位置及び姿勢を求める問題となる。また光学シースルー型のHMDを用いる場合には、シーン中におけるHMDの位置及び姿勢を求める問題となる。

前者の問題を解決する方法として、シーン中に人工的な指標を配置し、指標を用いて基準座標系における撮像装置の位置及び姿勢を求めることが一般的に行われている。基準座標系における撮像装置の位置及び姿勢は、撮像装置が撮影した画像内における該指標の投影位置と、既知の情報である指標の基準座標系における3次元位置との対応関係から求められる。また後者の問題を解決する方法として、HMDに撮像装置を装着し、前者と同様な方法によって該撮像装置の位置及び姿勢を求め、それに基づいてHMDの位置及び姿勢を求めることが一般的に行われている。

画像座標と3次元座標との対応をもとに撮像装置の位置及び姿勢を求める方法は、写真測量やコンピュータビジョンの分野において古くから提案されている。非特許文献1では、3点の対応をもとに非線形連立方程式を解くことによって撮像装置の位置及び姿勢を求める方法が開示されている。また、非特許文献2では、概略の撮像装置の位置及び姿勢を複数の点の画像座標と3次元座標との対応をもとに繰り返し計算により最適化することによって撮像装置の位置及び姿勢を求める方法が開示されている。

位置合わせ以外のARの重要な課題の一つとして、現実空間と仮想空間との前後関係の判定を必要とするオクルージョンの問題がある。例えば仮想物体が手などの現実物体により隠蔽される位置にある場合には、現実物体を仮想物体より手前に表示する必要がある。オクルージョンを考慮しない場合には、仮想物体が常に現実物体より手前に表示されるため、観察者は違和感を感じてしまう。そのため特許文献1では、隠蔽する現実物体の色(例えば手の色)をあらかじめ設定し、撮像画像において該隠蔽する現実物体の色を持つ領域には仮想物体を描画しないことでオクルージョンの問題を解決している。

また非特許文献11では、HMDに内蔵された2台のカメラの画像を利用して、ステレオマッチングにより現実空間の奥行き情報を求めることでオクルージョンの問題を解決している。

近年計算機の高速化などにともなって、人工的な指標を用いるのではなく、シーン中に元来存在する特徴(以下、自然特徴)を利用する位置合わせの研究が盛んに行われている。

非特許文献3、4では、画像中でのエッジと観察対象の3次元モデルとの対応をもとに撮像装置の位置及び姿勢を求める方法が開示されている。これらの手法では、まず(1)撮像装置の概略位置及び概略姿勢を用いて3次元モデルを撮影画像上に投影する。概略位置及び概略姿勢は例えば前フレームにおける撮像装置の位置及び姿勢を利用する。次に、(2)投影されたモデルを構成する線分を画像上で等間隔になるように分割し、各分割点ごとに投影された線分と垂直な方向に濃度勾配が極大となる点(エッジ)を対応点として探索する。さらに、(3)各分割点ごとに探索によって見つかった対応点と、対応する線分との画像上での距離が最小になるように撮像装置の位置及び姿勢の補正値を求め、撮像装置の位置及び姿勢を更新する。更新された撮像装置の位置及び姿勢を用いて再度3次元モデルを撮影画像上に投影し、(3)の処理を前述の距離の和が収束するまで繰り返すことにより、最終的な撮像装置の位置及び姿勢を得る。

前述の(2)の処理では、撮像装置の概略位置及び概略姿勢の精度が悪い場合に、誤った点を対応点として検出する誤検出が発生する場合がある。誤検出がある場合には、(3)の処理において繰り返し計算が収束しなかったり、得られる撮像装置の位置及び姿勢の精度が低いものになってしまうため、ARの位置合わせの精度が低下する。そこで、非特許文献3、4では、ロバスト推定手法の一つであるM推定を用いて、前述の対応点と線分との距離が大きいデータについては重みを小さく、距離が小さいデータについては重みを大きくして、重み付き誤差の和を最小化することにより誤検出の影響を排除している。また、非特許文献5では、(2)の探索処理において複数の候補点を抽出して保持しておき、(3)の処理を繰り返すごとに複数候補点の中から最も投影された線分に近い点を選択し直すことで誤検出の影響を排除している。また、非特許文献6では、画像上での線分周辺の見えの情報を保持しておくことにより、照明変化や視点変化に起因する誤検出の影響を排除している。

一方、非特許文献7、8では、画像上でのエッジではなく、点特徴を用いて撮像装置の位置及び姿勢を求める方法が開示されている。ここで点特徴とは、画像上での位置(画像座標)及びその周辺の画像情報によって表される特徴であり、例えばHarrisオペレータ,Moravecオペレータなどによって検出される。非特許文献7では、3次元空間において同一平面上に存在する点に対応する点特徴を連続フレーム間で追跡し、これらの点の平面上での位置と対応する点特徴の画像座標との関係に基づいて、撮像装置の位置及び姿勢の算出を行っている。非特許文献8では、画像上でのスケール変化及び回転について不変な特徴量を持つ点特徴を用いて、該点特徴の画像座標と3次元座標との対応をもとに撮像装置の位置及び姿勢を求めている。非特許文献8では、連続フレーム間で点特徴を追跡するのではなく、予め用意された点特徴データベースと現フレームで検出された点特徴とのマッチングをとることにより点特徴の識別を行っている。点特徴を利用する場合でも、エッジの場合と同様に、誤検出の問題が発生する。非特許文献7、8では、RANSAC(RANdom SAmple Consensus)アルゴリズムにより誤検出された点特徴を排除している。RANSACを用いた誤検出排除では、ランダムに対応点を選出して撮像装置の位置及び姿勢を算出し、その算出値に同意する対応点の数が最も多い場合の対応点の集合に含まれない対応点が誤検出として排除される。

一方、人工的な指標を利用する場合に、指標の誤検出をクロマキーを利用して防止する従来手法がある。オーラッド社のバーチャルスタジオシステムProSet、SmartSetでは、通常の青色または緑色のクロマキー処理を利用して背景と人物を分離している。この際に、背景上に背景と類似した色で人工的な位置合わせ用パターンを設置しておき、該位置合わせ用パターンの投影像を利用してカメラの位置姿勢推定を行っている。該位置合わせ用パターンはクロマキー処理により背景として人物像と分離されるため、人物像上で位置合わせ用パターンを誤検出することがなく、安定的なカメラの位置姿勢推定が可能である。また、位置合わせ用パターンはクロマキー処理により背景として削除されるため、背景上にコンピュータグラフィックスが描画された合成画像において位置合わせ用パターンが観察されることはない。
特開2003−296759 R.M.Haralick,C.Lee,K.Ottenberg,and M.Nolle:"Review and analysis of solutions of the three point perspective pose estimation problem",Int’l.J.Computer Vision,vol.13,no.3,pp.331−356,1994. D.G.Lowe:"Fitting parameterized three−dimensional models to images,"IEEE Trans.on Pattern Analysis and Machine Intelligence,vol.13,no.5,pp.441−450,1991. T.Drummond and R.Cipolla,"Real−time visual tracking of complex structures,"IEEE Trans.on Pattern Analysis and Machine Intelligence,vol.24,no.7,pp.932−946,2002. A.I.Comport,E. Marchand,and F.Chaumette,"A real−time tracker for markerless augmented reality,"Proc. The Second Int’l Symp.on Mixed and Augmented Reality(ISMAR03),pp.36−45,2003. L.Vacchetti,V.Lepetit,and P.Fua,"Combining edge and texture information for real−time accurate 3D camera tracking,"Proc.The Third Int’l Symp.on Mixed and Augmented Reality(ISMAR04),pp.48−57,2004. H.Wuest,F.Vial,and D.Stricker,"Adaptive line tracking with multiple hypotheses for augmented reality,"Proc.The Fourth Int’l Symp.on Mixed and Augmented Reality(ISMAR05),pp.62−69,2005. G.Simon,A.W.Fitzgibbon,and A.Zisserman,"Markerless tracking using planar structures in the scene,"Proc.Int’l Symp.on Augmented Reality 2000(ISAR2000),pp.120−128,2000. I.Skrypnyk and D.G.Lowe,"Scene modelling,recognition and tracking with invariant features,"Proc.The Third Int’l Symp.on Mixed and Augmented Reality(ISMAR04),pp.110−119,2004. K.Satoh,S.Uchiyama,H.Yamamoto,and H.Tamura,"Robust vision−based registration utilizing bird’s−eye view with user’s view,"Proc.The Second Int’l Symp.on Mixed and Augmented Reality(ISMAR03),pp.46−55,2003. C.Harris and M.Stephens,"A combined corner and edge detector,"Proc.4th Alvey Vision Conf.,pp.147−151,1998. N.Yokoya,H.Takemura,T.Okuma,and M.Kanbara,"Stereo vision based video see−through mixed reality,"in(Y.Ohta&H.Tamura,eds.)Mixed Reality−Merging Real and Virtual Worlds,Chapter 7,Ohmsha−Springer Verlag,1999.

従来技術で述べたオーラッド社による指標の誤検出を回避する手法は、バーチャルスタジオ向けの手法である。バーチャルスタジオでは背景から人物を抽出し、背景部分にコンピュータグラフィクスによる画像を描画し、人物画像と合成する。そのため背景をブルーバックにすることが可能であり、クロマキー処理による背景抽出を行うことが可能であった。しかしながら、ARでは背景画像上にコンピュータグラフィクスの画像を重畳描画する。よって、クロマキー処理などの単純な処理で背景を抽出することが不可能であるため,背景画像上の自然特徴の誤検出を回避するのにオーラッド社の手法を適用することは不可能であった。

一方、従来、位置合わせのための自然特徴の検出処理と、仮想物体と手などの現実の隠蔽物体との前後判定の処理は別々に行われていた。隠蔽物体が仮想物体より手前にある画像領域では、位置合わせに利用される自然特徴が本来観察されないはずである。そのため、前後判定の情報を画像特徴検出に利用することにより誤検出を防止することが期待できる。しかしながら、従来は前後判定の情報を自然特徴検出に利用することはなかった。

また、隠蔽物体の位置及び姿勢を計測する手段がある場合には、該計測手段の計測結果を利用して観察対象物体と隠蔽物体との前後関係を判定することが可能である。しかしながら、従来は隠蔽物体の位置及び姿勢計測の情報を自然特徴検出に利用することはなかった。

本発明は以上の問題に鑑みてなされたものであり、観察対象物体が隠蔽物体により隠蔽される場合の画像特徴の誤検出を防止し、位置合わせの安定性を向上させることを目的とする。

また本発明の他の目的は、隠蔽物体の位置姿勢を計測する手段がある場合に、該計測手段から得られる情報を利用することで、観察対象物体が隠蔽物体により隠蔽される場合の画像特徴の誤検出を防止し、位置合わせの安定性を向上させることを目的とする。

上記目的を達成するために本願請求項1記載の発明は以下の構成を備える。

すなわち、観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを保持するモデル保持手段と、撮像装置で前記観察対象物体を撮像した撮像画像を入力する画像入力手段と、前記撮像装置を計測した位置姿勢を入力する第一入力手段と、前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力手段と、前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に前記三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出手段と、前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出手段と、前記画像特徴検出手段で検出された前記画像特徴に基づき、前記撮像装置若しくは前記観察対象物体の位置若しくは姿勢を補正する補正手段とを備えることを特徴とする情報処理装置。

本発明によれば、仮想物体と隠蔽物体との前後判定の情報を利用して自然特徴検出を行うことにより、観察対象が隠蔽物体により隠蔽される場合の自然特徴の誤検出を防止し、位置合わせの安定性を向上させることができる。

また、本願請求項9記載の発明によれば、隠蔽物体の位置姿勢を計測する手段がある場合に、該計測手段から得られる情報を利用することで、観察対象が隠蔽物体により隠蔽される場合の自然特徴の誤検出を防止し、位置合わせの安定性を向上させることができる。

(第一の実施形態)
本実施形態では、画像上のエッジを利用した位置合わせ手法を用いた場合について説明する。より詳細には、観察者が観察する観察対象物体が手によって遮蔽される場合に、観察者の観察対象物体に対する位置及び姿勢を求める位置姿勢計測装置及び位置姿勢計測方法について説明する。

図1は、本実施形態における位置姿勢計測装置1の構成を示している。同図に示したように、位置姿勢計測装置1は、隠蔽物体定義部110、画像入力部120、隠蔽領域検出部130、画像特徴検出部140、位置姿勢算出部150によって構成されており、画像入力部120は撮像装置100に接続されている。

図2は、本実施形態における位置姿勢計測方法の利用場面を示す図である。観察者には撮像装置100が装着されており、観察対象物体10は観察者の手20により部分的に遮蔽されている。本実施形態における位置姿勢計測装置1は、観察対象物体10に対する撮像装置100の位置及び姿勢を求める.本実施形態では、仮想物体は隠蔽物体、すなわち観察者の手より奥にあるものとする。

隠蔽物体定義部110では、位置姿勢計測を行う前に予め隠蔽物体の定義を行い、不図示の記憶部に記憶する。本実施形態では、隠蔽物体定義部110において手の色を定義し、画像上において該手の色を持つ画素は手によって隠蔽されているとする。手の色の定義は、例えば手の色の代表値をRGBの3要素で表し、各要素がとりうる範囲を設定してもよい。また、RGBの各要素を直交する3軸としたRGB空間における楕円体領域として定義してもよい。さらに、RGBではなく、YUV色空間のうちの色成分であるUVの各々を直交する2軸としたUV平面における楕円領域として定義してもよい。手の色の定義方法はこれに限るものではなく、色または色領域を表すものであれば他の定義方法であってもよい。

画像入力部120は、撮像装置100によって撮像された画像を位置姿勢計測装置1に入力する。画像入力部120は、撮像装置の出力がNTSCなどのアナログ出力であればビデオキャプチャボードによって実現される。また撮像装置の出力がIEEE1394などのデジタル出力であれば、例えばIEEE1394インタフェースボードによって実現される。

隠蔽領域検出部130は、画像入力部120によって入力された撮影画像において、隠蔽物体定義部110において定義された隠蔽物体によって観察対象物体が隠蔽される隠蔽領域を検出する。検出された隠蔽領域は画像特徴検出部140に出力される。

画像特徴検出部140は、画像入力部120によって入力された画像上の画像特徴を検出する。検出する際には、隠蔽領域検出部130によって検出された隠蔽領域以外の領域においてのみ検出を行う。画像特徴の検出結果は位置姿勢算出部150に出力される。

位置姿勢算出部150は、画像特徴検出部140が検出した画像特徴の情報に基づいて、撮像装置100の観察対象物体10に対する位置及び姿勢を算出する。

次に、本実施形態における位置姿勢計測方法の処理手順について説明する。図3は、本実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。

まずステップS1010では初期化を行う。ステップS1010における初期化では、隠蔽物体の定義及び観察対象物体に対する撮像装置の概略の位置及び姿勢の設定を行う。本実施形態における隠蔽物体は手であるので、手の色を表す色領域を設定する。設定方法としては、例えば隠蔽物体である手の画像を予め撮影し、マウスにより画像内の手領域を指定してその領域内の色をUV平面にマッピングし、それを包含するようなUV平面上の楕円を求めてそれを手の色を表す色領域として設定する。また、後述する本実施形態における位置姿勢計測方法は、概略の撮像装置の位置及び姿勢を、画像特徴の情報を使って更新する方法であるので、位置姿勢計測を開始する場合には予め概略の撮像装置の位置及び姿勢を与える必要がある。そこで、例えば予め決まった位置及び姿勢を設定しておき、撮像装置をその位置及び姿勢になるように移動するようにしてもよい。または、非特許文献4における画像内で検出するだけで認識可能な人工的な指標を配置して各頂点の3次元位置を計測しておき、該人工的な指標の各頂点の画像座標と3次元位置との対応から撮像装置の位置及び姿勢を求めて概略の撮像装置の位置及び姿勢としてもよい。さらに、撮像装置に磁気式や光学式、超音波式などの6自由度位置姿勢センサを装着し、該センサから得られる位置及び姿勢を概略の撮像装置の位置及び姿勢としてもよい。人工的な指標と前述の6自由度位置姿勢センサや3自由度の姿勢センサ、3自由度の位置センサを併用して計測される位置及び姿勢を概略の撮像装置の位置及び姿勢としてもよい。初期化が終ったらステップS1020に進む。

ステップS1020では、撮像装置100が撮像した画像を画像入力部120を介して位置姿勢計測装置1に取り込む。ステップS1020で取り込まれた画像は、隠蔽領域検出部130及び画像特徴検出部140に送られる。

次にステップS1030において、隠蔽領域の検出を行う。ステップS1010において設定した手の色を表す色領域に対応する画素を画像中から検出し、ラベリング処理を行って連結領域を生成する。さらに連結領域ごとに膨張処理を行ってノイズを除去する。その結果残った連結領域を隠蔽領域として画像特徴検出部140に出力する。図10は、本実施形態における隠蔽領域検出を説明する図である。図10(a)は、撮像画像であり、観察対象物体が手によって隠蔽されている。撮像画像のどの画素が隠蔽されているかがわかるように、各画素が隠蔽されているか否かを記憶するフラグFi(i=1,2,・・・,n)を用意する。ここで、nは撮像画像の画素数である。まず始めにFiをすべて値0にセットする。次に、隠蔽領域に該当する画素に対応するフラグFiに値1をセットする。このフラグを隠蔽領域を示すデータとして画像特徴検出部140に出力する。図10(b)は、フラグFiによって生成されるマスク画像である。画像特徴の検出は、マスク画像の白い部分に対してのみ行われる。

次にステップS1040において、モデル投影を行う。モデル投影とは、概略の撮像装置の位置及び姿勢に基づいて、観察対象物体の3次元モデルを画像上に投影することであるとする。モデル投影を行うためには、焦点距離や主点位置などのカメラの内部パラメータが既知である必要がある。本実施形態においては、カメラの内部パラメータは予め計測されてわかっているものとする。

図4は本実施形態における3次元モデルの定義方法を説明する図である。3次元モデルは、点の集合及び各点を結んで構成される面の情報、面を構成する線分の情報によって定義される。図4(a)左図に示すように、本実施形態における3次元モデルは点P1〜点P8の8点から構成される直方体であり、直方体の座標系のX軸を点P1から点P4に向かう方向に、Y軸を点P5から点P1に向かう方向に、Z軸を点P1から点P2に向かう方向に取る。また原点をP5に取る。図4(a)中央の図及び右図に示すように、直方体は面F1〜F6により構成されている。同様に、直方体は線分L1〜L12により構成されている。図4(b)に示すように、点P1〜点P8は3次元座標値によって表される。また図4(c)に示すように、面F1〜F6は、面を構成する点のIDと、各点を接続する順番によって表される。また、線分L1〜L12は、両端の点のIDによって表される。

図5は、ステップS1040における画像上への3次元モデルの投影を示す図である。図5(a)は撮影された画像そのものであり、図5(b)が画像上に3次元モデルを投影した図である。連続フレーム間で撮像装置と観察対象物体との間に動きが生じた場合には、図5(b)に示すように実際に撮影される物体と太線で示される3次元モデルの投影像との間にずれが生じる。図5(b)において、破線で示される線分は、3次元モデルを構成する線分のうち、実際には隠れて見えない線分を表している。

次にステップS1050において、画像特徴検出を行う。画像特徴検出は以下のように行う。まず投影された3次元モデルの各線分を、画像上で等間隔になるような分割点を設定する。図6は3次元モデルの画像上での分割点を示す図である。分割点の総数をNとし、各分割点をDPi(i=1,2,...,N)で表す。分割点の数Nは、画像上での分割点の間隔を変える事で制御できる。また、分割点の数が一定になるように、画像上での分割点間の間隔を逐次変更してもよい。

次に、図7に示すフローチャートを用いて、ステップS1050における画像特徴検出処理について説明する。まずステップS1110においてiを1にセットする。次にステップS1120において、分割点DPiが可視かどうかの判定を行う。具体的には、分割点DPiが3次元モデルの他の面に隠蔽されている場合、すなわち図6の破線上の分割点である場合に分割点DPiは可視ではない。分割点DPiが可視かどうかの判定は、例えば非特許文献8に示されるように、グラフィクスハードウェアを利用して上述の3次元モデルを描画した後、該分割点を描画し、グラフィクスハードウェアにデプスバッファが更新されたかどうかを確認することで行える。分割点DPiが可視でない場合にはステップS1150に進み、可視である場合にはステップS1130に進む。

ステップS1130では、分割点DPiが、ステップS1010において設定された隠蔽物体に隠蔽されているかどうか判定を行う。具体的には、分割点DPiの画像座標に対応する隠蔽領域のフラグFjの値が1である場合には分割点DPiは隠蔽物体に隠蔽されていると判定し、フラグFjの値が0である場合には隠蔽されていないと判定する。隠蔽されていると判定された場合はステップS1150に進む。隠蔽されていないと判定された場合にはステップS1140に進んで画像特徴の検出を行う。

ステップS1140では、分割点DPiに対応する画像特徴の検出を行う。本実施形態における画像特徴はエッジである。図8は、本実施形態における画像特徴の検出方法を説明する図である。図8に示すように、各分割点において、投影された線分の法線方向に平行でかつ分割点を通過する線分(以下、探索ライン)上においてエッジを1次元探索する。なお、探索ライン上の画素の画像座標に対応する隠蔽領域のフラグFjの値が1である場合には該探索ライン上の画素上ではエッジ検出を行わない。また、探索ライン上の画素の画像座標が必ずしも整数値にならない場合が生じる。この場合には、例えば周辺4点の隠蔽領域のフラグFjの値を使って共1次内挿法により隠蔽領域のフラグの平均値を求め、この平均値が0.5より大きい場合には隠蔽されているとしてエッジ検出を行わないようにする。エッジは、探索ライン上において濃度勾配が極値をとる位置に存在する。本実施形態では、探索ライン上でエッジが複数存在する場合には、最も分割点に近いエッジを対応点とし、その画像座標と分割点の3次元座標を保持する。なお、本実施形態では最も分割点に近いエッジを対応点としているが、これに限るものではなく、濃度勾配の極値の絶対値が最も大きいエッジを対応点としてもよい。また、非特許文献7に示すように、1つではなく複数の点を対応点候補として保持しても本発明の本質が損なわれることはない。

ステップS1150ではiを1増分し、ステップS1160に進む。すべての分割点DPiについて処理が終了している場合には終了し、終了していない場合にはステップS1120に戻る。

すべての分割点DPiについて処理が終ったら、ステップS1060において撮像装置の位置及び姿勢を算出する。ここで、分割点DPiのうち、ステップS1140において対応点を求めた分割点の数をNcとする。撮像装置の位置及び姿勢は、撮像装置の概略の位置及び姿勢を繰り返し計算により補正することで算出する。図9は線分の情報を利用して撮像装置の位置及び姿勢を算出する方法を説明する図である。図9では画像の水平方向をx軸、垂直方向をy軸にとっている。ある分割点の座標を(u,v)、該分割点が所属する線分Lの画像上での傾きをx軸に対する傾きθで表す。また、線分Lの法線ベクトルを(sinθ,−cosθ)とする。さらに、該分割点の対応点の座標を(u’,v’)とする。線分L上の点(x,y)は数1を満たす。
xsinθ−ycosθ=r (数1)
ただし、r=usinθ−vcosθ(定数)である。該対応点を通り、線分Lに平行な直線(図9破線で示す)上の点(x,y)は数2を満たす。
xsinθ−ycosθ=d (数2)
ただし、d=u’sinθ−v’cosθ(定数)である。該分割点の画像座標は撮像装置の位置及び姿勢の関数である。撮像装置の位置及び姿勢の自由度は6自由度である。ここで撮像装置の位置及び姿勢を表すパラメータをpで表す。pは6次元ベクトルであり、撮像装置の位置を表す3つの要素と、姿勢を表す3つの要素からなる。姿勢を表す3つの要素は、例えばオイラー角による表現や、方向が回転軸を表して大きさが回転角を表す3次元ベクトルなどによって表現される。(x,y)を分割点の画像座標として(u,v)の近傍で1次のテイラー展開によって近似すると数3のように表せる。

ここで偏微分係数

は画像ヤコビアンと呼ばれるものであり、その導出方法は例えば非特許文献9に開示されるように広く知られているのでここではその詳細は述べない。

数3によって表される(x,y)が数2で表される直線上に存在するように、撮像装置の位置及び姿勢pの補正値△pを算出する。数3を数2に代入すると、数4のようになる。

数4を整理すると数5のように表せる。

数5はNc個の分割点について成り立つため、数6のような△pに対する線形連立方程式が成り立つ。

ここで数6を数7のように簡潔に表す。
J△p=E (数7)
数7より、行列Jの一般化逆行列(J・J)−1を用いて△pが求められる。しかしながら、エッジの検出には誤検出が多いので、次に述べるようなロバスト推定手法を用いる。一般に、誤検出されたエッジに対応する分割点では誤差d−rが大きくなる。そのため数6、数7で示す連立方程式に対する寄与度が大きくなり、その結果得られる△pの精度が低下する。そこで、誤差d−rが大きい分割点には小さな重みを与え、誤差d−rが小さい分割点には大きな重みを与える。重みは例えば数8に示すようなTukeyの関数により与える。

なお、重みを与える関数はTukeyの関数である必要はなく、例えば次式で示されるようなHuberの関数など、誤差d−rが大きい分割点には小さな重みを与え、誤差d−rが小さい分割点には大きな重みを与える関数であればなんでもよい。

分割点DPiに対応する重みをwとする。ここで数9のように重み行列Wを定義する。

重み行列Wは、対角成分以外はすべて0のNc×Nc正方行列であり、対角成分には重みwが入る。この重み行列Wを用いて、数7を数10のように変形する。
WJ△p=WE (数10)
数11のように数10を解くことにより補正値△pを求める。
△p=JWJ)−1WE (数11)
これにより得られた△pを用いて、撮像装置の概略の位置及び姿勢を更新する。以上がステップS1060における撮像装置の位置及び姿勢を算出する方法である。

次にステップS1070において撮像装置の位置及び姿勢計算が収束しているかどうかを判定する。ステップS1060における補正値が十分小さかったり、誤差r−dの総和が十分小さい、誤差の総和が変化しないといった場合には、撮像装置の位置及び姿勢の計算が収束したと判定して、ステップS1080に進む。収束していないと判定された場合には、ステップS1060において更新された撮像装置の位置及び姿勢を新たな撮像装置の概略の位置及び姿勢として、ステップS1060に戻り、θ、r、dを計算し直して、再度補正値△pを求め直す。

ステップS1080では、位置姿勢算出を終了する入力がなされたかどうかを判定し、入力された場合には終了し、入力されなかった場合にはステップS1020に戻る。

図3のフローチャートに示す位置姿勢計測方法により得られた撮像装置の位置及び姿勢を用いて、撮像画像上に仮想空間の画像を重畳描画する。図11は本実施例におけるコンピュータグラフィクスの重畳合成方法を説明する図である。図11(a)は現実物体(手)と仮想物体(仮想の円柱)との隠蔽関係を考慮しないで、得られた撮像装置の位置及び姿勢をもとに生成した仮想物体の画像をそのまま撮像画像に重畳したものである。しかし、仮想物体が手より奥にある場合には、図11(b)に示すように手より奥に描画されるべきである。ここで本実施例では、隠蔽領域として検出された領域は手の領域であるので、検出された隠蔽領域に相当する画素には仮想物体の画像を描画しないことで図11(b)のような自然なAR画像の生成を行う。

以上述べたように、本実施形態では、画像上で隠蔽物体が観察対象物体を隠蔽する画像上の隠蔽領域を検出し、隠蔽領域では画像特徴を検出しないことによって、観察者の観察対象物体に対する位置及び姿勢を安定かつ高精度に算出することができる。

(変形例1−1)
第1の実施形態では、観察対象物体を隠蔽する物体は手であったが、これに限るものではなく、顔など2次元的な画像上での特徴量を持つものであれば何でもよい。例えば、図12に示すように、あらかじめ顔画像のデータベースを保持しておく。そして、撮像画像内でデータベース内の顔画像とのマッチングをとり、顔画像とマッチングがとれた領域は顔によって隠蔽されているとして画像特徴の検出を行わない。この方法により、位置姿勢算出を安定化・高精度化できる。

また、第1の実施形態では手の色に基づいて隠蔽領域を検出していたが、隠蔽物体が固有の色を持つ場合には該色に基づいて隠蔽領域を検出してもよい。例えば、手に橙色の手袋をしている場合には、撮像画像中の橙色の領域を隠蔽領域として検出する。

さらに、隠蔽物体の色ではなく、模様に基づいて隠蔽領域を検出してもよい。例えば、手に水玉模様のついた手袋をしている場合には、撮像画像中の水玉模様の領域を隠蔽領域として検出する。

(第2の実施形態)
第1の実施形態では、撮像画像上で手領域を検出し、該手領域を隠蔽領域として隠蔽領域では画像特徴を検出しないことによって、観察者の観察対象物体に対する位置及び姿勢を安定かつ高精度に算出した。第2の実施形態では、第1の実施形態のように2次元画像上での特徴から隠蔽領域を検出するのではなく、隠蔽物体のモデル、隠蔽物体及び撮像装置の概略の位置及び姿勢を用いて撮像画像上での隠蔽領域を検出する。

図13は、第2の実施形態における位置姿勢計測装置2の構成を示している。同図に示したように、位置姿勢計測装置2は、撮像装置100に接続されている。そして、隠蔽物体定義部210、画像入力部120、隠蔽領域検出部230、画像特徴検出部140、位置姿勢算出部150、第1の概略位置姿勢入力部260、第2の概略位置姿勢入力部270を有する。なお、図1に示す位置姿勢計測装置1と同じ機能を持つ部については同じ番号を付与している。

図14は、本実施形態における位置姿勢計測方法の利用場面を示す図である。観察者が観察する空間には、観察対象物体30及び他の観察者40が存在している。他の観察者40は観察対象物体30を隠蔽する。観察者、他の観察者は双方ともHMDを装着し、ARを体験しているものとする。図14において他の観察者40はHMD50を装着している。本実施形態における位置姿勢計測装置2は、観察対象物体30に対する撮像装置100の位置及び姿勢を求める。

隠蔽物体定義部210では、隠蔽物体のモデルを定義する。例えば、HMD50の座標系を基準とした人体を包含する直方体モデルを定義し、不図示の記憶部に記憶する。画像入力部120、画像特徴検出部140、位置姿勢算出部150の動作は第1の実施形態と同じであるので説明を省略する。第1の概略位置姿勢入力部260は、撮像装置100の概略の位置及び姿勢を入力する。第2の概略位置姿勢入力部270は、他の観察者40、すなわちHMD50の概略の位置及び姿勢を入力する。隠蔽領域検出部230は、第1の概略位置姿勢入力部260及び第2の概略位置姿勢入力部270から得られる位置及び姿勢情報と、隠蔽物体定義部210において定義された隠蔽物体のモデルとに基づき、撮影画像において観察対象物体が隠蔽される隠蔽領域を検出する。検出された隠蔽領域は画像特徴検出部140に出力される。

図15は、本実施形態における処理の手順を示すフローチャートである。まずステップS2010では初期化を行う。ステップS2010における初期化では、隠蔽物体の定義及び観察対象物体に対する撮像装置の概略の位置及び姿勢の設定を行う。本実施形態における隠蔽物体は他の観察者であり、他の観察者を包含する直方体を設定する。設定方法としては、図16に示すように、他の観察者40の概略の身長・左右の幅・前後の幅を予め計測しておき、この他の観察者40を包含する直方体60を求める。さらに、HMD50の座標系を基準とした直方体60の位置及び姿勢を求めておく。また、第1の実施形態と同様に、概略の撮像装置の位置及び姿勢を与える。初期化が終ったらステップS1020に進む。

ステップS1020では、撮像装置100が撮像した画像を画像入力部120を介して位置姿勢計測装置2に取り込む。ステップS1020で取り込まれた画像は、隠蔽領域検出部230及び画像特徴検出部140に送られる。

次にステップS2090において、第1の概略位置姿勢入力部260によって撮像装置100の概略の位置及び姿勢を入力する。また、第2の概略位置姿勢入力部270によって他の観察者40が装着しているHMD50の概略の位置及び姿勢を入力する。撮像装置100の概略の位置及び姿勢として、例えば前フレームにおける位置及び姿勢の算出結果を用いる。また、HMD50の概略の位置及び姿勢として、観察者40側において位置姿勢計測装置2を動作させ、最新の位置及び姿勢算出結果を用いる。2つの位置姿勢計測装置は同一のコンピュータ上で動作し、プロセス間通信により位置及び姿勢の算出結果をやりとりしてもよい。また、2つの位置姿勢計測装置を別のコンピュータ上で動作させ、ネットワークを介して位置及び姿勢算出結果をやりとりしてもよい。また、HMD50に磁気式、光学式、超音波式などの6自由度位置姿勢計測センサを装着し、該センサの出力値から概略の位置及び姿勢を得てもよい。他にも、HMD50に3自由度姿勢センサや位置センサを装着し、HMD50内の撮像装置によって撮影された画像上での指標の投影像と、3自由度センサの計測値から位置及び姿勢を得てもよい。つまり、概略の位置及び姿勢が得られるのであればいかなる方法であってもよい。また、撮像装置100の概略の位置及び姿勢も、HMD50と同様な方法で得てもよい。

次にステップS2030において、隠蔽領域の検出を行う。まず図17(a)に示すように、ステップS2090において得られた撮像装置100及びHMD50の概略の位置及び姿勢をもとに、撮像装置100が撮影する画像上における直方体モデル60を描画する。次に、直方体モデル60を描画した画像上において、直方体モデル60が描画されている部分を隠蔽領域として画像特徴検出部140に出力する。図17(b)は、フラグFiによって生成されるマスク画像である。画像特徴の検出は、マスク画像の白い部分に対してのみ行われる。

ステップS1040、S1050、S1060、S1070、S1080の処理は第1の実施形態と同じであるので説明を省略する。

以上述べたように、第2の実施形態では、隠蔽物体のモデル、隠蔽物体及び撮像装置の概略の位置及び姿勢を用いて撮像画像上での隠蔽領域を検出する。そして、隠蔽領域では画像特徴を検出しないことによって、観察者の観察対象物体に対する位置及び姿勢を安定かつ高精度に算出することができる。

(変形例)
第1及び第2の実施形態では、隠蔽領域として検出した領域において画像特徴の検出を行わなかった。しかしながら、例えば図10に示すような状況の場合には、手の色と同一の色を持つ領域は隠蔽領域となるが、手と手以外の部分との境界に関しては必ずしも手の色と同一になるわけではない。そのため、手と手以外の部分との境界において画像特徴を誤検出する可能性がある。

そのため、検出された隠蔽領域だけでなく、その境界も隠蔽領域としてもよい。境界を隠蔽領域に含めるためには、例えば隠蔽領域を外側に1画素ずつ膨張させる。また、図18に示すように、境界だけでなく、さらに隠蔽領域の近傍領域を隠蔽領域に含めてもよい。この場合には1画素ではなく数画素膨張させる。また、第2の実施形態の場合には、直方体の大きさを大きめにとることにより同様の効果を得ることができる。

(その他の実施形態)
上記実施形態では、画像特徴を検出する前に隠蔽領域を検出し、隠蔽領域以外で画像特徴の検出を行っていた。

しかしながら、画像特徴検出部では隠蔽領域を考慮せずに画像特徴の検出を行い、位置姿勢算出部において検出された画像特徴が隠蔽領域に含まれているかを判定し、隠蔽領域に含まれていない画像特徴のみを用いて撮像装置の位置及び姿勢を算出してもよい。この場合、画像特徴の検出と隠蔽領域の検出をコンピュータ上で並列に行うなど、位置姿勢算出の前に画像特徴の検出及び隠蔽領域の検出が終了していればよい。

また、上記実施形態では、画像特徴としてエッジを用いた。しかしながら、画像特徴はエッジに限るものではなく、点特徴であってもよい。点特徴は、一般的には特徴点(feature point)、関心点(interest point)などと呼ばれており、主に画像上での濃度が極値となる点や、コーナー点(頂点)などが検出される。点特徴の検出は、例えば非特許文献10において開示されているHarrisのcorner detectorによって検出することができる。また、非特許文献8では、SIFT(Scale Invariant Feature Transform)と呼ばれる方法で点特徴の検出を行っている。

点特徴の検出を、第1及び第2の実施形態において検出される隠蔽領域以外の領域で行い、エッジの場合と同様に誤検出を防止し、撮像装置の位置及び姿勢の算出を安定化・高精度化することができる。

また、上記実施形態では、観察者の観察対象物体に対する位置及び姿勢を求めたが、観察対象物の観察者に対する位置及び姿勢を求めるようにしても構わない。また、観察者または観察対象物の位置または姿勢を他の方法で取得することができるのであれば、観察者または観察対象物の位置または姿勢のいずれかを求めるようにしても構わない。例えば、観察者または観察対象物の姿勢は、観察者または観察対象物にジャイロを装着させることにより測定することができる。

また、上述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。

この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

かかるプログラムコードを格納する記憶媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。

またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

第1の実施形態における位置姿勢計測装置1の構成を示す図である。 第1の実施形態における位置姿勢計測方法の利用場面を示す図である。 第1の実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。 第1の実施形態における3次元モデルの定義方法を説明する図である。 画像上への3次元モデルの投影を示す図である。 3次元モデルの画像上での分割点を示す図である。 第1の実施形態における画像特徴検出処理の処理手順を示すフローチャートである。 第1の実施形態における画像特徴の検出方法を説明する図である。 線分の情報を利用して撮像装置の位置及び姿勢を算出する方法を説明する図である。 第1の実施形態における隠蔽領域検出を説明する図である。 第1の実施形態におけるコンピュータグラフィクスの重畳合成方法を説明する図である。 変形例1−2における隠蔽領域検出方法を説明する図である。 第2の実施形態における位置姿勢計測装置2の構成を示す図である。 第2の実施形態における位置姿勢計測方法の利用場面を示す図である。 第2の実施形態における処理の手順を示すフローチャートである。 第2の実施形態における隠蔽物体のモデルを定義する方法を説明する図である。 第2の実施形態における隠蔽領域検出を説明する図である。 隠蔽領域の近傍領域を説明する図である。

Claims (15)

  1. 観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを保持するモデル保持手段と、
    撮像装置で前記観察対象物体を撮像した撮像画像を入力する画像入力手段と、
    前記撮像装置を計測した位置姿勢を入力する第一入力手段と、
    前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力手段と、
    前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に前記三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出手段と、
    前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出手段と、
    前記画像特徴検出手段で検出された前記画像特徴に基づき、前記撮像装置の位置若しくは姿勢を補正する補正手段と
    を備えることを特徴とする情報処理装置。
  2. 観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを保持するモデル保持手段と、
    撮像装置で前記観察対象物体を撮像した撮像画像を入力する画像入力手段と、
    前記撮像装置を計測した位置姿勢を入力する第一入力手段と、
    前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力手段と、
    前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に前記三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出手段と、
    前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出手段と、
    前記画像特徴検出手段で検出された前記画像特徴に基づき、前記観察対象物体の位置若しくは姿勢を補正する補正手段と
    を備えることを特徴とする情報処理装置。
  3. 前記三次元形状モデルは、前記隠蔽物体を包含するバウンディングボックスの形状を有することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記隠蔽物体は、人物であって、
    前記バウンディングボックスの寸法は、前記人物の身長に基づいて予め設定されていることを特徴とする請求項3に記載の情報処理装置。
  5. 前記隠蔽物体は、人物であって、
    前記撮像装置に撮像されうる複数の人物の顔画像を予め保持する顔データベース手段と、
    前記撮像画像と前記複数の人物の顔画像の何れかとマッチングのとれる領域を、前記前記隠蔽物体が前記観察対象物体を隠蔽する第2隠蔽領域として検出する第2隠蔽領域検出手段と
    を更に備え、
    ことを特徴とする請求項1乃至の何れか1項に記載の情報処理装置。
  6. 前記隠蔽物体の表面上の模様パターンを保持する模様保持手段と、
    前記撮像画像から前記模様パターンが存在する領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する第3隠蔽領域検出手段、
    を更に備え、
    前記画像特徴検出手段では、前記撮像画像内の前記第3隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出することを特徴とする請求項1乃至の何れか1項に記載の情報処理装置。
  7. 前記隠蔽物体は、人物であって、
    前記人物の肌の色を保持する肌色保持手段と、
    前記撮像画像から前記保持される肌の色が存在する領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する第4隠蔽領域検出手段、
    を更に備え、
    前記画像特徴検出手段では、前記撮像画像内の前記第4隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
  8. 前記隠蔽領域検出手段が、前記隠蔽領域の周囲に向けて予め設定された画素数だけ当該隠蔽領域を膨張させ、
    前記画像特徴検出手段が、前記撮像画像内の前記膨張させた隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出することを特徴とする請求項1乃至の何れか1項に記載の情報処理装置。
  9. 前記補正手段の補正結果に基づき仮想空間画像を生成する仮想空間画像生成手段と、
    前記撮像画像と前記仮想空間画像を合成する画像合成手段と、
    前記撮像画像と前記仮想空間画像が合成された画像を提示する画像提示手段と
    を備えることを特徴とする請求項1乃至の何れか1項に記載の情報処理装置。
  10. 前記画像合成手段が、前記隠蔽領域に、仮想空間画像を合成しないことを特徴とする請求項に記載の情報処理装置。
  11. 前記画像特徴は、線特徴または点特徴であることを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
  12. 画像入力手段が、撮像装置で観察対象物体を撮像した撮像画像を入力する画像入力工程と、
    第一入力手段が、前記撮像装置を計測した位置姿勢を入力する第一入力工程と、
    第二入力手段が、前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力工程と、
    隠蔽領域検出手段が、前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に予め保持された前記観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出工程と、
    画像特徴検出手段が、前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出工程と、
    補正手段が、前記画像特徴検出手段で検出された前記画像特徴に基づき、前記撮像装置の位置若しくは姿勢を補正する補正工程と
    を有することを特徴とする情報処理方法。
  13. 画像入力手段が、撮像装置で観察対象物体を撮像した撮像画像を入力する画像入力工程と、
    第一入力手段が、前記撮像装置を計測した位置姿勢を入力する第一入力工程と、
    第二入力手段が、前記隠蔽物体を計測した位置もしくは位置姿勢を入力する第二入力工程と、
    隠蔽領域検出手段が、前記入力された撮像装置の位置姿勢と前記入力された隠蔽物体の位置もしくは位置姿勢とに基づいて前記撮像画像の面に予め保持された前記観察対象物体を隠蔽する隠蔽物体の三次元形状モデルを投影した領域を、前記隠蔽物体が前記観察対象物体を隠蔽する隠蔽領域として検出する隠蔽領域検出工程と、
    画像特徴検出手段が、前記撮像画像内の前記隠蔽領域を除く領域から前記観察対象物体の画像特徴を検出する画像特徴検出工程と、
    補正手段が、前記画像特徴検出手段で検出された前記画像特徴に基づき、前記観察対象物体の位置若しくは姿勢を補正する補正工程と
    を有することを特徴とする情報処理方法。
  14. コンピュータ請求項1乃至11の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
  15. コンピュータ請求項1乃至11の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006219846A 2006-08-11 2006-08-11 画像処理装置および方法 Active JP4789745B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006219846A JP4789745B2 (ja) 2006-08-11 2006-08-11 画像処理装置および方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006219846A JP4789745B2 (ja) 2006-08-11 2006-08-11 画像処理装置および方法
US11/836,077 US8144238B2 (en) 2006-08-11 2007-08-08 Image processing apparatus and method
CN200710140886XA CN101162524B (zh) 2006-08-11 2007-08-10 图像处理设备及方法
EP07114209.5A EP1887523B1 (en) 2006-08-11 2007-08-10 Image-processing apparatus and method

Publications (3)

Publication Number Publication Date
JP2008046750A JP2008046750A (ja) 2008-02-28
JP2008046750A5 JP2008046750A5 (ja) 2009-09-10
JP4789745B2 true JP4789745B2 (ja) 2011-10-12

Family

ID=38725336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006219846A Active JP4789745B2 (ja) 2006-08-11 2006-08-11 画像処理装置および方法

Country Status (4)

Country Link
US (1) US8144238B2 (ja)
EP (1) EP1887523B1 (ja)
JP (1) JP4789745B2 (ja)
CN (1) CN101162524B (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9138636B2 (en) 2007-05-16 2015-09-22 Eyecue Vision Technologies Ltd. System and method for calculating values in tile games
US8194156B2 (en) * 2008-01-07 2012-06-05 Sony Ericsson Mobile Communications Ab EXIF object coordinates
KR100912264B1 (ko) * 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
JP5111210B2 (ja) 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
US8401276B1 (en) * 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
EP2321795A4 (en) 2008-08-22 2017-10-25 Hewlett-Packard Development Company, L.P. Image analysis method and system
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
JP4996585B2 (ja) * 2008-11-20 2012-08-08 日本放送協会 画像校正評価装置及び画像校正評価プログラム
JP2010134649A (ja) 2008-12-03 2010-06-17 Canon Inc 情報処理装置、その処理方法及びプログラム
WO2010073929A1 (ja) 2008-12-22 2010-07-01 日本電気株式会社 人判定装置、方法およびプログラム
JP5290865B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定方法および装置
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 3次元計測装置、その計測方法及びプログラム
JP5393318B2 (ja) * 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
JP2013501304A (ja) 2009-08-04 2013-01-10 アイキュー ビジョン テクノロジーズ リミテッドEyecue Vision Technologies Ltd. 対象物抽出のためのシステム及び方法
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
DE102009049849A1 (de) * 2009-10-19 2011-04-21 Metaio Gmbh Verfahren zur Bestimmung der Pose einer Kamera und zur Erkennung eines Objekts einer realen Umgebung
US8817071B2 (en) * 2009-11-17 2014-08-26 Seiko Epson Corporation Context constrained novel view interpolation
JP5617246B2 (ja) * 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
US8792728B2 (en) 2010-09-27 2014-07-29 Hewlett-Packard Development Company, L.P. Near-duplicate image detection
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
CN103472909B (zh) * 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
WO2012061135A2 (en) * 2010-10-25 2012-05-10 Lockheed Martin Corporation Detecting structural changes to underwater structures
US20120099400A1 (en) * 2010-10-25 2012-04-26 Lockheed Martin Corporation Estimating position and orientation of an underwater vehicle relative to underwater structures
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9336452B2 (en) 2011-01-16 2016-05-10 Eyecue Vision Technologies Ltd. System and method for identification of printed matter in an image
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8724853B2 (en) * 2011-07-18 2014-05-13 Google Inc. Identifying a target object using optical occlusion
US9418438B2 (en) 2011-09-12 2016-08-16 Intel Corporation Networked capture and 3D display of localized, segmented images
JP5713885B2 (ja) 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9052804B1 (en) 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9691241B1 (en) * 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
GB2502591B (en) * 2012-05-31 2014-04-30 Sony Comp Entertainment Europe Apparatus and method for augmenting a video image
JP6092530B2 (ja) 2012-06-18 2017-03-08 キヤノン株式会社 画像処理装置、画像処理方法
CN104508706B (zh) 2012-08-15 2017-03-22 国际商业机器公司 特征提取方法、程序和系统
GB201310373D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable Apparatus and systems
CN104238726B (zh) * 2013-06-17 2017-07-18 腾讯科技(深圳)有限公司 智能眼镜控制方法、装置及一种智能眼镜
US9754507B1 (en) * 2013-07-02 2017-09-05 Rockwell Collins, Inc. Virtual/live hybrid behavior to mitigate range and behavior constraints
JP5693691B2 (ja) * 2013-10-21 2015-04-01 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
US9747680B2 (en) 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
WO2015090420A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Slam on a mobile device
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
JP6402850B2 (ja) * 2014-03-12 2018-10-10 一般社団法人リアリティメディア研究機構 画像呈示装置及びこれに用いるマスク生成装置
US9311340B2 (en) 2014-04-15 2016-04-12 International Business Machines Corporation Multiple partial-image compositional searching
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9865089B2 (en) * 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
JP6491517B2 (ja) * 2015-03-31 2019-03-27 Kddi株式会社 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置
CN105094327B (zh) * 2015-07-22 2018-11-30 深圳多新哆技术有限责任公司 调整虚拟物件在虚拟空间中姿态角的方法及装置
US10535193B2 (en) * 2015-09-08 2020-01-14 Canon Kabushiki Kaisha Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
US9805274B2 (en) 2016-02-03 2017-10-31 Honda Motor Co., Ltd. Partially occluded object detection using context and depth ordering
US10127886B2 (en) * 2016-10-14 2018-11-13 Microsoft Technology Licensing, Llc Modifying hand occlusion of holograms based on contextual information

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953076A (en) * 1995-06-16 1999-09-14 Princeton Video Image, Inc. System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
US7230653B1 (en) * 1999-11-08 2007-06-12 Vistas Unlimited Method and apparatus for real time insertion of images into video
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
CA2354301A1 (en) * 2001-07-27 2003-01-27 Djamel Yahia Meddah Geometric hashing for model-based recognition of an object
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
JP4136420B2 (ja) 2002-03-29 2008-08-20 キヤノン株式会社 情報処理方法および装置
US20040032906A1 (en) * 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7586655B1 (en) * 2003-06-30 2009-09-08 Google Inc. Acquiring and using three-dimensional information in a document scanning system
JP4418225B2 (ja) * 2003-12-18 2010-02-17 オリンパス株式会社 情報呈示システム
JP4565445B2 (ja) * 2004-03-18 2010-10-20 国立大学法人 奈良先端科学技術大学院大学 顔情報計測システム
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4217661B2 (ja) * 2004-06-03 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
JP2005063463A (ja) * 2004-11-08 2005-03-10 Toshiba Corp 動画像処理装置

Also Published As

Publication number Publication date
US8144238B2 (en) 2012-03-27
JP2008046750A (ja) 2008-02-28
US20080284864A1 (en) 2008-11-20
EP1887523A2 (en) 2008-02-13
EP1887523B1 (en) 2018-05-30
CN101162524B (zh) 2011-05-25
EP1887523A3 (en) 2017-01-18
CN101162524A (zh) 2008-04-16

Similar Documents

Publication Publication Date Title
US10529141B2 (en) Capturing and aligning three-dimensional scenes
Baak et al. A data-driven approach for real-time full body pose reconstruction from a depth camera
US10102639B2 (en) Building a three-dimensional composite scene
JP5955406B2 (ja) データを位置合わせする方法
US9235928B2 (en) 3D body modeling, from a single or multiple 3D cameras, in the presence of motion
Stoll et al. Fast articulated motion tracking using a sums of gaussians body model
US10033985B2 (en) Camera pose estimation apparatus and method for augmented reality imaging
US9934612B2 (en) Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
JP5722502B2 (ja) モバイルデバイスのための平面マッピングおよびトラッキング
Hagbi et al. Shape recognition and pose estimation for mobile augmented reality
US8995710B2 (en) Information processing apparatus, processing method thereof, and computer-readable storage medium
US9418475B2 (en) 3D body modeling from one or more depth cameras in the presence of articulated motion
US20180357786A1 (en) Method of Providing a Descriptor for at Least One Feature of an Image and Method of Matching Features
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5920352B2 (ja) 情報処理装置、情報処理方法及びプログラム
You et al. Hybrid inertial and vision tracking for augmented reality registration
Wöhler 3D computer vision: efficient methods and applications
JP5812599B2 (ja) 情報処理方法及びその装置
Reitmayr et al. Going out: robust model-based tracking for outdoor augmented reality
JP4804256B2 (ja) 情報処理方法
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US7733404B2 (en) Fast imaging system calibration
JP4007899B2 (ja) 運動検出装置
US8467596B2 (en) Method and apparatus for object pose estimation
US6278460B1 (en) Creating a three-dimensional model from two-dimensional images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090724

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3