JP6857980B2

JP6857980B2 - 情報処理装置、情報処理装置の制御方法およびプログラム

Info

Publication number: JP6857980B2
Application number: JP2016152286A
Authority: JP
Inventors: 中川　真志; 真志中川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-08-02
Filing date: 2016-08-02
Publication date: 2021-04-14
Anticipated expiration: 2036-08-02
Also published as: JP2018022292A; US10140777B2; US20180040169A1

Description

本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関する。

近年、現実空間に仮想空間の情報をリアルタイムに重ね合せて利用者に提示する複合現実感に関する研究が行われている。複合現実感では、撮像装置によって撮像された現実の映像の全域、または一部の領域に、撮像装置の位置姿勢に応じた仮想空間の画像（ＣＧ：ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を重畳した合成画像を表示する。

特許文献１では、撮像装置の映像から利用者の手に対応する三次元の手指モデルを生成し、手指モデルで直接ＣＧモデルを操作することが開示されている。

特開２０１６−３８８８９号公報

P. J. Besl and N. D. Mckay, "A method for registration of 3-D shapes", IEEE Trans. Pattern Analysis and Machine Intelligence, 14(2), pp.239-256, 1992. E.G.Gilbert, D.W.Johnson, and S.S.Keerthi,"A fast procedure for computing the distance between complex objects in three-dimensional space.", IEEE Trans. Robotics & Automation, 4(1), pp.193-203, April 1988.

しかしながら、手指モデルでＣＧモデルを直接操作すると、手指モデルがＣＧモデルにめり込むことがある。その場合、利用者はどのようにして手指モデルでＣＧモデルに触れているかを判断することが難しくなり、意図した操作を行えないことがあるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、利用者の操作感を損なうことなくＣＧモデルを操作するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
撮像画像から手指領域を抽出する抽出手段と、
前記手指領域から手指モデルを生成する生成手段と、
前記手指モデルと前記撮像画像に重畳されるＣＧモデルとの衝突判定を行う判定手段と、
前記衝突判定の結果に基づいて前記手指モデルの表示形態を制御する制御手段と、
前記制御手段による前記表示形態の制御の前後の前記手指モデルに挟まれる前記ＣＧモデルの面を取得し、当該面上の手指モデルを識別表示することにより、前記撮像画像における前記ＣＧモデルの表面に手指の操作状態を表示する処理を行う処理手段と、
を備えることを特徴とする。

本発明によれば、利用者の操作感を損なうことなくＣＧモデルを操作することが可能となる。

第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。第１の実施形態に係る手指モデルを示す図である。第１の実施形態に係る手指モデルを示す図である。第１の実施形態に係る情報処理装置の手指モデル生成部の処理手順を示すフローチャートである。第１の実施形態に係る情報処理装置の衝突判定部及び衝突応答部の処理手順を示すフローチャートである。第１の実施形態に係る情報処理装置の画像処理部の処理手順を示すフローチャートである。第２の実施形態に係る手指の状態を示す図である。第１の実施形態に係る手指の表示方法を示す図である。第２の実施形態に係る手指の表示方法を示す図である。第２の実施形態に係る手指の表示方法を示す図である。第２の実施形態に係る情報処理装置の画像処理部の処理手順を示すフローチャートである。第２の実施形態に係る手指の包括モデルを示す図である。第２の実施形態に係る手指の包括モデルとＣＧモデルの位置関係を示す図である。第２の実施形態に係るＤｅｐｔｈＰｅｅｌｉｎｇの結果画像を示す図である。第３の実施形態に係る情報処理装置の機能構成例を示すブロック図である。第３の実施形態に係る情報処理装置の画像処理部の処理手順を示すフローチャートである。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
第１の実施形態では、撮像画像から手指領域を抽出し、手指領域から手指モデルを生成し、手指モデルと撮像画像に重畳されるＣＧモデル（例えばバーチャル映像の消しゴム）との衝突判定の結果に基づいて手指モデルの表示形態を制御する例を説明する。具体的には、衝突が起こる場合、手指モデルの表示位置および形状の少なくとも一方を変更して（変形移動して）衝突を回避するように調整を行う。これにより、利用者の操作感を損なうことなくＣＧモデルを操作することが可能となる。また、撮像画像における手指領域を除去して、当該除去された領域をインペインティングする処理を行う。これにより、手指モデルとズレが生じた現実の手指を隠すことができ、より操作感を損なうことなくＣＧモデルを操作できるようになる。

＜構成＞
図１に本実施形態に係る撮像部を制御する情報処理装置のブロック図を示す。本実施形態では、図１に示すように、撮像部１００及び表示部２００が、情報処理装置１０００と接続されている。撮像部１００は、例えば、ビデオシースルー型ＨＭＤ（Ｈｅａｄ−ＭｏｕｎｔｅｄＤｉｓｐｌａｙ）やネットワークカメラである。表示部２００は、例えばＨＭＤやＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）モニタなどのディスプレイである。

また、情報処理装置１０００は、画像取得部１０１０、データ記憶部１０２０、位置姿勢推定部１０３０、手指モデル生成部１０４０、衝突判定部１０５０、制御部１０６０、画像処理部１０７０、及び画像出力部１０８０を備えている。

画像取得部１０１０は、撮像部１００で撮像した撮像画像を取得し、取得画像をデータ記憶部１０２０に記憶する。なお、撮像部１００で取得する画像は、カラー画像であってもよいし、深度画像であってもよい。手指を判別可能な画像であれば何れの種類の画像であってもよい。データ記憶部１０２０は、複合現実感で表示するＣＧモデルのデータ、画像取得部１０１０から入力される撮像画像、および、手指モデル生成部１０４０で生成する手指モデルのデータを記憶する。

位置姿勢推定部１０３０は、撮像部１００の位置姿勢を推定する。例えば、非特許文献１に開示されるＩＣＰ（ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ）アルゴリズムを用いて、予め定義したマーカや三次元形状の投影結果が撮像画像から抽出したマーカや自然特徴の位置と一致させるようにして撮像部１００の位置姿勢を推定する。

手指モデル生成部１０４０は、撮像画像から利用者の手指領域を推定することにより、平面（二次元）、または三次元の手指モデルを生成する。例えば、撮像部１００で取得した画像から肌色抽出を行うことにより手指領域を抽出し、手指領域に合わせたポリゴンモデルを手指モデルとして生成する。あるいは、多数の手画像から手指の形状を予め学習しておき、学習データに基づいて撮像画像から手指形状を推定してポリゴンモデルを生成してもよい。

衝突判定部１０５０は、手指モデル生成部１０４０で生成した手指モデルと、データ記憶部１０２０に記憶しているＣＧモデルとの間の衝突判定を行う。例えば、手指モデルとＣＧモデルのバウンディングスフィア（モデルを包括する球）を生成して球同士の衝突判定を行う。ＣＧモデルは、任意の仮想物体であってもよいが、例えばバーチャルの消しゴムであってもよい。

制御部１０６０は、衝突判定部１０５０で手指モデルがＣＧモデルと衝突したと判定された場合に、手指モデルおよびＣＧモデルの衝突後の位置を計算し、データ記憶部１０２０に記憶する。例えば、制御部１０６０は、手指モデルがＣＧモデルにめり込んでいる場合、手指モデルがＣＧモデルにめり込まなくなるようにするための手指モデルの最小の移動量である干渉深度ベクトルを算出し、当該干渉深度ベクトルに基づいて手指モデルをＣＧモデルの表面に移動する。なお、手指モデルは剛体として移動してもよいし、手指モデルを有限要素モデル、ばねモデル、圧力モデルで近似して変形してもよい。

例えば、図２は、手指モデル２５０を剛体としてＣＧモデル２５１にめり込まない位置へ移動させる例を示している。図３は、手指モデル３５０をばねモデルとしてＣＧモデル３５１にめり込まない位置へ変形、移動させる例を示している。手指モデルがＣＧモデルにめり込まない位置に手指モデルを移動できれば、何れの方法でもよい。

画像処理部１０７０は、データ記憶部１０２０に記憶している変形後の手指モデルとＣＧモデルを参照し、利用者にＣＧモデルをどのように保持しているか提示する画像を生成する。例えば、制御部１０６０により変形移動した位置に現実の手指を表示し、最初に手指モデルのあった領域（図２、および図３に示す黒い領域）に対して塗りつぶし又はインペインティング（背景領域から推定した見た目で欠損領域を埋めること）を行う。

画像出力部１０８０は、画像処理部１０７０により処理された画像を表示部２００に出力して表示させる。

＜処理の手順＞
まず、図４は、第１の実施形態に係る手指モデル生成部１０４０の処理の手順を示すフローチャートである。ステップＳ２１１０では、手指モデル生成部１０４０は、画像取得部１０１０を介して撮像部１００が撮像している画像を取得する。例えば、画像取得部１０１０は、撮像部１００から得られた画像を取得するビデオキャプチャカードである。

ステップＳ２１２０では、手指モデル生成部１０４０は、撮像画像から肌色領域（手指領域）を抽出する。例えば、撮像画像の画素値が肌色であるか否かを判定し、肌色と判定された肌色領域を抽出した二値画像を生成する。このとき、領域の面積を計算し、微小な肌色領域（閾値以下の面積の肌色領域）を除去してもよい。

ステップＳ２１３０では、手指モデル生成部１０４０は、Ｓ２１２０で生成した肌色領域に対して輪郭抽出処理を行い、手指の輪郭を抽出する。ステップＳ２１４０では、手指モデル生成部１０４０は、抽出された輪郭から手指のメッシュ（ポリゴン）モデル（手指モデル）を生成する。例えば、輪郭の頂点を順番に結んで生成した平面ポリゴンに凸分解法とデローニ三角分割法を適用することで手指のメッシュモデルを生成する。

ステップＳ２１５０では、手指モデル生成部１０４０は、生成した手指のメッシュモデルに、変形計算用のパラメータを設定する。メッシュモデルとしては、例えば有限要素モデルや質点バネモデルを用いればよい。例えば、質点バネモデルの場合は、頂点に対して質力を、頂点を結ぶ線に対してバネ係数やダンパ係数を設定する。

ステップＳ２１６０では、手指モデル生成部１０４０は、手指モデルの移動後の位置に現実の手指画像を表示するために、手指モデルの頂点と撮像画像の座標とを対応付ける。以上で図４の一連の処理が終了する。

続いて、図５は、第１の実施形態に係る衝突判定部１０５０及び制御部１０６０の処理の手順を示すフローチャートである。

ステップＳ２２１０では、衝突判定部１０５０は、手指モデルがＣＧモデルに衝突したか否かを判定する。手指モデルが衝突したと判定された場合、ステップＳ２２２０へ進む。一方、手指モデルが衝突していないと判定された場合、手指モデルの変形や移動を行うことなく、処理を終了する。

ステップＳ２２２０では、制御部１０６０は、衝突判定された手指モデルとＣＧモデルとの間の干渉深度ベクトルを計算して取得する。例えば、衝突モデル間に対して非特許文献２に開示されるＧｉｌｂｅｒｔ−Ｊｏｎｓｏｎ−ＫｅｅｒｔｈｉＡｌｇｏｒｉｔｈｍ（ＧＪＫ法）を適用することで、干渉深度ベクトルを取得することができる。

ステップＳ２２３０では、制御部１０６０は、干渉深度ベクトルに基づいて手指モデルの表示形態を制御する。具体的には手指モデルを変形移動する。例えば、手指モデル生成部１０４０で生成したメッシュモデル（手指モデル）に関して、ＣＧモデルにめり込んだ頂点をＣＧモデルの表面まで移動すると共に、手指モデル全体を質点バネモデルに従って変形する。ただし、必ずしも変形させる必要はなく手指モデルがＣＧモデルにめり込まない位置に手指モデルを移動できれば何れの方法であってもよい。以上で図５の一連の処理が終了する。

続いて、図６は、第１の実施形態に係る衝突判定部１０５０及び画像処理部１０７０の処理の手順を示すフローチャートである。

ステップＳ２３１０では、衝突判定部１０５０は、手指モデルがＣＧモデルに衝突したか否かを判定する。手指モデルが衝突したと判定された場合、ステップＳ２３２０へ進む。一方、手指モデルが衝突していないと判定された場合、ステップＳ２３４０へ進む。

ステップＳ２３２０では、画像処理部１０７０は、撮像画像の手指領域を除去し、除去した領域に対してインペインティングを行う。例えば、過去の撮像部１００の位置姿勢と撮像画像とを対応付けておく。そして、位置姿勢推定部１０３０により推定された撮像部１００の位置姿勢に近い画像を選択し、当該画像と撮像画像との間で特徴点の対応を取る。そして除去領域を前フレームの画像で補完する。ただし、手指領域の周辺画素のテクスチャで除去領域を補完してもよい。撮像画像の除去領域を補完できれば何れの手法であってもよい。

ステップＳ２３３０では、画像出力部１０８０は、ステップＳ２３２０でインペインティングされた撮像画像を描画して表示部２００に表示させる。ステップＳ２３４０では、画像出力部１０８０は、撮像画像を変更せずに描画して表示部２００に表示させる。ステップＳ２３５０では、画像出力部１０８０は、ＣＧモデル及び手指モデルを撮像画像に重畳して、重畳画像を表示部２００に表示させる。以上で図６の一連の処理が終了する。

これにより、撮像画像中の利用者の手指がＣＧモデルにめり込むような場合であっても、当該めり込みを防止し、かつ、現実の手に近い手指モデルでＣＧモデルを操作することができる。よって、操作感を損なうことなくＣＧモデルを操作することが可能となる。

（第２の実施形態）
第１の実施形態では、現実空間に対してインペインティングを行う例を説明した。これに対して、第２の実施形態では、撮像画像におけるＣＧモデルの表面に手指の操作状態を表示することにより、撮像画像をインペインティングせずに、ＣＧモデルをどのように操作しているか利用者に提示する例を説明する。

例えば、図７に示すように手指モデル７５０がＣＧモデル７５１にめり込んでいる場合、第１の実施形態では図８に示すように変形移動後の手指モデル８５０を表示すると共に、移動によって生じた手指の除去領域８５１をインペインティングしていた。一方、第２の実施形態では手指モデルを直接表示せず、図９に示すようにＣＧモデル９５１の表面に操作状態９５２を表示する。これにより、インペインティングを行わずに利用者に操作状態を提示する。また、図１０に示すように現実の手指領域９５３を半透明表示してもよい。

＜処理の手順＞
図１１は、第２の実施形態の画像処理部１０７０の処理の手順を示すフローチャートである。ステップＳ２４１０では、画像処理部１０７０は、変形前後の手指モデルに挟まれるＣＧモデル面を検出して取得する。具体的には、まず、図１２に示すような変形前後の手指モデルを包括するモデルを生成する。例えば、変形前の手指モデルの頂点と変形後の手指モデルの頂点を結ぶことで側面に新たな平面を形成したモデルを生成する。次に、生成した手指モデルとＣＧモデルに対してＤｅｐｔｈＰｅｅｌｉｎｇ（深度剥離）を行うことにより、変形前の手指モデルと変形後の手指モデルとの間に存在するＣＧモデル面を検出する。

例えば、図１３に示すように直方体のＣＧモデル１３００に手指の包括モデル１３０１（実線と点線を結んだモデル）がめり込んでいる場合、矢印１３０２の方向からＤｅｐｔｈＰｅｅｌｉｎｇを行うと、図１４に示す４つの深度画像が得られる。ここで、深度画像の画素に対して剥離した面（モデル）のＩＤを記憶しておき、剥離した順番に深度画像のＩＤを参照すれば手の内部にあるＣＧモデル１３００の表面を検出できる。

例えば、図１４の直線部１４０１では、剥離した順番で深度画像のモデルＩＤを参照したとき、手前面１５１０、ＣＧモデル前面１５３０、手背面１５２０、ＣＧモデル背面１５４０の順番で並んでいる。このとき、図１４の直線上にある二つ目の深度画像の画素はＣＧモデルのＩＤだが、その前後の深度画像の画素は手のＩＤを持つため、二つ目の深度画像の画素にあるＣＧモデルは手指のモデル内（図１３の黒い領域）に存在することが分かる。ただし、必ずしもＣＧモデル１３００と手指の包括モデル１３０１との間の衝突面を求める必要はなく、ＣＧモデルの表面に変形後の手指モデルを投影する構成であってもよい。

ステップＳ２４２０では、画像処理部１０７０が撮像画像にＣＧモデルを重畳し、画像出力部１０８０が重畳画像を出力して表示部２００に表示させる。ステップＳ２４３０で、画像出力部１０８０は、画像処理部１０７０によりステップＳ２４１０で検出したＣＧモデル面を図９の操作状態９５２に示すように強調表示する。すなわち、変形前後の手指モデルの間にあるＣＧモデル面上の手指モデルを強調表示することにより、操作状態を表示する。なお、強調表示する領域に、撮像画像の手指領域画像を利用してもよい。以上で図１１の一連の処理が終了する。

本実施形態によれば、撮像画像をインペインティングすることなく、利用者にＣＧモデルをどのように操作しているかを提示することができる。

（第３の実施形態）
第１の実施形態では、手指モデルの変形移動に合わせてインペインティングする際に、二次元の画像情報に基づいて補完処理を行う例を説明した。これに対して、第３の実施形態では、現実空間の三次元再構成データを生成し、当該三次元再構成データを用いて補完を行うことにより、現実空間に基づいた撮像画像の補完を行う例を説明する。

＜構成＞
図１５は、本実施形態に係る情報処理装置２０００の概略構成を示している。第３の実施形態では、第１の実施形態の構成に加えて、三次元再構成部２０１０が追加されている。三次元再構成部２０１０は、データ記憶部１０２０から撮像部１００の位置姿勢と撮像画像を取得し、これらの情報を用いて現実物体の三次元点群を生成する。また、生成した三次元点群および色情報をデータ記憶部１０２０に記憶する。なお、位置姿勢推定部１０３０は、三次元再構成部２０１０により抽出された特徴点を用いて位置合わせを行う。

＜処理の手順＞
図１６は、本実施形態に係る三次元再構成部２０１０、および位置姿勢推定部１０３０の処理の手順を示すフローチャートである。

ステップＳ２５１０では、三次元再構成部２０１０は、撮像画像からＦＡＳＴ特徴量を用いて、画像内の特徴点を抽出する。ただし、ＦＡＳＴ特徴量に限らずＳＩＦＴ特徴量やＳＵＲＦ特徴量など特徴点を検出できるものであれば何れでもよい。なお、手の領域内の特徴を抽出する必要はない。

ステップＳ２５２０では、三次元再構成部２０１０は、抽出した特徴点に対応する過去フレームの撮像画像の特徴点を検出して、データ記憶部１０２０にフレーム間の対応点情報を保存する。

ステップＳ２５３０では、位置姿勢推定部１０３０は、フレーム間の対応点情報から特徴点の三次元位置と撮像部１００の位置姿勢を算出する。ステップＳ２５４０では、三次元再構成部２０１０は、ステップ画像間の画素毎の対応点を求めて、三角測量の原理により三次元点群を三次元再構成データとして生成する。

ステップＳ２５５０では、三次元再構成部２０１０は、算出した三次元点群の三次元位置と画素の色情報とをデータ記憶部１０２０に記憶する。以上で図１６の一連の処理が終了する。

画像処理部１０７０は、三次元再構成データを用いて、撮像画像の手指領域に対して、三次元再構成した点群を表示した後に、ＣＧモデルと手指モデルを表示する。本実施形態によれば、現実空間の背景を違和感なく表示してＣＧモデルを操作することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像部、２００：表示部、１０００：情報処理装置、１０１０：画像取得部、１０２０：データ記憶部、１０３０：位置姿勢推定部、１０４０：手指モデル生成部、１０５０：衝突判定部、１０６０：制御部、１０７０：画像処理部、１０８０：画像出力部、２０００：情報処理装置、２０１０：三次元再構成部

Claims

撮像画像から手指領域を抽出する抽出手段と、
前記手指領域から手指モデルを生成する生成手段と、
前記手指モデルと前記撮像画像に重畳されるＣＧモデルとの衝突判定を行う判定手段と、
前記衝突判定の結果に基づいて前記手指モデルの表示形態を制御する制御手段と、
前記制御手段による前記表示形態の制御の前後の前記手指モデルに挟まれる前記ＣＧモデルの面を取得し、当該面上の手指モデルを識別表示することにより、前記撮像画像における前記ＣＧモデルの表面に手指の操作状態を表示する処理を行う処理手段と、
を備えることを特徴とする情報処理装置。
前記処理手段は、前記操作状態を表示する処理と共に、前記手指領域を半透明表示する処理を行うことを特徴とする請求項１に記載の情報処理装置。
情報処理装置の制御方法であって、
撮像画像から手指領域を抽出する抽出工程と、
前記手指領域から手指モデルを生成する生成工程と、
前記手指モデルと前記撮像画像に重畳されるＣＧモデルとの衝突判定を行う判定工程と、
前記衝突判定の結果に基づいて前記手指モデルの表示形態を制御する制御工程と、
前記制御工程による前記表示形態の制御の前後の前記手指モデルに挟まれる前記ＣＧモデルの面を取得し、当該面上の手指モデルを識別表示することにより、前記撮像画像における前記ＣＧモデルの表面に手指の操作状態を表示する処理を行う処理工程と、
を有することを特徴とする情報処理装置の制御方法。
コンピュータを、請求項１または２に記載の情報処理装置として機能させるためのプログラム。