JP5597064B2 - 情報処理装置およびその方法 - Google Patents

Description

本発明は、仮想現実空間及び複合現実空間において計測範囲外で描かれた図形等の輪郭線の軌跡を補完する情報処理装置および方法に関する。

近年、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が盛んに行われている。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想現実空間の画像を重畳描画した画像を表示する。例えば、ＨＭＤ（ヘッドマウントディスプレイ）を用いて、コンピュータグラフィックスにより描画された仮想物体や文字情報等を重畳描画する。ＨＭＤの画像表示は、操作者の頭部に装着された光学シースルー型ディスプレイに、操作者の視点の位置及び姿勢に応じて生成した仮想現実空間の画像を表示する光学シースルー方式によっても実現される。

一方、パーソナルコンピューター上で図形等の輪郭線を描く場合、マウスやペンタブレット等の指定された領域の内に輪郭線を描き、ディスプレイ等で確認することが一般的に行われている。

さらに、特許文献１では、動的物体の軌跡を補完する方法として移動する対象物の重心の時系列情報を補完して軌跡を得る手法も開示されている。また、非特許文献１では、仮想現実空間で手描きの動作認識に基づいた立体図形を作成する手法も開示されている。これらの技術を応用すると、仮想現実空間又は複合現実空間で操作者がもつ操作部の軌跡を描く動作を行い、操作部を撮像して、操作部が描く図形の輪郭線を得ることができる。

特開平５−１５９０５８号公報

井上智之、西住直樹、鈴木伸明、安福尚文、佐賀聡人、電子情報通信学会論文誌（Ｄ−ＩＩ，Ｊ８７−Ｄ−ＩＩ，６，（２００４−０６），ＰＰ．１３０９−１３１８．

従来、仮想現実空間又は複合現実空間で操作者がもつ操作部の軌跡を描く動作を行い、操作部を撮像して、操作部が描く図形の輪郭線を得ていた。しかし、操作者が描く軌跡は、撮像範囲が分からないことや、大きく図形を描くことがあり、操作部が撮影範囲外に出てしまう場合があった。撮像範囲外に出た操作部の軌跡は認識できないため、図形の輪郭線が撮影範囲の境界部分で途切れてしまうという問題があった。すなわち、操作部が撮像範囲外にあって、撮像範囲外の領域での操作部の軌跡を得ることができないという課題があった。

上記課題に鑑み、本発明は、仮想現実空間又は複合現実空間で軌跡を描く操作部が撮像範囲外にあっても、操作者の意図に近い輪郭線の生成する事を目的とする。

上記目的は、以下の装置のよって達成できる。

現実空間における操作手段の軌跡の線を含む画像を出力する情報処理装置であって、
撮像手段が現実空間を撮像した撮像画像を入力する画像入力手段と、
前記入力された撮像画像に基づいて、前記撮像手段の撮像範囲で撮像された操作手段の軌跡を算出する軌跡算出手段と、
前記算出された撮像範囲の操作手段の軌跡に基づいて、当該軌跡の線に前記撮像手段の撮像範囲外の該操作手段の軌跡の線を補完する補完手段と、
前記補完された軌跡の線を含む画像を生成する画像生成手段と、
前記生成された画像を出力する画像出力手段とを有することを特徴とする情報処理装置。

本発明の構成によれば、仮想現実空間又は複合現実空間で軌跡を描く操作部が撮像範囲外にあっても、操作者の意図に近い輪郭線の生成することができる。

第１の実施形態の構成例のブロック図である。 第１の実施形態の構成にカメラとディスプレイを用いた例の模式図である。 第１の実施形態の構成にＨＭＤを用いた例の模式図である。 第１の実施形態の処理手順のフローチャートである。 第１の実施形態における複数の時刻毎の操作部の位置を示す図である。 第１の実施形態における撮像範囲外の操作部の軌跡の補完を示す図である。 第２の実施形態の構成例のブロック図である。 第２の実施形態の処理手順のフローチャートである。 第３の実施形態における手のジェスチャーの具体例を示す図である。 コンピュータの構成例を示す図である。

以下、図を参照し、本発明を適用した好適な実施形態を説明する。

〔第１の実施形態〕
＜構成＞
図１は、本実施形態の構成例のブロック図である。 図２は、本実施形態の構成にカメラとディスプレイを用いた例の模式図である。図３は、本実施形態の構成にＨＭＤを用いた例の模式図である。

操作部１１１は、色マーカ１１２やイベント入力部１１３が備えられ、操作者によって操作されるデバイスである。

イベント入力部１１３は、操作者が操作部１１１に対して行う操作をイベントとして入力する。例えば、ボタンである。

撮像部１０１は、現実空間を撮像する。例えば、カメラであり、単眼のカメラでもＨＭＤ３０１に搭載された単眼もしくは複眼のカメラでもよい。現実空間の操作部１１１の色マーカ１１２の認識が可能である。

画像入力部１０２は、撮像部１０１において撮像された撮像画像を画像データとして入力する。入力された画像データは、記憶部１０４に記憶される。計測された撮像部１０１の位置姿勢を記憶部１０４に記憶しておく。

撮像部１０１が固定されている場合は、撮像部１０１の位置姿勢を記憶部１０４に予め記憶しておく。また、ＨＭＤ３０１に代表されるように、撮像部１０１が動的に移動しうる場合は、撮像位置姿勢計測部１０２０により、撮像部の位置姿勢を計測する。例えば、画像入力部１０２から入力された撮像画像の画像認識、慣性・磁気・光学センサなどにより計測する。ここでの画像認識は、例えば、撮像画像から検出される特徴量に対応する予め保持された現実空間の位置関係との一致を確認する。

記憶部１０４は、イベント入力部１１３から入力されるイベントに応じて、操作部１１１の軌跡を記憶する。例えば、イベント入力部１１３がボタンである場合、ボタンが押されている間の操作部１１１の軌跡を記憶する。なお、この軌跡は、操作部１１１の位置が時系列で記憶される。

軌跡算出部１０５は、記憶部１０４に保存されている画像データから操作部１１１の時系列における位置である軌跡を算出する。例えば、色マーカ１１２の二次元の重心位置の算出を行う。なお、二次元の位置だけではなく、三次元空間の位置が既知である特徴点を用いて三次元の位置を算出してもよい。例えば、撮像部１０１が、ＨＭＤ３０１のように、複眼で構成されるカメラである場合、ステレオ撮像による視差から、現実空間の三次元の位置を算出することができる。

また、軌跡算出部１０５は、操作部１１１の位置が計測できない場合、操作部１１１が計測できていたときに時系列で記録された操作部１１１の位置から推定される操作部１１１の軌跡を算出する。算出の詳細については後述する。算出した位置は、記憶部１０４に記憶される。

画像生成部１０６は、記憶部１０４に記憶されている撮像部１０１の位置姿勢と、同じく記憶されている操作部１１１の時系列の位置から、仮想画像を生成する。具体的には、時系列の位置の各々を結んだ線を、操作部１１１の軌跡２００を描く輪郭線とし、その輪郭線が含まれた仮想画像を生成する。

画像出力部１０７は、画像生成部１０６で生成された画像を表示部１０８に出力する。

表示部１０８は、表示部１０８には操作者が操作した操作部１１１の軌跡２００に対応した輪郭線を含む画像を表示する。例えば、ＣＲＴ、液晶ディスプレイやＨＭＤ３０１に備わる表示装置などがある。操作者は表示された画像を見ることで操作部の軌跡が反映された輪郭線を見ることができる。

本実施形態の構成によれば、カメラとディスプレイの組み合わせにも、ＨＭＤにも適用可能である。なお、本実施形態においては、画像入力部１０２、記憶部１０４、画像生成部１０６、画像出力部１０７をワークステーション２０１内に格納する。ワークステーション２０１は、基本構成の機器の他に、撮像部の画像をキヤプチャする為の映像出力装置と操作部のイベントを受け取るための装置を備える。本発明においては、このようなワークステーションに限られるものではなく、同等の機能を持つ計算機であればよい。

ＨＭＤ３０１には、撮像部１０１、表示部１０８が取り付けられ互いに固定されている。ＨＭＤ３０１には、撮像部１０１と表示部１０８をＨＭＤ３０１内にそれぞれ２基搭載しており、ステレオ撮像によって、現実空間の撮像に加え、三次元情報の認識が可能である。操作者はこのＨＭＤ３０１を頭部に装着することで、表示部１０８に映るステレオの仮想現実空間画像を見ることができる。なお、ステレオの撮像と表示を行うことに限定するものではなく、少なくとも１つ以上の表示部があればよい。

＜処理の手順＞
図４は、本実施形態の処理手順のフローチャートである。

ステップＳ４０１では、画像入力部１０２が、撮像部１０１において撮像された撮像画像を画像データとして入力する。入力された画像データは、記憶部１０４に記憶される。

ステップＳ４０２では、軌跡算出部１０５が、記憶部１０４に保存されている画像データから操作部１１１の軌跡を算出する。

ステップＳ４０３では、描かれた軌跡の輪郭線を含む画像を生成するか否かを判定する。具体的には、イベント入力部１１３からイベントが入力されているかを判定する。画像を生成すると判定した場合、ステップＳ４０４へ進む。生成しないと判定した場合、軌跡の生成を行うための指示の入力や条件が満たされている時は、ステップＳ４０４に進む。一方、軌跡の生成を行わない指示の入力や条件が満たされていない場合には、ステップＳ４０８に進む。

ステップＳ４０４では、描かれた軌跡の補完を行うか否かを判定する。具体的には、軌跡を描いているときに、操作部１１１が撮像画像の範囲外に出たか否かを判定する。

図５は、本実施形態における複数の時刻毎の操作部の位置を示す図である。

領域５００は、撮像部１０１による撮像領域である。操作部１１１の位置は、時系列に時刻ｓからｔ，ｕ，ｖ，ｗへの間に変化し、軌跡を描く。なお、時刻ｓ，ｔ，ｕ，ｖ，ｗの隣り合う時刻の時間差は一定でもよい。

まず、時刻ｓから時刻ｔへの間に、操作部１１１の位置は、撮像画像内の位置５０１から撮像画像端の位置５０２へと移動する。この間、操作部１１１の軌跡５１１は撮像画像に撮像されている。

次に、時刻ｔから時刻ｕ，ｖへの間に、操作部１１１の位置は、撮像画像端の位置５０２から、撮像画像外の位置５０３、再び撮像画像端の位置５０４へと移動する。しかし、この間、操作部１１１の軌跡５１２は、撮像画像の範囲外で描かれており、撮像画像から認識することができない。

そして、時刻ｖから時刻ｗの間に、操作部１１１の位置は、撮像画像端の位置５０４から、撮像画像内の位置５０５へと移動する。この間、操作部１１１の軌跡５１３は撮像画像に撮像される。

このように、軌跡を描く間、時刻毎に操作部１１１の位置が撮像画像に存在するか否かに基づいて、操作部１１１の軌跡が、撮像画像の範囲外に出たか否かを判定する。操作部１１１が、撮像画像の範囲外に出た場合、補完を行うものとして、ステップＳ４０５へ進む。操作部１１１が、撮像画像の範囲外に出ていない場合、補完を行わないものとして、ステップＳ４０８へ進む。

ステップＳ４０５では、撮像範囲外にあって撮像画像から認識できなかった軌跡５１２を、認識できた軌跡５１１、５１３を用いて、補完を行う。

図５は、本実施形態における撮像範囲外の操作部の軌跡の補完を示す図である。

まず、撮像画像内の位置の点５０１から撮像画像端の位置の点５０２までの第１の軌跡を算出する。撮像画像内の位置の点５０１と撮像画像端の位置の点５０２とを結ぶベクトルの方向および距離を算出し、制御点６０１を算出する。この制御点６０１は、撮像画像内の位置の点５０１と撮像画像端の位置の点５０２とを結ぶ直線の延長線上にある。また、撮像画像端の位置の点５０２と制御点６０１との距離は、撮像画像内の位置５０１の点と撮像画像端の位置の点５０２との距離に比例し、時刻ｓと時刻ｔとの時間差に反比例する。すなわち、制御点６０１は、撮像画像から認識できなくなる前に認識できたときの撮像画像での操作部１１１の動く方向と速度に基づいて、算出される。

次に、撮像画像内の位置の点５０５と撮像画像端の位置の点５０４までの第２の軌跡を算出する。撮像画像内の位置の点５０５と撮像画像端の位置の点５０４とを結ぶベクトルの方向および距離を算出し、制御点６０２を算出する。この制御点６０２は、制御点６０１と同様に、撮像画像内の位置の点５０５と撮像画像端の位置の点５０４とを結ぶ直線の延長線上にある。また、撮像画像端の位置の点５０４と制御点６０２との距離は、撮像画像端の位置の点５０２と制御点６０１との距離と同様に、撮像画像内の位置の点５０５と撮像画像端の位置の点５０４との距離に比例する。また、撮像画像端の位置の点５０４と制御点６０２との距離は、撮像画像端の位置の点５０２と制御点６０１との距離と同様に、時刻ｖと時刻ｗとの時間差に反比例する。すなわち、撮像画像から認識できなくなった後に認識できたときの撮像画像での操作部１１１の動く方向と速度に基づいて、算出される。

続いて、撮像画像端の位置の点５０２から撮像画像端の位置５０４までの第３の軌跡を算出する。具体的には、撮像画像端の位置の点５０２と制御点６０１、及び、撮像画像端の位置５０４と制御点６０２を曲率に反映させた、ベジエ曲線を算出する。算出した曲線を、撮像画像から認識できなかった軌跡５１２の輪郭線として、補完する。なお、算出する曲線は、ベジエ曲線に限るものではなく、認識できた軌跡５１１、５１３を用いて得られる曲線であればよい。

ステップＳ４０６では、補完された第４の軌跡を算出し、操作部１１１の軌跡２００の輪郭線の生成を行う。撮像画像から軌跡がすべて認識できた場合、その軌跡を輪郭線とする。また、撮像画像から認識できなかった軌跡があった場合は、撮像画像から認識できた軌跡に、ステップＳ４０７で補完された軌跡をつなぎ合わせ、その軌跡を輪郭線とする。
ステップＳ４０７では、生成された輪郭線を描画した仮想画像を生成する。
ステップＳ４０８では、画像出力部１０７が、生成した仮想画像を表示部１０８に出力する。
ステップＳ４０９では、画像出力部１０７から出力された画像を表示部１０８に表示する。
ステップＳ４１０では、処理を終了するかを判定する。終了しない場合、ステップＳ４０１へと進む。すなわち、終了するまで入力される撮像画像ごとに繰り返し行う。

以上により、輪郭線を描く操作部が撮像範囲外にあっても、操作者が意図に近い輪郭線の生成することができる。そして、軌跡を描いた後に、操作者の視点が撮像画像から認識できなかった軌跡の方向を向いた場合でも、輪郭線を途切れることなく表示させることができる。

〔第２の実施形態〕
第１の実施形態によれば、生成した仮想画像に含まれる輪郭線をそのまま表示した。第２の実施形態では、現実空間を撮像した撮像画像に輪郭線を重畳した合成画像を表示する。この場合、撮像部と表示部がＨＭＤ３０１に備わるものであれば、なお好適である。第１の実施形態と同じ部分については、その説明を省略する。

図７は、本実施形態の構成例のブロック図である。図１と同じ部分については、同じ符号を付け、その説明を省略する。

画像合成部７０６は、記憶部１０４に記憶されている撮像部１０１の位置姿勢と、同じく記憶されている操作部１１１の時系列の位置と、画像入力部１０２で入力された撮像画像から、合成画像を生成する。具体的には、時系列の位置の各々を結んだ線を、操作部１１１の軌跡２００を描く輪郭線とし、その輪郭線を画像入力部１０２で入力された撮像画像に重畳描画する。なお、仮想画像では、操作部の位置に、例えばカーソルなどの予め記憶された仮想物体を重畳させても良い。

画像出力部１０７は、画像合成部７０６で生成された合成画像を表示部１０８に出力する。

図８は、本実施形態の処理手順のフローチャートである。図４と同じ部分については、同じ符号を付け、その説明を省略する。

ステップ８０７では、生成された輪郭線を、現実空間を撮像した撮像画像に重畳描画し、合成画像として生成する。
ステップ４０８では、画像出力部１０７が、生成した合成画像を表示部１０８に出力する。そして、出力された合成画像は、表示部１０８に表示される。

以上により、第１の実施形態と同様に、輪郭線を描く操作部が撮像範囲外にあっても、操作者の意図に近い輪郭線の生成することができる。そして、軌跡を描いた後に、操作者の視点が撮像画像から認識できなかった軌跡の方向を向いた場合でも、輪郭線を途切れることなく表示させることができる。

〔第３の実施形態〕
上記実施形態では、操作部は、ペン状の物体であったが、本発明における操作部は、操作者の所定部位、手、指先、腕、肘、足、腿、膝、すね等の体の部位であっても良い。このとき、イベント入力部１１３を実施形態から外し、常に軌跡を描いている状態としてもよい。イベント入力部１１３を操作部と切り離し、手などの特徴量を求め、ジェスチャーを検出し、予め定められたジェスチャーであるときに、イベントを入力してもよい。

図９は、手のジェスチャーの具体例を示す図である。

ジェスチャーを用いたイベント入力の具体例として、図９（ａ）のように、手に力をいれずにいる状態であれば、イベントを入力しない。一方、図９（ｂ）のように、指を立てたときに、第１・第２の実施形態で言う、ボタン１１３を押している状態とし、マーカ１１２の代わりに、人さし指の先端の位置を検出して、操作部の位置としてもよい。

〔その他の実施形態〕
図１０は、コンピュータの構成例を示す図である。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク１００４、各種記憶媒体１００２、１００３を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ１００１（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。

Claims (13)

1. 現実空間における操作手段の軌跡の線を含む画像を出力する情報処理装置であって、
   撮像手段が現実空間を撮像した撮像画像を入力する画像入力手段と、
   前記入力された撮像画像に基づいて、前記撮像手段の撮像範囲で撮像された操作手段の軌跡を算出する軌跡算出手段と、
   前記算出された撮像範囲の操作手段の軌跡に基づいて、当該軌跡の線に前記撮像手段の撮像範囲外の該操作手段の軌跡の線を補完する補完手段と、
   前記補完された軌跡の線を含む画像を生成する画像生成手段と、
   前記生成された画像を出力する画像出力手段と
   を有することを特徴とする情報処理装置。
2. 前記現実空間を撮像する撮像手段
   を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 前記現実空間における前記撮像手段の位置姿勢を計測する位置姿勢計測手段
   を更に有し、
   前記軌跡算出手段が、前記入力された撮像画像と前記計測された撮像手段の位置姿勢に基づいて、前記撮像手段の撮像範囲で撮像された操作手段の前記現実空間における三次元の軌跡を算出することを特徴とする請求項１又は２の何れか１項に記載の情報処理装置。
4. 前記位置姿勢計測手段が、前記撮像画像から検出される特徴量に基づいて、前記撮像手段の位置姿勢を計測することを特徴とする請求項３に記載の情報処理装置。
5. 前記画像生成手段が、前記入力された撮像画像に前記補完された軌跡の線を重畳描画した合成画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記撮像手段は、複数のカメラを有し、
   前記軌跡算出手段では、前記複数のカメラの互いの視差に基づいて、前記操作手段の現実空間における三次元の軌跡を算出することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記補完手段は、
   前記操作手段が、前記撮像範囲外で動く前に、前記撮像範囲で動いた第１の軌跡を算出する第１の軌跡算出手段と、
   前記操作手段が、前記撮像範囲外で動いた後に、前記撮像範囲で動いた第２の軌跡を算出する第２の軌跡算出手段と、
   前記第１の軌跡と前記第２の軌跡に基づいて、前記操作手段が、前記撮像範囲外で動いた第３の軌跡を算出する第３の軌跡算出手段と、
   前記第１の軌跡の線と前記第２の軌跡の線と前記第３の軌跡の線とをつなぎ合わせた第４の軌跡の線を、前記補完された軌跡の線として算出する第４の軌跡算出手段と、
   を有することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記第３の軌跡算出手段が、前記第１の軌跡で動いた前記操作手段の方向と速度および前記第２の軌跡で動いた該操作手段の方向と速度に基づいて、前記第３の軌跡を算出することを特徴とする請求項７に記載の情報処理装置。
9. 前記第３の軌跡を描く線は、前記第１の軌跡および前記第２の軌跡に基づくベジエ曲線であることを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記軌跡算出手段が、前記操作手段を体の部位として、当該操作手段の軌跡を算出することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記軌跡算出手段が、前記体の部位を用いたジェスチャーを検出している間の、前記操作手段の軌跡を算出することを特徴とする請求項１０に記載の情報処理装置。
12. 現実空間における操作手段の軌跡の線を含む画像を出力する情報処理装置が行う情報処理方法であって、
    前記情報処理装置の画像入力手段が、撮像手段が現実空間を撮像した撮像画像を入力する画像入力工程と、
    前記情報処理装置の軌跡算出手段が、前記入力された撮像画像に基づいて、前記撮像手段の撮像範囲で撮像された操作手段の軌跡を算出する軌跡算出工程と、
    前記情報処理装置の補完手段が、前記算出された撮像範囲の操作手段の軌跡に基づいて、当該軌跡の線に前記撮像手段の撮像範囲外の該操作手段の軌跡の線を補完する補完工程と、
    前記情報処理装置の画像生成手段が、前記補完された軌跡の線を含む画像を生成する画像生成工程と、
    前記情報処理装置の画像出力手段が、前記生成された画像を出力する画像出力工程とを有することを特徴とする情報処理方法。
13. 請求項１２に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。

Images