JP4323180B2 - 自己画像表示を用いたインタフェース方法、装置、およびプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラからの画像を入力とし、人間の動作に基づき画面上でメニューを選択するインタフェース方法および装置に関する。
【０００２】
【従来の技術】
従来、コンピュータと人間とのインタフェースにおいて、カメラからの画像を入力とし、人間の動作に基づき、画面上でメニュー選択するインタフェース装置としては、キーボードやマウス等のポインティング装置を用いる装置がある。また、体にマーカーを装着しカメラからの画像情報から動きを検出する方法や、体にセンサを装着し直接その動きを検出する方法がある。さらには、体に何も装着せずに、カメラからの入力画像等の情報から人間の動きを検出する方法もある。
【０００３】
このような方法を用いたインタフェース装置の第１の従来例として、現在一般のコンピュータに接続可能で市販されている装置として、キーボード、マウス、タッチパネル型のディスプレイがある。これらはいずれもユーザの手の動きを検出し、入力情報に変換するものである。
【０００４】
また、第２の従来例として、モーションキャプチャシステム関連の製品で、体にマーカーを装着し画像処理によって動きを検出する装置がある。例えば、Vicon Motion Systems Ltd.社の「３次元動作解析システムVicon」（販売元：株式会社ナックイメージテクノロジー）は、体の複数の部位に球形の反射マーカーを貼付け、複数台のカメラからの入力画像から画像処理により各マーカーの３次元座標を算出する方法である。
【０００５】
また、第３の従来例として、体に動作計測可能なセンサを装着し、センサ情報から動きを検出する装置、例えば、磁気センサを用いた装置（ASCENSION社の「Motion Star」等）や、機械式センサを用いた装置（スパイス社の「Gypsy」、Immersion社の「Cyber Glove」等）などがある。
【０００６】
また、第４の従来例として、体に何も装着せずにカメラ入力画像のみから動きを検出する装置がある（非特許文献１）。本方法は、画像処理によりマーカーやセンサを装着することなく人物の身振り認識をする方法で、画像から人物の動作に関わる特徴の抽出を行い動作認識を行う。
【０００７】
また、第５の従来例として、Vivid Group社のGesture Xtreme Software関連製品（例えばSoccer GX, Volleyball等）がある。本製品は、CG背景画像上に自己画像を重ね合わせ、画像上でCGのボール等とユーザの体との接触判定を行い、その結果に基づいてゲーム等のCGソフトとユーザとのインタフェースを実現している。
【０００８】
また、第６の従来例として、非特許文献２に記載の方法がある。本方法は、自画像上にCGのアイコンを表示させ、カメラに向かって行った動作に基づき希望のアイコンを選択（実行）するものである。
【０００９】
【非特許文献１】
桐島ら、“注視点の学習と選択制御による身振りの実時間画像認識”、 PRMU2001-203, 2002.1
【非特許文献２】
佐木ら、“パソコン映像入力を用いたアクション・インタフェースの試み”、第１２回ヒューマン・インタフェース・シンポジウム論文集、pp.21-218, 1996.
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、以下に示す問題があった。
【００１１】
第１の従来例は、操作者（ユーザ）の手の動きを検出する際に装置に接触する必要があることと、装置を利用するための固定し限定された場所が必要であることのため、接触型であることと、任意の場所での動作検出を行うことが困難であることである。
【００１２】
第２、第３の従来例は、非接触型でありカメラ画像に写る範囲の任意の場所での動作を検出できるが、体の部位に常に何らかのマーカーまたはセンサを装着する必要があるため、家庭や職場等の通常生活におけるインタフェース装置としての利便性に欠ける。
【００１３】
第４の従来例は、体に何も装着せずに動きを検出できるが、ユーザの動きが認識されているかどうか、目視で確認できないため、ユーザの利便性に欠ける。
【００１４】
第５の従来例では、自画像を見ながら同じディスプレイに表示されたＣＧに体が触れることでユーザの位置を検出できるが、ユーザの体全体で接触判定を行うので、手指以外の部分（頭、腰、足等）がアイコン（接触すべきCG）に触っても区別なく接触とみなされることから、誤認識する可能性が高いため、認識精度が低い。また、ユーザの背後にアイコン（接触すべきCG）を置くことができないことから、インタフェース用のアイコンを任意の位置に置けないため、アイコン位置およびユーザ動作の自由度に制限がある。
【００１５】
第５、第６の従来例は、自画像を見ながら同じディスプレイに表示されたCGの手指等を触れる（重ねる）ことでユーザの動きを検出できるが、背景に写っている実空間上の物体を指示することはできないため、応用範囲に制限がある。
【００１６】
本発明の目的は、接触型である問題、任意の場所での動作検出を行うことが困難である問題、インタフェース装置としての利便性に欠ける問題を解決したインタフェース方法および装置を提供することにある。
【００１７】
本発明の他の目的は、アイコン位置およびユーザの動作の自由度に制限がなく、かつ応用範囲に制限のないインタフェース方法および装置を提供することにある。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、本発明のインタフェース装置は、
操作者を含む画像（自己画像）を撮影する画像入力手段と、
入力された画像を左右反転した反転画像を生成する手段と、
該反転画像上で、操作者の指定する位置を、画像上の色情報から検出する指示位置検出手段と、
該反転画像上で、操作者の指定するコマンドを選択する手段と、
該指定された位置とコマンドに基づき該反転画像上に情報を表示する手段とを有し、
前記コマンドを選択する手段は、
該反転画像上に表示された実空間が撮影された画像中において、前記情報を表示する手段にて表示しうる情報を付与すべき実物体の位置を検出し、
該実物体の反転画像上の位置を実物体位置データとして保持し、
前記指示位置検出手段が検出した操作者の指定する位置と、前記実物体位置データとして保持されている実物体の位置とを照合することにより、操作者が指定する該反転画像上の実物体を検出するものである。
【００１９】
そのため、ユーザが装置と非接触で指定するコマンドを選択でき、画像上に表示されたＣＧだけでなく実空間を撮影した画像中の実物体を指定することができるので、前記課題を解決できる。
【００２０】
また、本発明の実施様態では、コマンドを選択する手段は、反転画像上に表示された実空間が撮影された画像中において、前記情報を表示する手段にて表示しうる情報を付与すべき実物体の位置を、実空間での位置取得可能なセンサにより検出している。
【００２１】
そのため、ユーザが装置と非接触で指定するコマンドを選択でき、画像上に表示されたＣＧだけでなく実空間を撮影した画像中の実物体を指定することができるので、前記課題を解決できる。
【００２２】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２３】
図１を参照すると、本発明の第１の実施形態のインタフェース装置は、操作者（ユーザ）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、ユーザの動作に基づき、画像上でコマンド選択を実行するもので、画像入力部１１と反転画像生成部１２と指示位置検出部１３と情報表示部１４とコマンド選択部１５で構成される。
【００２４】
画像入力部１１としては、図１のように１台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。ただし下記で述べる色情報を使用した方法を用いる場合はカラーカメラが必要である。
【００２５】
反転画像生成部１２は、画像入力部１１で入力された画像（入力画像）を入力し、左右反転させた画像（反転画像）を生成する（ステップ２１）。コンピュータ内へ取り込んだ入力画像に対し汎用の画像処理ソフトウェア（例：HALCON）により、リアルタイムに反転画像を生成することができる。または、入力画像を入力し反転画像をリアルタイムに生成する機器（例：（株）朋栄の画面左右反転装置UPI―１００LRF、またはカメラ一体型でSONYのEVY―D１００）で実現できる。
【００２６】
指示位置検出部１３は、反転画像生成部１２で得られた該反転画像上において、ユーザが手指等の体の部位で指し示す位置（ユーザ指示位置）を検出する（ステップ２２）。
【００２７】
指示位置検出部１３の１つ目の例として、ユーザがマーカを持ち、反転画像中のマーカーを画像処理により検出する方法がある。例えば、まず、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラ１１の前で手振りして動かす。得られたカラー画像のRGB等の色情報の値から赤色成分を抽出し（ステップ２１）、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を行い（ステップ２２）、その中で最も面積の大きい赤色部分を１つ選び（ステップ２３）、その位置の重心位置（x, y）を求め、得られた（x, y）座標をユーザ指示位置とする（ステップ２４）。ここで、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（LED）を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。（x, y）は重心位置（抽出した部分の全画素値のx座標の合計値の平均値、およびy座標の合計値の平均値）でなく、中心位置（抽出した部分のx座標の最大値と最小値の中心値、およびy座標の最大値と最小値の中心値）でもよい。
【００２８】
指示位置検出部１３の２つ目の例として、ユーザがマーカを持たずに、反転画像中の手の位置を画像処理により直接検出する方法がある。例えば、まず、得られたカラー画像のRGB等色情報の値から肌色成分を抽出し（ステップ３１）、ラベリング処理を行う（ステップ３２）。得られた複数の肌色部分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。その選択する具体的な方法としては、通常ユーザが衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積の大きいのは顔と考えられるので、２つ目と３つ目の面積が大きい肌色部分を手の候補として選択する（ステップ３３）。ユーザ指定位置が両手両方とした場合、その２つの肌色部分の候補に対する重心位置を、各々左右の手のユーザ指定位置とすればよい。また、ユーザ指定位置を１つとすると、２つの候補から１つ選ぶ必要があるが、予め例えば右手を指定する手としたら、体より右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい（ステップ３４）。左手の場合も同様である。
【００２９】
指示位置検出部１３のこれらの例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像を用いた処理とは、例えば、反転画像上で、予め撮影した背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で差分画像を作成する。差分画像とは、例えば、全画素について、画素毎に背景画像の画素値と（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、予め体等の動く物体だけを抽出しておき、その後前述したような画像処理（例えば、体に付けたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置を検出しその座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。
【００３０】
このような指示位置検出部１３により、コマンド選択のために、体全体を対象とせず、マーカや手のみを接触判定部位に用いることができるので、コマンド選択のためのアイコン等を任意の位置におけるその位置およびユーザ動作に関して高い自由度が得られる。
【００３１】
コマンド選択部１４は、指示位置検出部１３で得られたユーザ指示位置と、情報表示部１５で表示される複数のコマンド情報の表示位置を照らし合わせ、両者の位置関係からユーザが指示しようとするコマンド情報を探索し選択する（ステップ２３）。例えば、ユーザ指示位置からある一定の距離範囲に表示されたコマンドがあればそれを選択すればよい。指示位置検出部１３では、体全体で接触判定を行わずユーザの希望する体の部位で接触判定を行うので、情報表示部１５で表示するコマンド情報の表示位置は、ユーザの体の部位で接触判定を行わない部位の後ろに隠れてもかまわないため、コマンド情報の表示位置も、ユーザ自身の位置も画面上で任意の位置に配置することができる。
【００３２】
情報表示部１５は、反転画像生成部１２で得られた反転画像と、コマンド選択部１４で選択されたコマンド情報とを重ね合わせてディスプレイに表示する（ステップ２４）。ディスプレイは、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであればよい。コマンド情報としては、コンピュータで作成したCGで選択可能なコマンドを各々表示すればよい。
【００３３】
ユーザは、自己画像が映った画面を見ながら、同じ画面上にCG表示されているコマンド情報に手指等を重ね合わせるだけでコマンド選択が可能であるため、わかりやすく間違いの少ない指示が可能になる。
【００３４】
図４を参照すると、本発明の第２の実施形態のインタフェース装置は、操作者（ユーザ）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、ユーザの動作に基づき、画像上に含まれる実空間中の実物体を選択するもので、画像入力部１１と反転画像生成部１２と指示位置検出部１３と実物体検出部１６と実物体登録部１９と情報表示部１５で構成される。
【００３５】
本実施形態では第１の実施形態で示したコマンド選択部１４に、実物体の検出ができる仕組みを装備する。具体的には、第１の実施形態のコマンド選択部１４を実物体検出部１６と実物体登録部１９で構成する。実物体登録部１９は実物体登録処理部１７と実物体位置データ１８で構成される。他の画像入力部１１、反転画像生成部１２、指示位置検出部１３、情報表示部１５は、第１の実施形態と同様である。
【００３６】
実物体登録処理部１７は、反転画像上に含まれている任意の実物体（例えば家の中とすると、テレビ、エアコン、コンピュータ、時計、窓、棚、椅子、机、引出し、書類、オーディオ機器、照明機器等）について、予め、該反転画像上での表示位置を各々求め、実物体位置データ１８へ各々登録・保存する（ステップ２５）。もしくは、予め固定の位置を求めておくのではなく、対象とする実物体毎に位置認識可能なセンサ（市販されている磁気センサや超音波センサ等）と取り付けておくことにより、各々の物体の位置をリアルタイムに認識することができるので、それらにより得られた位置情報から該実物体位置データを算出し、常時実物体位置データを更新していくことも可能である。この場合、物体を移動させてもその位置も移動させることができる。
【００３７】
実物体位置データ１８は、物体の中心座標（x, y）１個でもよいが、範囲を示す情報（例えば、矩形枠の始点座標（x1, y1）と終点座標（x2, y2）や、中心座標（x, y）と半径値rや、または物体の存在する全ドットの座標リスト等）を持たせておいてもよい。第１の実施形態の指示位置検出部１３の処理と同様に中心座標は重心座標でもよい。
【００３８】
実物体検出部１９は、実物体位置データ１８に保存されている複数の位置データと、指示位置検出部１３で得られたユーザ指示位置とを照らし合わせ、第１の実施形態のコマンド選択部１４と同様に、両者の位置関係に基づきユーザが指示しようとする実物体を検出し、選択する（ステップ２６）。例えば、ユーザ指示位置からある一定の距離範囲に実物体の位置データがあればそれを選択すればよい。または、実物体位置データとして範囲を持たせておいた場合は、ユーザ指示位置の座標がその範囲に含まれる実物体を検出し選択する。
【００３９】
図６に本実施形態によるインタフェース動作の例を示す。
【００４０】
ユーザが見ている自己画像上に映っている実物体について、予め表示位置を求め、各々実物体位置データ１８へ登録しておく（前述したように位置認識センサ等を用いた場合は自動的に実物体位置を検出し物体位置データ１８へ登録更新させることもできる）。ユーザが指示動作をしていないときは何も反応しないが、ユーザがアクセスしたい実物体に手（やマーカ）等を重ねる動作を行い、実物体検出部１６で実物体を検出したと判定したとき、検出された実物体の位置が明示される。その明示の仕方は、図のように、例えば実物体と同じ形もしくはほぼ同じ大きさのアイコン（必要に応じ色を変えたものや半透明もしくは透明にしたものや点滅させたもの等）を該実物体の上に重ねて表示する方法や、実物体の中心付近や実物体周囲にCGによるマーカ（必要に応じ色を変えたものや半透明もしくは透明にしたものや点滅させたもの等）を表示する方法など容易に考えられる。すなわち、実際は実物体位置上の仮想のアイコン、もしくは表示した（透明や半透明もしくはその他の色の）CGアイコンを触ることとなる。また、検出された実物体の周囲等に、関連する情報（名称や状態等）を表示してもよい。さらに、図のように、検出された実物体の位置の周囲等に、その後続けて選択すべきメニューリストをCG表示し、ユーザはそのメニューリストから同様の選択方法（すなわち手などを選択したいメニューアイコンに重ね合わせて選択する方法）等によりメニューを選択し実行することも可能である。
【００４１】
これにより、ユーザは、画像上に表示されたCGアイコンを指定してコマンド選択できるだけでなく、実空間画像中の実物体を直接選択することも可能となる。第１の実施形態のようにCGコマンド選択と組み合わせれば、例えば、テレビ等を指し示して選択すると、テレビのスイッチやチャンネル等を制御するコマンド選択のためのCGメニューが該実物体（テレビ）の周辺に表示され、ユーザは続けてコマンド選択を行い、テレビ等を制御することが可能である。
【００４２】
また、図６ではユーザが指示動作をしていないときは何も反応していないが、例えば、図７のように、実物体側でユーザに提示すべき情報が獲得していた場合、自己画像上の該実物体上または周囲に該情報を表示したり、もしくはアイコン（色を変えたものや半透明にしたものや点滅させたもの等）を該実物体上に重ねたりして明示し、見ているユーザに知らせるようにすることも考えられる。その後は前述と同様に、ユーザが該実物体を選択すると、必要な情報やメニューリストが表示される。
【００４３】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、CD―ROM等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００４４】
【発明の効果】
請求項１、３、５の発明によれば、ユーザは何も装着せずに、また直接何も触れずに、ユーザが指令するコマンドを選択できるため、非接触で、かつ任意の場所での動作検出を行うことが可能である。また、ユーザが自己画像上において、自分の体の任意の部位（手指等）を直接見ながら、該画像上に表示されたコマンドを選択できるため、ユーザにとって直感的なインタフェース装置を実現でき、利便性が向上する。
【００４５】
請求項２、４、５の発明によれば、画像上に表示されたCGだけでなく実空間を撮影した画像中の実物体を指定することができるため、CGによるコマンド選択だけでなく、実物体の直接選択すること可能であり、応用範囲を拡大することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のインタフェース装置のブロック図である。
【図２】第１の実施形態の全体の処理の流れを示すフローチャートである。
【図３】指定位置検出部１３の処理の流れを示すフローチャートである。
【図４】本発明の第２の実施形態のインタフェース装置のブロック図である。
【図５】第２の実施形態の処理の流れを示すフローチャートである。
【図６】第２の実施形態におけるインタフェース動作の例を説明する図である。
【図７】第２の実施形態における実物体の情報表示の例を説明する図である。
【符号の説明】
１１ 画像入力部
１２ 反転画像生成部
１３ 指示位置検出部
１４ コマンド選択部
１５ 情報表示部
１６ 実物体検出部
１７ 実物体登録処理部
１８ 実物体位置データ
１９ 実物体登録部
２１〜２６、３１〜３４ ステップ

Claims (5)

1. カメラからの画像を入力し、操作者の動作を認識するインタフェース方法であって、
   操作者を含む画像を撮影する画像入力ステップと、
   入力された画像を左右反転した反転画像を生成するステップと、
   該反転画像上で、操作者の指定する位置を、画像上の色情報から検出する指示位置検出ステップと、
   該反転画像上で、操作者の指定するコマンドを選択するステップと、
   該指定された位置とコマンドに基づき該反転画像上に情報を表示するステップと
   を有し、
   前記コマンドを選択するステップは、
   該反転画像上に表示された実空間が撮影された画像中において、前記情報を表示するステップにて表示しうる情報を付与すべき実物体の位置を検出し、
   該実物体の反転画像上の位置を実物体位置データとして保持し、
   前記指示位置検出ステップが検出した操作者の指定する位置と、前記実物体位置データとして保持されている実物体の位置とを照合することにより、操作者が指定する該反転画像上の実物体を検出する
   ことを特徴とするインタフェース方法。
2. 前記コマンドを選択するステップは、
   該反転画像上に表示された実空間が撮影された画像中において、前記情報を表示するステップにて表示しうる情報を付与すべき実物体の位置を、実空間での位置取得可能なセンサにより検出し、
   該実物体の反転画像上の位置を実物体位置データとして保持し、
   前記指示位置検出ステップが検出した操作者の指定する位置と、前記実物体位置データとして保持されている実物体の位置とを照合することにより、操作者が指定する該反転画像上の実物体を検出する
   ことを特徴とする請求項１記載のインタフェース方法。
3. カメラからの画像を入力し、操作者の動作を認識するインタフェース装置であって、
   操作者を含む画像を撮影する画像入力手段と、
   入力された画像を左右反転した反転画像を生成する手段と、
   該反転画像上で、操作者の指定する位置を、画像上の色情報から検出する指示位置検出手段と、
   該反転画像上で、操作者の指定するコマンドを選択する手段と、
   該指定された位置とコマンドに基づき該反転画像上に情報を表示する手段と
   を有し、
   前記コマンドを選択する手段は、
   該反転画像上に表示された実空間が撮影された画像中において、前記情報を表示する手段にて表示しうる情報を付与すべき実物体の位置を検出し、
   該実物体の反転画像上の位置を実物体位置データとして保持し、
   前記指示位置検出手段が検出した操作者の指定する位置と、前記実物体位置データとして保持されている実物体の位置とを照合することにより、操作者が指定する該反転画像上の実物体を検出する
   ことを特徴とするインタフェース装置。
4. 前記コマンドを選択する手段は、
   該反転画像上に表示された実空間が撮影された画像中において、前記情報を表示する手段にて表示しうる情報を付与すべき実物体の位置を、実空間での位置取得可能なセンサにより検出し、
   該実物体の反転画像上の位置を実物体位置データとして保持し、
   前記指示位置検出手段が検出した操作者の指定する位置と、前記実物体位置データとして保持されている実物体の位置とを照合することにより、操作者が指定する該反転画像上の実物体を検出する
   ことを特徴とする請求項３記載のインタフェース方法。
5. 請求項１または２に記載のインタフェース方法をコンピュータに実行させるためのインタフェースプログラム。

Images