JP4275304B2 - インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 - Google Patents
インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4275304B2 JP4275304B2 JP2000342575A JP2000342575A JP4275304B2 JP 4275304 B2 JP4275304 B2 JP 4275304B2 JP 2000342575 A JP2000342575 A JP 2000342575A JP 2000342575 A JP2000342575 A JP 2000342575A JP 4275304 B2 JP4275304 B2 JP 4275304B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- movement direction
- face
- frame image
- face area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は、パーソナルコンピュータ等の情報処理機器における情報処理実行のためのコマンドの入力を行うインターフェース装置およびインターフェース処理プログラムを記録した記録媒体に関するものである。
【0002】
【従来の技術】
パーソナルコンピュータ等の情報処理機器を操作するインターフェースとしては、キーボードやマウス等の装置が一般的である。
【0003】
したがって、パーソナルコンピュータで Microsoft(登録商標)社のPower Point (登録商標)等のプレゼンテーション用のアプリケーションを利用してプレゼンテーションを行う場合、ページを進める、戻すといった操作は、マウスボタンのクリック、もしくはカーソルキーによって方向を指示することにより行われている。
【0004】
ところで、一般的な会議でのプレゼンテーションの場面においては、発表者はパーソナルコンピュータから離れた位置に立つことが多いため、ページ送りの操作の都度、キーボードやマウスが操作できる位置に近づく必要があり、操作が煩わしいという問題が生じる。
【0005】
そこで、キーボードやマウス等の装置を利用せずに、パーソナルコンピュータを離れた位置から操作する方法として、赤外線リモコンを使用する方法が提案されている。
【0006】
この赤外線リモコンを使用する方法では、プレゼンテーションの間、常にリモコンを手にしている必要があり、この場合においても操作者に煩わしさを与えるという問題が生じる。
【0007】
このような各問題点を解消するために、カメラ等の撮像装置によって撮像された操作者の手の動作を認識処理し、ディスプレイ上のマウスポインタの制御を行う技術が特開平8−44490号公報に開示されている。この公報に開示された技術によれば、操作者の手の動きは、ディスプレイ上に表示されるマウスポインタの形状の変化や動きによって表現される。
【0008】
上記公報によれば、キーボード、マウス、赤外線リモコン等の機器を使用せずに、パーソナルコンピュータを離れた位置から操作するインターフェース装置を実現することができる。
【0009】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された技術では、操作者の手の動きは、ディスプレイ上に表示されるマウスポインタの形状の変化や動きによって表現され、該ディスプレイ上のマウスポインタの制御を行うようになっているので、操作者はディスプレイが見える位置でマウスポインタを見ながら操作を行う必要がある。
【0010】
したがって、操作者がディスプレイが見えない位置にいる場合には、視覚的に操作の手順やシステムの状態を確認することができない。このため、例えばプレゼンテーションのスライド画面をディスプレイ全体に表示する場合や、ディスプレイが見えない位置にいる場合、あるいはディスプレイがない情報処理機器を操作する場合等のディスプレイ上に手の動きに連動したマウスポインタを表示できないような場合には、操作者は、パーソナルコンピュータ等の情報処理機器を操作することができない。
【0011】
さらに、上記公報に開示された技術では、操作者の位置を確認する方法が考慮されていないので、操作者が適当な位置、例えば操作可能な適正な位置から外れた位置にいる場合であって、ディスプレイが見える位置にいる場合に、何故情報処理機器の操作を行うことができないのかを容易に理解することができず、このため、操作者は情報処理機器が操作できるまで試行錯誤しなければならず、この結果、装置の操作性が低下するという問題が生じる。
【0012】
本発明は、上記の各問題点を解決するためになされたもので、その目的は、キーボード、マウス、赤外線リモコン等の機器を利用せずに、パーソナルコンピュータ等の情報処理機器を離れた位置から操作することを前提とし、ディスプレイ上に手の動きに連動したマウスポインタを表示できないような場合であってもパーソナルコンピュータ等の情報処理機器を操作可能とし、操作者が適当な位置で操作を開始して情報処理機器の操作が不能と判断されたときであっても、操作者にそのことを知らせ、次に操作者は何をすればいいのかを迅速に認知できるような操作性のよいインターフェース装置およびインターフェース処理プログラムを記録した記録媒体を提供することにある。
【0013】
【課題を解決するための手段】
本発明のインターフェース装置は、上記の課題を解決するために、情報処理システムにおける情報処理実行のためのコマンドの入力を行うインターフェース装置において、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出手段と、フレーム画像内に一つの対象物を上記対象物検出手段により検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出手段により新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識手段と、上記対象物検出手段により検出され、上記動き方向認識手段により追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知手段と、上記動き方向認識手段により認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力手段とを備えることを特徴としている。
【0014】
上記の構成によれば、撮像装置により撮像された動画像から検出された対象物の動き方向に応じたコマンドに基づいて情報処理システムにおける情報処理を実行することで、従来のように、キーボード、マウス、赤外線リモコン等の機器を使用せずに、検出された対象物の動きにより情報処理のコマンドを実行することができる。
【0015】
このように、検出された対象物の動きにより情報処理のコマンドを実行することにより、ディスプレイ上に表示された対象物の動きに連動したマウスポインタやカーソルを操作者は見なくても、パーソナルコンピュータ等の情報処理機器を操作することができる。
【0016】
しかも、位置情報出力手段によって、対象物の位置を検出すると共に、この検出結果を対象物の位置情報として、情報処理システムを操作する操作者に通知することにより、操作者は、通知された位置情報から、情報処理システムにおける情報処理のコマンドが実行可能な位置、すなわち適正な位置に対象物がいるか否かを迅速に判断することができる。
【0017】
これにより、操作者は、対象物が適正な位置にいるか否かにより次にしなければならないことを的確に把握することができるので、このようなインターフェース装置を介してパーソナルコンピュータ等の情報処理機器を操作する場合の操作性の向上を図ることができる。
【0018】
また、上記位置情報通知手段は、対象物が適正な位置にいないことが検出された場合に対象物の適正な位置への移動を促すためのガイダンス手段を備えていてもよい。
【0019】
この場合、対象物が適正な位置にいない場合に、ガイダンス手段により対象物を適正な位置に移動させるように促され、操作者はその指示に従って対象物を移動させればよいので、対象物を簡単に適正な位置に移動させることができる。
【0020】
また、上記ガイダンス手段は、対象物が適正な位置にあることを、ビープ音等の確認音を発声して操作者に通知するようにしてもよい。
【0021】
これにより、操作者は、ビープ音等の確認音を聞くだけで対象物が適正な位置にあることを認識することができる。
【0022】
さらに、上記ガイダンス手段は、対象物が適正な位置にあることを、ボタンの色の変化等の視覚的な変化によって操作者に通知するようにしてもよい。
【0023】
これにより、操作者は、視覚的に変化するボタンを見るだけで対象物が適正な位置にあることを認識することができる。
【0024】
また、上記ガイダンス手段は、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示するようにしてもよい。
【0025】
この場合、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示することで、操作者に対して、対象物の適正な位置への移動を促すことができる。したがって、操作者は、表示された各マークを見るだけで、対象物が適正な位置にいるか否かを簡単に認識することができる。
【0026】
さらに、上記ガイダンス手段は、対象物をどの方向に移動させればよいかを、音声メッセージによって指示するようにしてもよい。
【0027】
この場合、対象物をどの方向に移動させればよいかを、音声メッセージによって指示することで、操作者に対して、対象物の適正な位置への移動を促すことができる。したがって、操作者は、音声メッセージを聞くだけで、対象物をどの方向に移動させれば良いかを認識できるので、対象物を適正な位置に迅速に移動させることができる。
【0028】
また、上記動き方向認識手段は、検出された対象物の動き方向の認識結果を、操作者に通知する通知手段を備えるようにしてもよい。
【0029】
この場合、操作者は、通知手段によって通知された対象物の動き方向の認識結果から、該対象物の動き方向の認識の適否を簡単に知ることができる。
【0030】
また、上記通知手段は、対象物の動き方向の認識の成否を、動き方向の表示によって、操作者に通知するようにしてもよい。
【0031】
この場合、操作者は、通知手段により、対象物の動き方向の認識の成否を、動き方向の表示によって通知されていることで、視覚的に対象物の動き方向の認識の成否を確認することができる。
【0032】
また、上記通知手段は、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって、操作者に通知するようにしてもよい。
【0033】
この場合、操作者は、通知手段により、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって知らされるので、確認音を聞くだけで、対象物の動き方向の認識の成否を確認することができる。
【0034】
以上のようなインターフェース装置において、上記撮像装置により撮像される動画像には、人間の頭部を含む、少なくとも胸部より上の身体が含まれ、上記対象物検出手段により検出される対象物は人間の手であってもよい。
【0035】
この場合、情報処理システムのコマンドに対応する対象物の動き方向が、人間の手の動き方向となるので、人間(操作者)は手を動かすだけで、該コマンドを実行することが可能となる。
【0036】
また、上記対象物検出手段は、動画像中の肌色領域を検出することで、人間の手を検出するようにしてもよい。
【0037】
さらに、上記対象物検出手段は、動画像から得られる特定のフレーム画像において、一つの対象物が所定の位置に存在することを検出し、後続の特定のフレーム画像において、検出した上記一つの対象物の領域を、操作者の顔領域として認識し、上記顔領域の追跡処理している状態で、該後続の特定のフレーム画像において上記顔の領域とは異なる対象物の領域の存否によって、該特定のフレーム画像に手領域が存在しているか否かを認識するようにしてもよい。
【0038】
また、インターフェース装置における処理としては、以下の処理を含み、この処理を含むプログラムはコンピュータで実行可能となっている。
【0039】
すなわち、インターフェース処理プログラムを記録している記録媒体は、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出処理と、フレーム画像内に一つの対象物を上記対象物検出処理で検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出処理で新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識処理と、上記対象物検出処理で検出され、上記動き方向認識処理で追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知処理と、上記動き方向認識処理で認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力処理とを記録している。
【0040】
これにより、コンピュータにより簡単に、上述したような各種のインターフェース処理を実行することが可能となる。
【0041】
【発明の実施の形態】
本発明の実施の一形態について説明すれば、以下の通りである。なお、本実施の形態では、本願発明のインターフェース装置をプレゼンテーションを実行するためのプレゼンテーションシステムに適用した場合について説明する。
【0042】
上記プレゼンテーションシステムは、図2に示すように、情報処理機器としてのパーソナルコンピュータ1と、このパーソナルコンピュータ1に接続されたカメラ(撮像装置)2およびプロジェクタ11と、プロジェクタ11で投影される映像を映し出すためのスクリーン12とで構成されている。
【0043】
上記プレゼンテーションシステムでは、操作者13が、パーソナルコンピュータ1から離れた位置に立ち、プロジェクタ11によってスクリーン12上に投影された映像、例えばスライドのページを進めたいときは手の平を右に動かし、戻したいときは左に動かすようにする。
【0044】
すなわち、上記プレゼンテーションシステムでは、カメラ2で捉えられた操作者13の手の動きが、パーソナルコンピュータ1内で認識され、手が右に動いたと認識された場合は、ページを進めるためのコマンドが発行され、手が左に動いたと認識された場合は、ページを戻すためのコマンドが発行される。各コマンドがプレゼンテーションを実行するアプリケーションに入力されることによって、ページが切替えられ、プロジェクタ11を通してスクリーン12に投影される。
【0045】
以上のことから、上記プレゼンテーションシステムにおけるインターフェース装置は、上記パーソナルコンピュータ1と該パーソナルコンピュータ1に接続されたカメラ2とで構成されていることになる。
【0046】
上記インターフェース装置の詳細な構成について、以下に説明する。
【0047】
上記インターフェース装置は、例えば図1に示すように、パーソナルコンピュータ1とカメラ2とからなり、上記パーソナルコンピュータ1内の情報処理システムにおける情報処理実行のためのコマンドの入力を行うための装置である。
【0048】
上記カメラ2は、撮像した動画像をフレーム単位でフレーム画像としてパーソナルコンピュータ1に出力するようになっている。
【0049】
上記パーソナルコンピュータ1は、フレームメモリ3、対象検出部(対象物検出手段)4、動き方向認識部(動き方向認識手段)5、コマンド出力部(コマンド出力手段)6、位置情報出力部(位置情報通知手段)7で構成されており、さらに、プレゼンテーション等の各種アプリケーションを実行するための情報処理システムを含んでいる。
【0050】
上記フレームメモリ3には、撮像装置としてのカメラ2、例えばCCD(Charge Coupled Device)カメラ等により撮影されたフレーム画像が順次転送され、該フレーム画像を記憶する。このとき、図1に示すようなプレゼンテーションシステムの場合には、操作者13の上半身が撮影され、フレーム画像として順次記憶されるようになっている。なお、以降の処理量を軽減するためにフレーム画像を縮小して記憶するようにしてもよい。
【0051】
上記対象検出部4では、本インターフェース装置の対象物である、操作者の手の動きを認識するために、フレームメモリ3から出力されるフレーム画像(特定のフレーム画像)から肌色の領域を検出することによって、操作者の手及び顔の領域を検出するようになっている。なお、対象検出部4において、肌色領域の検出や、手の動きの認識に関しては、例えば論文『肌色領域より隠れて見える場合を考慮した手話動画像からの手の実時間追跡』(今川和幸他3名:電子情報通信学会論文誌 D-II Vol.J81-D-II No.8 pp.1787-1795 1998年 8月)に記載された手法を用いて実現できるので、その詳細は省略する。
【0052】
つまり、上記対象検出部4では、動画像中の特定のフレーム画像において、人間の顔が所定の位置に存在することを検出し、この検出結果に基づいて該特定のフレーム画像に手が存在しているか否かを検出するようになっている。
【0053】
上記動き方向認識部5は、操作者の手及び顔の動きを検出し、それぞれの動き方向を識別するようになっている。ここで、手の移動量が上下左右いずれかの方向に、所定の閾値を越える値が検出された場合、その方向に手が動いたと認識する。また、所定の時間内に、所定の値を越える移動量が検出されなかった場合や、手あるいは、顔が撮像範囲から外れた場合は、認識に失敗したと判断する。このとき、対象物の認識に成功した場合と失敗した場合とで異なる音の確認音を発声するようにしてもよい。この場合、動き方向認識部5からパーソナルコンピュータ1に装備されているスピーカ等の通知手段により確認音を発声するようにすればよい。そして、操作者は、確認音の違いにより動き方向認識部5での認識の成否が容易に確認できる。なお、動き方向認識部5における処理の詳細については、後述する。
【0054】
上記コマンド出力部6では、上記動き方向認識部5で認識された方向に対応したコマンドを、パーソナルコンピュータ1内の情報処理システムに発行する。例えば、上記情報処理システムによって プレゼンテーション用のアプリケーションの一つである Microsoft(登録商標)社のPowerPoint(登録商標)の制御を行う場合は、左右のカーソルキーに対応するコマンドを出力する。同時に、コマンドが出力されたことを操作者に通知するための、確認音を発声する。また、認識に失敗した場合も、そのことを操作者に通知するために、異なる確認音を発声する。この場合の発声手段も、パーソナルコンピュータ1に装備されているスピーカを使用すればよい。
【0055】
また、上記位置情報出力部7は、対象検出部4からの情報に基づいて、対象物である操作者13の位置あるいは操作者13の顔の位置等の位置情報を上記パーソナルコンピュータ1内の情報処理システムを操作している操作者に対して出力するようになっている。つまり、位置情報出力部7は、操作者13に対して、対象物等の位置情報を通知するようになっている。なお、位置情報出力部7の詳細については後述する。
【0056】
ここで、図1に示すインターフェース装置における処理の流れについて、図3に示すフローチャートを参照しながら以下に説明する。
【0057】
まず、カメラ2により撮影された操作者13のフレーム画像がフレームメモリ3に入力され、記憶され、このフレームメモリ3に記憶されたフレーム画像が対象検出部4に入力される(ステップS1)。
【0058】
次に、対象検出部4において、入力されたフレーム画像から顔領域の検出が行われ(ステップS2)、この検出結果が位置情報出力部7に出力される(ステップS3)。
【0059】
続いて、位置情報出力部7は、入力された検出結果に基づいて、顔が所定の位置にあるか否かを判定する(ステップS4)。ここで、顔が所定の位置にないと判定されれば、ステップS5において、操作者13に対して所定の位置に移動するように移動方向指示の音声出力を行い、ステップS1に移行する。
【0060】
一方、ステップS4において、顔が所定の位置にあると判定されれば、位置情報出力部7は確認音を出力する(ステップS6)。この確認音により、操作者13は、自分の顔が所定の位置にあることを確認することができる。
【0061】
次いで、対象検出部4は、入力されたフレームから手領域の検出を行い(ステップS7)、この検出結果を位置情報出力部7に出力する。
【0062】
続いて、位置情報出力部7は、入力された検出結果に基づいて、手が所定の位置にあるか否かを判定する(ステップS8)。ここで、手が所定の位置になければ、ステップS1に移行する。
【0063】
一方、ステップS8において、手が所定の位置にあると判定されれば、確認を出力する(ステップS9)。この確認音により、操作者13は、自分の手が所定の位置にあることを確認することができる。
【0064】
次に、動き方向認識部5は、対象検出部4による検出結果に基づいて手の動き方向を検出し(ステップS10)、手の動き方向の検出に成功しているか否かを判定する(ステップS11)。
【0065】
ステップS11において、手の動き方向の検出に成功していないと判定されれば、確認音を出力し(ステップS12)、ステップS1に移行する。この確認音により、操作者13は、手の動き方向の検出に失敗したことを確認することができる。
【0066】
一方、ステップS11において、手の動き方向の検出に成功していると判定されれば、ステップS12の確認音とは異なる確認音を出力する(ステップS13)。この確認音により、操作者13は、手の動き方向の検出に成功したことを確認することができる。
【0067】
そして、動き方向認識部5による手の動き方向の検出結果は、コマンド出力部6に出力される。このコマンド出力部6は、手の動き方向に対応したコマンドをパーソナルコンピュータ1内の情報処理システムに出力する(ステップS14)。
【0068】
コマンド出力部6は、上記パーソナルコンピュータ1内の情報処理システムによって、例えばMicrosoft 社のPowerPoint(登録商標)の制御を行う場合には、左右のカーソルキーに対応するコマンドを出力する。
【0069】
そして、操作者13による終了命令が発せられたか否かが判断さるまで、ステップS1〜ステップS14までの処理が続行される(ステップS15)。
【0070】
上述したインターフェース装置では、操作者13の手の動きによってアプリケーションの制御を行うコマンドを出力するようになっている。つまり、認識対象が手の動きのみであるにもかかわらず、上記インターフェース装置では、顔領域も検出対象としている。この理由について説明すると以下のようになる。
【0071】
操作者13が、図2に示すように、カメラ2の正面に立って、手を体の前方に出して、上下左右に動かす動作を行った場合、必然的に顔がフレーム画像内に入る。通常、フレーム画像から色情報のみを用いて、肌色領域の検出を行った場合、検出された領域が顔であるか手であるかを判断することは困難である。フレーム画像内の全ての、肌色領域の動き方向の認識を行うと、例えば、手を動かしていなくても、操作者が顔を左右に動かした場合にも、手の動きと誤認識される可能性がある。
【0072】
そこで、本発明では、操作者13は、一旦フレーム画像内に顔のみが映っていて、手が映っていない姿勢をとることを前提とし、この状態で、動き方向認識部5は、対象検出部4により検出された肌色領域を顔領域とし、以降入力されるフレーム画像において顔領域の追跡処理を行うようになっている。
【0073】
このように、顔領域の追跡が行われている状態で、フレーム画像内に手が出現すると、新たに出現した肌色領域を手領域として追跡処理を行うことによって、顔と手の区別を可能としている。
【0074】
つまり、対象検出部4は、動画像中の特定のフレーム画像において、人間である操作者13の顔が所定の位置に存在することを検出し、この検出結果に基づいて該特定のフレーム画像に手が存在しているか否かを検出するようになっている。
【0075】
ここで、上記動き方向認識部5における認識動作について、図4および図5(a)〜(c)を参照しながら、以下に説明する。
【0076】
まず、肌色領域の検出について説明する。
【0077】
フレームメモリ3に記憶されている画像(フレーム画像)は、画素数が320×240画素であり、各画素値はR、G、Bの3色の成分値から構成されているものとする。上記フレーム画像としては、例えば図4に示すように、1ブロックの画素数が16×16画素として、入力フレーム画像を20×15ブロックに分割することが考えられる。
【0078】
この場合、1ブロック内の全ての画素値のR.G、Bの各成分について平均値を求め、その平均値をブロックの画素値の代表値とし、全ブロックにつき画素値の代表値を求める。対象が顔や手である場合には、肌色の画素の割合が大部分であるため、画素値の代表値は肌色を示す値に近くなる。
【0079】
ブロックの代表値をR、G、Bのそれぞれについて、r、g、bとすると、肌色である条件は、次式で定義することができる。
【0080】
rmin ≦ r ≦rmax ・・・・・・・・・・(1)
gmin ≦ g ≦gmax ・・・・・・・・・・(2)
bmin ≦ b ≦bmax ・・・・・・・・・・(3)
ここで、rmin 、gmin 、bmin は、(r、g、b)のそれぞれの値に対する最小値であり、rmax 、gmax 、bmax は、(r、g、b)のそれぞれの値に対する最大値である。これらの値は、肌色が検出され易いように予め決められているものとする。
【0081】
続いて、肌色であると判定されたブロックが隣接している場合に、統合することによってブロックの集合領域を検出する。検出された集合領域が所定の形状をもつ場合には、その領域を認識対象領域と判断する。例えば、認識対象が顔の場合には、領域の形状が楕円形に近いことが条件となる。
【0082】
次に、手の動き方向の認識について図5(a)〜(c)を用いて説明する。図5(a)〜(c)において、上段の図は入力フレーム画像を示し、下段の図は、上段の図のそれぞれのフレーム画像に対応して検出された肌色領域を示している。図5(a)は、初期状態T=t0での状態を示し、図5(b)は、図5(a)の状態よりも少し時間が経過したT=t1での状態を示し、図5(c)は、図5(b)の状態よりも少し時間が経過したT=t2での状態を示している。
【0083】
ある時刻T=t0に検出された肌色領域が、図5(a)に示すように、領域A0のみであった場合、この領域A0を操作者13の顔13aであると判断する。
【0084】
次に、時刻T=t1に検出された肌色領域が、図5(b)に示すように、領域A1とB1の2つであった場合、一方の領域を操作者13の顔13aであると判断し、他方の領域を操作者13の手13bであると判断する。このとき、顔領域の判断基準を前時刻の顔領域との重心間の距離が近い方とすると、領域A1が顔13a、領域B1が手13bと判断される。
【0085】
続いて、時刻T=t2に検出された肌色領域が、図5(c)に示すように、領域A2とB2の2つであった場合、時刻T=t1の顔13aの重心間の距離が近い方を、顔領域と判断する。この場合、領域A1と領域A2との重心間の距離が0なので、領域A2が顔領域であると判断される。したがって、もう一方の領域B2は、自動的に領域B1と対応付けられて手領域であると判断される。
【0086】
このとき、動き方向認識部5によって、手13bは、図5(c)に示すように、矢印方向に移動、すなわち右方向に移動していると認識される。なお、図5(a)〜(c)で示すフレーム画像は、カメラ2により入力されたフレーム画像を左右反転して処理されているものとする。
【0087】
以上のようにして認識された操作者13の手13bの移動方向に関する情報が、コマンド出力部6に転送される。このコマンド出力部6では、操作者13の手13bの移動方向に対応したコマンドをパーソナルコンピュータ1内の情報処理システムに発行する。
【0088】
続いて、上述した位置情報出力部7について、以下に説明する。
【0089】
上記位置情報出力部7は、パーソナルコンピュータ1内の情報処理システムを操作する操作者13に対して対象物の位置情報を通知するための手段であり、位置情報表示システム、音声ガイダンスシステム、操作ガイダンスシステムの少なくとも一つのシステム(ガイダンス手段)を含む構成となっている。
【0090】
上記の各システムの説明を始める前に、上記パーソナルコンピュータ1内の対象検出部4における対象物の検出動作について説明する。
【0091】
上記対象検出部4が、操作者13の顔13aと手(対象物)13bとを検出するためには、入力フレーム画像中に顔13aと手13bが映っている必要がある。本発明では、上述のように一旦顔13aのみの検出を行うようにしているが、この場合でも、例えば図6(a)に示す場合のように、フレーム20内の右端に操作者13の体全体がよっていると、右手で操作を行おうとして、手13bをあげても、フレーム20内に右手が入らないため、対象検出部4は手の検出が行えない。ここで、フレーム20は、カメラ2により撮影されたフレーム画像のうち、対象検出部4が認識できる画像の範囲を規定する枠である。
【0092】
このような事態を避けるためには、図6(b)に示すように、予めフレーム20内に破線枠21を設け、この破線枠21内に顔13aが収まるように操作者13を移動させるようにすればよい。この場合、上記破線枠21は、フレーム20内に操作者13が収まり、手13bを挙げたときに該手13bをフレーム20内に手がくるように設定されている。
【0093】
また、例えば操作者13がカメラ2に近い位置にいて、顔13aがフレーム画像の大部分を占める場合や、逆に操作者13がカメラ2から遠い位置にいて、顔13aが小さ過ぎる場合も、フレーム20内で操作者13の手13bが適切に表示されないので、手13bの検出には不都合となっている。
【0094】
したがって、フレーム画像内での、顔13aの大きさに関しても、適正な範囲にある必要がある。なお、図6(a)(b)は、カメラ2より入力されたフレーム画像を左右反転して図示しているものとする。
【0095】
フレーム画像内の適当な位置に、適当な大きさで顔が映っているかどうかは、フレーム画像をディスプレイに表示することによって容易に確認することができる。しかしながら、本発明は、プレゼンテーションのスライド画面の操作を重要な目標としているため、ディスプレイの全体もしくは、大部分にスライド画面が表示され、フレーム画像を表示するスペースを確保することは難しい。フレーム画像を画面の隅に小さく表示することも考えられるが、操作者がシステムから離れた位置に立つことを想定しているため、視認することは困難である。
【0096】
そこで、省スペースで容易に顔の位置を確認する手段として、位置情報出力部7では、図7(a)(b)に示すような位置情報表示システムを実現するようになっている。
【0097】
図7(a)に示す位置情報表示システムでは、プレゼンテーションシステム・ウインドウ12aがプレゼンテーションにおけるディスプレイ画面となるスクリーン12の大部分を占めるように大きく表示され、位置情報表示システム用のウインドウ12bは上記のプレゼンテーションシステム・ウインドウ12aに重ならない位置に小さく表示されるようになっている。
【0098】
図7(b)に示す位置情報表示システムでは、プレゼンテーションシステム・ウインドウ12aがスクリーン12全体に表示され、位置情報表示システム用のウインドウ12bはプレゼンテーションの内容をできる限り遮らないように、右下隅に小さく表示されるようになっている。
【0099】
ここで、位置情報表示システムの働きについて、図8(a)〜(f)を参照しながら以下に説明する。
【0100】
カメラ2によって撮影されたフレーム画像に、図8(a)に示すように、操作者13の上半身の大部分が映し出されている場合、すなわち、操作者13がカメラ2から離れた位置にいる場合、対象検出部4による検出結果は、図8(b)に示すように、肌色領域を示す領域、すなわち顔13aに相当する領域が適正な顔の位置を示す破線枠21から外れた位置に存在したものとなる。
【0101】
この場合、図7(a)(b)に示すスクリーン12の位置表示用のウインドウ12bには、図8(c)のように、検出された顔の位置とサイズが図中の黒い円(顔位置・サイズ表示円)22で表現され、適正な可能位置が円形の枠、すなわち顔位置指定枠23で表現される。
【0102】
なお、図8(b)で示す顔13aの位置を示す座標と、図8(c)で示す顔位置・サイズ表示円22の位置を示す座標とは必ずしも1対1に対応している必要はなく、図8(b)で示す適正な顔の位置を中心とした部分矩形領域(破線枠21)を切り出し、図8(c)では、顔位置指定枠23が図の中心配置されるように、適当に座標変換されていてもよい。つまり、顔位置が適正な位置からどの方向にどの程度ずれているかが、操作者13に認識できればよい。
【0103】
操作者13は、スクリーン12上に映し出された位置表示用のウインドウ12bに、図8(c)で示すような状態の顔位置・サイズ表示円22と顔位置指定枠23とが表示されているのを見て、自分の顔が適正な位置より、左上にずれていて、且つ面積が小さいことが分かる。このことから、操作者13は、自分がカメラ2から遠く離れ過ぎていることを認識する。
【0104】
したがって、操作者13は、スクリーン12の位置表示用のウインドウ12bで示された顔位置・サイズ表示円22が顔位置指定枠23に近づくように、カメラ2に近づき、右下方向に顔をずらすような動作を行う。
【0105】
そして、カメラ2によって撮影されたフレーム画像が、図8(d)に示すように、操作者13の顔が適正な位置にくるようになっている場合、すなわち、操作者13が適正な位置にいる場合、対象検出部4による検出結果は、図8(e)に示すように、肌色領域を示す領域、すなわち顔13aに相当する領域が適正な顔の位置を示す破線枠21の内側に存在することを示す。
【0106】
この場合、図7(a)(b)に示すスクリーン12の位置表示用のウインドウ12bには、図8(f)のように、検出された顔の位置とサイズが図中の顔位置・サイズ表示円22が顔位置指定枠23に重なった状態、すなわち、顔位置・サイズ表示円22の位置とサイズが顔位置指定枠23の位置とサイズに合致した状態が表示される。
【0107】
このように、操作者13は、スクリーン12に映し出された位置表示表のウインドウ12bを見て、自分が適正な位置にいるか否かの判断を行うことができる。これにより、もし、自分が適正な位置にいないと判断した場合には、ウインドウ12b内の顔位置・サイズ表示円22を顔位置指定枠23の位置とサイズに合致させるようにカメラ2に向かって移動すればよい。
【0108】
なお、上記の説明では、説明を簡略化するために、操作者13が適正な位置にいないことを示す図8(a)の状態と、操作者13が適正な位置にいることを示す図8(d)の状態との位置状態の説明を行っているが、図8(a)と図8(d)との間、すなわち操作者13が移動している途中の段階での処理については省略している。
【0109】
しかしながら、カメラ2からの撮影画像は常にフレーム画像としてフレームメモリ3に入力され、対象検出部4によって対象物の検出処理が行われている。したがって、入力されるフレーム画像毎に、操作者13の顔13aの位置やサイズを示す顔位置・サイズ表示円22の位置と大きさも図8(c)に示す状態から図8(f)に示す状態へと段階的に変化していくものとする。なお、フレーム画像中に顔が入っていない場合には、操作者13の顔13aの位置やサイズを示す顔位置・サイズ表示円22は表示されないものとする。
【0110】
以上の処理の流れは、図3のステップS1〜ステップS4に示されている。図8(a)(d)は図3のステップS1に対応し、図8(b)(e)は図3のステップS2に対応し、図8(c)(f)は図3のステップS3に対応している。
【0111】
操作者13の顔13aと、顔位置・サイズ表示円22とが一致しているか否かは、以下のようにして判定される。
【0112】
検出領域の画素値を1、それ以外の領域を0とする2値画像Xを作成し、Xの座標iにおける画素値をxiとし、顔位置・サイズ表示円22の内部の画素値を1とし、他の領域を0とし、図4と同様にブロック分割された2値画像Yを作成し、Yの座標iにおける画素値をyiとし、XとYの各画素における画素値の差の絶対値の総和Sが所定の閾値αより小さい場合に、以下の式(4)を満たしたとき、顔13aの領域と顔位置・サイズ表示円22とが一致したものとする。
【0113】
S=Σ|xi−yi|<α ・・・・・・・・・・・・・・・(4)
このように、顔13aを単純な円、すなわち顔位置・サイズ表示円22で位置およびサイズを表示し、これと顔位置指定枠23の位置とサイズを比較して、自分が適正にいるか否かを判断するようになっているので、フレーム画像内の操作者13をそのまま見て適正な位置にいるか否かを判断する場合に比べて、操作者13は格段に容易に適正な位置を確認することが可能となる。
【0114】
以上の位置情報出力部7の働きによって、スクリーン12において、省スペースで顔の位置を確認することができるが、スライド画面をスクリーン12全体に表示した場合は、位置情報表示用のウインドウ12bが邪魔になる場合もある。このような状況を考慮して、位置情報出力部7は音声によって、顔の位置をガイドする音声ガイダンスシステムを備えている。
【0115】
上記位置情報出力部7に備えられた音声ガイダンスシステムについて以下に説明する。なお、音声ガイダンスシステムの音声は、パーソナルコンピュータ1に装備されているスピーカから発声されるものとする。
【0116】
上記音声ガイダンスシステムでは、図8(a)に示すように、操作者13がカメラ2から離れた位置で、適正な位置にいない場合に、該操作者13をカメラ2に近づけて適正な位置に移動させるために、
『もう少し、近づいて下さい』
というメッセージが発声される。このメッセージは操作者13が適正な位置にくるまで繰り返し発声される。
【0117】
また、逆に操作者13がカメラ2に対して近過ぎる場合には、該操作者13をカメラ2から遠ざけて適正な位置に移動させるために、
『もう少し、離れて下さい』
というメッセージが発声される。
【0118】
上記の処理は、前述の位置情報表示システムで用いた、顔位置・サイズ表示円22を表わす2値画像と、検出領域とを比較することによって実現できる。すなわち、スクリーン12には、位置表示用のウインドウ12bが表示されないが、システム内部において、顔位置・サイズ表示円22に相当する画像と検出領域とを比較し、この比較結果に基づいて、操作者13に対してメッセージを発声する。
【0119】
つまり、上記システム内部では、検出領域の面積Sxと、上記式(4)で用いた画像Yの面積Syとし、所定の閾値をβとしたとき、SxとSyとの差Dが、以下の式(5)を満たすとき、操作者13は適正な距離にいると判断する。
【0120】
D=|Sx−Sy|<β ・・・・・・・・・・・・・・・・(5)
すなわち、上記式(5)において、Dが所定の閾値β以下になった場合に適正な距離に操作者13がいると判定する。
【0121】
また、操作者13が適正な距離にいると判定されても、位置が前後ではなく左右にずれている場合、上記音声ガイダンスシステムでは、例えば、
『右下方向に顔を移動してください』
等のメッセージを発声することによって、操作者13をガイドするようになっている。この場合には、上記式(4)を用いる手法によって、操作者13の顔13aの位置を適正な位置への移動を実現することができる。以上の処理の流れは、図3のステップS4およびステップS5に対応している。
【0122】
以上の位置情報表示システム及び音声ガイダンスシステムにより、顔が適正な位置になった場合、位置情報出力部7は、これを操作者13に通知するための確認音を出力する。この処理は、図3のステップS4およびステップS6に対応している。
【0123】
操作者13は確認音を聞いた後、例えば図5(b)に示すように、右側の手13bを前方に伸ばして静止させる。手13bが撮像範囲に入り、対象検出部4によって、一定時刻の間、静止状態にあることが検出されると、位置情報出力部7によって、確認音が発声される。このときの確認音は、顔13aが検出されたときの確認音とは異なる音色であり、操作者13が聞き分けられるものとする。
【0124】
そして、操作者13は確認音を聞いた後、手13bを上下左右のいずれかの方向に動かす。以上の処理の流れは、図3のステップS6〜ステップS9に対応している。
【0125】
プレゼンテーションのスライド画面のページの送り、戻しの操作を行うシステムを考えた場合、手の移動方向の認識は、左右の2方向のみで十分である。このとき、手の操作方法を、操作者に分かりやすく提示し、且つ操作の練習が行える、図9(a)〜(c)に示す操作ガイダンスシステムを上記位置情報出力部7で実現するようになっている。
【0126】
ここで、位置情報出力部7における操作ガイダンスシステムについて以下に説明する。
【0127】
例えば、図9(a)〜(c)に示す操作ガイダンスシステムでは、操作者13が操作の練習を行いたい場合には、ガイダンス用ウインドウ24を、スクリーン12全体に大きく表示し、実際にプレゼンテーションを行う場合には、図7(a)(b)と同じように、プレゼンテーションシステム・ウインドウ12aよりも小さくスクリーン12の隅に表示するようになっている。
【0128】
上記ガイダンス用ウインドウ24には、図9(a)〜(c)に示すように、3つの四角いボタンと、メッセージが表示されている。
【0129】
図9(a)の場合、フレーム20において、操作者13が手13bを上げていない状態を示し、ガイダンス用ウインドウ24上の3つのボタンは、いずれも選択されていないことが示されている。そして、ガイダンス用ウインドウ24には、『手の平をカメラに向けてください』というメッセージが表示されている。
【0130】
操作者13はメッセージに従い、図9(b)のフレーム20に表示されているように手13bを挙げると、対象検出部4によって手13bが検出され、ガイダンス用ウインドウ24の真中のボタンの色(黒色)が変化する。
【0131】
そして、このボタンの色の変化と共に、ガイダンス用ウインドウ24には、『ページを進ませたい方へ(右/左)手を動かしてください』とメッセージが表示される。ここで、操作者13が右へ手13bを平行移動し、動き方向認識部5によって、所定の移動量が検出されると、図9(c)のガイダンス用ウインドウ24の右側のボタン(進む)の色が変化する。このとき、真中のボタンの色は元に戻る。
【0132】
このとき、コマンド出力部6によって、パーソナルコンピュータ1の情報処理システムにページを進めるためのコマンドが入力される。その後、ガイダンス用ウインドウ24には、次のページ操作を行なうために、『手を下ろしてください』とメッセージが表示される。
【0133】
また、所定の移動量が検出されずに手がフレーム画像から外れた場合は、図9(a)の状態に戻るものとする。
【0134】
なお、上述のようなガイダンス用ウインドウ24上でのボタンの表示状態の変化の代わりに、認識された方向を示す矢印等によって、認識結果を通知するようにしてもよい。各メッセージは表示と同時に、音声で出力されるものとしてもよい。操作に習熟した場合は、メッセージを読む必要はなく、ボタンの色の変化のみで操作状況が確認できるため、システムから離れた位置にいても十分利用することができる。
【0135】
以上の位置情報出力部7における3のシステムは、何れか一つを単独に用いてもよいし、何れか2つを組み合わせ用いてもよく、さらに、全てのシステムを同時に用いてもよい。
【0136】
また、本実施の形態では、本発明のインターフェース装置をプレゼンテーションの操作を実行するために使用した例を挙げて説明しているが、これに限定されるものではなく、WEBブラウザのページ切替え等に利用することもできる。
【0137】
また、本発明のインターフェース装置では、図1に示す対象検出部4による対象物検出処理、動き方向認識部5により動き方向認識処理、コマンド出力部6によるコマンド出力処理、位置情報出力部7による位置情報通知処理は、コンピュータで実行可能なプログラムで実現される。
【0138】
このプログラムは、コンピュータで読み取り可能な記録媒体に格納されている。例えば、図10に示すように、対象物検出処理プログラムのファイル101、動き方向認識処理プログラムのファイル102、コマンド出力処理プログラムのファイル103、位置情報通知処理プログラムのファイル104が格納された記録媒体100が考えられる。
【0139】
ここで、上記記録媒体100は、プログラムメディアが本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスクやハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD等の光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM、EEPROM、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【0140】
また、本発明においては、例えば情報処理システムがインターネットを含む通信ネットワークと接続可能なシステムであってもよく、この場合には、上記インターフェース処理プログラムは、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。尚、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。
【0141】
尚、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【0142】
【発明の効果】
本発明のインターフェース装置は、以上のように、情報処理システムにおける情報処理実行のためのコマンドの入力を行うインターフェース装置において、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出手段と、フレーム画像内に一つの対象物を上記対象物検出手段により検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出手段により新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識手段と、上記対象物検出手段により検出され、上記動き方向認識手段により追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知手段と、上記動き方向認識手段により認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力手段とを備える構成である。
【0143】
それゆえ、撮像装置により撮像された動画像から検出された対象物の動き方向に応じたコマンドに基づいて情報処理システムにおける情報処理を実行することで、キーボード、マウス、赤外線リモコン等の機器を使用せずに、検出された対象物の動きにより情報処理を実行することができる。
【0144】
このように、検出された対象物の動きにより情報処理のコマンドを実行することにより、ディスプレイ上に表示された対象物の動きに連動したマウスポインタやカーソルを操作者は見なくても、パーソナルコンピュータ等の情報処理機器を操作することができる。
【0145】
しかも、位置情報出力手段は、対象物の位置を検出すると共に、この検出結果を対象物の位置情報として、情報処理システムを操作する操作者に通知することにより、操作者は、通知された位置情報から、情報処理システムにおける情報処理のコマンドが実行可能な位置、すなわち適正な位置に対象物がいるか否かを迅速に判断することができる。
【0146】
これにより、操作者は、対象物が適正な位置にいるか否かにより次にしなければならないことを的確に把握することができるので、インターフェース装置を用いて情報処理機器を操作する場合の操作性の向上を図ることができるという効果を奏する。
【0147】
また、上記位置情報通知手段は、対象物が適正な位置にいないことが検出された場合に対象物の適正な位置への移動を促すためのガイダンス手段を備えていてもよい。
【0148】
この場合、対象物が適正な位置にいない場合に、ガイダンス手段により対象物を適正な位置に移動させるように促され、操作者はその指示に従って対象物を移動させればよいので、対象物を簡単に適正な位置に移動させることができるという効果を奏する。
【0149】
また、上記ガイダンス手段は、対象物が適正な位置にあることを、ビープ音等の確認音を発声して操作者に通知するようにしてもよい。
【0150】
これにより、操作者は、ビープ音等の確認音を聞くだけで対象物が適正な位置にあることを認識することができるという効果を奏する。
【0151】
さらに、上記ガイダンス手段は、対象物が適正な位置にあることを、ボタンの色の変化等の視覚的な変化によって操作者に通知するようにしてもよい。
【0152】
これにより、操作者は、視覚的に変化するボタンを見るだけで対象物が適正な位置にあることを認識することができるという効果を奏する。
【0153】
また、上記ガイダンス手段は、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示するようにしてもよい。
【0154】
この場合、操作者は、表示された各マークを見るだけで、対象物が適正な位置にいるか否かを簡単に認識することができるという効果を奏する。
【0155】
さらに、上記ガイダンス手段は、対象物をどの方向に移動させれば良いかを、音声メッセージによって指示するようにしてもよい。
【0156】
この場合、操作者は、音声メッセージを聞くだけで、対象物をどの方向に移動させれば良いかを認識できるので、対象物を適正な位置に迅速に移動させることができるという効果を奏する。
【0157】
また、上記動き方向認識手段は、検出された対象物の動き方向の認識結果を、操作者に通知する通知手段を備えるようにしてもよい。
【0158】
この場合、操作者は、通知手段によって通知された対象物の動き方向の認識結果から、該対象物の動き方向の認識の適否を簡単に知ることができるという効果を奏する。
【0159】
また、上記通知手段は、対象物の動き方向の認識の成否を、動き方向の表示によって、操作者に通知するようにしてもよい。
【0160】
この場合、操作者は、通知手段により、対象物の動き方向の認識の成否を、動き方向の表示によって通知されていることで、視覚的に対象物の動き方向の認識の成否を確認することができるという効果を奏する。
【0161】
また、上記通知手段は、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって、操作者に通知するようにしてもよい。
【0162】
この場合、操作者は、通知手段により、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって知らされるので、確認音を聞くだけで、対象物の動き方向の認識の成否を確認することができるという効果を奏する。
【0163】
以上のようなインターフェース装置において、上記撮像装置により撮像される動画像には、人間の頭部を含む、少なくとも胸部より上の身体が含まれ、上記対象物検出手段により検出される対象物は人間の手であってもよい。
【0164】
この場合、情報処理システムのコマンドに対応する対象物の動き方向が、人間の手の動き方向となるので、人間(操作者)は手を動かすだけで、該コマンドを実行することができるという効果を奏する。
【0165】
また、上記対象物検出手段は、動画像中の肌色領域を検出することで、人間の手を検出するようにしてもよい。
【0166】
さらに、上記対象物検出手段は、動画像から得られる特定のフレーム画像において、一つの対象物が所定の位置に存在することを検出し、後続の特定のフレーム画像において、検出した上記一つの対象物の領域を、操作者の顔領域として認識し、上記顔領域の追跡処理している状態で、該後続の特定のフレーム画像において上記顔の領域とは異なる対象物の領域の存否によって、該特定のフレーム画像に手領域が存在しているか否かを認識するようにしてもよい。
【0167】
また、インターフェース装置における処理としては、以下の処理を含み、この処理を含むプログラムはコンピュータで実行可能となっている。
【0168】
すなわち、インターフェース処理プログラムを記録している記録媒体は、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出処理と、フレーム画像内に一つの対象物を上記対象物検出処理で検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出処理で新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識処理と、上記対象物検出処理で検出され、上記動き方向認識処理で追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知処理と、上記動き方向認識処理で認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力処理とを記録している。
【0169】
これにより、コンピュータにより簡単に、上述したような各種のインターフェース処理を実行することができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明のインターフェース装置を示す概略構成ブロック図である。
【図2】図1に示すインターフェース装置をプレゼンテーションシステムに適用した場合の説明図である。
【図3】図1に示すインターフェース装置におけるインターフェース処理の流れを示すフローチャートである。
【図4】入力フレーム画像の一例を示す説明図である。
【図5】(a)〜(c)は、検出領域の追跡処理の流れを示す説明図である。
【図6】(a)はフレーム画像において操作者の顔が適正な位置にない状態を示し、(b)はフレーム画像において操作者の顔が適正な位置にある状態を示す説明図である。
【図7】(a)(b)は位置情報表示システムを示す説明図である。
【図8】(a)〜(f)は位置情報表示システムにおける処理の流れを示す説明図である。
【図9】(a)〜(c)は操作ガイダンスシステムを示す説明図である。
【図10】本発明のインターフェース処理プログラムを記録した記録媒体の一例を示す説明図である。
【符号の説明】
1 パーソナルコンピュータ(情報処理システム)
2 カメラ(撮像装置)
4 対象検出部(対象物検出手段)
5 動き方向認識部(動き方向認識手段、通知手段)
6 コマンド出力部(コマンド出力手段)
7 位置情報出力部(位置情報通知手段、ガイダンス手段)
11 プロジェクタ
12 スクリーン(ディスプレイ)
13 操作者
13a 顔
13b 手(対象物)
Claims (11)
- 情報処理システムにおける情報処理実行のためのコマンドの入力を行うインターフェース装置において、
動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出手段と、
フレーム画像内に一つの対象物を上記対象物検出手段により検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出手段により新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識手段と、
上記対象物検出手段により検出され、上記動き方向認識手段により追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知手段と、
上記動き方向認識手段により認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力手段とを備えることを特徴とするインターフェース装置。 - 上記位置情報通知手段は、上記顔領域が適正な位置にないことが検出された場合に上記顔領域の適正な位置への移動を促すためのガイダンス手段を備えていることを特徴とする請求項1記載のインターフェース装置。
- 上記ガイダンス手段は、上記顔領域が適正な位置にあることを、ビープ音等の確認音を発声して操作者に通知することを特徴とする請求項2記載のインターフェース装置。
- 上記ガイダンス手段は、上記顔領域が適正な位置にあることを、ボタンの色の変化等の視覚的な変化によって操作者に通知することを特徴とする請求項2または3記載のインターフェース装置。
- 上記ガイダンス手段は、上記顔領域の位置と大きさを表現するマークと、上記適正な位置を示すマークとを表示することを特徴とする請求項2ないし4の何れかに記載のインターフェース装置。
- 上記ガイダンス手段は、上記顔領域をどの方向に移動させれば良いかを、音声メッセージによって指示することを特徴とする請求項2ないし5の何れかに記載のインターフェース装置。
- 上記動き方向認識手段は、上記手領域の動き方向の認識結果を、操作者に通知する通知手段を備えていることを特徴とする請求項1ないし6の何れかに記載のインターフェース装置。
- 上記通知手段は、上記手領域の動き方向の認識の成否を、動き方向の表示によって、操作者に通知することを特徴とする請求項7記載のインターフェース装置。
- 上記通知手段は、上記手領域の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって、操作者に通知することを特徴とする請求項7または8記載のインターフェース装置。
- 上記対象物検出手段は、
動画像から得られる特定のフレーム画像において、一つの対象物が所定の位置に存在することを検出し、
後続の特定のフレーム画像において、検出した上記一つの対象物の領域を、操作者の顔領域として認識し、上記顔領域の追跡処理している状態で、該後続の特定のフレーム画像において上記顔の領域とは異なる対象物の領域の存否によって、該特定のフレーム画像に手領域が存在しているか否かを認識することを特徴とする請求項1記載のインターフェース装置。 - 動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出処理と、
フレーム画像内に一つの対象物を上記対象物検出処理で検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出処理で新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識処理と、
上記対象物検出処理で検出され、上記動き方向認識処理で追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、情報処理システムを操作する上記操作者に通知する位置情報通知処理と、
上記動き方向認識処理で認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力処理とをコンピュータに実行させるためのインターフェース処理プログラムを記録していることを特徴とするコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000342575A JP4275304B2 (ja) | 2000-11-09 | 2000-11-09 | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000342575A JP4275304B2 (ja) | 2000-11-09 | 2000-11-09 | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002149302A JP2002149302A (ja) | 2002-05-24 |
JP4275304B2 true JP4275304B2 (ja) | 2009-06-10 |
Family
ID=18817102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000342575A Expired - Fee Related JP4275304B2 (ja) | 2000-11-09 | 2000-11-09 | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4275304B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2857481A1 (fr) * | 2003-07-08 | 2005-01-14 | Thomson Licensing Sa | Procede et dispositif de detection de visages dans une image couleur |
JP4005060B2 (ja) | 2004-06-30 | 2007-11-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、プログラムおよびゲームキャラクタ移動制御方法 |
JP4005061B2 (ja) | 2004-06-30 | 2007-11-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法 |
JP4419768B2 (ja) * | 2004-09-21 | 2010-02-24 | 日本ビクター株式会社 | 電子機器の制御装置 |
WO2007013652A1 (ja) * | 2005-07-29 | 2007-02-01 | Pioneer Corporation | 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム |
US8549442B2 (en) * | 2005-12-12 | 2013-10-01 | Sony Computer Entertainment Inc. | Voice and video control of interactive electronically simulated environment |
KR100751093B1 (ko) | 2005-12-29 | 2007-08-21 | 엠텍비젼 주식회사 | 디지털 처리 장치의 입력 장치 및 방법 |
JP4984583B2 (ja) * | 2006-03-15 | 2012-07-25 | オムロン株式会社 | 表示装置、プロジェクタ、表示システム、表示方法、表示プログラム、および記録媒体 |
EP1965344B1 (en) | 2007-02-27 | 2017-06-28 | Accenture Global Services Limited | Remote object recognition |
JP5030984B2 (ja) * | 2009-03-13 | 2012-09-19 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、情報処理方法、およびコンピュータが実行可能なプログラム |
GB2470073B (en) * | 2009-05-08 | 2011-08-24 | Sony Comp Entertainment Europe | Entertainment device, system and method |
JP2010003303A (ja) * | 2009-07-21 | 2010-01-07 | Victor Co Of Japan Ltd | 電子機器の制御装置 |
JP5360406B2 (ja) * | 2009-10-29 | 2013-12-04 | 株式会社ニコン | 画像表示装置 |
KR101226668B1 (ko) * | 2011-03-25 | 2013-01-25 | 주식회사 아이티엑스시큐리티 | 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법 |
JP5862143B2 (ja) * | 2011-09-15 | 2016-02-16 | オムロン株式会社 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
JP2013065112A (ja) * | 2011-09-15 | 2013-04-11 | Omron Corp | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
JP5505434B2 (ja) * | 2012-02-09 | 2014-05-28 | 株式会社デンソー | 脇見判定装置 |
JP2014059803A (ja) * | 2012-09-19 | 2014-04-03 | Alps Electric Co Ltd | 入力装置 |
JP5831882B2 (ja) * | 2012-10-25 | 2015-12-09 | Necパーソナルコンピュータ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102100184B1 (ko) * | 2013-02-18 | 2020-04-13 | 삼성전자주식회사 | 디스플레이 장치 |
-
2000
- 2000-11-09 JP JP2000342575A patent/JP4275304B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002149302A (ja) | 2002-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4275304B2 (ja) | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 | |
JP3837505B2 (ja) | ジェスチャ認識による制御装置のジェスチャの登録方法 | |
JP5012968B2 (ja) | 会議システム | |
US6215471B1 (en) | Vision pointer method and apparatus | |
JP4991458B2 (ja) | 画像表示装置及びその制御方法 | |
JP6551507B2 (ja) | ロボット制御装置、ロボット、ロボット制御方法およびプログラム | |
JP5598232B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
JPWO2010035477A1 (ja) | ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 | |
JP2013257686A (ja) | 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム | |
JP2009166184A (ja) | ガイドロボット | |
CN110611788A (zh) | 手势控制视频会议终端的方法和装置 | |
US20220078335A1 (en) | Photography method, electronic device, and storage medium | |
WO2019155735A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2000250677A (ja) | マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法 | |
CN108319363A (zh) | 基于vr的产品展示方法、装置及电子设备 | |
US11816270B2 (en) | Electronic device that operates according to user's hand gesture, and image forming apparatus | |
JP5332623B2 (ja) | 画像表示装置及び画像表示方法 | |
CN104951228B (zh) | 图标的放置方法、装置及终端设备 | |
JP2002366271A (ja) | 画像表示システムおよび画像表示方法 | |
US20220244788A1 (en) | Head-mounted display | |
JP2013077925A (ja) | 電子機器 | |
JP2022162409A (ja) | 電子機器及びその制御方法 | |
JP2022163813A (ja) | 装着型の情報端末、その制御方法及びプログラム | |
JPWO2020255286A1 (ja) | ペアリング表示装置、ペアリング表示システムおよびペアリング表示方法 | |
JP2019082649A (ja) | 映像表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060208 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060428 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060509 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090304 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |