JP4275304B2 - インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 - Google Patents
インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4275304B2 JP4275304B2 JP2000342575A JP2000342575A JP4275304B2 JP 4275304 B2 JP4275304 B2 JP 4275304B2 JP 2000342575 A JP2000342575 A JP 2000342575A JP 2000342575 A JP2000342575 A JP 2000342575A JP 4275304 B2 JP4275304 B2 JP 4275304B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- movement direction
- face
- frame image
- face area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータ等の情報処理機器における情報処理実行のためのコマンドの入力を行うインターフェース装置およびインターフェース処理プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
パーソナルコンピュータ等の情報処理機器を操作するインターフェースとしては、キーボードやマウス等の装置が一般的である。
【０００３】
したがって、パーソナルコンピュータで Microsoft（登録商標）社のPower Point （登録商標）等のプレゼンテーション用のアプリケーションを利用してプレゼンテーションを行う場合、ページを進める、戻すといった操作は、マウスボタンのクリック、もしくはカーソルキーによって方向を指示することにより行われている。
【０００４】
ところで、一般的な会議でのプレゼンテーションの場面においては、発表者はパーソナルコンピュータから離れた位置に立つことが多いため、ページ送りの操作の都度、キーボードやマウスが操作できる位置に近づく必要があり、操作が煩わしいという問題が生じる。
【０００５】
そこで、キーボードやマウス等の装置を利用せずに、パーソナルコンピュータを離れた位置から操作する方法として、赤外線リモコンを使用する方法が提案されている。
【０００６】
この赤外線リモコンを使用する方法では、プレゼンテーションの間、常にリモコンを手にしている必要があり、この場合においても操作者に煩わしさを与えるという問題が生じる。
【０００７】
このような各問題点を解消するために、カメラ等の撮像装置によって撮像された操作者の手の動作を認識処理し、ディスプレイ上のマウスポインタの制御を行う技術が特開平８−４４４９０号公報に開示されている。この公報に開示された技術によれば、操作者の手の動きは、ディスプレイ上に表示されるマウスポインタの形状の変化や動きによって表現される。
【０００８】
上記公報によれば、キーボード、マウス、赤外線リモコン等の機器を使用せずに、パーソナルコンピュータを離れた位置から操作するインターフェース装置を実現することができる。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された技術では、操作者の手の動きは、ディスプレイ上に表示されるマウスポインタの形状の変化や動きによって表現され、該ディスプレイ上のマウスポインタの制御を行うようになっているので、操作者はディスプレイが見える位置でマウスポインタを見ながら操作を行う必要がある。
【００１０】
したがって、操作者がディスプレイが見えない位置にいる場合には、視覚的に操作の手順やシステムの状態を確認することができない。このため、例えばプレゼンテーションのスライド画面をディスプレイ全体に表示する場合や、ディスプレイが見えない位置にいる場合、あるいはディスプレイがない情報処理機器を操作する場合等のディスプレイ上に手の動きに連動したマウスポインタを表示できないような場合には、操作者は、パーソナルコンピュータ等の情報処理機器を操作することができない。
【００１１】
さらに、上記公報に開示された技術では、操作者の位置を確認する方法が考慮されていないので、操作者が適当な位置、例えば操作可能な適正な位置から外れた位置にいる場合であって、ディスプレイが見える位置にいる場合に、何故情報処理機器の操作を行うことができないのかを容易に理解することができず、このため、操作者は情報処理機器が操作できるまで試行錯誤しなければならず、この結果、装置の操作性が低下するという問題が生じる。
【００１２】
本発明は、上記の各問題点を解決するためになされたもので、その目的は、キーボード、マウス、赤外線リモコン等の機器を利用せずに、パーソナルコンピュータ等の情報処理機器を離れた位置から操作することを前提とし、ディスプレイ上に手の動きに連動したマウスポインタを表示できないような場合であってもパーソナルコンピュータ等の情報処理機器を操作可能とし、操作者が適当な位置で操作を開始して情報処理機器の操作が不能と判断されたときであっても、操作者にそのことを知らせ、次に操作者は何をすればいいのかを迅速に認知できるような操作性のよいインターフェース装置およびインターフェース処理プログラムを記録した記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
本発明のインターフェース装置は、上記の課題を解決するために、情報処理システムにおける情報処理実行のためのコマンドの入力を行うインターフェース装置において、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出手段と、フレーム画像内に一つの対象物を上記対象物検出手段により検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出手段により新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識手段と、上記対象物検出手段により検出され、上記動き方向認識手段により追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知手段と、上記動き方向認識手段により認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力手段とを備えることを特徴としている。
【００１４】
上記の構成によれば、撮像装置により撮像された動画像から検出された対象物の動き方向に応じたコマンドに基づいて情報処理システムにおける情報処理を実行することで、従来のように、キーボード、マウス、赤外線リモコン等の機器を使用せずに、検出された対象物の動きにより情報処理のコマンドを実行することができる。
【００１５】
このように、検出された対象物の動きにより情報処理のコマンドを実行することにより、ディスプレイ上に表示された対象物の動きに連動したマウスポインタやカーソルを操作者は見なくても、パーソナルコンピュータ等の情報処理機器を操作することができる。
【００１６】
しかも、位置情報出力手段によって、対象物の位置を検出すると共に、この検出結果を対象物の位置情報として、情報処理システムを操作する操作者に通知することにより、操作者は、通知された位置情報から、情報処理システムにおける情報処理のコマンドが実行可能な位置、すなわち適正な位置に対象物がいるか否かを迅速に判断することができる。
【００１７】
これにより、操作者は、対象物が適正な位置にいるか否かにより次にしなければならないことを的確に把握することができるので、このようなインターフェース装置を介してパーソナルコンピュータ等の情報処理機器を操作する場合の操作性の向上を図ることができる。
【００１８】
また、上記位置情報通知手段は、対象物が適正な位置にいないことが検出された場合に対象物の適正な位置への移動を促すためのガイダンス手段を備えていてもよい。
【００１９】
この場合、対象物が適正な位置にいない場合に、ガイダンス手段により対象物を適正な位置に移動させるように促され、操作者はその指示に従って対象物を移動させればよいので、対象物を簡単に適正な位置に移動させることができる。
【００２０】
また、上記ガイダンス手段は、対象物が適正な位置にあることを、ビープ音等の確認音を発声して操作者に通知するようにしてもよい。
【００２１】
これにより、操作者は、ビープ音等の確認音を聞くだけで対象物が適正な位置にあることを認識することができる。
【００２２】
さらに、上記ガイダンス手段は、対象物が適正な位置にあることを、ボタンの色の変化等の視覚的な変化によって操作者に通知するようにしてもよい。
【００２３】
これにより、操作者は、視覚的に変化するボタンを見るだけで対象物が適正な位置にあることを認識することができる。
【００２４】
また、上記ガイダンス手段は、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示するようにしてもよい。
【００２５】
この場合、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示することで、操作者に対して、対象物の適正な位置への移動を促すことができる。したがって、操作者は、表示された各マークを見るだけで、対象物が適正な位置にいるか否かを簡単に認識することができる。
【００２６】
さらに、上記ガイダンス手段は、対象物をどの方向に移動させればよいかを、音声メッセージによって指示するようにしてもよい。
【００２７】
この場合、対象物をどの方向に移動させればよいかを、音声メッセージによって指示することで、操作者に対して、対象物の適正な位置への移動を促すことができる。したがって、操作者は、音声メッセージを聞くだけで、対象物をどの方向に移動させれば良いかを認識できるので、対象物を適正な位置に迅速に移動させることができる。
【００２８】
また、上記動き方向認識手段は、検出された対象物の動き方向の認識結果を、操作者に通知する通知手段を備えるようにしてもよい。
【００２９】
この場合、操作者は、通知手段によって通知された対象物の動き方向の認識結果から、該対象物の動き方向の認識の適否を簡単に知ることができる。
【００３０】
また、上記通知手段は、対象物の動き方向の認識の成否を、動き方向の表示によって、操作者に通知するようにしてもよい。
【００３１】
この場合、操作者は、通知手段により、対象物の動き方向の認識の成否を、動き方向の表示によって通知されていることで、視覚的に対象物の動き方向の認識の成否を確認することができる。
【００３２】
また、上記通知手段は、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって、操作者に通知するようにしてもよい。
【００３３】
この場合、操作者は、通知手段により、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって知らされるので、確認音を聞くだけで、対象物の動き方向の認識の成否を確認することができる。
【００３４】
以上のようなインターフェース装置において、上記撮像装置により撮像される動画像には、人間の頭部を含む、少なくとも胸部より上の身体が含まれ、上記対象物検出手段により検出される対象物は人間の手であってもよい。
【００３５】
この場合、情報処理システムのコマンドに対応する対象物の動き方向が、人間の手の動き方向となるので、人間（操作者）は手を動かすだけで、該コマンドを実行することが可能となる。
【００３６】
また、上記対象物検出手段は、動画像中の肌色領域を検出することで、人間の手を検出するようにしてもよい。
【００３７】
さらに、上記対象物検出手段は、動画像から得られる特定のフレーム画像において、一つの対象物が所定の位置に存在することを検出し、後続の特定のフレーム画像において、検出した上記一つの対象物の領域を、操作者の顔領域として認識し、上記顔領域の追跡処理している状態で、該後続の特定のフレーム画像において上記顔の領域とは異なる対象物の領域の存否によって、該特定のフレーム画像に手領域が存在しているか否かを認識するようにしてもよい。
【００３８】
また、インターフェース装置における処理としては、以下の処理を含み、この処理を含むプログラムはコンピュータで実行可能となっている。
【００３９】
すなわち、インターフェース処理プログラムを記録している記録媒体は、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出処理と、フレーム画像内に一つの対象物を上記対象物検出処理で検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出処理で新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識処理と、上記対象物検出処理で検出され、上記動き方向認識処理で追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知処理と、上記動き方向認識処理で認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力処理とを記録している。
【００４０】
これにより、コンピュータにより簡単に、上述したような各種のインターフェース処理を実行することが可能となる。
【００４１】
【発明の実施の形態】
本発明の実施の一形態について説明すれば、以下の通りである。なお、本実施の形態では、本願発明のインターフェース装置をプレゼンテーションを実行するためのプレゼンテーションシステムに適用した場合について説明する。
【００４２】
上記プレゼンテーションシステムは、図２に示すように、情報処理機器としてのパーソナルコンピュータ１と、このパーソナルコンピュータ１に接続されたカメラ（撮像装置）２およびプロジェクタ１１と、プロジェクタ１１で投影される映像を映し出すためのスクリーン１２とで構成されている。
【００４３】
上記プレゼンテーションシステムでは、操作者１３が、パーソナルコンピュータ１から離れた位置に立ち、プロジェクタ１１によってスクリーン１２上に投影された映像、例えばスライドのページを進めたいときは手の平を右に動かし、戻したいときは左に動かすようにする。
【００４４】
すなわち、上記プレゼンテーションシステムでは、カメラ２で捉えられた操作者１３の手の動きが、パーソナルコンピュータ１内で認識され、手が右に動いたと認識された場合は、ページを進めるためのコマンドが発行され、手が左に動いたと認識された場合は、ページを戻すためのコマンドが発行される。各コマンドがプレゼンテーションを実行するアプリケーションに入力されることによって、ページが切替えられ、プロジェクタ１１を通してスクリーン１２に投影される。
【００４５】
以上のことから、上記プレゼンテーションシステムにおけるインターフェース装置は、上記パーソナルコンピュータ１と該パーソナルコンピュータ１に接続されたカメラ２とで構成されていることになる。
【００４６】
上記インターフェース装置の詳細な構成について、以下に説明する。
【００４７】
上記インターフェース装置は、例えば図１に示すように、パーソナルコンピュータ１とカメラ２とからなり、上記パーソナルコンピュータ１内の情報処理システムにおける情報処理実行のためのコマンドの入力を行うための装置である。
【００４８】
上記カメラ２は、撮像した動画像をフレーム単位でフレーム画像としてパーソナルコンピュータ１に出力するようになっている。
【００４９】
上記パーソナルコンピュータ１は、フレームメモリ３、対象検出部（対象物検出手段）４、動き方向認識部（動き方向認識手段）５、コマンド出力部（コマンド出力手段）６、位置情報出力部（位置情報通知手段）７で構成されており、さらに、プレゼンテーション等の各種アプリケーションを実行するための情報処理システムを含んでいる。
【００５０】
上記フレームメモリ３には、撮像装置としてのカメラ２、例えばＣＣＤ（Charge Coupled Device)カメラ等により撮影されたフレーム画像が順次転送され、該フレーム画像を記憶する。このとき、図１に示すようなプレゼンテーションシステムの場合には、操作者１３の上半身が撮影され、フレーム画像として順次記憶されるようになっている。なお、以降の処理量を軽減するためにフレーム画像を縮小して記憶するようにしてもよい。
【００５１】
上記対象検出部４では、本インターフェース装置の対象物である、操作者の手の動きを認識するために、フレームメモリ３から出力されるフレーム画像（特定のフレーム画像）から肌色の領域を検出することによって、操作者の手及び顔の領域を検出するようになっている。なお、対象検出部４において、肌色領域の検出や、手の動きの認識に関しては、例えば論文『肌色領域より隠れて見える場合を考慮した手話動画像からの手の実時間追跡』（今川和幸他３名：電子情報通信学会論文誌 D-II Vol.J81-D-II No.8 pp.1787-1795 1998年 8月）に記載された手法を用いて実現できるので、その詳細は省略する。
【００５２】
つまり、上記対象検出部４では、動画像中の特定のフレーム画像において、人間の顔が所定の位置に存在することを検出し、この検出結果に基づいて該特定のフレーム画像に手が存在しているか否かを検出するようになっている。
【００５３】
上記動き方向認識部５は、操作者の手及び顔の動きを検出し、それぞれの動き方向を識別するようになっている。ここで、手の移動量が上下左右いずれかの方向に、所定の閾値を越える値が検出された場合、その方向に手が動いたと認識する。また、所定の時間内に、所定の値を越える移動量が検出されなかった場合や、手あるいは、顔が撮像範囲から外れた場合は、認識に失敗したと判断する。このとき、対象物の認識に成功した場合と失敗した場合とで異なる音の確認音を発声するようにしてもよい。この場合、動き方向認識部５からパーソナルコンピュータ１に装備されているスピーカ等の通知手段により確認音を発声するようにすればよい。そして、操作者は、確認音の違いにより動き方向認識部５での認識の成否が容易に確認できる。なお、動き方向認識部５における処理の詳細については、後述する。
【００５４】
上記コマンド出力部６では、上記動き方向認識部５で認識された方向に対応したコマンドを、パーソナルコンピュータ１内の情報処理システムに発行する。例えば、上記情報処理システムによって プレゼンテーション用のアプリケーションの一つである Microsoft（登録商標）社のPowerPoint（登録商標）の制御を行う場合は、左右のカーソルキーに対応するコマンドを出力する。同時に、コマンドが出力されたことを操作者に通知するための、確認音を発声する。また、認識に失敗した場合も、そのことを操作者に通知するために、異なる確認音を発声する。この場合の発声手段も、パーソナルコンピュータ１に装備されているスピーカを使用すればよい。
【００５５】
また、上記位置情報出力部７は、対象検出部４からの情報に基づいて、対象物である操作者１３の位置あるいは操作者１３の顔の位置等の位置情報を上記パーソナルコンピュータ１内の情報処理システムを操作している操作者に対して出力するようになっている。つまり、位置情報出力部７は、操作者１３に対して、対象物等の位置情報を通知するようになっている。なお、位置情報出力部７の詳細については後述する。
【００５６】
ここで、図１に示すインターフェース装置における処理の流れについて、図３に示すフローチャートを参照しながら以下に説明する。
【００５７】
まず、カメラ２により撮影された操作者１３のフレーム画像がフレームメモリ３に入力され、記憶され、このフレームメモリ３に記憶されたフレーム画像が対象検出部４に入力される（ステップＳ１）。
【００５８】
次に、対象検出部４において、入力されたフレーム画像から顔領域の検出が行われ（ステップＳ２）、この検出結果が位置情報出力部７に出力される（ステップＳ３）。
【００５９】
続いて、位置情報出力部７は、入力された検出結果に基づいて、顔が所定の位置にあるか否かを判定する（ステップＳ４）。ここで、顔が所定の位置にないと判定されれば、ステップＳ５において、操作者１３に対して所定の位置に移動するように移動方向指示の音声出力を行い、ステップＳ１に移行する。
【００６０】
一方、ステップＳ４において、顔が所定の位置にあると判定されれば、位置情報出力部７は確認音を出力する（ステップＳ６）。この確認音により、操作者１３は、自分の顔が所定の位置にあることを確認することができる。
【００６１】
次いで、対象検出部４は、入力されたフレームから手領域の検出を行い（ステップＳ７）、この検出結果を位置情報出力部７に出力する。
【００６２】
続いて、位置情報出力部７は、入力された検出結果に基づいて、手が所定の位置にあるか否かを判定する（ステップＳ８）。ここで、手が所定の位置になければ、ステップＳ１に移行する。
【００６３】
一方、ステップＳ８において、手が所定の位置にあると判定されれば、確認を出力する（ステップＳ９）。この確認音により、操作者１３は、自分の手が所定の位置にあることを確認することができる。
【００６４】
次に、動き方向認識部５は、対象検出部４による検出結果に基づいて手の動き方向を検出し（ステップＳ１０）、手の動き方向の検出に成功しているか否かを判定する（ステップＳ１１）。
【００６５】
ステップＳ１１において、手の動き方向の検出に成功していないと判定されれば、確認音を出力し（ステップＳ１２）、ステップＳ１に移行する。この確認音により、操作者１３は、手の動き方向の検出に失敗したことを確認することができる。
【００６６】
一方、ステップＳ１１において、手の動き方向の検出に成功していると判定されれば、ステップＳ１２の確認音とは異なる確認音を出力する（ステップＳ１３）。この確認音により、操作者１３は、手の動き方向の検出に成功したことを確認することができる。
【００６７】
そして、動き方向認識部５による手の動き方向の検出結果は、コマンド出力部６に出力される。このコマンド出力部６は、手の動き方向に対応したコマンドをパーソナルコンピュータ１内の情報処理システムに出力する（ステップＳ１４）。
【００６８】
コマンド出力部６は、上記パーソナルコンピュータ１内の情報処理システムによって、例えばMicrosoft 社のPowerPoint（登録商標）の制御を行う場合には、左右のカーソルキーに対応するコマンドを出力する。
【００６９】
そして、操作者１３による終了命令が発せられたか否かが判断さるまで、ステップＳ１〜ステップＳ１４までの処理が続行される（ステップＳ１５）。
【００７０】
上述したインターフェース装置では、操作者１３の手の動きによってアプリケーションの制御を行うコマンドを出力するようになっている。つまり、認識対象が手の動きのみであるにもかかわらず、上記インターフェース装置では、顔領域も検出対象としている。この理由について説明すると以下のようになる。
【００７１】
操作者１３が、図２に示すように、カメラ２の正面に立って、手を体の前方に出して、上下左右に動かす動作を行った場合、必然的に顔がフレーム画像内に入る。通常、フレーム画像から色情報のみを用いて、肌色領域の検出を行った場合、検出された領域が顔であるか手であるかを判断することは困難である。フレーム画像内の全ての、肌色領域の動き方向の認識を行うと、例えば、手を動かしていなくても、操作者が顔を左右に動かした場合にも、手の動きと誤認識される可能性がある。
【００７２】
そこで、本発明では、操作者１３は、一旦フレーム画像内に顔のみが映っていて、手が映っていない姿勢をとることを前提とし、この状態で、動き方向認識部５は、対象検出部４により検出された肌色領域を顔領域とし、以降入力されるフレーム画像において顔領域の追跡処理を行うようになっている。
【００７３】
このように、顔領域の追跡が行われている状態で、フレーム画像内に手が出現すると、新たに出現した肌色領域を手領域として追跡処理を行うことによって、顔と手の区別を可能としている。
【００７４】
つまり、対象検出部４は、動画像中の特定のフレーム画像において、人間である操作者１３の顔が所定の位置に存在することを検出し、この検出結果に基づいて該特定のフレーム画像に手が存在しているか否かを検出するようになっている。
【００７５】
ここで、上記動き方向認識部５における認識動作について、図４および図５（ａ）〜（ｃ）を参照しながら、以下に説明する。
【００７６】
まず、肌色領域の検出について説明する。
【００７７】
フレームメモリ３に記憶されている画像（フレーム画像）は、画素数が３２０×２４０画素であり、各画素値はＲ、Ｇ、Ｂの３色の成分値から構成されているものとする。上記フレーム画像としては、例えば図４に示すように、１ブロックの画素数が１６×１６画素として、入力フレーム画像を２０×１５ブロックに分割することが考えられる。
【００７８】
この場合、１ブロック内の全ての画素値のＲ．Ｇ、Ｂの各成分について平均値を求め、その平均値をブロックの画素値の代表値とし、全ブロックにつき画素値の代表値を求める。対象が顔や手である場合には、肌色の画素の割合が大部分であるため、画素値の代表値は肌色を示す値に近くなる。
【００７９】
ブロックの代表値をＲ、Ｇ、Ｂのそれぞれについて、ｒ、ｇ、ｂとすると、肌色である条件は、次式で定義することができる。
【００８０】
ｒmin ≦ ｒ ≦ｒmax ・・・・・・・・・・（１）
ｇmin ≦ ｇ ≦ｇmax ・・・・・・・・・・（２）
ｂmin ≦ ｂ ≦ｂmax ・・・・・・・・・・（３）
ここで、ｒmin 、ｇmin 、ｂmin は、（ｒ、ｇ、ｂ）のそれぞれの値に対する最小値であり、ｒmax 、ｇmax 、ｂmax は、（ｒ、ｇ、ｂ）のそれぞれの値に対する最大値である。これらの値は、肌色が検出され易いように予め決められているものとする。
【００８１】
続いて、肌色であると判定されたブロックが隣接している場合に、統合することによってブロックの集合領域を検出する。検出された集合領域が所定の形状をもつ場合には、その領域を認識対象領域と判断する。例えば、認識対象が顔の場合には、領域の形状が楕円形に近いことが条件となる。
【００８２】
次に、手の動き方向の認識について図５（ａ）〜（ｃ）を用いて説明する。図５（ａ）〜（ｃ）において、上段の図は入力フレーム画像を示し、下段の図は、上段の図のそれぞれのフレーム画像に対応して検出された肌色領域を示している。図５（ａ）は、初期状態Ｔ＝ｔ０での状態を示し、図５（ｂ）は、図５（ａ）の状態よりも少し時間が経過したＴ＝ｔ１での状態を示し、図５（ｃ）は、図５（ｂ）の状態よりも少し時間が経過したＴ＝ｔ２での状態を示している。
【００８３】
ある時刻Ｔ＝ｔ０に検出された肌色領域が、図５（ａ）に示すように、領域Ａ０のみであった場合、この領域Ａ０を操作者１３の顔１３ａであると判断する。
【００８４】
次に、時刻Ｔ＝ｔ１に検出された肌色領域が、図５（ｂ）に示すように、領域Ａ１とＢ１の２つであった場合、一方の領域を操作者１３の顔１３ａであると判断し、他方の領域を操作者１３の手１３ｂであると判断する。このとき、顔領域の判断基準を前時刻の顔領域との重心間の距離が近い方とすると、領域Ａ１が顔１３ａ、領域Ｂ１が手１３ｂと判断される。
【００８５】
続いて、時刻Ｔ＝ｔ２に検出された肌色領域が、図５（ｃ）に示すように、領域Ａ２とＢ２の２つであった場合、時刻Ｔ＝ｔ１の顔１３ａの重心間の距離が近い方を、顔領域と判断する。この場合、領域Ａ１と領域Ａ２との重心間の距離が０なので、領域Ａ２が顔領域であると判断される。したがって、もう一方の領域Ｂ２は、自動的に領域Ｂ１と対応付けられて手領域であると判断される。
【００８６】
このとき、動き方向認識部５によって、手１３ｂは、図５（ｃ）に示すように、矢印方向に移動、すなわち右方向に移動していると認識される。なお、図５（ａ）〜（ｃ）で示すフレーム画像は、カメラ２により入力されたフレーム画像を左右反転して処理されているものとする。
【００８７】
以上のようにして認識された操作者１３の手１３ｂの移動方向に関する情報が、コマンド出力部６に転送される。このコマンド出力部６では、操作者１３の手１３ｂの移動方向に対応したコマンドをパーソナルコンピュータ１内の情報処理システムに発行する。
【００８８】
続いて、上述した位置情報出力部７について、以下に説明する。
【００８９】
上記位置情報出力部７は、パーソナルコンピュータ１内の情報処理システムを操作する操作者１３に対して対象物の位置情報を通知するための手段であり、位置情報表示システム、音声ガイダンスシステム、操作ガイダンスシステムの少なくとも一つのシステム（ガイダンス手段）を含む構成となっている。
【００９０】
上記の各システムの説明を始める前に、上記パーソナルコンピュータ１内の対象検出部４における対象物の検出動作について説明する。
【００９１】
上記対象検出部４が、操作者１３の顔１３ａと手（対象物）１３ｂとを検出するためには、入力フレーム画像中に顔１３ａと手１３ｂが映っている必要がある。本発明では、上述のように一旦顔１３ａのみの検出を行うようにしているが、この場合でも、例えば図６（ａ）に示す場合のように、フレーム２０内の右端に操作者１３の体全体がよっていると、右手で操作を行おうとして、手１３ｂをあげても、フレーム２０内に右手が入らないため、対象検出部４は手の検出が行えない。ここで、フレーム２０は、カメラ２により撮影されたフレーム画像のうち、対象検出部４が認識できる画像の範囲を規定する枠である。
【００９２】
このような事態を避けるためには、図６（ｂ）に示すように、予めフレーム２０内に破線枠２１を設け、この破線枠２１内に顔１３ａが収まるように操作者１３を移動させるようにすればよい。この場合、上記破線枠２１は、フレーム２０内に操作者１３が収まり、手１３ｂを挙げたときに該手１３ｂをフレーム２０内に手がくるように設定されている。
【００９３】
また、例えば操作者１３がカメラ２に近い位置にいて、顔１３ａがフレーム画像の大部分を占める場合や、逆に操作者１３がカメラ２から遠い位置にいて、顔１３ａが小さ過ぎる場合も、フレーム２０内で操作者１３の手１３ｂが適切に表示されないので、手１３ｂの検出には不都合となっている。
【００９４】
したがって、フレーム画像内での、顔１３ａの大きさに関しても、適正な範囲にある必要がある。なお、図６（ａ）（ｂ）は、カメラ２より入力されたフレーム画像を左右反転して図示しているものとする。
【００９５】
フレーム画像内の適当な位置に、適当な大きさで顔が映っているかどうかは、フレーム画像をディスプレイに表示することによって容易に確認することができる。しかしながら、本発明は、プレゼンテーションのスライド画面の操作を重要な目標としているため、ディスプレイの全体もしくは、大部分にスライド画面が表示され、フレーム画像を表示するスペースを確保することは難しい。フレーム画像を画面の隅に小さく表示することも考えられるが、操作者がシステムから離れた位置に立つことを想定しているため、視認することは困難である。
【００９６】
そこで、省スペースで容易に顔の位置を確認する手段として、位置情報出力部７では、図７（ａ）（ｂ）に示すような位置情報表示システムを実現するようになっている。
【００９７】
図７（ａ）に示す位置情報表示システムでは、プレゼンテーションシステム・ウインドウ１２ａがプレゼンテーションにおけるディスプレイ画面となるスクリーン１２の大部分を占めるように大きく表示され、位置情報表示システム用のウインドウ１２ｂは上記のプレゼンテーションシステム・ウインドウ１２ａに重ならない位置に小さく表示されるようになっている。
【００９８】
図７（ｂ）に示す位置情報表示システムでは、プレゼンテーションシステム・ウインドウ１２ａがスクリーン１２全体に表示され、位置情報表示システム用のウインドウ１２ｂはプレゼンテーションの内容をできる限り遮らないように、右下隅に小さく表示されるようになっている。
【００９９】
ここで、位置情報表示システムの働きについて、図８（ａ）〜（ｆ）を参照しながら以下に説明する。
【０１００】
カメラ２によって撮影されたフレーム画像に、図８（ａ）に示すように、操作者１３の上半身の大部分が映し出されている場合、すなわち、操作者１３がカメラ２から離れた位置にいる場合、対象検出部４による検出結果は、図８（ｂ）に示すように、肌色領域を示す領域、すなわち顔１３ａに相当する領域が適正な顔の位置を示す破線枠２１から外れた位置に存在したものとなる。
【０１０１】
この場合、図７（ａ）（ｂ）に示すスクリーン１２の位置表示用のウインドウ１２ｂには、図８（ｃ）のように、検出された顔の位置とサイズが図中の黒い円（顔位置・サイズ表示円）２２で表現され、適正な可能位置が円形の枠、すなわち顔位置指定枠２３で表現される。
【０１０２】
なお、図８（ｂ）で示す顔１３ａの位置を示す座標と、図８（ｃ）で示す顔位置・サイズ表示円２２の位置を示す座標とは必ずしも１対１に対応している必要はなく、図８（ｂ）で示す適正な顔の位置を中心とした部分矩形領域（破線枠２１）を切り出し、図８（ｃ）では、顔位置指定枠２３が図の中心配置されるように、適当に座標変換されていてもよい。つまり、顔位置が適正な位置からどの方向にどの程度ずれているかが、操作者１３に認識できればよい。
【０１０３】
操作者１３は、スクリーン１２上に映し出された位置表示用のウインドウ１２ｂに、図８（ｃ）で示すような状態の顔位置・サイズ表示円２２と顔位置指定枠２３とが表示されているのを見て、自分の顔が適正な位置より、左上にずれていて、且つ面積が小さいことが分かる。このことから、操作者１３は、自分がカメラ２から遠く離れ過ぎていることを認識する。
【０１０４】
したがって、操作者１３は、スクリーン１２の位置表示用のウインドウ１２ｂで示された顔位置・サイズ表示円２２が顔位置指定枠２３に近づくように、カメラ２に近づき、右下方向に顔をずらすような動作を行う。
【０１０５】
そして、カメラ２によって撮影されたフレーム画像が、図８（ｄ）に示すように、操作者１３の顔が適正な位置にくるようになっている場合、すなわち、操作者１３が適正な位置にいる場合、対象検出部４による検出結果は、図８（ｅ）に示すように、肌色領域を示す領域、すなわち顔１３ａに相当する領域が適正な顔の位置を示す破線枠２１の内側に存在することを示す。
【０１０６】
この場合、図７（ａ）（ｂ）に示すスクリーン１２の位置表示用のウインドウ１２ｂには、図８（ｆ）のように、検出された顔の位置とサイズが図中の顔位置・サイズ表示円２２が顔位置指定枠２３に重なった状態、すなわち、顔位置・サイズ表示円２２の位置とサイズが顔位置指定枠２３の位置とサイズに合致した状態が表示される。
【０１０７】
このように、操作者１３は、スクリーン１２に映し出された位置表示表のウインドウ１２ｂを見て、自分が適正な位置にいるか否かの判断を行うことができる。これにより、もし、自分が適正な位置にいないと判断した場合には、ウインドウ１２ｂ内の顔位置・サイズ表示円２２を顔位置指定枠２３の位置とサイズに合致させるようにカメラ２に向かって移動すればよい。
【０１０８】
なお、上記の説明では、説明を簡略化するために、操作者１３が適正な位置にいないことを示す図８（ａ）の状態と、操作者１３が適正な位置にいることを示す図８（ｄ）の状態との位置状態の説明を行っているが、図８（ａ）と図８（ｄ）との間、すなわち操作者１３が移動している途中の段階での処理については省略している。
【０１０９】
しかしながら、カメラ２からの撮影画像は常にフレーム画像としてフレームメモリ３に入力され、対象検出部４によって対象物の検出処理が行われている。したがって、入力されるフレーム画像毎に、操作者１３の顔１３ａの位置やサイズを示す顔位置・サイズ表示円２２の位置と大きさも図８（ｃ）に示す状態から図８（ｆ）に示す状態へと段階的に変化していくものとする。なお、フレーム画像中に顔が入っていない場合には、操作者１３の顔１３ａの位置やサイズを示す顔位置・サイズ表示円２２は表示されないものとする。
【０１１０】
以上の処理の流れは、図３のステップＳ１〜ステップＳ４に示されている。図８（ａ）（ｄ）は図３のステップＳ１に対応し、図８（ｂ）（ｅ）は図３のステップＳ２に対応し、図８（ｃ）（ｆ）は図３のステップＳ３に対応している。
【０１１１】
操作者１３の顔１３ａと、顔位置・サイズ表示円２２とが一致しているか否かは、以下のようにして判定される。
【０１１２】
検出領域の画素値を１、それ以外の領域を０とする２値画像Ｘを作成し、Ｘの座標ｉにおける画素値をｘｉとし、顔位置・サイズ表示円２２の内部の画素値を１とし、他の領域を０とし、図４と同様にブロック分割された２値画像Ｙを作成し、Ｙの座標ｉにおける画素値をｙｉとし、ＸとＹの各画素における画素値の差の絶対値の総和Ｓが所定の閾値αより小さい場合に、以下の式（４）を満たしたとき、顔１３ａの領域と顔位置・サイズ表示円２２とが一致したものとする。
【０１１３】
Ｓ＝Σ｜ｘｉ−ｙｉ｜＜α ・・・・・・・・・・・・・・・（４）
このように、顔１３ａを単純な円、すなわち顔位置・サイズ表示円２２で位置およびサイズを表示し、これと顔位置指定枠２３の位置とサイズを比較して、自分が適正にいるか否かを判断するようになっているので、フレーム画像内の操作者１３をそのまま見て適正な位置にいるか否かを判断する場合に比べて、操作者１３は格段に容易に適正な位置を確認することが可能となる。
【０１１４】
以上の位置情報出力部７の働きによって、スクリーン１２において、省スペースで顔の位置を確認することができるが、スライド画面をスクリーン１２全体に表示した場合は、位置情報表示用のウインドウ１２ｂが邪魔になる場合もある。このような状況を考慮して、位置情報出力部７は音声によって、顔の位置をガイドする音声ガイダンスシステムを備えている。
【０１１５】
上記位置情報出力部７に備えられた音声ガイダンスシステムについて以下に説明する。なお、音声ガイダンスシステムの音声は、パーソナルコンピュータ１に装備されているスピーカから発声されるものとする。
【０１１６】
上記音声ガイダンスシステムでは、図８（ａ）に示すように、操作者１３がカメラ２から離れた位置で、適正な位置にいない場合に、該操作者１３をカメラ２に近づけて適正な位置に移動させるために、
『もう少し、近づいて下さい』
というメッセージが発声される。このメッセージは操作者１３が適正な位置にくるまで繰り返し発声される。
【０１１７】
また、逆に操作者１３がカメラ２に対して近過ぎる場合には、該操作者１３をカメラ２から遠ざけて適正な位置に移動させるために、
『もう少し、離れて下さい』
というメッセージが発声される。
【０１１８】
上記の処理は、前述の位置情報表示システムで用いた、顔位置・サイズ表示円２２を表わす２値画像と、検出領域とを比較することによって実現できる。すなわち、スクリーン１２には、位置表示用のウインドウ１２ｂが表示されないが、システム内部において、顔位置・サイズ表示円２２に相当する画像と検出領域とを比較し、この比較結果に基づいて、操作者１３に対してメッセージを発声する。
【０１１９】
つまり、上記システム内部では、検出領域の面積Ｓｘと、上記式（４）で用いた画像Ｙの面積Ｓｙとし、所定の閾値をβとしたとき、ＳｘとＳｙとの差Ｄが、以下の式（５）を満たすとき、操作者１３は適正な距離にいると判断する。
【０１２０】
Ｄ＝｜Ｓｘ−Ｓｙ｜＜β ・・・・・・・・・・・・・・・・（５）
すなわち、上記式（５）において、Ｄが所定の閾値β以下になった場合に適正な距離に操作者１３がいると判定する。
【０１２１】
また、操作者１３が適正な距離にいると判定されても、位置が前後ではなく左右にずれている場合、上記音声ガイダンスシステムでは、例えば、
『右下方向に顔を移動してください』
等のメッセージを発声することによって、操作者１３をガイドするようになっている。この場合には、上記式（４）を用いる手法によって、操作者１３の顔１３ａの位置を適正な位置への移動を実現することができる。以上の処理の流れは、図３のステップＳ４およびステップＳ５に対応している。
【０１２２】
以上の位置情報表示システム及び音声ガイダンスシステムにより、顔が適正な位置になった場合、位置情報出力部７は、これを操作者１３に通知するための確認音を出力する。この処理は、図３のステップＳ４およびステップＳ６に対応している。
【０１２３】
操作者１３は確認音を聞いた後、例えば図５（ｂ）に示すように、右側の手１３ｂを前方に伸ばして静止させる。手１３ｂが撮像範囲に入り、対象検出部４によって、一定時刻の間、静止状態にあることが検出されると、位置情報出力部７によって、確認音が発声される。このときの確認音は、顔１３ａが検出されたときの確認音とは異なる音色であり、操作者１３が聞き分けられるものとする。
【０１２４】
そして、操作者１３は確認音を聞いた後、手１３ｂを上下左右のいずれかの方向に動かす。以上の処理の流れは、図３のステップＳ６〜ステップＳ９に対応している。
【０１２５】
プレゼンテーションのスライド画面のページの送り、戻しの操作を行うシステムを考えた場合、手の移動方向の認識は、左右の２方向のみで十分である。このとき、手の操作方法を、操作者に分かりやすく提示し、且つ操作の練習が行える、図９（ａ）〜（ｃ）に示す操作ガイダンスシステムを上記位置情報出力部７で実現するようになっている。
【０１２６】
ここで、位置情報出力部７における操作ガイダンスシステムについて以下に説明する。
【０１２７】
例えば、図９（ａ）〜（ｃ）に示す操作ガイダンスシステムでは、操作者１３が操作の練習を行いたい場合には、ガイダンス用ウインドウ２４を、スクリーン１２全体に大きく表示し、実際にプレゼンテーションを行う場合には、図７（ａ）（ｂ）と同じように、プレゼンテーションシステム・ウインドウ１２ａよりも小さくスクリーン１２の隅に表示するようになっている。
【０１２８】
上記ガイダンス用ウインドウ２４には、図９（ａ）〜（ｃ）に示すように、３つの四角いボタンと、メッセージが表示されている。
【０１２９】
図９（ａ）の場合、フレーム２０において、操作者１３が手１３ｂを上げていない状態を示し、ガイダンス用ウインドウ２４上の３つのボタンは、いずれも選択されていないことが示されている。そして、ガイダンス用ウインドウ２４には、『手の平をカメラに向けてください』というメッセージが表示されている。
【０１３０】
操作者１３はメッセージに従い、図９（ｂ）のフレーム２０に表示されているように手１３ｂを挙げると、対象検出部４によって手１３ｂが検出され、ガイダンス用ウインドウ２４の真中のボタンの色（黒色）が変化する。
【０１３１】
そして、このボタンの色の変化と共に、ガイダンス用ウインドウ２４には、『ページを進ませたい方へ（右／左）手を動かしてください』とメッセージが表示される。ここで、操作者１３が右へ手１３ｂを平行移動し、動き方向認識部５によって、所定の移動量が検出されると、図９（ｃ）のガイダンス用ウインドウ２４の右側のボタン（進む）の色が変化する。このとき、真中のボタンの色は元に戻る。
【０１３２】
このとき、コマンド出力部６によって、パーソナルコンピュータ１の情報処理システムにページを進めるためのコマンドが入力される。その後、ガイダンス用ウインドウ２４には、次のページ操作を行なうために、『手を下ろしてください』とメッセージが表示される。
【０１３３】
また、所定の移動量が検出されずに手がフレーム画像から外れた場合は、図９（ａ）の状態に戻るものとする。
【０１３４】
なお、上述のようなガイダンス用ウインドウ２４上でのボタンの表示状態の変化の代わりに、認識された方向を示す矢印等によって、認識結果を通知するようにしてもよい。各メッセージは表示と同時に、音声で出力されるものとしてもよい。操作に習熟した場合は、メッセージを読む必要はなく、ボタンの色の変化のみで操作状況が確認できるため、システムから離れた位置にいても十分利用することができる。
【０１３５】
以上の位置情報出力部７における３のシステムは、何れか一つを単独に用いてもよいし、何れか２つを組み合わせ用いてもよく、さらに、全てのシステムを同時に用いてもよい。
【０１３６】
また、本実施の形態では、本発明のインターフェース装置をプレゼンテーションの操作を実行するために使用した例を挙げて説明しているが、これに限定されるものではなく、ＷＥＢブラウザのページ切替え等に利用することもできる。
【０１３７】
また、本発明のインターフェース装置では、図１に示す対象検出部４による対象物検出処理、動き方向認識部５により動き方向認識処理、コマンド出力部６によるコマンド出力処理、位置情報出力部７による位置情報通知処理は、コンピュータで実行可能なプログラムで実現される。
【０１３８】
このプログラムは、コンピュータで読み取り可能な記録媒体に格納されている。例えば、図１０に示すように、対象物検出処理プログラムのファイル１０１、動き方向認識処理プログラムのファイル１０２、コマンド出力処理プログラムのファイル１０３、位置情報通知処理プログラムのファイル１０４が格納された記録媒体１００が考えられる。
【０１３９】
ここで、上記記録媒体１００は、プログラムメディアが本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１４０】
また、本発明においては、例えば情報処理システムがインターネットを含む通信ネットワークと接続可能なシステムであってもよく、この場合には、上記インターフェース処理プログラムは、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。尚、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。
【０１４１】
尚、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１４２】
【発明の効果】
本発明のインターフェース装置は、以上のように、情報処理システムにおける情報処理実行のためのコマンドの入力を行うインターフェース装置において、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出手段と、フレーム画像内に一つの対象物を上記対象物検出手段により検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出手段により新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識手段と、上記対象物検出手段により検出され、上記動き方向認識手段により追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知手段と、上記動き方向認識手段により認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力手段とを備える構成である。
【０１４３】
それゆえ、撮像装置により撮像された動画像から検出された対象物の動き方向に応じたコマンドに基づいて情報処理システムにおける情報処理を実行することで、キーボード、マウス、赤外線リモコン等の機器を使用せずに、検出された対象物の動きにより情報処理を実行することができる。
【０１４４】
このように、検出された対象物の動きにより情報処理のコマンドを実行することにより、ディスプレイ上に表示された対象物の動きに連動したマウスポインタやカーソルを操作者は見なくても、パーソナルコンピュータ等の情報処理機器を操作することができる。
【０１４５】
しかも、位置情報出力手段は、対象物の位置を検出すると共に、この検出結果を対象物の位置情報として、情報処理システムを操作する操作者に通知することにより、操作者は、通知された位置情報から、情報処理システムにおける情報処理のコマンドが実行可能な位置、すなわち適正な位置に対象物がいるか否かを迅速に判断することができる。
【０１４６】
これにより、操作者は、対象物が適正な位置にいるか否かにより次にしなければならないことを的確に把握することができるので、インターフェース装置を用いて情報処理機器を操作する場合の操作性の向上を図ることができるという効果を奏する。
【０１４７】
また、上記位置情報通知手段は、対象物が適正な位置にいないことが検出された場合に対象物の適正な位置への移動を促すためのガイダンス手段を備えていてもよい。
【０１４８】
この場合、対象物が適正な位置にいない場合に、ガイダンス手段により対象物を適正な位置に移動させるように促され、操作者はその指示に従って対象物を移動させればよいので、対象物を簡単に適正な位置に移動させることができるという効果を奏する。
【０１４９】
また、上記ガイダンス手段は、対象物が適正な位置にあることを、ビープ音等の確認音を発声して操作者に通知するようにしてもよい。
【０１５０】
これにより、操作者は、ビープ音等の確認音を聞くだけで対象物が適正な位置にあることを認識することができるという効果を奏する。
【０１５１】
さらに、上記ガイダンス手段は、対象物が適正な位置にあることを、ボタンの色の変化等の視覚的な変化によって操作者に通知するようにしてもよい。
【０１５２】
これにより、操作者は、視覚的に変化するボタンを見るだけで対象物が適正な位置にあることを認識することができるという効果を奏する。
【０１５３】
また、上記ガイダンス手段は、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示するようにしてもよい。
【０１５４】
この場合、操作者は、表示された各マークを見るだけで、対象物が適正な位置にいるか否かを簡単に認識することができるという効果を奏する。
【０１５５】
さらに、上記ガイダンス手段は、対象物をどの方向に移動させれば良いかを、音声メッセージによって指示するようにしてもよい。
【０１５６】
この場合、操作者は、音声メッセージを聞くだけで、対象物をどの方向に移動させれば良いかを認識できるので、対象物を適正な位置に迅速に移動させることができるという効果を奏する。
【０１５７】
また、上記動き方向認識手段は、検出された対象物の動き方向の認識結果を、操作者に通知する通知手段を備えるようにしてもよい。
【０１５８】
この場合、操作者は、通知手段によって通知された対象物の動き方向の認識結果から、該対象物の動き方向の認識の適否を簡単に知ることができるという効果を奏する。
【０１５９】
また、上記通知手段は、対象物の動き方向の認識の成否を、動き方向の表示によって、操作者に通知するようにしてもよい。
【０１６０】
この場合、操作者は、通知手段により、対象物の動き方向の認識の成否を、動き方向の表示によって通知されていることで、視覚的に対象物の動き方向の認識の成否を確認することができるという効果を奏する。
【０１６１】
また、上記通知手段は、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって、操作者に通知するようにしてもよい。
【０１６２】
この場合、操作者は、通知手段により、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって知らされるので、確認音を聞くだけで、対象物の動き方向の認識の成否を確認することができるという効果を奏する。
【０１６３】
以上のようなインターフェース装置において、上記撮像装置により撮像される動画像には、人間の頭部を含む、少なくとも胸部より上の身体が含まれ、上記対象物検出手段により検出される対象物は人間の手であってもよい。
【０１６４】
この場合、情報処理システムのコマンドに対応する対象物の動き方向が、人間の手の動き方向となるので、人間（操作者）は手を動かすだけで、該コマンドを実行することができるという効果を奏する。
【０１６５】
また、上記対象物検出手段は、動画像中の肌色領域を検出することで、人間の手を検出するようにしてもよい。
【０１６６】
さらに、上記対象物検出手段は、動画像から得られる特定のフレーム画像において、一つの対象物が所定の位置に存在することを検出し、後続の特定のフレーム画像において、検出した上記一つの対象物の領域を、操作者の顔領域として認識し、上記顔領域の追跡処理している状態で、該後続の特定のフレーム画像において上記顔の領域とは異なる対象物の領域の存否によって、該特定のフレーム画像に手領域が存在しているか否かを認識するようにしてもよい。
【０１６７】
また、インターフェース装置における処理としては、以下の処理を含み、この処理を含むプログラムはコンピュータで実行可能となっている。
【０１６８】
すなわち、インターフェース処理プログラムを記録している記録媒体は、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出処理と、フレーム画像内に一つの対象物を上記対象物検出処理で検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出処理で新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識処理と、上記対象物検出処理で検出され、上記動き方向認識処理で追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知処理と、上記動き方向認識処理で認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力処理とを記録している。
【０１６９】
これにより、コンピュータにより簡単に、上述したような各種のインターフェース処理を実行することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明のインターフェース装置を示す概略構成ブロック図である。
【図２】図１に示すインターフェース装置をプレゼンテーションシステムに適用した場合の説明図である。
【図３】図１に示すインターフェース装置におけるインターフェース処理の流れを示すフローチャートである。
【図４】入力フレーム画像の一例を示す説明図である。
【図５】（ａ）〜（ｃ）は、検出領域の追跡処理の流れを示す説明図である。
【図６】（ａ）はフレーム画像において操作者の顔が適正な位置にない状態を示し、（ｂ）はフレーム画像において操作者の顔が適正な位置にある状態を示す説明図である。
【図７】（ａ）（ｂ）は位置情報表示システムを示す説明図である。
【図８】（ａ）〜（ｆ）は位置情報表示システムにおける処理の流れを示す説明図である。
【図９】（ａ）〜（ｃ）は操作ガイダンスシステムを示す説明図である。
【図１０】本発明のインターフェース処理プログラムを記録した記録媒体の一例を示す説明図である。
【符号の説明】
１ パーソナルコンピュータ（情報処理システム）
２ カメラ（撮像装置）
４ 対象検出部（対象物検出手段）
５ 動き方向認識部（動き方向認識手段、通知手段）
６ コマンド出力部（コマンド出力手段）
７ 位置情報出力部（位置情報通知手段、ガイダンス手段）
１１ プロジェクタ
１２ スクリーン（ディスプレイ）
１３ 操作者
１３ａ 顔
１３ｂ 手（対象物）
【発明の属する技術分野】
本発明は、パーソナルコンピュータ等の情報処理機器における情報処理実行のためのコマンドの入力を行うインターフェース装置およびインターフェース処理プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
パーソナルコンピュータ等の情報処理機器を操作するインターフェースとしては、キーボードやマウス等の装置が一般的である。
【０００３】
したがって、パーソナルコンピュータで Microsoft（登録商標）社のPower Point （登録商標）等のプレゼンテーション用のアプリケーションを利用してプレゼンテーションを行う場合、ページを進める、戻すといった操作は、マウスボタンのクリック、もしくはカーソルキーによって方向を指示することにより行われている。
【０００４】
ところで、一般的な会議でのプレゼンテーションの場面においては、発表者はパーソナルコンピュータから離れた位置に立つことが多いため、ページ送りの操作の都度、キーボードやマウスが操作できる位置に近づく必要があり、操作が煩わしいという問題が生じる。
【０００５】
そこで、キーボードやマウス等の装置を利用せずに、パーソナルコンピュータを離れた位置から操作する方法として、赤外線リモコンを使用する方法が提案されている。
【０００６】
この赤外線リモコンを使用する方法では、プレゼンテーションの間、常にリモコンを手にしている必要があり、この場合においても操作者に煩わしさを与えるという問題が生じる。
【０００７】
このような各問題点を解消するために、カメラ等の撮像装置によって撮像された操作者の手の動作を認識処理し、ディスプレイ上のマウスポインタの制御を行う技術が特開平８−４４４９０号公報に開示されている。この公報に開示された技術によれば、操作者の手の動きは、ディスプレイ上に表示されるマウスポインタの形状の変化や動きによって表現される。
【０００８】
上記公報によれば、キーボード、マウス、赤外線リモコン等の機器を使用せずに、パーソナルコンピュータを離れた位置から操作するインターフェース装置を実現することができる。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された技術では、操作者の手の動きは、ディスプレイ上に表示されるマウスポインタの形状の変化や動きによって表現され、該ディスプレイ上のマウスポインタの制御を行うようになっているので、操作者はディスプレイが見える位置でマウスポインタを見ながら操作を行う必要がある。
【００１０】
したがって、操作者がディスプレイが見えない位置にいる場合には、視覚的に操作の手順やシステムの状態を確認することができない。このため、例えばプレゼンテーションのスライド画面をディスプレイ全体に表示する場合や、ディスプレイが見えない位置にいる場合、あるいはディスプレイがない情報処理機器を操作する場合等のディスプレイ上に手の動きに連動したマウスポインタを表示できないような場合には、操作者は、パーソナルコンピュータ等の情報処理機器を操作することができない。
【００１１】
さらに、上記公報に開示された技術では、操作者の位置を確認する方法が考慮されていないので、操作者が適当な位置、例えば操作可能な適正な位置から外れた位置にいる場合であって、ディスプレイが見える位置にいる場合に、何故情報処理機器の操作を行うことができないのかを容易に理解することができず、このため、操作者は情報処理機器が操作できるまで試行錯誤しなければならず、この結果、装置の操作性が低下するという問題が生じる。
【００１２】
本発明は、上記の各問題点を解決するためになされたもので、その目的は、キーボード、マウス、赤外線リモコン等の機器を利用せずに、パーソナルコンピュータ等の情報処理機器を離れた位置から操作することを前提とし、ディスプレイ上に手の動きに連動したマウスポインタを表示できないような場合であってもパーソナルコンピュータ等の情報処理機器を操作可能とし、操作者が適当な位置で操作を開始して情報処理機器の操作が不能と判断されたときであっても、操作者にそのことを知らせ、次に操作者は何をすればいいのかを迅速に認知できるような操作性のよいインターフェース装置およびインターフェース処理プログラムを記録した記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
本発明のインターフェース装置は、上記の課題を解決するために、情報処理システムにおける情報処理実行のためのコマンドの入力を行うインターフェース装置において、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出手段と、フレーム画像内に一つの対象物を上記対象物検出手段により検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出手段により新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識手段と、上記対象物検出手段により検出され、上記動き方向認識手段により追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知手段と、上記動き方向認識手段により認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力手段とを備えることを特徴としている。
【００１４】
上記の構成によれば、撮像装置により撮像された動画像から検出された対象物の動き方向に応じたコマンドに基づいて情報処理システムにおける情報処理を実行することで、従来のように、キーボード、マウス、赤外線リモコン等の機器を使用せずに、検出された対象物の動きにより情報処理のコマンドを実行することができる。
【００１５】
このように、検出された対象物の動きにより情報処理のコマンドを実行することにより、ディスプレイ上に表示された対象物の動きに連動したマウスポインタやカーソルを操作者は見なくても、パーソナルコンピュータ等の情報処理機器を操作することができる。
【００１６】
しかも、位置情報出力手段によって、対象物の位置を検出すると共に、この検出結果を対象物の位置情報として、情報処理システムを操作する操作者に通知することにより、操作者は、通知された位置情報から、情報処理システムにおける情報処理のコマンドが実行可能な位置、すなわち適正な位置に対象物がいるか否かを迅速に判断することができる。
【００１７】
これにより、操作者は、対象物が適正な位置にいるか否かにより次にしなければならないことを的確に把握することができるので、このようなインターフェース装置を介してパーソナルコンピュータ等の情報処理機器を操作する場合の操作性の向上を図ることができる。
【００１８】
また、上記位置情報通知手段は、対象物が適正な位置にいないことが検出された場合に対象物の適正な位置への移動を促すためのガイダンス手段を備えていてもよい。
【００１９】
この場合、対象物が適正な位置にいない場合に、ガイダンス手段により対象物を適正な位置に移動させるように促され、操作者はその指示に従って対象物を移動させればよいので、対象物を簡単に適正な位置に移動させることができる。
【００２０】
また、上記ガイダンス手段は、対象物が適正な位置にあることを、ビープ音等の確認音を発声して操作者に通知するようにしてもよい。
【００２１】
これにより、操作者は、ビープ音等の確認音を聞くだけで対象物が適正な位置にあることを認識することができる。
【００２２】
さらに、上記ガイダンス手段は、対象物が適正な位置にあることを、ボタンの色の変化等の視覚的な変化によって操作者に通知するようにしてもよい。
【００２３】
これにより、操作者は、視覚的に変化するボタンを見るだけで対象物が適正な位置にあることを認識することができる。
【００２４】
また、上記ガイダンス手段は、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示するようにしてもよい。
【００２５】
この場合、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示することで、操作者に対して、対象物の適正な位置への移動を促すことができる。したがって、操作者は、表示された各マークを見るだけで、対象物が適正な位置にいるか否かを簡単に認識することができる。
【００２６】
さらに、上記ガイダンス手段は、対象物をどの方向に移動させればよいかを、音声メッセージによって指示するようにしてもよい。
【００２７】
この場合、対象物をどの方向に移動させればよいかを、音声メッセージによって指示することで、操作者に対して、対象物の適正な位置への移動を促すことができる。したがって、操作者は、音声メッセージを聞くだけで、対象物をどの方向に移動させれば良いかを認識できるので、対象物を適正な位置に迅速に移動させることができる。
【００２８】
また、上記動き方向認識手段は、検出された対象物の動き方向の認識結果を、操作者に通知する通知手段を備えるようにしてもよい。
【００２９】
この場合、操作者は、通知手段によって通知された対象物の動き方向の認識結果から、該対象物の動き方向の認識の適否を簡単に知ることができる。
【００３０】
また、上記通知手段は、対象物の動き方向の認識の成否を、動き方向の表示によって、操作者に通知するようにしてもよい。
【００３１】
この場合、操作者は、通知手段により、対象物の動き方向の認識の成否を、動き方向の表示によって通知されていることで、視覚的に対象物の動き方向の認識の成否を確認することができる。
【００３２】
また、上記通知手段は、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって、操作者に通知するようにしてもよい。
【００３３】
この場合、操作者は、通知手段により、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって知らされるので、確認音を聞くだけで、対象物の動き方向の認識の成否を確認することができる。
【００３４】
以上のようなインターフェース装置において、上記撮像装置により撮像される動画像には、人間の頭部を含む、少なくとも胸部より上の身体が含まれ、上記対象物検出手段により検出される対象物は人間の手であってもよい。
【００３５】
この場合、情報処理システムのコマンドに対応する対象物の動き方向が、人間の手の動き方向となるので、人間（操作者）は手を動かすだけで、該コマンドを実行することが可能となる。
【００３６】
また、上記対象物検出手段は、動画像中の肌色領域を検出することで、人間の手を検出するようにしてもよい。
【００３７】
さらに、上記対象物検出手段は、動画像から得られる特定のフレーム画像において、一つの対象物が所定の位置に存在することを検出し、後続の特定のフレーム画像において、検出した上記一つの対象物の領域を、操作者の顔領域として認識し、上記顔領域の追跡処理している状態で、該後続の特定のフレーム画像において上記顔の領域とは異なる対象物の領域の存否によって、該特定のフレーム画像に手領域が存在しているか否かを認識するようにしてもよい。
【００３８】
また、インターフェース装置における処理としては、以下の処理を含み、この処理を含むプログラムはコンピュータで実行可能となっている。
【００３９】
すなわち、インターフェース処理プログラムを記録している記録媒体は、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出処理と、フレーム画像内に一つの対象物を上記対象物検出処理で検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出処理で新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識処理と、上記対象物検出処理で検出され、上記動き方向認識処理で追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知処理と、上記動き方向認識処理で認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力処理とを記録している。
【００４０】
これにより、コンピュータにより簡単に、上述したような各種のインターフェース処理を実行することが可能となる。
【００４１】
【発明の実施の形態】
本発明の実施の一形態について説明すれば、以下の通りである。なお、本実施の形態では、本願発明のインターフェース装置をプレゼンテーションを実行するためのプレゼンテーションシステムに適用した場合について説明する。
【００４２】
上記プレゼンテーションシステムは、図２に示すように、情報処理機器としてのパーソナルコンピュータ１と、このパーソナルコンピュータ１に接続されたカメラ（撮像装置）２およびプロジェクタ１１と、プロジェクタ１１で投影される映像を映し出すためのスクリーン１２とで構成されている。
【００４３】
上記プレゼンテーションシステムでは、操作者１３が、パーソナルコンピュータ１から離れた位置に立ち、プロジェクタ１１によってスクリーン１２上に投影された映像、例えばスライドのページを進めたいときは手の平を右に動かし、戻したいときは左に動かすようにする。
【００４４】
すなわち、上記プレゼンテーションシステムでは、カメラ２で捉えられた操作者１３の手の動きが、パーソナルコンピュータ１内で認識され、手が右に動いたと認識された場合は、ページを進めるためのコマンドが発行され、手が左に動いたと認識された場合は、ページを戻すためのコマンドが発行される。各コマンドがプレゼンテーションを実行するアプリケーションに入力されることによって、ページが切替えられ、プロジェクタ１１を通してスクリーン１２に投影される。
【００４５】
以上のことから、上記プレゼンテーションシステムにおけるインターフェース装置は、上記パーソナルコンピュータ１と該パーソナルコンピュータ１に接続されたカメラ２とで構成されていることになる。
【００４６】
上記インターフェース装置の詳細な構成について、以下に説明する。
【００４７】
上記インターフェース装置は、例えば図１に示すように、パーソナルコンピュータ１とカメラ２とからなり、上記パーソナルコンピュータ１内の情報処理システムにおける情報処理実行のためのコマンドの入力を行うための装置である。
【００４８】
上記カメラ２は、撮像した動画像をフレーム単位でフレーム画像としてパーソナルコンピュータ１に出力するようになっている。
【００４９】
上記パーソナルコンピュータ１は、フレームメモリ３、対象検出部（対象物検出手段）４、動き方向認識部（動き方向認識手段）５、コマンド出力部（コマンド出力手段）６、位置情報出力部（位置情報通知手段）７で構成されており、さらに、プレゼンテーション等の各種アプリケーションを実行するための情報処理システムを含んでいる。
【００５０】
上記フレームメモリ３には、撮像装置としてのカメラ２、例えばＣＣＤ（Charge Coupled Device)カメラ等により撮影されたフレーム画像が順次転送され、該フレーム画像を記憶する。このとき、図１に示すようなプレゼンテーションシステムの場合には、操作者１３の上半身が撮影され、フレーム画像として順次記憶されるようになっている。なお、以降の処理量を軽減するためにフレーム画像を縮小して記憶するようにしてもよい。
【００５１】
上記対象検出部４では、本インターフェース装置の対象物である、操作者の手の動きを認識するために、フレームメモリ３から出力されるフレーム画像（特定のフレーム画像）から肌色の領域を検出することによって、操作者の手及び顔の領域を検出するようになっている。なお、対象検出部４において、肌色領域の検出や、手の動きの認識に関しては、例えば論文『肌色領域より隠れて見える場合を考慮した手話動画像からの手の実時間追跡』（今川和幸他３名：電子情報通信学会論文誌 D-II Vol.J81-D-II No.8 pp.1787-1795 1998年 8月）に記載された手法を用いて実現できるので、その詳細は省略する。
【００５２】
つまり、上記対象検出部４では、動画像中の特定のフレーム画像において、人間の顔が所定の位置に存在することを検出し、この検出結果に基づいて該特定のフレーム画像に手が存在しているか否かを検出するようになっている。
【００５３】
上記動き方向認識部５は、操作者の手及び顔の動きを検出し、それぞれの動き方向を識別するようになっている。ここで、手の移動量が上下左右いずれかの方向に、所定の閾値を越える値が検出された場合、その方向に手が動いたと認識する。また、所定の時間内に、所定の値を越える移動量が検出されなかった場合や、手あるいは、顔が撮像範囲から外れた場合は、認識に失敗したと判断する。このとき、対象物の認識に成功した場合と失敗した場合とで異なる音の確認音を発声するようにしてもよい。この場合、動き方向認識部５からパーソナルコンピュータ１に装備されているスピーカ等の通知手段により確認音を発声するようにすればよい。そして、操作者は、確認音の違いにより動き方向認識部５での認識の成否が容易に確認できる。なお、動き方向認識部５における処理の詳細については、後述する。
【００５４】
上記コマンド出力部６では、上記動き方向認識部５で認識された方向に対応したコマンドを、パーソナルコンピュータ１内の情報処理システムに発行する。例えば、上記情報処理システムによって プレゼンテーション用のアプリケーションの一つである Microsoft（登録商標）社のPowerPoint（登録商標）の制御を行う場合は、左右のカーソルキーに対応するコマンドを出力する。同時に、コマンドが出力されたことを操作者に通知するための、確認音を発声する。また、認識に失敗した場合も、そのことを操作者に通知するために、異なる確認音を発声する。この場合の発声手段も、パーソナルコンピュータ１に装備されているスピーカを使用すればよい。
【００５５】
また、上記位置情報出力部７は、対象検出部４からの情報に基づいて、対象物である操作者１３の位置あるいは操作者１３の顔の位置等の位置情報を上記パーソナルコンピュータ１内の情報処理システムを操作している操作者に対して出力するようになっている。つまり、位置情報出力部７は、操作者１３に対して、対象物等の位置情報を通知するようになっている。なお、位置情報出力部７の詳細については後述する。
【００５６】
ここで、図１に示すインターフェース装置における処理の流れについて、図３に示すフローチャートを参照しながら以下に説明する。
【００５７】
まず、カメラ２により撮影された操作者１３のフレーム画像がフレームメモリ３に入力され、記憶され、このフレームメモリ３に記憶されたフレーム画像が対象検出部４に入力される（ステップＳ１）。
【００５８】
次に、対象検出部４において、入力されたフレーム画像から顔領域の検出が行われ（ステップＳ２）、この検出結果が位置情報出力部７に出力される（ステップＳ３）。
【００５９】
続いて、位置情報出力部７は、入力された検出結果に基づいて、顔が所定の位置にあるか否かを判定する（ステップＳ４）。ここで、顔が所定の位置にないと判定されれば、ステップＳ５において、操作者１３に対して所定の位置に移動するように移動方向指示の音声出力を行い、ステップＳ１に移行する。
【００６０】
一方、ステップＳ４において、顔が所定の位置にあると判定されれば、位置情報出力部７は確認音を出力する（ステップＳ６）。この確認音により、操作者１３は、自分の顔が所定の位置にあることを確認することができる。
【００６１】
次いで、対象検出部４は、入力されたフレームから手領域の検出を行い（ステップＳ７）、この検出結果を位置情報出力部７に出力する。
【００６２】
続いて、位置情報出力部７は、入力された検出結果に基づいて、手が所定の位置にあるか否かを判定する（ステップＳ８）。ここで、手が所定の位置になければ、ステップＳ１に移行する。
【００６３】
一方、ステップＳ８において、手が所定の位置にあると判定されれば、確認を出力する（ステップＳ９）。この確認音により、操作者１３は、自分の手が所定の位置にあることを確認することができる。
【００６４】
次に、動き方向認識部５は、対象検出部４による検出結果に基づいて手の動き方向を検出し（ステップＳ１０）、手の動き方向の検出に成功しているか否かを判定する（ステップＳ１１）。
【００６５】
ステップＳ１１において、手の動き方向の検出に成功していないと判定されれば、確認音を出力し（ステップＳ１２）、ステップＳ１に移行する。この確認音により、操作者１３は、手の動き方向の検出に失敗したことを確認することができる。
【００６６】
一方、ステップＳ１１において、手の動き方向の検出に成功していると判定されれば、ステップＳ１２の確認音とは異なる確認音を出力する（ステップＳ１３）。この確認音により、操作者１３は、手の動き方向の検出に成功したことを確認することができる。
【００６７】
そして、動き方向認識部５による手の動き方向の検出結果は、コマンド出力部６に出力される。このコマンド出力部６は、手の動き方向に対応したコマンドをパーソナルコンピュータ１内の情報処理システムに出力する（ステップＳ１４）。
【００６８】
コマンド出力部６は、上記パーソナルコンピュータ１内の情報処理システムによって、例えばMicrosoft 社のPowerPoint（登録商標）の制御を行う場合には、左右のカーソルキーに対応するコマンドを出力する。
【００６９】
そして、操作者１３による終了命令が発せられたか否かが判断さるまで、ステップＳ１〜ステップＳ１４までの処理が続行される（ステップＳ１５）。
【００７０】
上述したインターフェース装置では、操作者１３の手の動きによってアプリケーションの制御を行うコマンドを出力するようになっている。つまり、認識対象が手の動きのみであるにもかかわらず、上記インターフェース装置では、顔領域も検出対象としている。この理由について説明すると以下のようになる。
【００７１】
操作者１３が、図２に示すように、カメラ２の正面に立って、手を体の前方に出して、上下左右に動かす動作を行った場合、必然的に顔がフレーム画像内に入る。通常、フレーム画像から色情報のみを用いて、肌色領域の検出を行った場合、検出された領域が顔であるか手であるかを判断することは困難である。フレーム画像内の全ての、肌色領域の動き方向の認識を行うと、例えば、手を動かしていなくても、操作者が顔を左右に動かした場合にも、手の動きと誤認識される可能性がある。
【００７２】
そこで、本発明では、操作者１３は、一旦フレーム画像内に顔のみが映っていて、手が映っていない姿勢をとることを前提とし、この状態で、動き方向認識部５は、対象検出部４により検出された肌色領域を顔領域とし、以降入力されるフレーム画像において顔領域の追跡処理を行うようになっている。
【００７３】
このように、顔領域の追跡が行われている状態で、フレーム画像内に手が出現すると、新たに出現した肌色領域を手領域として追跡処理を行うことによって、顔と手の区別を可能としている。
【００７４】
つまり、対象検出部４は、動画像中の特定のフレーム画像において、人間である操作者１３の顔が所定の位置に存在することを検出し、この検出結果に基づいて該特定のフレーム画像に手が存在しているか否かを検出するようになっている。
【００７５】
ここで、上記動き方向認識部５における認識動作について、図４および図５（ａ）〜（ｃ）を参照しながら、以下に説明する。
【００７６】
まず、肌色領域の検出について説明する。
【００７７】
フレームメモリ３に記憶されている画像（フレーム画像）は、画素数が３２０×２４０画素であり、各画素値はＲ、Ｇ、Ｂの３色の成分値から構成されているものとする。上記フレーム画像としては、例えば図４に示すように、１ブロックの画素数が１６×１６画素として、入力フレーム画像を２０×１５ブロックに分割することが考えられる。
【００７８】
この場合、１ブロック内の全ての画素値のＲ．Ｇ、Ｂの各成分について平均値を求め、その平均値をブロックの画素値の代表値とし、全ブロックにつき画素値の代表値を求める。対象が顔や手である場合には、肌色の画素の割合が大部分であるため、画素値の代表値は肌色を示す値に近くなる。
【００７９】
ブロックの代表値をＲ、Ｇ、Ｂのそれぞれについて、ｒ、ｇ、ｂとすると、肌色である条件は、次式で定義することができる。
【００８０】
ｒmin ≦ ｒ ≦ｒmax ・・・・・・・・・・（１）
ｇmin ≦ ｇ ≦ｇmax ・・・・・・・・・・（２）
ｂmin ≦ ｂ ≦ｂmax ・・・・・・・・・・（３）
ここで、ｒmin 、ｇmin 、ｂmin は、（ｒ、ｇ、ｂ）のそれぞれの値に対する最小値であり、ｒmax 、ｇmax 、ｂmax は、（ｒ、ｇ、ｂ）のそれぞれの値に対する最大値である。これらの値は、肌色が検出され易いように予め決められているものとする。
【００８１】
続いて、肌色であると判定されたブロックが隣接している場合に、統合することによってブロックの集合領域を検出する。検出された集合領域が所定の形状をもつ場合には、その領域を認識対象領域と判断する。例えば、認識対象が顔の場合には、領域の形状が楕円形に近いことが条件となる。
【００８２】
次に、手の動き方向の認識について図５（ａ）〜（ｃ）を用いて説明する。図５（ａ）〜（ｃ）において、上段の図は入力フレーム画像を示し、下段の図は、上段の図のそれぞれのフレーム画像に対応して検出された肌色領域を示している。図５（ａ）は、初期状態Ｔ＝ｔ０での状態を示し、図５（ｂ）は、図５（ａ）の状態よりも少し時間が経過したＴ＝ｔ１での状態を示し、図５（ｃ）は、図５（ｂ）の状態よりも少し時間が経過したＴ＝ｔ２での状態を示している。
【００８３】
ある時刻Ｔ＝ｔ０に検出された肌色領域が、図５（ａ）に示すように、領域Ａ０のみであった場合、この領域Ａ０を操作者１３の顔１３ａであると判断する。
【００８４】
次に、時刻Ｔ＝ｔ１に検出された肌色領域が、図５（ｂ）に示すように、領域Ａ１とＢ１の２つであった場合、一方の領域を操作者１３の顔１３ａであると判断し、他方の領域を操作者１３の手１３ｂであると判断する。このとき、顔領域の判断基準を前時刻の顔領域との重心間の距離が近い方とすると、領域Ａ１が顔１３ａ、領域Ｂ１が手１３ｂと判断される。
【００８５】
続いて、時刻Ｔ＝ｔ２に検出された肌色領域が、図５（ｃ）に示すように、領域Ａ２とＢ２の２つであった場合、時刻Ｔ＝ｔ１の顔１３ａの重心間の距離が近い方を、顔領域と判断する。この場合、領域Ａ１と領域Ａ２との重心間の距離が０なので、領域Ａ２が顔領域であると判断される。したがって、もう一方の領域Ｂ２は、自動的に領域Ｂ１と対応付けられて手領域であると判断される。
【００８６】
このとき、動き方向認識部５によって、手１３ｂは、図５（ｃ）に示すように、矢印方向に移動、すなわち右方向に移動していると認識される。なお、図５（ａ）〜（ｃ）で示すフレーム画像は、カメラ２により入力されたフレーム画像を左右反転して処理されているものとする。
【００８７】
以上のようにして認識された操作者１３の手１３ｂの移動方向に関する情報が、コマンド出力部６に転送される。このコマンド出力部６では、操作者１３の手１３ｂの移動方向に対応したコマンドをパーソナルコンピュータ１内の情報処理システムに発行する。
【００８８】
続いて、上述した位置情報出力部７について、以下に説明する。
【００８９】
上記位置情報出力部７は、パーソナルコンピュータ１内の情報処理システムを操作する操作者１３に対して対象物の位置情報を通知するための手段であり、位置情報表示システム、音声ガイダンスシステム、操作ガイダンスシステムの少なくとも一つのシステム（ガイダンス手段）を含む構成となっている。
【００９０】
上記の各システムの説明を始める前に、上記パーソナルコンピュータ１内の対象検出部４における対象物の検出動作について説明する。
【００９１】
上記対象検出部４が、操作者１３の顔１３ａと手（対象物）１３ｂとを検出するためには、入力フレーム画像中に顔１３ａと手１３ｂが映っている必要がある。本発明では、上述のように一旦顔１３ａのみの検出を行うようにしているが、この場合でも、例えば図６（ａ）に示す場合のように、フレーム２０内の右端に操作者１３の体全体がよっていると、右手で操作を行おうとして、手１３ｂをあげても、フレーム２０内に右手が入らないため、対象検出部４は手の検出が行えない。ここで、フレーム２０は、カメラ２により撮影されたフレーム画像のうち、対象検出部４が認識できる画像の範囲を規定する枠である。
【００９２】
このような事態を避けるためには、図６（ｂ）に示すように、予めフレーム２０内に破線枠２１を設け、この破線枠２１内に顔１３ａが収まるように操作者１３を移動させるようにすればよい。この場合、上記破線枠２１は、フレーム２０内に操作者１３が収まり、手１３ｂを挙げたときに該手１３ｂをフレーム２０内に手がくるように設定されている。
【００９３】
また、例えば操作者１３がカメラ２に近い位置にいて、顔１３ａがフレーム画像の大部分を占める場合や、逆に操作者１３がカメラ２から遠い位置にいて、顔１３ａが小さ過ぎる場合も、フレーム２０内で操作者１３の手１３ｂが適切に表示されないので、手１３ｂの検出には不都合となっている。
【００９４】
したがって、フレーム画像内での、顔１３ａの大きさに関しても、適正な範囲にある必要がある。なお、図６（ａ）（ｂ）は、カメラ２より入力されたフレーム画像を左右反転して図示しているものとする。
【００９５】
フレーム画像内の適当な位置に、適当な大きさで顔が映っているかどうかは、フレーム画像をディスプレイに表示することによって容易に確認することができる。しかしながら、本発明は、プレゼンテーションのスライド画面の操作を重要な目標としているため、ディスプレイの全体もしくは、大部分にスライド画面が表示され、フレーム画像を表示するスペースを確保することは難しい。フレーム画像を画面の隅に小さく表示することも考えられるが、操作者がシステムから離れた位置に立つことを想定しているため、視認することは困難である。
【００９６】
そこで、省スペースで容易に顔の位置を確認する手段として、位置情報出力部７では、図７（ａ）（ｂ）に示すような位置情報表示システムを実現するようになっている。
【００９７】
図７（ａ）に示す位置情報表示システムでは、プレゼンテーションシステム・ウインドウ１２ａがプレゼンテーションにおけるディスプレイ画面となるスクリーン１２の大部分を占めるように大きく表示され、位置情報表示システム用のウインドウ１２ｂは上記のプレゼンテーションシステム・ウインドウ１２ａに重ならない位置に小さく表示されるようになっている。
【００９８】
図７（ｂ）に示す位置情報表示システムでは、プレゼンテーションシステム・ウインドウ１２ａがスクリーン１２全体に表示され、位置情報表示システム用のウインドウ１２ｂはプレゼンテーションの内容をできる限り遮らないように、右下隅に小さく表示されるようになっている。
【００９９】
ここで、位置情報表示システムの働きについて、図８（ａ）〜（ｆ）を参照しながら以下に説明する。
【０１００】
カメラ２によって撮影されたフレーム画像に、図８（ａ）に示すように、操作者１３の上半身の大部分が映し出されている場合、すなわち、操作者１３がカメラ２から離れた位置にいる場合、対象検出部４による検出結果は、図８（ｂ）に示すように、肌色領域を示す領域、すなわち顔１３ａに相当する領域が適正な顔の位置を示す破線枠２１から外れた位置に存在したものとなる。
【０１０１】
この場合、図７（ａ）（ｂ）に示すスクリーン１２の位置表示用のウインドウ１２ｂには、図８（ｃ）のように、検出された顔の位置とサイズが図中の黒い円（顔位置・サイズ表示円）２２で表現され、適正な可能位置が円形の枠、すなわち顔位置指定枠２３で表現される。
【０１０２】
なお、図８（ｂ）で示す顔１３ａの位置を示す座標と、図８（ｃ）で示す顔位置・サイズ表示円２２の位置を示す座標とは必ずしも１対１に対応している必要はなく、図８（ｂ）で示す適正な顔の位置を中心とした部分矩形領域（破線枠２１）を切り出し、図８（ｃ）では、顔位置指定枠２３が図の中心配置されるように、適当に座標変換されていてもよい。つまり、顔位置が適正な位置からどの方向にどの程度ずれているかが、操作者１３に認識できればよい。
【０１０３】
操作者１３は、スクリーン１２上に映し出された位置表示用のウインドウ１２ｂに、図８（ｃ）で示すような状態の顔位置・サイズ表示円２２と顔位置指定枠２３とが表示されているのを見て、自分の顔が適正な位置より、左上にずれていて、且つ面積が小さいことが分かる。このことから、操作者１３は、自分がカメラ２から遠く離れ過ぎていることを認識する。
【０１０４】
したがって、操作者１３は、スクリーン１２の位置表示用のウインドウ１２ｂで示された顔位置・サイズ表示円２２が顔位置指定枠２３に近づくように、カメラ２に近づき、右下方向に顔をずらすような動作を行う。
【０１０５】
そして、カメラ２によって撮影されたフレーム画像が、図８（ｄ）に示すように、操作者１３の顔が適正な位置にくるようになっている場合、すなわち、操作者１３が適正な位置にいる場合、対象検出部４による検出結果は、図８（ｅ）に示すように、肌色領域を示す領域、すなわち顔１３ａに相当する領域が適正な顔の位置を示す破線枠２１の内側に存在することを示す。
【０１０６】
この場合、図７（ａ）（ｂ）に示すスクリーン１２の位置表示用のウインドウ１２ｂには、図８（ｆ）のように、検出された顔の位置とサイズが図中の顔位置・サイズ表示円２２が顔位置指定枠２３に重なった状態、すなわち、顔位置・サイズ表示円２２の位置とサイズが顔位置指定枠２３の位置とサイズに合致した状態が表示される。
【０１０７】
このように、操作者１３は、スクリーン１２に映し出された位置表示表のウインドウ１２ｂを見て、自分が適正な位置にいるか否かの判断を行うことができる。これにより、もし、自分が適正な位置にいないと判断した場合には、ウインドウ１２ｂ内の顔位置・サイズ表示円２２を顔位置指定枠２３の位置とサイズに合致させるようにカメラ２に向かって移動すればよい。
【０１０８】
なお、上記の説明では、説明を簡略化するために、操作者１３が適正な位置にいないことを示す図８（ａ）の状態と、操作者１３が適正な位置にいることを示す図８（ｄ）の状態との位置状態の説明を行っているが、図８（ａ）と図８（ｄ）との間、すなわち操作者１３が移動している途中の段階での処理については省略している。
【０１０９】
しかしながら、カメラ２からの撮影画像は常にフレーム画像としてフレームメモリ３に入力され、対象検出部４によって対象物の検出処理が行われている。したがって、入力されるフレーム画像毎に、操作者１３の顔１３ａの位置やサイズを示す顔位置・サイズ表示円２２の位置と大きさも図８（ｃ）に示す状態から図８（ｆ）に示す状態へと段階的に変化していくものとする。なお、フレーム画像中に顔が入っていない場合には、操作者１３の顔１３ａの位置やサイズを示す顔位置・サイズ表示円２２は表示されないものとする。
【０１１０】
以上の処理の流れは、図３のステップＳ１〜ステップＳ４に示されている。図８（ａ）（ｄ）は図３のステップＳ１に対応し、図８（ｂ）（ｅ）は図３のステップＳ２に対応し、図８（ｃ）（ｆ）は図３のステップＳ３に対応している。
【０１１１】
操作者１３の顔１３ａと、顔位置・サイズ表示円２２とが一致しているか否かは、以下のようにして判定される。
【０１１２】
検出領域の画素値を１、それ以外の領域を０とする２値画像Ｘを作成し、Ｘの座標ｉにおける画素値をｘｉとし、顔位置・サイズ表示円２２の内部の画素値を１とし、他の領域を０とし、図４と同様にブロック分割された２値画像Ｙを作成し、Ｙの座標ｉにおける画素値をｙｉとし、ＸとＹの各画素における画素値の差の絶対値の総和Ｓが所定の閾値αより小さい場合に、以下の式（４）を満たしたとき、顔１３ａの領域と顔位置・サイズ表示円２２とが一致したものとする。
【０１１３】
Ｓ＝Σ｜ｘｉ−ｙｉ｜＜α ・・・・・・・・・・・・・・・（４）
このように、顔１３ａを単純な円、すなわち顔位置・サイズ表示円２２で位置およびサイズを表示し、これと顔位置指定枠２３の位置とサイズを比較して、自分が適正にいるか否かを判断するようになっているので、フレーム画像内の操作者１３をそのまま見て適正な位置にいるか否かを判断する場合に比べて、操作者１３は格段に容易に適正な位置を確認することが可能となる。
【０１１４】
以上の位置情報出力部７の働きによって、スクリーン１２において、省スペースで顔の位置を確認することができるが、スライド画面をスクリーン１２全体に表示した場合は、位置情報表示用のウインドウ１２ｂが邪魔になる場合もある。このような状況を考慮して、位置情報出力部７は音声によって、顔の位置をガイドする音声ガイダンスシステムを備えている。
【０１１５】
上記位置情報出力部７に備えられた音声ガイダンスシステムについて以下に説明する。なお、音声ガイダンスシステムの音声は、パーソナルコンピュータ１に装備されているスピーカから発声されるものとする。
【０１１６】
上記音声ガイダンスシステムでは、図８（ａ）に示すように、操作者１３がカメラ２から離れた位置で、適正な位置にいない場合に、該操作者１３をカメラ２に近づけて適正な位置に移動させるために、
『もう少し、近づいて下さい』
というメッセージが発声される。このメッセージは操作者１３が適正な位置にくるまで繰り返し発声される。
【０１１７】
また、逆に操作者１３がカメラ２に対して近過ぎる場合には、該操作者１３をカメラ２から遠ざけて適正な位置に移動させるために、
『もう少し、離れて下さい』
というメッセージが発声される。
【０１１８】
上記の処理は、前述の位置情報表示システムで用いた、顔位置・サイズ表示円２２を表わす２値画像と、検出領域とを比較することによって実現できる。すなわち、スクリーン１２には、位置表示用のウインドウ１２ｂが表示されないが、システム内部において、顔位置・サイズ表示円２２に相当する画像と検出領域とを比較し、この比較結果に基づいて、操作者１３に対してメッセージを発声する。
【０１１９】
つまり、上記システム内部では、検出領域の面積Ｓｘと、上記式（４）で用いた画像Ｙの面積Ｓｙとし、所定の閾値をβとしたとき、ＳｘとＳｙとの差Ｄが、以下の式（５）を満たすとき、操作者１３は適正な距離にいると判断する。
【０１２０】
Ｄ＝｜Ｓｘ−Ｓｙ｜＜β ・・・・・・・・・・・・・・・・（５）
すなわち、上記式（５）において、Ｄが所定の閾値β以下になった場合に適正な距離に操作者１３がいると判定する。
【０１２１】
また、操作者１３が適正な距離にいると判定されても、位置が前後ではなく左右にずれている場合、上記音声ガイダンスシステムでは、例えば、
『右下方向に顔を移動してください』
等のメッセージを発声することによって、操作者１３をガイドするようになっている。この場合には、上記式（４）を用いる手法によって、操作者１３の顔１３ａの位置を適正な位置への移動を実現することができる。以上の処理の流れは、図３のステップＳ４およびステップＳ５に対応している。
【０１２２】
以上の位置情報表示システム及び音声ガイダンスシステムにより、顔が適正な位置になった場合、位置情報出力部７は、これを操作者１３に通知するための確認音を出力する。この処理は、図３のステップＳ４およびステップＳ６に対応している。
【０１２３】
操作者１３は確認音を聞いた後、例えば図５（ｂ）に示すように、右側の手１３ｂを前方に伸ばして静止させる。手１３ｂが撮像範囲に入り、対象検出部４によって、一定時刻の間、静止状態にあることが検出されると、位置情報出力部７によって、確認音が発声される。このときの確認音は、顔１３ａが検出されたときの確認音とは異なる音色であり、操作者１３が聞き分けられるものとする。
【０１２４】
そして、操作者１３は確認音を聞いた後、手１３ｂを上下左右のいずれかの方向に動かす。以上の処理の流れは、図３のステップＳ６〜ステップＳ９に対応している。
【０１２５】
プレゼンテーションのスライド画面のページの送り、戻しの操作を行うシステムを考えた場合、手の移動方向の認識は、左右の２方向のみで十分である。このとき、手の操作方法を、操作者に分かりやすく提示し、且つ操作の練習が行える、図９（ａ）〜（ｃ）に示す操作ガイダンスシステムを上記位置情報出力部７で実現するようになっている。
【０１２６】
ここで、位置情報出力部７における操作ガイダンスシステムについて以下に説明する。
【０１２７】
例えば、図９（ａ）〜（ｃ）に示す操作ガイダンスシステムでは、操作者１３が操作の練習を行いたい場合には、ガイダンス用ウインドウ２４を、スクリーン１２全体に大きく表示し、実際にプレゼンテーションを行う場合には、図７（ａ）（ｂ）と同じように、プレゼンテーションシステム・ウインドウ１２ａよりも小さくスクリーン１２の隅に表示するようになっている。
【０１２８】
上記ガイダンス用ウインドウ２４には、図９（ａ）〜（ｃ）に示すように、３つの四角いボタンと、メッセージが表示されている。
【０１２９】
図９（ａ）の場合、フレーム２０において、操作者１３が手１３ｂを上げていない状態を示し、ガイダンス用ウインドウ２４上の３つのボタンは、いずれも選択されていないことが示されている。そして、ガイダンス用ウインドウ２４には、『手の平をカメラに向けてください』というメッセージが表示されている。
【０１３０】
操作者１３はメッセージに従い、図９（ｂ）のフレーム２０に表示されているように手１３ｂを挙げると、対象検出部４によって手１３ｂが検出され、ガイダンス用ウインドウ２４の真中のボタンの色（黒色）が変化する。
【０１３１】
そして、このボタンの色の変化と共に、ガイダンス用ウインドウ２４には、『ページを進ませたい方へ（右／左）手を動かしてください』とメッセージが表示される。ここで、操作者１３が右へ手１３ｂを平行移動し、動き方向認識部５によって、所定の移動量が検出されると、図９（ｃ）のガイダンス用ウインドウ２４の右側のボタン（進む）の色が変化する。このとき、真中のボタンの色は元に戻る。
【０１３２】
このとき、コマンド出力部６によって、パーソナルコンピュータ１の情報処理システムにページを進めるためのコマンドが入力される。その後、ガイダンス用ウインドウ２４には、次のページ操作を行なうために、『手を下ろしてください』とメッセージが表示される。
【０１３３】
また、所定の移動量が検出されずに手がフレーム画像から外れた場合は、図９（ａ）の状態に戻るものとする。
【０１３４】
なお、上述のようなガイダンス用ウインドウ２４上でのボタンの表示状態の変化の代わりに、認識された方向を示す矢印等によって、認識結果を通知するようにしてもよい。各メッセージは表示と同時に、音声で出力されるものとしてもよい。操作に習熟した場合は、メッセージを読む必要はなく、ボタンの色の変化のみで操作状況が確認できるため、システムから離れた位置にいても十分利用することができる。
【０１３５】
以上の位置情報出力部７における３のシステムは、何れか一つを単独に用いてもよいし、何れか２つを組み合わせ用いてもよく、さらに、全てのシステムを同時に用いてもよい。
【０１３６】
また、本実施の形態では、本発明のインターフェース装置をプレゼンテーションの操作を実行するために使用した例を挙げて説明しているが、これに限定されるものではなく、ＷＥＢブラウザのページ切替え等に利用することもできる。
【０１３７】
また、本発明のインターフェース装置では、図１に示す対象検出部４による対象物検出処理、動き方向認識部５により動き方向認識処理、コマンド出力部６によるコマンド出力処理、位置情報出力部７による位置情報通知処理は、コンピュータで実行可能なプログラムで実現される。
【０１３８】
このプログラムは、コンピュータで読み取り可能な記録媒体に格納されている。例えば、図１０に示すように、対象物検出処理プログラムのファイル１０１、動き方向認識処理プログラムのファイル１０２、コマンド出力処理プログラムのファイル１０３、位置情報通知処理プログラムのファイル１０４が格納された記録媒体１００が考えられる。
【０１３９】
ここで、上記記録媒体１００は、プログラムメディアが本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１４０】
また、本発明においては、例えば情報処理システムがインターネットを含む通信ネットワークと接続可能なシステムであってもよく、この場合には、上記インターフェース処理プログラムは、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。尚、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。
【０１４１】
尚、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１４２】
【発明の効果】
本発明のインターフェース装置は、以上のように、情報処理システムにおける情報処理実行のためのコマンドの入力を行うインターフェース装置において、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出手段と、フレーム画像内に一つの対象物を上記対象物検出手段により検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出手段により新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識手段と、上記対象物検出手段により検出され、上記動き方向認識手段により追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知手段と、上記動き方向認識手段により認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力手段とを備える構成である。
【０１４３】
それゆえ、撮像装置により撮像された動画像から検出された対象物の動き方向に応じたコマンドに基づいて情報処理システムにおける情報処理を実行することで、キーボード、マウス、赤外線リモコン等の機器を使用せずに、検出された対象物の動きにより情報処理を実行することができる。
【０１４４】
このように、検出された対象物の動きにより情報処理のコマンドを実行することにより、ディスプレイ上に表示された対象物の動きに連動したマウスポインタやカーソルを操作者は見なくても、パーソナルコンピュータ等の情報処理機器を操作することができる。
【０１４５】
しかも、位置情報出力手段は、対象物の位置を検出すると共に、この検出結果を対象物の位置情報として、情報処理システムを操作する操作者に通知することにより、操作者は、通知された位置情報から、情報処理システムにおける情報処理のコマンドが実行可能な位置、すなわち適正な位置に対象物がいるか否かを迅速に判断することができる。
【０１４６】
これにより、操作者は、対象物が適正な位置にいるか否かにより次にしなければならないことを的確に把握することができるので、インターフェース装置を用いて情報処理機器を操作する場合の操作性の向上を図ることができるという効果を奏する。
【０１４７】
また、上記位置情報通知手段は、対象物が適正な位置にいないことが検出された場合に対象物の適正な位置への移動を促すためのガイダンス手段を備えていてもよい。
【０１４８】
この場合、対象物が適正な位置にいない場合に、ガイダンス手段により対象物を適正な位置に移動させるように促され、操作者はその指示に従って対象物を移動させればよいので、対象物を簡単に適正な位置に移動させることができるという効果を奏する。
【０１４９】
また、上記ガイダンス手段は、対象物が適正な位置にあることを、ビープ音等の確認音を発声して操作者に通知するようにしてもよい。
【０１５０】
これにより、操作者は、ビープ音等の確認音を聞くだけで対象物が適正な位置にあることを認識することができるという効果を奏する。
【０１５１】
さらに、上記ガイダンス手段は、対象物が適正な位置にあることを、ボタンの色の変化等の視覚的な変化によって操作者に通知するようにしてもよい。
【０１５２】
これにより、操作者は、視覚的に変化するボタンを見るだけで対象物が適正な位置にあることを認識することができるという効果を奏する。
【０１５３】
また、上記ガイダンス手段は、対象物の位置と大きさを表現するマークを、上記適正な位置を示すマークとあわせて表示するようにしてもよい。
【０１５４】
この場合、操作者は、表示された各マークを見るだけで、対象物が適正な位置にいるか否かを簡単に認識することができるという効果を奏する。
【０１５５】
さらに、上記ガイダンス手段は、対象物をどの方向に移動させれば良いかを、音声メッセージによって指示するようにしてもよい。
【０１５６】
この場合、操作者は、音声メッセージを聞くだけで、対象物をどの方向に移動させれば良いかを認識できるので、対象物を適正な位置に迅速に移動させることができるという効果を奏する。
【０１５７】
また、上記動き方向認識手段は、検出された対象物の動き方向の認識結果を、操作者に通知する通知手段を備えるようにしてもよい。
【０１５８】
この場合、操作者は、通知手段によって通知された対象物の動き方向の認識結果から、該対象物の動き方向の認識の適否を簡単に知ることができるという効果を奏する。
【０１５９】
また、上記通知手段は、対象物の動き方向の認識の成否を、動き方向の表示によって、操作者に通知するようにしてもよい。
【０１６０】
この場合、操作者は、通知手段により、対象物の動き方向の認識の成否を、動き方向の表示によって通知されていることで、視覚的に対象物の動き方向の認識の成否を確認することができるという効果を奏する。
【０１６１】
また、上記通知手段は、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって、操作者に通知するようにしてもよい。
【０１６２】
この場合、操作者は、通知手段により、対象物の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって知らされるので、確認音を聞くだけで、対象物の動き方向の認識の成否を確認することができるという効果を奏する。
【０１６３】
以上のようなインターフェース装置において、上記撮像装置により撮像される動画像には、人間の頭部を含む、少なくとも胸部より上の身体が含まれ、上記対象物検出手段により検出される対象物は人間の手であってもよい。
【０１６４】
この場合、情報処理システムのコマンドに対応する対象物の動き方向が、人間の手の動き方向となるので、人間（操作者）は手を動かすだけで、該コマンドを実行することができるという効果を奏する。
【０１６５】
また、上記対象物検出手段は、動画像中の肌色領域を検出することで、人間の手を検出するようにしてもよい。
【０１６６】
さらに、上記対象物検出手段は、動画像から得られる特定のフレーム画像において、一つの対象物が所定の位置に存在することを検出し、後続の特定のフレーム画像において、検出した上記一つの対象物の領域を、操作者の顔領域として認識し、上記顔領域の追跡処理している状態で、該後続の特定のフレーム画像において上記顔の領域とは異なる対象物の領域の存否によって、該特定のフレーム画像に手領域が存在しているか否かを認識するようにしてもよい。
【０１６７】
また、インターフェース装置における処理としては、以下の処理を含み、この処理を含むプログラムはコンピュータで実行可能となっている。
【０１６８】
すなわち、インターフェース処理プログラムを記録している記録媒体は、動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出処理と、フレーム画像内に一つの対象物を上記対象物検出処理で検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出処理で新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識処理と、上記対象物検出処理で検出され、上記動き方向認識処理で追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知処理と、上記動き方向認識処理で認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力処理とを記録している。
【０１６９】
これにより、コンピュータにより簡単に、上述したような各種のインターフェース処理を実行することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明のインターフェース装置を示す概略構成ブロック図である。
【図２】図１に示すインターフェース装置をプレゼンテーションシステムに適用した場合の説明図である。
【図３】図１に示すインターフェース装置におけるインターフェース処理の流れを示すフローチャートである。
【図４】入力フレーム画像の一例を示す説明図である。
【図５】（ａ）〜（ｃ）は、検出領域の追跡処理の流れを示す説明図である。
【図６】（ａ）はフレーム画像において操作者の顔が適正な位置にない状態を示し、（ｂ）はフレーム画像において操作者の顔が適正な位置にある状態を示す説明図である。
【図７】（ａ）（ｂ）は位置情報表示システムを示す説明図である。
【図８】（ａ）〜（ｆ）は位置情報表示システムにおける処理の流れを示す説明図である。
【図９】（ａ）〜（ｃ）は操作ガイダンスシステムを示す説明図である。
【図１０】本発明のインターフェース処理プログラムを記録した記録媒体の一例を示す説明図である。
【符号の説明】
１ パーソナルコンピュータ（情報処理システム）
２ カメラ（撮像装置）
４ 対象検出部（対象物検出手段）
５ 動き方向認識部（動き方向認識手段、通知手段）
６ コマンド出力部（コマンド出力手段）
７ 位置情報出力部（位置情報通知手段、ガイダンス手段）
１１ プロジェクタ
１２ スクリーン（ディスプレイ）
１３ 操作者
１３ａ 顔
１３ｂ 手（対象物）
Claims (11)
- 情報処理システムにおける情報処理実行のためのコマンドの入力を行うインターフェース装置において、
動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出手段と、
フレーム画像内に一つの対象物を上記対象物検出手段により検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出手段により新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識手段と、
上記対象物検出手段により検出され、上記動き方向認識手段により追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、上記情報処理システムを操作する上記操作者に通知する位置情報通知手段と、
上記動き方向認識手段により認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力手段とを備えることを特徴とするインターフェース装置。 - 上記位置情報通知手段は、上記顔領域が適正な位置にないことが検出された場合に上記顔領域の適正な位置への移動を促すためのガイダンス手段を備えていることを特徴とする請求項１記載のインターフェース装置。
- 上記ガイダンス手段は、上記顔領域が適正な位置にあることを、ビープ音等の確認音を発声して操作者に通知することを特徴とする請求項２記載のインターフェース装置。
- 上記ガイダンス手段は、上記顔領域が適正な位置にあることを、ボタンの色の変化等の視覚的な変化によって操作者に通知することを特徴とする請求項２または３記載のインターフェース装置。
- 上記ガイダンス手段は、上記顔領域の位置と大きさを表現するマークと、上記適正な位置を示すマークとを表示することを特徴とする請求項２ないし４の何れかに記載のインターフェース装置。
- 上記ガイダンス手段は、上記顔領域をどの方向に移動させれば良いかを、音声メッセージによって指示することを特徴とする請求項２ないし５の何れかに記載のインターフェース装置。
- 上記動き方向認識手段は、上記手領域の動き方向の認識結果を、操作者に通知する通知手段を備えていることを特徴とする請求項１ないし６の何れかに記載のインターフェース装置。
- 上記通知手段は、上記手領域の動き方向の認識の成否を、動き方向の表示によって、操作者に通知することを特徴とする請求項７記載のインターフェース装置。
- 上記通知手段は、上記手領域の動き方向の認識を成功した場合と失敗した場合とで異なる確認音によって、操作者に通知することを特徴とする請求項７または８記載のインターフェース装置。
- 上記対象物検出手段は、
動画像から得られる特定のフレーム画像において、一つの対象物が所定の位置に存在することを検出し、
後続の特定のフレーム画像において、検出した上記一つの対象物の領域を、操作者の顔領域として認識し、上記顔領域の追跡処理している状態で、該後続の特定のフレーム画像において上記顔の領域とは異なる対象物の領域の存否によって、該特定のフレーム画像に手領域が存在しているか否かを認識することを特徴とする請求項１記載のインターフェース装置。 - 動画像から得られるフレーム画像から肌色領域を含む特定の対象物を検出する対象物検出処理と、
フレーム画像内に一つの対象物を上記対象物検出処理で検出している状態で、上記一つの対象物の領域を操作者の顔領域として、以降入力されるフレーム画像において追跡処理を行い、上記顔領域の追跡が行われている状態で、フレーム画像内に、顔領域とは異なる対象物を上記対象物検出処理で新たに検出すると、上記顔領域とは異なる対象物の領域を手領域として、以降入力されるフレーム画像において追跡処理を行うとともに、上記手領域の動き方向を認識する動き方向認識処理と、
上記対象物検出処理で検出され、上記動き方向認識処理で追跡処理されている上記顔領域の位置の検出、及び、上記顔領域が適正な位置に存在するか否かの検出を行うと共に、これらの検出を上記顔領域の位置情報として、上記操作者を適正な位置に導くべく、情報処理システムを操作する上記操作者に通知する位置情報通知処理と、
上記動き方向認識処理で認識された上記手領域の動き方向に対応したコマンドを上記情報処理システムに出力するコマンド出力処理とをコンピュータに実行させるためのインターフェース処理プログラムを記録していることを特徴とするコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000342575A JP4275304B2 (ja) | 2000-11-09 | 2000-11-09 | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000342575A JP4275304B2 (ja) | 2000-11-09 | 2000-11-09 | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002149302A JP2002149302A (ja) | 2002-05-24 |
| JP4275304B2 true JP4275304B2 (ja) | 2009-06-10 |
Family
ID=18817102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000342575A Expired - Fee Related JP4275304B2 (ja) | 2000-11-09 | 2000-11-09 | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4275304B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2857481A1 (fr) * | 2003-07-08 | 2005-01-14 | Thomson Licensing Sa | Procede et dispositif de detection de visages dans une image couleur |
| JP4005060B2 (ja) | 2004-06-30 | 2007-11-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、プログラムおよびゲームキャラクタ移動制御方法 |
| JP4005061B2 (ja) | 2004-06-30 | 2007-11-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法 |
| JP4419768B2 (ja) * | 2004-09-21 | 2010-02-24 | 日本ビクター株式会社 | 電子機器の制御装置 |
| WO2007013652A1 (ja) * | 2005-07-29 | 2007-02-01 | Pioneer Corporation | 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム |
| US8549442B2 (en) * | 2005-12-12 | 2013-10-01 | Sony Computer Entertainment Inc. | Voice and video control of interactive electronically simulated environment |
| KR100751093B1 (ko) | 2005-12-29 | 2007-08-21 | 엠텍비젼 주식회사 | 디지털 처리 장치의 입력 장치 및 방법 |
| JP4984583B2 (ja) * | 2006-03-15 | 2012-07-25 | オムロン株式会社 | 表示装置、プロジェクタ、表示システム、表示方法、表示プログラム、および記録媒体 |
| EP1965344B1 (en) | 2007-02-27 | 2017-06-28 | Accenture Global Services Limited | Remote object recognition |
| JP5030984B2 (ja) * | 2009-03-13 | 2012-09-19 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、情報処理方法、およびコンピュータが実行可能なプログラム |
| GB2470073B (en) * | 2009-05-08 | 2011-08-24 | Sony Comp Entertainment Europe | Entertainment device, system and method |
| JP2010003303A (ja) * | 2009-07-21 | 2010-01-07 | Victor Co Of Japan Ltd | 電子機器の制御装置 |
| JP5360406B2 (ja) * | 2009-10-29 | 2013-12-04 | 株式会社ニコン | 画像表示装置 |
| KR101226668B1 (ko) * | 2011-03-25 | 2013-01-25 | 주식회사 아이티엑스시큐리티 | 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법 |
| JP5862143B2 (ja) * | 2011-09-15 | 2016-02-16 | オムロン株式会社 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
| JP2013065112A (ja) * | 2011-09-15 | 2013-04-11 | Omron Corp | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
| JP5505434B2 (ja) * | 2012-02-09 | 2014-05-28 | 株式会社デンソー | 脇見判定装置 |
| JP2014059803A (ja) * | 2012-09-19 | 2014-04-03 | Alps Electric Co Ltd | 入力装置 |
| JP5831882B2 (ja) * | 2012-10-25 | 2015-12-09 | Ｎｅｃパーソナルコンピュータ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| KR102100184B1 (ko) * | 2013-02-18 | 2020-04-13 | 삼성전자주식회사 | 디스플레이 장치 |
-
2000
- 2000-11-09 JP JP2000342575A patent/JP4275304B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002149302A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4275304B2 (ja) | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 | |
| JP3837505B2 (ja) | ジェスチャ認識による制御装置のジェスチャの登録方法 | |
| JP5012968B2 (ja) | 会議システム | |
| US6215471B1 (en) | Vision pointer method and apparatus | |
| JP4991458B2 (ja) | 画像表示装置及びその制御方法 | |
| JP6551507B2 (ja) | ロボット制御装置、ロボット、ロボット制御方法およびプログラム | |
| JP5598232B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
| JPWO2010035477A1 (ja) | ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 | |
| JP2013257686A (ja) | 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム | |
| JP2009166184A (ja) | ガイドロボット | |
| CN110611788A (zh) | 手势控制视频会议终端的方法和装置 | |
| US20220078335A1 (en) | Photography method, electronic device, and storage medium | |
| WO2019155735A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2000250677A (ja) | マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法 | |
| CN108319363A (zh) | 基于vr的产品展示方法、装置及电子设备 | |
| US11816270B2 (en) | Electronic device that operates according to user's hand gesture, and image forming apparatus | |
| JP5332623B2 (ja) | 画像表示装置及び画像表示方法 | |
| CN104951228B (zh) | 图标的放置方法、装置及终端设备 | |
| JP2002366271A (ja) | 画像表示システムおよび画像表示方法 | |
| US20220244788A1 (en) | Head-mounted display | |
| JP2013077925A (ja) | 電子機器 | |
| JP2022162409A (ja) | 電子機器及びその制御方法 | |
| JP2022163813A (ja) | 装着型の情報端末、その制御方法及びプログラム | |
| JPWO2020255286A1 (ja) | ペアリング表示装置、ペアリング表示システムおよびペアリング表示方法 | |
| JP2019082649A (ja) | 映像表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060208 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060208 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060428 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060509 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090304 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |