JPWO2015046500A1 - 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 - Google Patents

Abstract

被写体に対する物体の接触の有無を検出する精度が従来よりも向上する情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供する。フレーム画像取得部（３２）は、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する。被写体部分領域特定部（３８）は、各フレーム画像について、それぞれ被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する。部分領域特徴量特定部（４０）は、各フレーム画像内の互いに対応付けられる被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する。接触判定部（４２）は、複数の被写体部分領域のそれぞれに対応付けられる部分領域特徴量の関係に基づいて、被写体に対する物体の接触の有無を判定する。

Description

本発明は、情報処理装置、情報処理方法、プログラム及び情報記憶媒体に関する。

被写体を撮像した画像を入力インタフェースとして用いる情報処理装置が存在する。このような情報処理装置の一例として、それぞれ異なるタイミングに撮像された複数のフレーム画像の差分に基づいて被写体の動きを特定し、当該動きに応じた処理を実行する情報処理装置が存在する。

例えばユーザが指を顔に接触させることで情報処理装置に対する入力が行えると便利である。しかし、被写体を撮像した画像を入力インタフェースとして用いる従来技術では被写体に対する物体の接触の有無の検出精度が低かった。そのため、ユーザが指を顔に実際に接触させた状況とユーザが指を顔に接触させるふりをした状況とを区別することが困難であった。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、被写体に対する物体の接触の有無を検出する精度が従来よりも向上する情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供することにある。

上記課題を解決するために、本発明に係る情報処理装置は、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得するフレーム画像取得部と、前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する被写体部分領域特定部と、前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する部分領域特徴量特定部と、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する接触判定部と、を含むことを特徴とする。

また、本発明に係る情報処理方法は、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得するステップと、前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定するステップと、前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定するステップと、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定するステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する手順、前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する手順、前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する手順、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する手順、をコンピュータに実行させることを特徴とする。

また、本発明に係る情報記憶媒体は、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する手順、前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する手順、前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する手順、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する手順、をコンピュータに実行させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明の発明者は、物体が被写体に実際に接触した状況とユーザが物体を被写体に接触させるふりをした状況とで、複数の被写体部分領域についての、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量の関係が異なることを見出した。そして、本発明では、複数の被写体部分領域のそれぞれに対応付けられる部分領域特徴量の関係に基づいて被写体に対する物体の接触の有無が判定される。よって、本発明によれば、被写体に対する物体の接触の有無を検出する精度が従来よりも向上することとなる。

本発明の一態様では、前記接触判定部は、前記被写体部分領域に関連付けられる、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、当該被写体部分領域を占める画像に像が写る前記被写体の一部に対する物体の接触の有無を判定する。

この態様では、前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、当該複数の前記被写体部分領域とは異なる前記被写体部分領域を占める画像に像が写る前記被写体の一部に対する物体の接触の有無を判定してもよい。

また、本発明の一態様では、前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量が示す画像特徴量の変動の大きさの大小関係に基づいて、前記被写体に対する物体の接触の有無を判定する。

また、本発明の一態様では、前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量が示す画像特徴量の変化についての時間的な前後関係に基づいて、前記被写体に対する物体の接触の有無を判定する。

また、本発明の一態様では、音声データを取得する音声データ取得部、をさらに含み、前記接触判定部は、前記部分領域特徴量の関係と取得される前記音声データとに基づいて、前記被写体に対する物体の接触の有無を判定する。

本発明の一実施形態に係る情報処理システムの全体構成の一例を示す図である。 フレーム画像の一例を示す図である。 フレーム画像の一例を示す図である。 フレーム画像の一例を示す図である。 画像接触判定条件を満足すると判定された画像接触判定期間と、音声接触判定条件を満足すると判定された音声接触判定期間と、被写体に対する物体の接触があった期間として最終的に特定される期間と、の関係の一例を示す図である。 接触判定期間の設定パターン例を説明する説明図である。 被写体領域と被写体部分領域の関係の一例を示す図である。 本発明の一実施形態に係る情報処理装置で実現される機能の一例を示す機能ブロック図である。 画像接触判定条件データの一例を示す図である。 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。 画像特徴量の一例を模式的に示す図である。 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。 フィルタリング後画像特徴量の一例を模式的に示す図である。 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。 複数の被写体部分領域についてのフィルタリング後画像特徴量の一例を模式的に示す図である。 複数の被写体部分領域についてのフィルタリング後画像特徴量の一例を模式的に示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理システム１０の全体構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１０は、例えば、情報処理装置１２、撮像装置１４、集音装置１６、表示装置１８、を含んでいる。本実施形態に係る情報処理装置１２は、例えば、ゲームコンソール等のコンピュータである。撮像装置１４は、被写体を撮像した画像を情報処理装置１２に出力するカメラである。集音装置１６は、周囲の音声を取得して、当該音声をＰＣＭ形式等の音声データに変換して情報処理装置１２に出力するマイク等である。表示装置１８は、液晶ディスプレイ等であり、情報処理装置１２が生成する画面や撮像装置１４が撮像した画像などを表示させる。情報処理装置１２と撮像装置１４及び集音装置１６とは、例えば、ＵＳＢケーブルや、ＡＶケーブルや、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル等を介して接続されている。情報処理装置１２と表示装置１８とは、例えば、ＡＶケーブルや、ＨＤＭＩケーブル等を介して接続されている。

本実施形態では、撮像装置１４は所定のフレームレートでその前方に配置されている被写体の画像を順次撮像する。以下、当該画像をフレーム画像２０と呼ぶこととする（図２Ａ、図２Ｂ、及び、図２Ｃ参照）。また、本実施形態における被写体は、ユーザの顔であることとする。本実施形態におけるフレームレートは６０ｆｐｓであることとする。すなわち、本実施形態におけるフレーム期間は１／６０秒となる。

図２Ａ、図２Ｂ、及び、図２Ｃは、それぞれ撮像装置１４が撮像するフレーム画像２０の一例を示す図である。本実施形態では、図２Ｂに示すフレーム画像２０が撮像されたタイミング、及び、図２Ｃに示すフレーム画像２０が撮像されたタイミングにユーザの指が顔に接触したこととする。

本実施形態では、撮像装置１４が撮像するフレーム画像２０及び集音装置１６が取得する音声に基づいて、被写体に対する物体の接触の有無が判定される。例えば、本実施形態では、予め設定された複数の画像接触判定期間のそれぞれについて、当該画像接触判定期間に撮像されたフレーム画像２０が後述する画像接触判定条件（図７参照）を満足するか否かが判定される。そして、本実施形態では、予め設定された複数の音声接触判定期間のそれぞれについて、当該音声接触判定期間に取得された音声が後述する音声接触判定条件を満足するか否かが判定される。図３に、画像接触判定条件を満足すると判定された画像接触判定期間Ｐ１と、音声接触判定条件を満足すると判定された音声接触判定期間Ｐ２の一例を示す。そして、本実施形態では、画像接触判定期間Ｐ１と音声接触判定期間Ｐ２とが重複する期間Ｐ３が特定される。そして、当該期間Ｐ３が、被写体に対する物体の接触があった期間として最終的に特定されることとなる。例えば、図２Ｂに示すフレーム画像２０が撮像されたタイミングが含まれる期間や、図２Ｃに示すフレーム画像２０が撮像されたタイミングが含まれる期間については、被写体に物体が接触したと判定されることとなる。

図４は、画像接触判定期間や音声接触判定期間（図４では、接触判定期間と表記）の設定パターン例を説明する説明図である。画像接触判定期間や音声接触判定期間は、例えば、図４のパターン１に示すように予め定められた時間間隔で設定されていてもよいし、図４のパターン２に示すように互いにその一部が重複するよう設定されてもよい。本実施形態では、図４のパターン１に示すように、例えば、６４フレーム、すなわち、約１秒間隔で、画像接触判定期間が設定されることとする。そして、本実施形態では、フレーム画像２０に、画像接触判定期間内における撮像順序に従って、１から順に６４までフレーム番号が設定されることとする。また、本実施形態では、図４のパターン１に示すように、１ミリ秒間隔で、音声接触判定期間が設定されていることとする。このように、本実施形態では、画像接触判定期間と音声接触判定期間は独立して設定されている。

以下、フレーム画像２０内における、被写体が写っている領域を被写体領域Ｒと呼ぶこととする。図２Ａ〜図２Ｃに示すように、本実施形態では、被写体領域Ｒを占める画像には、ユーザの顔の像が概ね含まれている。本実施形態では、図２Ａ〜図２Ｃに示すフレーム画像２０が撮像された際のユーザの位置はそれぞれ異なる。そのため、図２Ａ〜図２Ｃに示すフレーム画像２０内における被写体の像の位置はそれぞれ異なっている。また、本実施形態では、図２Ａに示すフレーム画像２０が撮像された際よりも図２Ｂに示すフレーム画像２０や図２Ｃに示すフレーム画像２０が撮像された際の方が、ユーザと撮像装置１４との距離は短い。そのため、図２Ａに示すフレーム画像２０よりも図２Ｂに示すフレーム画像２０や図２Ｃに示すフレーム画像２０の方が、被写体の像が大きく写されている。すなわち、図２Ａに示すフレーム画像２０に占める被写体領域Ｒよりも、図２Ｂ及び図２Ｃに示すフレーム画像２０に占める被写体領域Ｒの方が大きい。

発明者は、画像接触判定期間内に、ユーザが指を顔に実際に接触させた状況と、接触させるふりをした状況とでは、当該画像接触判定期間における被写体領域Ｒを占める画像の画像特徴量の変動が異なることを見出した。このことに着目し、本実施形態では、以下に説明するようにして、被写体に物体が実際に接触したか否かを判定する。

本実施形態では、被写体領域Ｒは、複数の被写体部分領域ＳＲに分割される（図５参照）。図５は、被写体領域Ｒと被写体部分領域ＳＲの関係の一例を示す図である。図５に示すように、被写体部分領域ＳＲは被写体領域Ｒの一部を占める領域である。そして、１つの被写体領域Ｒに含まれる被写体部分領域ＳＲのそれぞれの、被写体領域Ｒ内における位置は互いに異なっている。本実施形態では、被写体領域Ｒは、縦４個×横４個、計１６個の被写体部分領域ＳＲに等分割されている。

本実施形態では、被写体部分領域ＳＲには識別番号が割り当てられる。本実施形態では、一番上、上から２番目、上から３番目、一番下の行の被写体部分領域ＳＲに、左から順に、それぞれ、０〜３、４〜７、８〜１１、１２〜１５の識別番号が割り当てられる。本実施形態では、図５に示すように、識別番号ｉが割り当てられる被写体部分領域ＳＲをＳＲｉと表現することとする。本実施形態では、識別番号は、被写体領域Ｒ内における位置に対応付けられる。本実施形態では、被写体部分領域ＳＲに対する識別番号の割り当てはフレーム画像２０によらない。すなわち、フレーム画像２０を問わず、例えば被写体領域Ｒ内の左上端の被写体部分領域ＳＲは、被写体部分領域ＳＲ０となる。

本実施形態に係る情報処理装置１２は、被写体に対する物体の接触があったと判定された際には、当該接触に応じた処理を実行する。また、本実施形態では、物体の接触位置に対応付けられる被写体部分領域ＳＲの特定も行われる。図２Ｂの例では、指の接触位置に対応付けられる被写体部分領域ＳＲがＳＲ０と特定される。図２Ｃの例では、指の接触位置に対応付けられる被写体部分領域ＳＲがＳＲ３と特定される。そして、本実施形態に係る情報処理装置１２は、被写体に対する物体の接触があったと判定された際には、被写体に対する物体の接触位置に対応付けられる被写体部分領域ＳＲに応じた処理を実行する。被写体に対する物体の接触に応じて実行される処理は特に限定されない。例えば、情報処理装置１２にインストールされているプログラムの起動処理、情報処理装置１２の停止処理、情報処理装置１２で実行されているプログラムにおけるコマンドの実行処理、などが当該処理に該当する。例えば、情報処理装置１２は、物体の接触位置に対応付けられる被写体部分領域ＳＲが被写体部分領域ＳＲ０である場合は、情報処理装置１２にインストールされているプログラムの起動処理を実行する。また、例えば、情報処理装置１２は、物体の接触位置に対応付けられる被写体部分領域ＳＲが被写体部分領域ＳＲ３である場合は、情報処理装置１２の停止処理を実行する。このようにして、本実施形態に係る情報処理システム１０では、被写体に物体を接触させることによる情報処理装置１２への情報の入力が可能となる。

以下、被写体に対する物体の接触の有無の判定処理を中心に説明する。

図６は、本実施形態に係る情報処理装置１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置１２で、図６に示す機能のすべてが実装される必要はなく、また、図６に示す機能以外の機能が実装されていても構わない。

本実施形態に係る情報処理装置１２は、情報処理装置１２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである制御部を含んでいる。また、情報処理装置１２は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどの記憶部も含んでいる。情報処理装置１２の記憶部には、情報処理装置１２の制御部によって実行されるプログラムなどが記憶される。また、情報処理装置１２は、ＵＳＢ（Universal Serial Bus）ポート、ＨＤＭＩポート等を含んでいる。

そして、本実施形態に係る情報処理装置１２は、図６に示すように、機能的には、例えば、接触判定条件データ記憶部３０、フレーム画像取得部３２、音声データ取得部３４、被写体領域特定部３６、被写体部分領域特定部３８、部分領域特徴量特定部４０、接触判定部４２、を含んでいる。接触判定条件データ記憶部３０は、情報処理装置１２の記憶部を主として実装される。その他の機能は、情報処理装置１２の制御部を主として実装される。

そして、以上の機能は、コンピュータである情報処理装置１２にインストールされた、以上の機能に対応する指令を含むプログラムを、情報処理装置１２の制御部で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１２に供給される。

接触判定条件データ記憶部３０は、被写体に対する物体の接触の有無を判定する条件を示す接触判定条件データを記憶する。本実施形態では、接触判定条件データ記憶部３０には、接触判定条件データの一例として、フレーム画像２０に基づいて被写体に対する物体の接触の有無を判定する条件を示す画像接触判定条件データが記憶されている。また、接触判定条件データ記憶部３０には、取得された音声に基づいて被写体に対する物体の接触の有無を判定する条件を示す音声接触判定条件データも記憶されている。音声接触判定条件データには、例えば、周波数領域の範囲及び音量の大きさが条件として示されている。

図７に、画像接触判定条件データの一例を示す。画像接触判定条件データには、例えば、被写体領域Ｒ内における位置に対応付けられる識別番号と、当該識別番号に対応付けられる被写体部分領域ＳＲを占める画像に基づいて特定される部分領域特徴量ＰＲＣに関する画像接触判定条件と、が含まれる。このようにして、画像接触判定条件データでは、識別番号と画像接触判定条件とが関連付けられている。図７に示す画像接触判定条件データには、識別番号０及び３に対応付けられる画像接触判定条件だけが明示されているが、当該画像接触判定条件データには、同様にして、識別番号１、２、４〜１５に対応付けられる画像接触判定条件が示されていることとする。識別番号０に対応付けられる画像接触判定条件は、被写体部分領域ＳＲ０を占める画像に像が写る被写体の一部への物体の接触の有無を判定する際に用いられる。識別番号３に対応付けられる画像接触判定条件は、被写体部分領域ＳＲ３を占める画像に像が写る被写体の一部への物体の接触の有無を判定する際に用いられる。また、図７に示すように、本実施形態では、識別番号には複数の条件が画像接触判定条件として対応付けられている。そして、本実施形態における画像接触判定条件は、これら複数の条件の論理積に相当する。本実施形態では、後述する部分領域特徴量ＰＲＣｉが、識別番号ｉに対応付けられる複数の条件のすべてを満足する場合に、被写体部分領域ＳＲｉ領域を占める画像に像が写る被写体の一部に物体が接触したと判定される。

フレーム画像取得部３２は、撮像装置１４が撮像したフレーム画像２０を取得する。本実施形態では、フレーム画像取得部３２は、１／６０秒間隔でフレーム画像２０を取得する。

音声データ取得部３４は、例えば、集音装置１６から音声データを取得する。本実施形態では、音声データ取得部３４は、取得した音声データを、少なくとも当該音声が取得されたタイミングが属する接触判定期間が終了するまでは保持する。

被写体領域特定部３６は、フレーム画像２０内における被写体領域Ｒを特定する。本実施形態では、被写体領域特定部３６は、例えば、公知の顔認識技術などのトラッキング技術により、ユーザの顔の像が写された被写体領域Ｒを特定する。なお、フレーム画像２０内における被写体領域Ｒが予め設定されており、被写体領域Ｒ内にユーザの顔の像が写されるようユーザが顔の位置を調整するようにしてもよい。

被写体部分領域特定部３８は、被写体領域Ｒに基づいて被写体部分領域ＳＲを特定する。本実施形態では、例えば、被写体領域Ｒを縦に４個、横に４個に等分割することにより、各フレーム画像２０について、被写体領域Ｒ内における位置が互いに異なる１６個の被写体部分領域ＳＲ（ＳＲ０〜ＳＲ１５）を特定する。

部分領域特徴量特定部４０は、被写体部分領域ＳＲを占める画像の画像特徴量の変動を示す部分領域特徴量ＰＲＣを特定する。ここで、被写体部分領域ＳＲを占める画像の画像特徴量とは、例えば、当該画像内の画素の画素値に応じた統計情報などを指す。当該統計情報の一例としては、当該画像内の画素の平均画素値が挙げられる。本実施形態では、部分領域特徴量特定部４０は、被写体部分領域ＳＲｉに対応付けられる部分領域特徴量ＰＲＣｉ（ｉ＝０、１、２、・・・、１５）を特定する。このように、本実施形態では、部分領域特徴量ＰＲＣは、被写体部分領域ＳＲに割り当てられた識別番号毎に特定されることとなる。本実施形態では、部分領域特徴量特定部４０は、接触判定期間における被写体部分領域ＳＲｉを占める画像の画像特徴量の変動が大きい程、当該接触判定期間における部分領域特徴量ＰＲＣｉとして大きな値を特定する。なお、本実施形態では、部分領域特徴量ＰＲＣｉはスカラーであることとするが、部分領域特徴量ＰＲＣｉはベクトルであっても構わない。また、部分領域特徴量特定部４０は、画像接触判定条件として示されている部分領域特徴量ＰＲＣｉについてのみ特定するようにしてもよい。

接触判定部４２は、複数の位置に対応付けられる部分領域特徴量ＰＲＣ０〜ＰＲＣ１５の関係、及び、音声データ取得部３４が取得する音声データ、の少なくとも一方に基づいて、被写体に対する物体の接触の有無を判定する。本実施形態では、接触判定部４２は、各被写体部分領域ＳＲについて、当該領域を占める画像に像が写る被写体の一部に物体が接触したか否かを判定する。

ここで、本実施形態に係る情報処理装置１２で各フレーム期間に行われる処理の流れの一例を、図８に示すフロー図を参照しながら説明する。

まず、フレーム画像取得部３２が、フレーム画像２０を取得する（Ｓ１０１）。ここでは、フレーム番号がｋであるフレーム画像２０が取得されたこととする。そして、被写体領域特定部３６は、Ｓ１０１に示す処理で取得したフレーム画像２０内の被写体領域Ｒを特定する（Ｓ１０２）。そして、被写体部分領域特定部３８は、Ｓ１０２に示す処理で特定された被写体領域Ｒを１６分割して、１６個の被写体部分領域ＳＲ（ＳＲ０〜ＳＲ１５）を特定する（Ｓ１０３）。

そして、部分領域特徴量特定部４０は、変数ｉの値を０に設定する（Ｓ１０４）。そして、部分領域特徴量特定部４０は、被写体部分領域ＳＲｉに含まれる画素の画素値を特定する（Ｓ１０５）。Ｓ１０５に示す処理では、部分領域特徴量特定部４０は、例えば、被写体部分領域ＳＲ０に含まれるすべての画素のＲ成分の画素値、Ｇ成分の画素値、及び、Ｂ成分の画素値を特定する。

そして、部分領域特徴量特定部４０は、Ｓ１０５に示す処理で特定された画素値に応じた画像特徴量ＰＣｉ（ｋ）を特定する（Ｓ１０６）。本実施形態では、Ｓ１０６に示す処理で特定された画像特徴量ＰＣｉ（ｋ）を示すデータを、部分領域特徴量特定部４０は、当該フレーム期間が属する接触判定期間が終了するまで保持する。

Ｓ１０６に示す処理では、部分領域特徴量特定部４０は、例えば、フレーム番号ｋのフレーム画像２０内の被写体部分領域ＳＲｉに含まれる画素の画素値のＲ成分、Ｇ成分、Ｂ成分それぞれの平均値を成分とする３次元ベクトルを特定する。そして、部分領域特徴量特定部４０は、特定された３次元ベクトルに基づいて、画像特徴量ＰＣｉ（ｋ）を特定する。画像特徴量ＰＣｉ（ｋ）としては、例えば、上述の３次元ベクトルの３成分の値の和、あるいは、その平均値、上述の３次元ベクトルの３成分の二乗和の平方根、などが挙げられるがこの限りではない。

Ｓ１０６が終了すると、部分領域特徴量特定部４０は、変数ｉの値が１５であるか否かを確認する（Ｓ１０７）。変数ｉの値が１５でないことが確認された場合は（Ｓ１０７：Ｎ）、部分領域特徴量特定部４０は、変数ｉの値を１だけ増加させて（Ｓ１０８）、Ｓ１０５以降の処理を再度実行する。変数ｉの値が１５であることが確認された場合は（Ｓ１０７：Ｙ）、本処理例に示す処理を終了する。

図９は、フレーム番号ｋのフレーム画像２０内の被写体部分領域ＳＲ０に対応付けられる画像特徴量ＰＣ０（ｋ）の一例を模式的に示す図である。本実施形態では、情報処理装置１２が、Ｓ１０１〜Ｓ１０８に示す処理を１接触判定期間内に撮像された各フレーム画像２０について実行する。このことにより、画像特徴量ＰＣ０（１）〜ＰＣ０（６４）、ＰＣ１（１）〜ＰＣ１（６４）、・・・、ＰＣ１５（１）〜ＰＣ１５（６４）が特定されることとなる。

以下、画像接触判定期間が終了した際に本実施形態に係る情報処理装置１２で行われる、当該画像接触判定期間に撮像されたフレーム画像２０が画像接触判定条件を満足するか否かを判定する処理の流れの一例を、図１０に示すフロー図を参照しながら説明する。図１０には、被写体部分領域ＳＲ０に対応付けられる、画像接触判定条件データにおいて識別番号０に関連付けられている画像接触判定条件を満足するか否かを判定する処理の流れの一例が示されている。

まず、部分領域特徴量特定部４０は、変数ｉの値を０に設定する（Ｓ２０１）。そして、部分領域特徴量特定部４０は、画像接触判定条件データに含まれるいずれかの画像接触判定条件として部分領域特徴量ＰＲＣｉが示されているか否かを確認する（Ｓ２０２）。

部分領域特徴量ＰＲＣｉが示されている場合は（Ｓ２０２：Ｙ）、部分領域特徴量特定部４０は、保持されている画像特徴量ＰＣｉ（１）〜ＰＣｉ（６４）に基づいて、フィルタリング後画像特徴量ＰＣ’ｉ（１）〜ＰＣ’ｉ（６４）を算出する（Ｓ２０３）。Ｓ２０３に示す処理で、部分領域特徴量特定部４０は、画像特徴量ＰＣｉ（１）〜ＰＣｉ（６４）を時系列データとみなして、画像特徴量ＰＣｉ（１）〜ＰＣｉ（６４）に対して例えばバンドパスフィルタによるフィルタリングを行う。当該フィルタリングでは例えば、所定の周波数よりも高い周波数の成分を除去する平滑化が行われる。図１１に、被写体部分領域ＳＲ０に対応付けられるフィルタリング後画像特徴量ＰＣ’０（ｋ）の一例を模式的に示す。

そして、部分領域特徴量特定部４０は、Ｓ２０３に示す処理で算出されたフィルタリング後画像特徴量ＰＣ’ｉ（１）〜ＰＣ’ｉ（６４）に基づいて、被写体部分領域ＳＲｉに対応付けられる部分領域特徴量ＰＲＣｉを特定する（Ｓ２０４）。ここで、部分領域特徴量特定部４０は、当該接触判定期間内における被写体部分領域ＳＲｉに含まれる画素の画素値の変動が大きい程大きな値となるよう、部分領域特徴量ＰＲＣｉの値を特定する。例えば、部分領域特徴量特定部４０は、ＰＣ’ｉ（１）〜ＰＣ’ｉ（６４）のうちの最大値から最小値を引いた値を、部分領域特徴量ＰＲＣｉとして特定する。

そして、画像接触判定条件データに含まれるいずれの画像接触判定条件としても部分領域特徴量ＰＲＣｉが示されていない場合（Ｓ２０２：Ｎ）、又は、Ｓ２０４に示す処理が終了した場合は、部分領域特徴量特定部４０は、変数ｉの値が１５であるか否かを確認する（Ｓ２０５）。変数ｉの値が１５でないことが確認された場合は（Ｓ２０５：Ｎ）、部分領域特徴量特定部４０は、変数ｉの値を１だけ増加させて（Ｓ２０６）、Ｓ２０２以降の処理を再度実行する。

変数ｉの値が１５であることが確認された場合は（Ｓ２０５：Ｙ）、接触判定部４２は、画像接触判定条件データにおいて識別番号０に関連付けられている画像接触判定条件を構成する複数の条件のうちのいずれかを満足するか否かを確認する（Ｓ２０６）。Ｓ２０６に示す処理では、まだＳ２０６に示す処理が行われていない条件について、満足するか否かが確認される。例えば、ＰＲＣ０＞ＰＲＣ１、・・・、ＰＲＣ３＞ＰＲＣ２などの条件のうちのいずれかについて、満足するか否かが確認される。

Ｓ２０６に示す処理で条件を満足しないことが確認された場合は（Ｓ２０６：Ｎ）、接触判定部４２は、識別番号０に関連付けられている画像接触判定条件は満足しないと判定して（Ｓ２０７）、本処理例に示す処理を終了する。

一方、Ｓ２０６に示す処理で満足することが確認された場合は（Ｓ２０６：Ｙ）、画像接触判定条件データにおいて識別番号０に関連付けられている複数の条件のうち、Ｓ２０６に示す処理が行われていないものが存在するか否かを確認する（Ｓ２０８）。存在する場合は（Ｓ２０８：Ｙ）、Ｓ２０６以降に示す処理が再度実行される。存在しない場合は（Ｓ２０８：Ｎ）、接触判定部４２は、識別番号０に関連付けられている画像接触判定条件は満足すると判定して（Ｓ２０９）、本処理例に示す処理を終了する。

以上のようにして、本実施形態では、部分領域特徴量ＰＲＣ０〜ＰＲＣ１５の関係が識別番号０に関連付けられている複数の条件のすべてを満足するか否かが確認される。本実施形態では、他の識別番号についても同様にして、当該識別番号に関連付けられている複数の条件のすべてを部分領域特徴量ＰＲＣ０〜ＰＲＣ１５の関係が満足するか否かについて確認される。

以下、音声接触判定期間が終了した際に本実施形態に係る情報処理装置１２で行われる、当該音声接触判定期間に生成された音声データが音声接触判定条件を満足するか否かを判定する処理の流れの一例を、図１２に示すフロー図を参照しながら説明する。

まず、接触判定部４２が、当該音声接触判定期間内に音声データ取得部３４が取得した音声データに対して音声接触判定条件データが示す周波数領域を抽出するフィルタリング処理を実行する（Ｓ３０１）。そして、接触判定部４２は、フィルタリング後の音声データが、音声接触判定条件データが示す音声接触判定条件を満足するか否かを確認する（Ｓ３０２）。Ｓ３０２に示す処理では、接触判定部４２は、例えば、フィルタリング後の音声データが示す音声の最大音量が、音声接触判定条件データが示す音量の大きさを超えるか否かを確認する。

Ｓ３０２に示す処理で超えることが確認された場合は（Ｓ３０２：Ｙ）、接触判定部４２は、音声接触判定条件を満足すると判定して（Ｓ３０３）、本処理例に示す処理を終了する。Ｓ３０２に示す処理で超えないことが確認された場合は（Ｓ３０２：Ｎ）は、接触判定部４２は、音声接触判定条件を満足しないと判定して（Ｓ３０４）、本処理例に示す処理を終了する。

以上のようにして、生成された音声データが音声接触判定条件を満足するか否かが判定される。

そして、接触判定部４２は、図４に示すように、識別番号ｉに関連付けられている画像接触判定条件を満足すると判定された画像接触判定期間Ｐ１と、音声接触判定条件を満足すると判定された音声接触判定期間Ｐ２と、が重複する期間Ｐ３を特定する。そして、接触判定部４２は、特定された期間Ｐ３に、被写体部分領域ＳＲｉを占める画像に像が写る被写体の一部への物体の接触があったと判定する。接触判定部４２は、例えば、音声接触判定期間毎に、当該音声接触判定期間が、識別番号ｉに関連付けられている画像接触判定条件を満足すると判定され、かつ、音声接触判定条件を満足すると判定された期間であるという条件を満足するか否かを判定してもよい。そして、接触判定部４２は、当該条件を満足する音声接触判定期間に、被写体部分領域ＳＲｉを占める画像に像が写る被写体の一部への物体の接触があったと判定してもよい。

なお、以上の処理例では、接触判定部４２は、撮像したフレーム画像２０及び取得した音声データに基づいて、被写体への物体の接触の有無を判定しているが、いずれか一方に基づいて、被写体への物体の接触の有無を判定しても構わない。例えば、接触判定部４２は、識別番号ｉに関連付けられている画像接触判定条件を満足すると判定された画像接触判定期間に、被写体部分領域ＳＲｉを占める画像に像が写る被写体の一部への物体の接触があったと判定してもよい。

被写体部分領域ＳＲ４〜ＳＲ７を占める画像には、被写体の目の像が写る可能性が高い。そのため、被写体であるユーザのまばたきによって、被写体への物体の接触とは無関係に、被写体部分領域ＳＲ４〜ＳＲ７に含まれる画素の画素値の変動が大きくなるおそれがある。そのため、図７の例では、識別番号０、３に対応付けられている画像接触判定条件において、部分領域特徴量ＰＲＣ４〜ＰＲＣ７が、部分領域特徴量ＰＲＣ０との比較対象から除外されている。

また、被写体部分領域ＳＲ４、ＳＲ８、ＳＲ１２を占める画像には、被写体部分領域ＳＲ０に写る顔の一部に指が接触する際に被写体の腕や手の像が写る可能性が高い。そのため、被写体部分領域ＳＲ０に写る顔の一部への指の接触の有無を判定するにあたって、被写体部分領域ＳＲ４、ＳＲ８、ＳＲ１２に含まれる画素の画素値の変動が参考にならない可能性が高い。そのため、図７の例では、識別番号０に対応付けられている画像接触判定条件において、部分領域特徴量ＰＲＣ４、ＰＲＣ８、ＰＲＣ１２が、部分領域特徴量ＰＲＣ０との比較対象から除外されている。一方、被写体部分領域ＳＲ７、ＳＲ１１、ＳＲ１５を占める画像には、被写体部分領域ＳＲ３に写る顔の一部に指が接触する際に被写体の腕や手の像が写る可能性が高い。そのため、部分領域特徴量ＰＲＣ７、ＰＲＣ１１、ＰＲＣ１５が、部分領域特徴量ＰＲＣ３との比較対象から除外されている。

そして、被写体部分領域ＳＲ０を占める画像に像が写る被写体の一部に物体が接触すると、画素値の変動は、被写体部分領域ＳＲ０内の画素の方が他の被写体部分領域ＳＲ内の画素よりも大きくなる。そのため、図７の例では、比較対象から除外された部分領域特徴量ＰＲＣ以外の部分領域特徴量ＰＲＣのいずれよりも部分領域特徴量ＰＲＣ０が大きいことが、識別番号０に対応付けられている画像接触判定条件として示されている。また、同様の理由により、比較対象から除外された部分領域特徴量ＰＲＣ以外の部分領域特徴量ＰＲＣのいずれよりも部分領域特徴量ＰＲＣ３が大きいことが、識別番号３に対応付けられている画像接触判定条件として示されている。

また、被写体部分領域ＳＲ０、あるいは、ＳＲ３を占める画像に像が写る顔の一部に指が接触すると、当該接触に伴い顔が動く可能性が高い。そして、被写体部分領域ＳＲ０を占める画像に像が写る顔の一部に指が接触した際には、被写体部分領域ＳＲ１、ＳＲ３を占める画像には、被写体部分領域ＳＲ２を占める画像よりも顔の輪郭の像が写る可能性が高い。そのため、被写体部分領域ＳＲ１、ＳＲ３に含まれる画素の画素値の変動が被写体部分領域ＳＲ２に含まれる画素の画素値の変動よりも大きくなる可能性が高い。一方、ユーザが被写体部分領域ＳＲ０を占める画像に像が写る顔の一部に指を接触させるふりをしただけで、実際には指が顔に接触していない場合は、顔が動く可能性は低い。よってこの場合は、部分領域特徴量ＰＲＣ２が、部分領域特徴量ＰＲＣ１、ＰＲＣ３のいずれよりも小さいという条件を満足しない可能性が高い。このことから、図７には、部分領域特徴量ＰＲＣ２が、部分領域特徴量ＰＲＣ１、ＰＲＣ３のいずれよりも小さいことが、識別番号０に対応付けられている画像接触判定条件としてさらに示されている。同様の理由により、図７には、部分領域特徴量ＰＲＣ１が、部分領域特徴量ＰＲＣ０、ＰＲＣ２のいずれよりも小さいことが、識別番号３に対応付けられている画像接触判定条件としてさらに示されている。

図１３に、複数の被写体部分領域ＳＲについてのフィルタリング後画像特徴量ＰＣ０’（ｋ）〜ＰＣ１５’（ｋ）の一例を模式的に示す。また、図１３には、部分領域特徴量ＰＲＣ０も示されている。図１３には、図７において識別番号０に関連付けられている画像接触判定条件として示されている画像特徴量ＰＣに対応するフィルタリング後画像特徴量ＰＣ０’（ｋ）〜ＰＣ１５’（ｋ）が示されている。

例えば、図１３に示されているフィルタリング後画像特徴量ＰＣ０’（ｋ）〜ＰＣ１５’（ｋ）が算出された場合は、部分領域特徴量ＰＲＣ０が、部分領域特徴量ＰＲＣ１〜ＰＲＣ３、ＰＲＣ９〜ＰＲＣ１１、ＰＲＣ１３〜ＰＲＣ１５のいずれよりも大きい。また、部分領域特徴量ＰＲＣ２が、部分領域特徴量ＰＲＣ１、ＰＲＣ３のいずれよりも小さい。よって、この場合は、部分領域特徴量ＰＲＣ０〜ＰＲＣ１５間の関係が、画像接触判定条件データにおいて識別番号０に関連付けられている画像接触判定条件を満足すると判定されることとなる。同様にして、識別番号３に関連付けられている画像接触判定条件などの他の画像接触判定条件を満足するか否かも判定可能である。

本実施形態では、複数の位置に対応付けられる画像特徴量の関係に基づいて、被写体に対する物体の接触の有無が判定されるので、被写体に対する物体の接触の有無を検出する精度が従来よりも向上することとなる。

また、本実施形態では、部分領域特徴量ＰＲＣ１〜ＰＲＣ３の関係に基づいて、被写体部分領域ＳＲ０を占める画像に像が写る被写体の一部に対する物体の接触の有無が判定される。そして、部分領域特徴量ＰＲＣ０〜ＰＲＣ２の関係に基づいて、被写体部分領域ＳＲ３を占める画像に像が写る被写体の一部に対する物体の接触の有無が判定される。このように、特定の被写体部分領域ＳＲとは異なる複数の被写体部分領域ＳＲに対応付けられる部分領域特徴量ＰＲＣの関係に基づいて、当該特定の被写体部分領域ＳＲを占める画像に像が写る被写体の一部に対する物体の接触の有無が判定される。このようにして、本実施形態では、当該被写体部分領域ＳＲを占める画像に像が写る被写体の一部への物体の接触の有無の検出精度が従来よりも向上することとなる。

また、本実施形態では、音声接触判定期間が画像接触判定期間よりも短い。そのため、フレーム画像２０に基づく上述の判定と音声に基づく上述の判定とを組み合わせることで、被写体に物体が接触したタイミングを精度よく特定することができる。

また、本実施形態では、フレーム画像２０内における被写体領域Ｒの位置が特定され、当該被写体領域Ｒ内における位置に対応付けられる部分領域特徴量ＰＲＣが算出される。そしてこのようにして算出された部分領域特徴量ＰＲＣの関係に基づいて、被写体に対する物体の接触の有無が判定される。このようにして、本実施形態では、被写体と撮像装置１４との距離や、撮像装置１４に対する被写体の位置が接触判定期間内で変化しても、被写体への物体の接触の有無を的確に検出することができることとなる。

以上、ユーザが指を顔に接触させたか否かを判定することを中心に説明したが、本実施形態では、同様にして、ボール等の任意の物体が顔に接触したか否かを判定することができることとなる。また、同様にして、物体が顔以外の被写体に接触したか否かを判定することができることとなる。

なお、１接触判定期間内に、複数の被写体部分領域ＳＲについて、被写体部分領域ＳＲを占める画像に像が写る被写体の一部への物体の接触が判定されることがある。この場合、情報処理装置１２は、当該複数の被写体部分領域ＳＲの組合せに応じた処理を実行してもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、接触判定部４２が、複数の被写体部分領域ＳＲのそれぞれに対応付けられる部分領域特徴量ＰＲＣが示す画像特徴量の変化についての時間的な前後関係に基づいて、被写体に対する物体の接触の有無を判定してもよい。図１４に、複数の被写体部分領域ＳＲについてのフィルタリング後画像特徴量ＰＣ０’（ｋ）〜ＰＣ１５’（ｋ）の別の一例を模式的に示す。そして例えば、図１４に示すように、接触判定部４２が、フィルタリング後画像特徴量ＰＣ’ｉ（ｋ）（ｉ＝０、１、２、・・・、１５）の値が最大となる時刻（ここでは、フレーム番号ＰＴＣｉ）を特定してもよい。図１４には、ＰＴＣ０、ＰＴＣ３、ＰＴＣ１１、ＰＴＣ１５が例示されているが、他のフィルタリング後画像特徴量ＰＣ’ｉ（ｋ）についても、その値が最大となる時刻（フレーム番号ＰＴＣｉ）が同様にして特定されてもよい。そして、例えば、画像接触判定条件データに、フレーム番号ＰＴＣｉの関係を示す画像接触判定条件が含まれていてもよい。具体的には、例えば、画像接触判定条件データに、ＰＴＣ０＜ＰＴＣ３、ＰＴＣ０＜ＰＴＣ１１、ＰＴＣ０＜ＰＴＣ１５などが画像接触判定条件の一部として含まれていてもよい。そして、接触判定部４２が、これらの条件を含むすべての条件を満足する場合に、被写体に対する物体の接触があったと判定してもよい。

また、画像接触判定期間と音声接触判定期間とは、期間、始期、終期の少なくとも１つが同一であってもよい。また、例えば、被写体部分領域ＳＲは被写体領域Ｒを分割した一領域である必要はない。例えば、被写体部分領域ＳＲ同士が重なっていてもよい。

また、情報処理装置１２は、例えば、カメラやマイクを備えた携帯型ゲーム装置であってもよい。また、情報処理装置１２は、パーソナルコンピュータ、タブレット端末、スマートフォン、などであっても構わない。また、情報処理装置１２、撮像装置１４、集音装置１６、表示装置１８の役割分担は上述のものに限定されない。また、情報処理装置１２が複数の筐体から構成されていてもよい。

また、上記の具体的な文字列や図面中の具体的な文字列は例示であり、これらの文字列には限定されない。

Claims (9)

1. 被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得するフレーム画像取得部と、
   前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する被写体部分領域特定部と、
   前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する部分領域特徴量特定部と、
   複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する接触判定部と、
   を含むことを特徴とする情報処理装置。
2. 前記接触判定部は、前記被写体部分領域に関連付けられる、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、当該被写体部分領域を占める画像に像が写る前記被写体の一部に対する物体の接触の有無を判定する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、当該複数の前記被写体部分領域とは異なる前記被写体部分領域を占める画像に像が写る前記被写体の一部に対する物体の接触の有無を判定する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量が示す画像特徴量の変動の大きさの大小関係に基づいて、前記被写体に対する物体の接触の有無を判定する、
   ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量が示す画像特徴量の変化についての時間的な前後関係に基づいて、前記被写体に対する物体の接触の有無を判定する、
   ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
6. 音声データを取得する音声データ取得部、をさらに含み、
   前記接触判定部は、前記部分領域特徴量の関係と取得される前記音声データとに基づいて、前記被写体に対する物体の接触の有無を判定する、
   ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
7. 被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得するステップと、
   前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定するステップと、
   前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定するステップと、
   複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定するステップと、
   ことを特徴とする情報処理方法。
8. 被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する手順、
   前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する手順、
   前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する手順、
   複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する手順、
   をコンピュータに実行させることを特徴とするプログラム。
9. 被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する手順、
   前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する手順、
   前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する手順、
   複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する手順、
   をコンピュータに実行させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。

Images