JP6171353B2 - 情報処理装置、システム、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、システム、情報処理方法およびプログラムに関する。

インタラクティブ・デジタル・サイネージなどの分野において、物体や人の変化を検出し、その変化を元にインタラクティブに提示されている情報を変化させるシステムに注目が集まっている。このようなシステムにおいて、例えば人の手などの非接触動作に応じて情報表示を変化させることで、その場での体験に興味を持たせ、結果として、提示する情報への興味を惹き付ける手法が知られている。

また、こういったサイネージでは、視聴されることが重要であり、人の位置や進入方向などを検知して映像表示方法を変化させ、近傍にいる人々にとって自分に向けた情報提示と認識させ、注意を引くための工夫が知られている。

例えば特許文献１には、ユーザ（視聴者）の位置、向き、視線、ハンドジェスチャ（手を動かすなどの動作）、手や腕の動きなどの総合的なセンシング情報に基づいて、映像の表示制御を行う技術が開示されている。

ここで、購買行動プロセスの仮説として、「Ａｔｔｅｎｔｉｏｎ（注意）」、「Ｉｎｔｅｒｅｓｔ（関心・興味）」が顧客の積極的な行動の引き金になると言われている。すなわち、デジタルサイネージの分野においても「興味を惹き付ける」ためのインタラクションの他に、「近傍にいる人に注意喚起する」ためのインタラクションが必要であるため、映像に対する視聴者の操作を検知するだけでなく、映像が提供される領域の付近に存在する視聴者を検知することが必要である。

しかしながら、特許文献１に開示された技術では、視聴者の位置などの大局的な情報を検知するとともに、フリーハンドジェスチャなどの局所的な情報を検知するために、空間全体を等しい分解能でセンシングするような高スペックなカメラを利用しているので、デバイスやシステム導入にコストがかかり、実現が容易でないという問題がある。

本発明は、上記に鑑みてなされたものであって、視聴者の位置などの大局的な情報を検知するための構成を低コストで実現可能な情報処理装置、システム、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像を投影領域に投影する投影装置の周辺に存在する視聴者を検出するのに用いられる第１情報を検出する第１検出器から、前記第１情報を取得する第１情報取得手段と、前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識するのに用いられる第２情報を検出する第２検出器から、前記第２情報を取得する第２情報取得手段と、前記第１取得手段により取得された前記第１情報に基づいて検出された前記投影装置の周辺に存在する前記視聴者と前記投影領域との距離を算出する算出手段と、前記算出手段によって算出された前記距離と所定の閾値との比較に基づいて、前記第２検出器を起動するか否かを判断する判断手段と、
前記判断手段によって前記第２検出器を起動すると判断された場合、前記第２検出器を起動する起動制御手段と、前記起動制御手段によって起動された前記第２検出器から前記第２情報取得手段が取得した前記第２情報に基づいて前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識する認識手段と、前記認識手段によって認識された前記視聴者の指示動作に基づいて、前記投影装置による前記投影領域への前記画像の投影を制御する投影制御手段と、を備えることを特徴とする情報処理装置である。

また、本発明は、画像を投影領域に投影する投影装置と、前記投影装置と接続される情報処理装置とを備えるシステムであって、前記投影装置の周辺に存在する視聴者を検出するのに用いられる第１情報を検出する第１検出器から、前記第１情報を取得する第１情報取得手段と、前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識するのに用いられる第２情報を検出する第２検出器から、前記第２情報を取得する第２情報取得手段と、前記第１取得手段により取得された前記第１情報に基づいて検出された前記投影装置の周辺に存在する前記視聴者と前記投影領域との距離を算出する算出手段と、前記算出手段によって算出された前記距離と所定の閾値との比較に基づいて、前記第２検出器を起動するか否かを判断する判断手段と、前記判断手段によって前記第２検出器を起動すると判断された場合、前記第２検出器を起動する起動制御手段と、前記起動制御手段によって起動された前記第２検出器から前記第２情報取得手段が取得した前記第２情報に基づいて前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識する認識手段と、前記認識手段によって認識された前記視聴者の指示動作に基づいて、前記投影装置による前記投影領域への前記画像の投影を制御する投影制御手段と、を備えることを特徴とする。

また、本発明は、画像を投影領域に投影する投影装置の周辺に存在する視聴者を検出するのに用いられる第１情報を検出する第１検出器から、前記第１情報を取得する第１情報取得ステップと、前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識するのに用いられる第２情報を検出する第２検出器から、前記第２情報を取得する第２情報取得ステップと、前記第１取得ステップにより取得された前記第１情報に基づいて検出された前記投影装置の周辺に存在する前記視聴者と前記投影領域との距離を算出する算出ステップと、前記算出ステップによって算出された前記距離と所定の閾値との比較に基づいて、前記第２検出器を起動するか否かを判断する判断ステップと、前記判断ステップによって前記第２検出器を起動すると判断された場合、前記第２検出器を起動する起動制御ステップと、前記起動制御ステップによって起動された前記第２検出器から前記第２情報取得ステップにより取得された前記第２情報に基づいて前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識する認識ステップと、前記認識ステップによって認識された前記視聴者の指示動作に基づいて、前記投影装置による前記投影領域への前記画像の投影を制御する投影制御ステップと、を含むことを特徴とする情報処理方法である。

さらに、本発明は、コンピュータに、画像を投影領域に投影する投影装置の周辺に存在する視聴者を検出するのに用いられる第１情報を検出する第１検出器から、前記第１情報を取得する第１情報取得ステップと、前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識するのに用いられる第２情報を検出する第２検出器から、前記第２情報を取得する第２情報取得ステップと、前記第１取得ステップにより取得された前記第１情報に基づいて検出された前記投影装置の周辺に存在する前記視聴者と前記投影領域との距離を算出する算出ステップと、前記算出ステップによって算出された前記距離と所定の閾値との比較に基づいて、前記第２検出器を起動するか否かを判断する判断ステップと、前記判断ステップによって前記第２検出器を起動すると判断された場合、前記第２検出器を起動する起動制御ステップと、前記起動制御ステップによって起動された前記第２検出器から前記第２情報取得ステップにより取得された前記第２情報に基づいて前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識する認識ステップと、前記認識ステップによって認識された前記視聴者の指示動作に基づいて、前記投影装置による前記投影領域への前記画像の投影を制御する投影制御ステップと、を実行させるためのプログラムである。

本発明によれば、視聴者の位置などの大局的な情報を検知するための構成を低コストで実現できるという有利な効果を奏する。

図１は、第１実施形態に係る投影システムの構成例を示す図である。 図２は、第１検出器と第２検出器を説明するための図である。 図３は、第１実施形態に係る情報処理装置の動作例を示すフローチャートである。 図４は、起動判定処理の一例を示すフローチャートである。 図５は、終了判定処理の一例を示すフローチャートである。 図６は、第２実施形態に係る投影システムの構成例を示す図である。 図７は、パラメータ設定部による処理の一例を示すフローチャートである。 図８は、視聴者が、投影表示されたボタンなどのアイコン画像に手を翳す指示動作を行っている様子を模式的に示す図である。 図９は、パラメータ設定部による処理の一例を示すフローチャートである。 図１０は、パラメータ設定部による処理の一例を示すフローチャートである。 図１１は、第３実施形態に係る投影システムの構成例を示す図である。 図１２は、図１２は、表示情報に対して「注意喚起する」ためのインタラクションを行う場合の情報処理装置の動作例を示すフローチャートである。 図１３は、第３実施形態に係る表示制御部による処理の一例を示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る情報処理装置、システム、情報処理方法およびプログラムの実施の形態を詳細に説明する。以下の各実施形態では、本発明が適用されるシステムとして、投影システムを例示して説明するが、これに限られるものではない。

（第１実施形態）
図１は、本実施形態に係る投影システム１の構成例を示す図である。図１に示すように、投影システム１は、互いに接続される表示装置１００および情報処理装置２００を少なくとも含む。本実施形態では、表示装置１００は、例えば壁面などの投影対象物に画像を投影するプロジェクタ（画像投影装置の一例）で構成されるが、これに限られるものではなく、広告等のサイネージ画像を表示するディスプレイ装置で構成されてもよい。要するに、表示装置１００は、画像を表示する装置であればよい。この例では、表示装置１００は、請求項の「表示部」または「表示装置」に対応していると捉えることができる。

情報処理装置２００は、コンテンツ提供装置３００から供給される画像に基づいて、表示装置１００に表示される画像を生成し、その生成した画像を表示装置１００へ出力する。本実施形態では、情報処理装置２００は、ＰＣ（Personal Computer）で構成されるが、これに限られるものではない。情報処理装置２００の詳細な内容については後述する。

また、本実施形態では、第１検出器１０および第２検出器２０が、情報処理装置２００に接続されている。より具体的には、図２に示すように、本実施形態では、プロジェクタとして構成される表示装置１００の上部に、第１検出器１０および第２検出器２０が取り付けられている。

第１検出器１０は、表示装置１００の周辺に視聴者が存在するか否かを検出するのに用いられる第１情報を検出するためのセンサーである。図２の例では、第１検出器１０の検出範囲は、投影対象物に投影される画像（以下の説明では、「投影画像」と呼ぶ場合がある）が提供され得る範囲（投影画像を視聴可能な範囲）を示す第１範囲であるが、これに限られるものではない。以下の説明では、投影対象物のうち画像が投影される領域を投影領域と呼ぶ場合がある。第１検出器１０は、一定距離にある人体の検出ができればよいので、安価かつ小型で種類も豊富な赤外線距離センサーが好ましいが、これに限られるものではない。ただし、赤外線距離センサーを用いた場合は、通常、局所的な領域しか検出できないので、検出対象のエリアの広さに応じて、複数個のセンサーを縦横に並べて使用することもできる。この例では、第１情報とは、赤外線距離センサーの出力を指す。

第２検出器２０は、表示装置１００が表示する画像（この例では、投影画像）に対する指示動作（例えば手を動かすなどの動作）を認識するのに用いられる第２情報を検出するためのセンサーである。設置環境や認識対象の指示動作によって、好ましいセンサーは異なるが、ここでは、第２検出器２０は、表示装置１００の周辺のうち、視聴者が指示動作を行うことが想定される操作エリア（図２に示す第２範囲）を撮像する機能を有するものであればよい。以下の説明では、第２検出器２０が、単眼のカメラで構成される場合を例に挙げて説明するが、これに限らず、例えば赤外線カメラで第２検出器２０が構成されてもよい。第２検出器２０は、操作エリアが画角内に収まるように設定される。この例では、第２情報とは、単眼のカメラの出力、つまり、操作エリアを撮像して得られる画像データを指す。

例えば携帯カメラ用の小型・軽量なカメラは市場に多く出回っており、価格も非常に安価であるので、このようなカメラを、第２検出器２０として用いることもできるが、操作エリアに応じた画角および解像度を有するとともに、指示動作の認識の応答性にも影響が及ぶので、高いフレームレートを有する（例えば３０ｆｐｓ程度）ことが好ましい。

図１に戻り、情報処理装置２００の詳細な内容について説明する。図１に示すように、情報処理装置２００は、第１取得部２１０と、第２取得部２２０と、決定部２３０と、表示制御部２４０とを備える。第１取得部２１０は、第１検出器１０から第１情報を取得する機能を有する。第２取得部２２０は、第２検出器２０から第２情報を取得する機能を有する。

決定部２３０は、第１取得部２１０により取得された第１情報に基づいて、第２取得部２２０により取得された第２情報を用いた指示動作の認識方法を決定する。より具体的には、決定部２３０は、検出部２３１と、認識部２３２と、判断部２３３と、起動制御部２３４とを含む。

検出部２３１は、第１取得部２１０により取得された第１情報を用いて、表示部の周辺に視聴者が存在するか否かを検出する機能を有する。また、検出部２３１は、検出した視聴者の位置と、表示装置１００が表示する画像の表示領域（この例では投影領域）との距離を算出する機能を有する。この例では、第１検出器１０の設置時に、第１検出器１０の検出範囲（第１範囲）と、第１検出器１０からの距離情報を示すデフォルト値を、不図示のメモリに記憶しておき、検出部２３１は、このデフォルト値と、第１取得部２１０により取得された第１情報を比較することで、第１範囲内に視聴者が侵入してきたか否かを検出する。なお、視聴者の検出や距離の算出方法はこれに限られるものではなく、公知の様々な技術を適用可能である（例えば特開２００７−１３３３０５号公報の段落００１４〜段落００１５等）。また、この例では、第１検出器１０は、投影領域から十分近い位置に配置されており、投影領域と視聴者との距離は、第１検出器１０と視聴者との距離で近似できるものと考える。

認識部２３２は、第２取得部２２０により取得された第２情報を用いて、指示動作を認識する機能を有する。本実施形態では、フレーム間差分や背景差分法などにより、操作エリアを撮像して得られる画像データ（第２情報）に映り込んだ認識対象（例えば人の手など）の動きを検出し、検出した動きと、予め定められた指示動作認識条件（認識対象の動きと、指示動作の種類とを対応付けた情報）とに基づいて、指示動作を認識する。なお、指示動作の認識方法としては、公知の様々な技術（例えば特開２００９−６４１９９号公報に開示された技術等）を適用することができる。また、操作エリアを撮像して得られる画像データ（第２情報）の中に、複数の認識対象が映り込んでいる場合は、認識部２３２は、検出部２３１により検出された視聴者の位置に応じて、指示動作の認識処理の対象となる認識対象を特定した上で、指示動作の認識処理を実行することもできる。

判断部２３３は、検出部２３１により検出された視聴者の位置に応じて、指示動作の認識の実行の可否を判断する機能を有する。より具体的には、判断部２３３は、検出部２３１により算出された、第１範囲内の視聴者の位置と投影領域との距離Ｄが、閾値よりも小さいか否かを判断する。距離Ｄが閾値よりも小さいと判断した場合、判断部２３３は、指示動作の認識を実行すると判断し、第２検出器２０を起動するとともに、第２取得部２２０による取得処理および認識部２３２による認識処理を実行するよう制御する。

起動制御部２３４は、第１検出器１０および第２検出器２０の起動を制御する機能を有する。また、起動制御部２３４は、第１検出器１０および第２検出器２０の停止を制御する機能も有する。

表示制御部２４０は、決定部２３０による処理結果に応じて、表示装置１００に表示する画像を制御する。例えば検出部２３１により、第１範囲内に視聴者の存在が検出された場合、表示制御部２４０は、操作アイコンの画像を表示する制御を行うこともできる。より具体的には、表示制御部２４０は、コンテンツ提供装置３００から供給される画像に、操作アイコンの画像を重畳させた画像を生成して表示装置１００へ出力する。また、例えば認識部２３２により、指示動作が認識された場合、表示制御部２４０は、認識された指示動作に応じた画像を表示する制御を行うこともできる。例えば表示制御部２４０は、コンテンツ提供装置３００から供給される画像を、認識された指示動作に応じて遷移させ（言い換えれば、画面遷移を行い）、その遷移させた画像を表示装置１００へ出力することもできる。このようにして、指示動作に対するフィードバックが実行される。

次に、本実施形態の情報処理装置２００の動作例を説明する。図３は、情報処理装置２００の動作例を示すフローチャートである。図３に示すように、まず起動制御部２３４は、第１検出器１０を起動する制御を行う（ステップＳ１）。そして、第１取得部２１０は、所定の周期で、第１検出器１０の出力を示す第１情報を取得する処理を開始し、第１検出器１０から第１情報を取得する（ステップＳ２）。次に、検出部２３１は、ステップＳ２で取得された第１情報から、第１範囲内に視聴者が存在するか否かを検出する（ステップＳ３）。

第１範囲内に視聴者が存在することを検出した場合（ステップＳ３：ＹＥＳ）、検出部２３１は、検出した視聴者と、投影領域との距離Ｄを算出する（ステップＳ４）。次に、判断部２３３は、第２検出器２０の起動判定処理を実行する（ステップＳ５）。

図４は、判断部２３３が実行する起動判定処理の一例を示すフローチャートである。図４に示すように、まず判断部２３３は、上述のステップＳ４で算出した距離Ｄが閾値よりも小さいか否かを判断する（ステップＳ１１）。距離Ｄが閾値よりも小さいと判断した場合（ステップＳ１１：ＹＥＳ）、判断部２３３は、起動制御部２３４に対して、第２検出器２０を起動するように指示する（ステップＳ１２）。同時に、判断部２３３は、第２取得部２２０に対して、所定の周期で、第２検出器２０からの第２情報を取得する処理を開始するように指示するとともに、認識部２３２に対して、指示動作を認識する処理を開始するように指示する。

再び図３に戻って説明を続ける。上述のステップＳ３において、第１範囲内に視聴者が存在しないことを検出した場合（ステップＳ３：ＮＯ）、検出部２３１は、視聴者の存在が検出されていない時間を示す非検出時間Ｔを算出する（ステップＳ６）。次に、判断部２３３は、第２検出器２０の終了判定処理を実行する（ステップＳ７）。

図５は、判断部２３３が実行する終了判定処理の一例を示すフローチャートである。図５に示すように、まず判断部２３３は、上述のステップＳ６で算出した非検出時間Ｔが閾値よりも大きいか否かを判断する（ステップＳ１３）。非検出時間Ｔが閾値よりも大きいと判断した場合（ステップＳ１３：ＹＥＳ）、判断部２３３は、起動制御部２３４に対して、第２検出器２０を停止（終了）するように指示する（ステップＳ１４）。同時に、判断部２３３は、第２取得部２２０に対して、所定の周期で、第２検出器２０からの第２情報を取得する処理を停止するように指示するとともに、認識部２３２に対して、指示動作を認識する処理を停止するように指示する。

以上に説明したように、本実施形態では、表示装置１００の周辺に視聴者が存在するか否かを検出するのに用いられる第１情報を検出する第１検出器１０から取得した第１情報に基づいて、表示装置１００が表示する画像に対する指示動作を認識するのに用いられる第２情報を検出する第２検出器２０から取得した第２情報を用いた指示動作の認識方法を決定する。具体的には、第１情報を用いて検出した視聴者の位置に応じて（視聴者の位置と投影領域との距離Ｄに応じて）、指示動作の認識の実行の可否を判断し、距離Ｄが閾値よりも小さい場合は、第２情報を取得する第２検出器２０を停止させ、第２情報を取得する処理、および、操作エリア内の指示動作を認識する処理を停止する（指示動作の認識処理を停止する）。

一方、従来のように、空間全体を等しい分解能でセンシングするようなカメラの出力のみに基づいて、視聴者の位置と指示動作の認識を行う構成においては、当該カメラは高スペックであることから、システムの導入コストが大きい上、視聴者の有無に関わらず、センシングに必要な電力を維持する必要がある（視聴者がいない場合にセンシングに必要な電力を低減することはできない）ので、消費電力が増大するという問題がある。これに対して、本実施形態では、高スペックなカメラを必要としないので、システムの導入コストを抑えることができる。また、本実施形態では、視聴者の位置が、未だ指示動作を行わないことが想定される位置の場合は、第２検出器２０を停止させて指示動作の認識処理を停止するので、従来構成に比べて消費電力を低減できる。したがって、本実施形態によれば、従来構成に比べて、コストおよび消費電力を低減できるという有利な効果を奏する。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、第１範囲内に存在する視聴者の位置に応じて、第１範囲内に視聴者が存在するか否かを検出する処理（第１取得部２１０および検出部２３１の処理）と、操作エリア内の指示動作を認識する処理（第２取得部２２０および認識部２３２の処理）との負荷比率を可変に設定する機能を有する点で上述の第１実施形態と相違する。また、第２実施形態では、第１範囲内に存在する視聴者の位置に応じて、認識部２３２による指示動作の認識に用いられるパラメータを可変に設定する機能を有する点でも上述の第１実施形態と相違する。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する要素については、同一の符号を付すなどして、適宜に説明を省略する。

図６は、第２実施形態に係る投影システム４００の構成例を示す図である。投影システム４００内の情報処理装置２０１に含まれる決定部２５０の一部の機能が上述の第１実施形態と異なるため、以下では、第１実施形態との相違点を中心に説明する。図６に示すように、決定部２５０は、パラメータ設定部２３５と、負荷比率設定部２３６をさらに備える点で上述の第１実施形態と相違する。

パラメータ設定部２３５は、検出部２３１により検出された視聴者の位置に応じて、認識部２３２による指示動作の認識（指示動作の認識処理）に用いられるパラメータを可変に設定する。以下、具体的に説明する。

指示動作の認識処理において、第２情報（操作エリアを撮像して得られる画像データ）から、視聴者の手などの指示動作の認識対象を抽出する際、フレーム間の差分を示す領域の面積と、閾値とを比較して、認識対象なのかノイズなのかを判断する方法が取られることがある。しかしながら、所定の位置に設置された単眼のカメラ（第２検出器２０）で撮像された画像データに映り込んだ視聴者の手（認識対象の一例）の面積は、その視聴者の位置に応じて大きく異なることが予想されるため、視聴者の位置情報、特に、第２検出器２０からどのくらい離れた場所に視聴者が存在するかという情報が、適切な閾値を設定するためには重要である。

そこで、パラメータ設定部２３５は、検出部２３１により検出された第１領域内の視聴者の位置に応じて、指示動作の認識処理に用いられる面積閾値（パラメータの一例）を可変に設定する。この例では、検出部２３１により検出された視聴者の位置と第２検出器２０との間の距離は、視聴者の位置と第１検出器１０との間の距離で近似され、例えば視聴者と第２検出器２０（第１検出器１０）との間の距離の基準値Ｄｘと、閾値用の面積の基準値Ｓが与えられているものとすると、検出部２３１により算出された距離Ｄに対し、想定面積Ｓ’は、以下の式１で表すことができる。指示動作の認識処理において、式１で算出された想定面積Ｓ’よりも小さい面積を示す差分画像は、ノイズであると判定される。
Ｓ’＝Ｓ×Ｄｘ^２／Ｄ^２ ・・・（式１）
閾値用の面積に上記Ｓ’を適用することで、視聴者と第２検出器２０間の距離によって、撮像される手の面積が異なってもロバストに対応することができる。

図７は、以上のパラメータ設定部２３５による処理の一例を示すフローチャートである。ここでは、検出部２３１は、第１取得部２１０により取得された第１情報から、第１範囲内に視聴者が存在することを検出するたびに、その視聴者の位置と第１検出器１０（第２検出器２０）との間の距離Ｄを算出し、算出した距離Ｄをパラメータ設定部２３５へ出力することを前提とする。

図７に示すように、まず、パラメータ設定部２３５は、検出部２３１により算出された距離Ｄを取得する（ステップＳ２１）。次に、パラメータ設定部２３５は、上記式１により、想定面積Ｓ’を算出する（ステップＳ２２）。次に、パラメータ設定部２３５は、ステップＳ２２で算出した想定面積Ｓ’を、ノイズ判定用の面積閾値として設定する（ステップＳ２３）。そして、認識部２３２は、ステップＳ２３で設定された面積閾値を用いて、指示動作の認識処理を行う（ステップＳ２４）。

図６に戻り、パラメータ設定部２３５の機能の説明を続ける。指示動作の認識処理において、第２情報から、視聴者の手などの認識対象を抽出し、抽出した認識対象の軌跡を、指示動作の認識に利用する方法が取られることがある。つまり、指示動作の種類ごとに、所定の軌跡が対応付けられた情報（指示動作認識条件）を予め用意しておき、抽出した認識対象の軌跡が、指示動作認識条件内の所定の軌跡と一致する場合、その所定の軌跡に対応する指示動作が行われたと認識することができる。

しかしながら、例えば図８に示すように、投影領域に表示されたボタンなどのアイコン画像に手を翳す（手を差し出す）などの単純な指示動作であっても、視聴者の位置によって、カメラ（第２検出器２０）で撮像される画像データに映り込む視聴者の手の軌跡が異なることが予想されるため、視聴者の位置情報、特に、第２検出器２０に対して、左右の何れの位置に視聴者が存在するのかという情報が、適切な指示動作の認識を行うためには重要である。

そこで、パラメータ設定部２３５は、検出部２３１により検出された第１領域内の視聴者の位置に応じて、指示動作の認識処理に用いられる指示動作認識条件（パラメータの一例）を可変に設定する。例えば図８に示すような設置環境を想定すると、第２検出器２０に対して右側に視聴者が存在する場合は、ボタンアイコンに手を差し出すという指示動作に対応する所定の軌跡として、「右→中央→右」という軌跡を適用し、左側に視聴者が存在する場合は、ボタンアイコンに手を差し出すという指示動作に対応する所定の軌跡として、「左→中央→左」という軌跡を適用することができる。

このように、検出部２３１により検出された第１領域内の視聴者の位置に応じて、指示動作の認識処理に用いられる指示動作認識条件を可変に設定することで、視聴者の位置によって当該視聴者の指示動作が描く軌跡が異なること（右側から手を差し出すが左側から手を差し出すかによる撮像画像の違い）にもロバストに対応することが可能になる。

図９は、以上のパラメータ設定部２３５による処理の一例を示すフローチャートである。ここでは、検出部２３１は、第１取得部２１０により取得された第１情報から、第１範囲内に視聴者が存在することを検出するたびに、その視聴者の位置を示す位置情報を、パラメータ設定部２３５へ出力することを前提とする。

図９に示すように、まず、パラメータ設定部２３５は、視聴者の位置を示す位置情報を検出部２３１から取得する（ステップＳ３１）。次に、パラメータ設定部２３５は、ステップＳ３１で取得した位置情報が示す視聴者の位置に応じて、指示動作認識条件を設定する（ステップＳ３２）。そして、認識部２３２は、ステップＳ３２で設定された指示動作認識条件を用いて、指示動作の認識処理を行う（ステップＳ３３）。

再び図６に戻って、パラメータ設定部２３５の機能の説明を続ける。ここで、指示動作の認識処理は、複数のフレームを用いて行われるのが一般的である。指示動作の認識処理において、ＣＰＵの負荷に応じて第２検出器２０からフレームを取得する方式の場合、ＣＰＵの性能が低いとフレームを飛び飛びに取得することになり、認識精度が低下し、応答速度にも支障が出る。

そこで、パラメータ設定部２３５は、検出部２３１により検出された第１領域内の視聴者の位置に応じて、第１範囲内に視聴者が存在するか否かを検出する処理（第１取得部２１０および検出部２３１による処理）と、操作エリア（第２範囲）で行われる指示動作を認識する処理（第２取得部２２０および認識部２３２による処理）の負荷比率を可変に設定する。

以下の説明では、例えば負荷比率６０％とは、第１範囲内に視聴者が存在するか否かを検出する処理の比率と、操作エリア（第２範囲）で行われる指示動作を認識する処理（指示動作の認識処理）の比率との合計を１００％とした場合の、指示動作の認識処理の比率を指す。つまり、この場合、第１範囲内に視聴者が存在するか否かを検出する処理の比率は４０％であることを表す。なお、指示動作の認識処理の負荷比率が高いほど、第２取得部２２０および認識部２３２による処理の負荷が増大するため、第２検出器２０からフレーム（操作エリアを撮像して得られる画像データ（第２情報））を取得する頻度（フレームレート）も増大する。

図１０は、以上のパラメータ設定部２３５による処理の一例を示すフローチャートである。ここでは、検出部２３１は、第１取得部２１０により取得された第１情報から、第１範囲内に視聴者が存在することを検出するたびに、その視聴者の位置と投影領域（第１検出器１０）との間の距離Ｄを算出し、算出した距離Ｄをパラメータ設定部２３５へ出力することを前提とする。

図１０に示すように、まず、パラメータ設定部２３５は、検出部２３１により算出された距離Ｄを取得する（ステップＳ４１）。次に、パラメータ設定部２３５は、ステップＳ４１で取得した距離Ｄに応じて、負荷比率を設定する（ステップＳ４２）。本実施形態では、パラメータ設定部２３５は、距離Ｄが閾値未満の場合は、負荷比率を８０％に設定し、距離Ｄが閾値以上の場合は、負荷比率を５０％に設定するが、これに限られるものではない。

なお、以上のパラメータ設定部２３５による処理は、第２検出器２０の起動後に行われてもよいし、第２検出器２０の起動前の段階で行われてもよい。

以上に説明したように、本実施形態においても、第１検出器１０から取得した第１情報に基づいて、第２検出器２０から取得した第２情報を用いた指示動作の認識方法を決定するので、従来のように、空間全体を等しい分解能でセンシングするような高スペックなカメラの出力のみに基づいて、視聴者の位置と指示動作の認識を行う構成に比べて、コストを低減できる。具体的には、本実施形態では、第１検出器１０から取得した第１情報を用いて検出した視聴者の位置に応じて、負荷比率を可変に設定する、あるいは、指示動作の認識に用いられるパラメータを可変に設定する制御を行う。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、指示動作の認識が行われた場合は、第１範囲内に存在する視聴者が新たに検出されても、新たに検出された視聴者の位置に応じて表示装置１００が表示する画像を制御することはしない点で、上述の各実施形態と相違する。以下、具体的な内容を説明する。なお、上述の各実施形態と共通する要素については、同一の符号を付すなどして、適宜に説明を省略する。

図１１は、第３実施形態に係る投影システム５００の構成例を示す図である。投影システム５００内の情報処理装置２０２に含まれる表示制御部２４１の一部の機能が上述の第１実施形態と異なるため、以下では、第１実施形態との相違点を中心に説明する。なお、図１１の例では、情報処理装置２０２に含まれる決定部２６０の構成は、第１実施形態と同様の構成であるが、これに限らず、例えば情報処理装置２０２に含まれる決定部２６０が、第２実施形態と同様の構成（パラメータ設定部２３５および負荷比率設定部２３６をさらに備える構成）であってもよい。

上述の各実施形態と同様に、表示制御部２４１は、検出部２３１による検出処理の結果、または、認識部２３２による指示動作の認識処理の結果に応じて、表示情報を切り替える制御を行う。これにより、表示情報に対して「注意喚起する」ためのインタラクションと、表示画面（この例では投影画像）に対する操作体験を通じて表示情報に対する「興味を惹き付ける」ためのインタラクションを実現する。

表示情報に対して「注意喚起する」ためのインタラクションの例としては、前述したように、第１範囲内に視聴者の存在が検出された場合、操作アイコン（例えば表示輝度やサイズ、操作ボタンなどのオブジェクト）を表示する制御を行うことが考えられる。さらに、本実施形態では、表示制御部２４１は、検出部２３１により検出された視聴者の位置に応じて、投影画像の輝度を変化させる輝度制御を行う。より具体的には、表示制御部２４１は、検出部２３１により算出された、視聴者の位置と投影領域（第１検出器１０）との間の距離Ｄに応じて、光源の輝度を変化させる、あるいは、投影対象の画像データに含まれる各画素の指定階調を変化させる制御を行う。

また、表示制御部２４１は、検出部２３１により算出された非検出時間（視聴者が検出されていない時間）Ｔが閾値以上の場合は、表示をミュートに切り替える制御を行う。これにより、表示装置１００の消費電力を抑えることができる。

図１２は、表示情報に対して「注意喚起する」ためのインタラクションを行う場合の情報処理装置２０２の動作例を示すフローチャートである。この例では、第１検出器１０は起動済みであり、検出部２３１は、所定の周期で第１取得部２１０により取得される第１情報から、第１範囲内に視聴者が存在することを検出するたびに、その視聴者の位置と投影領域との間の距離Ｄを算出し、算出した距離Ｄを表示制御部２４１へ出力することを前提とする。図１２に示すように、まず第１取得部２１０は、第１検出器１０から第１情報を取得する（ステップＳ５１）。次に、検出部２３１は、ステップＳ５１で取得された第１情報から、第１範囲内に視聴者が存在するか否かを検出する（ステップＳ５２）。このステップＳ５２の処理は、第１取得部２１０により第１情報が取得されるたびに行われる。

第１範囲内に視聴者が存在することを検出した場合（ステップＳ５２：ＹＥＳ）、検出部２３１は、検出した視聴者と、投影領域との距離Ｄを算出し（ステップＳ５３）、算出した距離Ｄを表示制御部２４１へ出力する。次に、表示制御部２４１は、検出部２３１により検出された視聴者の位置に応じた表示制御を行う（ステップＳ５４）。より具体的には、表示制御部２４１は、操作アイコンを表示する制御を行うとともに、算出された距離Ｄに応じて投影画像の輝度を変化させる制御を行う。例えば表示制御部２４１は、距離Ｄが小さいほど投影画像の輝度を増加させる制御を行うこともできる。

一方、上述のステップＳ５２において、第１範囲内に視聴者が存在しないことを検出した場合（ステップＳ５２：ＮＯ）、検出部２３１は、視聴者の存在が検出されていない時間を示す非検出時間Ｔを算出し（ステップＳ５５）、算出した非検出時間Ｔを表示制御部２４１へ出力する。次に、表示制御部２４１は、非検出時間Ｔに基づいて、ミュート状態移行判定処理を実行する（ステップＳ５６）。より具体的には、表示制御部２４１は、非検出時間Ｔが閾値以上であるか否かを判定し、閾値以上であると判定した場合は、表示をミュートに切り替える制御を行う。閾値未満の場合は、ステップＳ５１以降の処理が繰り返される。

再び図１１に戻って説明を続ける。表示画面に対する操作体験を通じて表示情報に対する「興味を惹き付ける」ためのインタラクションの例としては、前述したように、指示動作の認識処理によって指示動作が認識された場合に、画面遷移などを行い、新しいコンテンツを視聴者に提示することが考えられる。

しかしながら、以上のような、検出部２３１による検出処理の結果、および、認識部２３２による指示動作の認識処理の結果のそれぞれに応じた表示制御を、それぞれ独立して行おうとすると、混乱が生じるおそれがある。例えば、ある視聴者が表示画面に対して指示動作を行っている状況の下で、別の視聴者が遠方から近づいてきた場合、指示動作の途中で意図しない表示切替が発生する等の問題が発生する。

一つの考え方として、最も表示内容に関心を持っている視聴者は、周辺に佇む人物ではなく、指示動作を行っている視聴者であると考えることができる。そこで、本実施形態では、表示制御部２４１は、認識部２３２によって指示動作の認識（指示動作の認識処理）が行われた場合は、検出部２３１によって、第１範囲内に存在する視聴者が新たに検出されても、その新たに検出された視聴者の位置に応じて投影画像を制御することはしない。図１３は、本実施形態に係る表示制御部２４１による処理の一例を示すフローチャートである。この例では、検出部２３１は、所定の周期で第１取得部２１０により取得される第１情報から、第１範囲内に視聴者が存在することを検出するたびに、その視聴者の位置と投影領域との間の距離Ｄを算出し、算出した距離Ｄを示す情報とともに、第１範囲内に視聴者の存在を検出したことを示す情報を表示制御部２４１へ出力することを前提とする。また、認識部２３２は、所定の周期で第２取得部２２０により取得される第２情報（操作エリアを撮像して得られる画像データ）から指示動作の認識対象（例えば人の手など）を抽出した場合、その旨を示す情報を表示制御部２４１へ出力する。そして、前述の指示動作認識条件に基づいて、抽出した認識対象の軌跡に対応する指示動作を認識した場合、その認識した指示動作を示す指示動作情報を表示制御部２４１へ出力することを前提とする。

図１３に示すように、まず表示制御部２４１は、検出部２３１により算出された距離Ｄを取得する（ステップＳ６１）。次に、表示制御部２４１は、認識部２３２により、指示動作が認識されたか否かを判断する（ステップＳ６２）。この例では、表示制御部２４１は、認識部２３２から、認識対象を抽出したことを示す情報、あるいは、指示動作情報を取得していた場合は、指示動作が認識されたと判断する。ステップＳ６２において、指示動作が認識されていないと判断した場合（ステップＳ６２：ＮＯ）、表示制御部２４１は、検出部２３１により検出された視聴者の位置に応じた表示制御を行う（ステップＳ６３）。より具体的には、表示制御部２４１は、操作アイコンを表示する制御を行うとともに、算出された距離Ｄに応じて投影画像の輝度を変化させる制御を行う。一方、ステップＳ６２において、指示動作が認識されたと判断した場合（ステップＳ６２：ＹＥＳ）、表示制御部２４１は、検出部２３１により検出された視聴者の位置に応じた表示制御は行わずに、認識部２３２により認識された指示動作に応じた表示制御を行う（ステップＳ６４）。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

上述の各実施形態に係る情報処理装置（２００、２０１、２０２）は、プロジェクタなどの表示装置１００にインタラクション機能を付加することが可能であるが、設置容易性を考慮すると表示装置１００と一体型であることが望まれ、センサー（第１検出器１０、第２検出器２０）も一体型の装置に内蔵もしくは合体している構成が好ましい。この一体型の装置は、画像を表示する画像表示装置として捉えることもできる。つまり、本発明は、このような画像表示装置に対しても適用可能である。

上述の各実施形態に係る情報処理装置（２００、２０１、２０２）のハードウェア構成は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含む通常のコンピュータ装置のハードウェア構成を利用したものであり、情報処理装置（２００、２０１、２０２）の各部（第１取得部２１０、第２取得部２２０、検出部２３１、認識部２３２、判断部２３３、起動制御部２３４、パラメータ設定部２３５、負荷比率設定部２３６、表示制御部２４０（２４１））の機能は、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより実現される。ただし、これに限られるものではなく、情報処理装置（２００、２０１、２０２）の各部の機能のうちの少なくとも一部が専用のハードウェア回路で実現されてもよい。

なお、上述の情報処理装置（２００、２０１、２０２）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上述の情報処理装置（２００、２０１、２０２）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の情報処理装置（２００、２０１、２０２）で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ 投影システム
１０ 第１検出器
２０ 第２検出器
１００ 表示装置
２００ 情報処理装置
２０１ 情報処理装置
２０２ 情報処理装置
２１０ 第１取得部
２２０ 第２取得部
２３０ 決定部
２３１ 検出部
２３２ 認識部
２３３ 判断部
２３４ 起動制御部
２３５ パラメータ設定部
２３６ 負荷比率設定部
２４０ 表示制御部
２４１ 表示制御部
２５０ 決定部
２６０ 決定部
３００ コンテンツ提供装置
４００ 投影システム
５００ 投影システム

特許第４９０７４８３号公報

Claims (10)

1. 画像を投影領域に投影する投影装置の周辺に存在する視聴者を検出するのに用いられる第１情報を検出する第１検出器から、前記第１情報を取得する第１情報取得手段と、
   前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識するのに用いられる第２情報を検出する第２検出器から、前記第２情報を取得する第２情報取得手段と、
   前記第１取得手段により取得された前記第１情報に基づいて検出された前記投影装置の周辺に存在する前記視聴者と前記投影領域との距離を算出する算出手段と、
   前記算出手段によって算出された前記距離と所定の閾値との比較に基づいて、前記第２検出器を起動するか否かを判断する判断手段と、
   前記判断手段によって前記第２検出器を起動すると判断された場合、前記第２検出器を起動する起動制御手段と、
   前記起動制御手段によって起動された前記第２検出器から前記第２情報取得手段が取得した前記第２情報に基づいて前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識する認識手段と、
   前記認識手段によって認識された前記視聴者の指示動作に基づいて、前記投影装置による前記投影領域への前記画像の投影を制御する投影制御手段と、を備えることを特徴とする情報処理装置。
2. 前記判断手段は、前記距離が前記所定の閾値よりも小さい場合は、前記第２検出器を起動すると判断する、
   請求項１に記載の情報処理装置。
3. 前記第１検出器の検出範囲は、前記投影領域に投影される画像を視聴可能な範囲を示す第１範囲であり、
   前記第１の情報は、前記第１範囲に存在する視聴者を検出するのに用いられる、
   請求項１または２に記載の情報処理装置。
4. 前記第１情報取得手段により取得された前記第１情報を用いて、前記投影装置の周辺に視聴者が存在するか否かを検出する検出手段と、
   前記検出手段により検出された視聴者の位置に応じて、前記検出手段による処理と、前記認識手段による処理との負荷比率を可変に設定する負荷比率設定手段と、をさらに備える、
   ことを特徴とする請求項１乃至３のうちの何れか１項に記載の情報処理装置。
5. 前記検出手段により検出された視聴者の位置に応じて、前記認識手段による前記指示動作の認識に用いられるパラメータを可変に設定するパラメータ設定手段をさらに備える、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記投影制御手段は、前記認識手段によって前記指示動作の認識が行われた場合は、前記検出手段によって、前記投影装置の周辺に存在する視聴者が新たに検出されても、新たに検出された視聴者の位置に応じて前記投影装置による前記投影領域への前記画像の投影を制御することはしない、
   ことを特徴とする請求項４または５に記載の情報処理装置。
7. 前記投影制御手段は、前記認識手段によって前記指示動作の認識が行われていない場合は、前記検出手段により検出された視聴者の位置に応じて、前記投影領域へ投影される画像の輝度を変化させる輝度制御を行う、
   ことを特徴とする請求項６に記載の情報処理装置。
8. 画像を投影領域に投影する投影装置と、前記投影装置と接続される情報処理装置とを備えるシステムであって、
   前記投影装置の周辺に存在する視聴者を検出するのに用いられる第１情報を検出する第１検出器から、前記第１情報を取得する第１情報取得手段と、
   前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識するのに用いられる第２情報を検出する第２検出器から、前記第２情報を取得する第２情報取得手段と、
   前記第１取得手段により取得された前記第１情報に基づいて検出された前記投影装置の周辺に存在する前記視聴者と前記投影領域との距離を算出する算出手段と、
   前記算出手段によって算出された前記距離と所定の閾値との比較に基づいて、前記第２検出器を起動するか否かを判断する判断手段と、
   前記判断手段によって前記第２検出器を起動すると判断された場合、前記第２検出器を起動する起動制御手段と、
   前記起動制御手段によって起動された前記第２検出器から前記第２情報取得手段が取得した前記第２情報に基づいて前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識する認識手段と、
   前記認識手段によって認識された前記視聴者の指示動作に基づいて、前記投影装置による前記投影領域への前記画像の投影を制御する投影制御手段と、を備える、
   ことを特徴とするシステム。
9. 画像を投影領域に投影する投影装置の周辺に存在する視聴者を検出するのに用いられる第１情報を検出する第１検出器から、前記第１情報を取得する第１情報取得ステップと、
   前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識するのに用いられる第２情報を検出する第２検出器から、前記第２情報を取得する第２情報取得ステップと、
   前記第１取得ステップにより取得された前記第１情報に基づいて検出された前記投影装置の周辺に存在する前記視聴者と前記投影領域との距離を算出する算出ステップと、
   前記算出ステップによって算出された前記距離と所定の閾値との比較に基づいて、前記第２検出器を起動するか否かを判断する判断ステップと、
   前記判断ステップによって前記第２検出器を起動すると判断された場合、前記第２検出器を起動する起動制御ステップと、
   前記起動制御ステップによって起動された前記第２検出器から前記第２情報取得ステップにより取得された前記第２情報に基づいて前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識する認識ステップと、
   前記認識ステップによって認識された前記視聴者の指示動作に基づいて、前記投影装置による前記投影領域への前記画像の投影を制御する投影制御ステップと、を含む、
   ことを特徴とする情報処理方法。
10. コンピュータに、
    画像を投影領域に投影する投影装置の周辺に存在する視聴者を検出するのに用いられる第１情報を検出する第１検出器から、前記第１情報を取得する第１情報取得ステップと、
    前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識するのに用いられる第２情報を検出する第２検出器から、前記第２情報を取得する第２情報取得ステップと、
    前記第１取得ステップにより取得された前記第１情報に基づいて検出された前記投影装置の周辺に存在する前記視聴者と前記投影領域との距離を算出する算出ステップと、
    前記算出ステップによって算出された前記距離と所定の閾値との比較に基づいて、前記第２検出器を起動するか否かを判断する判断ステップと、
    前記判断ステップによって前記第２検出器を起動すると判断された場合、前記第２検出器を起動する起動制御ステップと、
    前記起動制御ステップによって起動された前記第２検出器から前記第２情報取得ステップにより取得された前記第２情報に基づいて前記投影領域に投影されている画像に対する前記視聴者の指示動作を認識する認識ステップと、
    前記認識ステップによって認識された前記視聴者の指示動作に基づいて、前記投影装置による前記投影領域への前記画像の投影を制御する投影制御ステップと、を実行させるためのプログラム。

Images