JP4972013B2

JP4972013B2 - 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体

Info

Publication number: JP4972013B2
Application number: JP2008048005A
Authority: JP
Inventors: 陽子石井; 睦裕中茂; 稔小林
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-02-28
Filing date: 2008-02-28
Publication date: 2012-07-11
Anticipated expiration: 2028-02-28
Also published as: JP2009205498A

Description

本発明は、蓄積された情報を一人、または複数人に対して提示する情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体に関する。

従来、ある特定部位の位置をカメラ画像により検出し、検出された箇所へ映像を提示する発明が特許文献１に開示されている。
特開２００６−２１５８６３号公報

特許文献１に記載の発明では、色情報を用いた検出手法として、色情報にしきい値を設けることでそのしきい値内に当てはまる画像を検出していた。この場合、色情報のある値の上限と下限を設定することでその中に当てはまる色のみを検出対象とすることができる。

しかし、一様な色を持つ検出対象物体であった場合でも、光のあたり方や影により、見た目に異なった色に見える。そういった場合、このしきい値の幅を大きく持たせることで検出してきた。しかし、しきい値の幅を大きく持たせると関係の無い物体まで検出対象としてしまう可能性が高くなるという第一の課題がある。

また、人体のような凹凸のなる形状や変形がある場合、また、皮膚や衣服などの表面の模様や反射、光源の光強度や位置などの変化、それに伴い変化する影などの変動要因によって誤検出が発生してしまうという、第二の課題があった。

また、検出対象を選択するのに、習熟を必要とせず誰でも素早く確実に選択する必要があるという第三の課題がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、上記課題を解決することができる情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体を提供することにある。

上記課題を解決するために、本発明では検出プログラムを動作させながら検出対象の物体の色を複数選択できる手段を実現する。ユーザに検出対象となる一つ以上の物体の色を登録させ、その情報を元に物体を検出するように構成した。

また、ワンクリックで色情報のデータを取得できる手段を実現する。検出対象となる物体の形と大きさを設定後、カメラ画像内の検出対象となる物体の位置を選択することで、自動である一定時間の色情報を抽出するように構成した。

すなわち、請求項１に記載の情報提示装置は、検出対象物体を撮影する撮影手段と、検出対象となる色を選択するか否かを選択するモード選択手段と、検出対象の色を選択する対象領域を任意に決定する選択領域変更手段と、前記決定された対象領域内の部分領域の色情報を設定時間抽出し、抽出した色情報の中から検出対象とする色の上限と下限の情報を抽出し、部分領域を変えることでそれぞれの部分領域に応じた上限と下限の情報を抽出し、抽出した上限と下限の情報を保存する時系列色選択手段と、前記時系列色選択手段で選択された色を検出対象に適用する検出対象適用手段と、を備えたことを特徴としている。

また請求項３に記載の情報提示方法は、撮影手段が検出対象物体を撮影する撮影ステップと、モード選択手段が、検出対象となる色を選択するか否かを選択するモード選択ステップと、選択領域変更手段が、前記モード選択ステップにより色を選択するモードが選択されたときに、前記撮影ステップにより撮影された映像の中で検出対象の色を選択する対象領域を任意に決定する選択領域変更ステップと、時系列色選択手段が、前記選択領域変更ステップにより決定された対象領域内の部分領域の色情報を設定時間抽出し、抽出した色情報の中から検出対象とする色の上限と下限の情報を抽出し、部分領域を変えることでそれぞれの部分領域に応じた上限と下限の情報を抽出し、抽出した上限と下限の情報を保存する時系列色選択ステップと、検出対象適用手段が、前記モード選択ステップにより色を選択するモードが選択されたときに、前記時系列色選択ステップにより抽出された色を検出対象に適用し、前記モード選択ステップにより色を選択しないモードが選択されたときに、前記時系列色選択手段により保存されている検索対象とする色の情報を適用する検出対象適用ステップと、を備えたことを特徴としている。

上記構成によれば、検出対象物体の色を複数個選択することができ、それぞれが持つ色情報のしきい値を適用させることによって、検出対象と関係の無い物体を検出してしまうことは避けられる。

上記構成によれば、ユーザは、選択領域変更手段によって、検出対象の色を選択する領域を任意に決定する、例えばクリックするだけで、画像処理のしきい値を意識しなくても適切な値を設定することができ、また色のしきい値を多重に設定する場合も簡単に設定を行うことができる。

また、時系列色選択手段によって時系列のデータを適用することで、カメラから見たときの光の変化により変わる物体の色を許容する検出データを得ることができる。

さらに、時間幅を持った時系列のデータを適用することで、時間的に揺らぎのある色データのノイズを吸収して安定した検出が可能となる。

また、請求項２に記載の情報提示装置は、請求項１において、前記撮影手段はユーザを含む映像を撮影する撮影手段であって、前記ユーザに情報を提供する映像提示手段と、前記映像提示手段に対してユーザに待ち受け情報を提示するように指示を行う待ち受け情報提示手段と、前記検出対象適用手段により適用された情報に基づいて、前記撮影手段により撮影された映像内のユーザの特定部位を検出する特定部位検出手段と、前記映像提示手段に対して、前記特定部位検出手段により検出された特定部位に詳細情報を提示するように指示を行う詳細情報提示手段と、をさらに備えたことを特徴としている。

また請求項４に記載の情報提示方法は、待ち受け情報提示手段が、映像提示手段に対してユーザに待ちうけ情報を提示するように指示を行う待ち受け情報提示ステップと、撮影手段が前記ユーザを含む映像を撮影する撮影ステップと、モード選択手段が、検出対象となる色を選択するか否かを選択するモード選択ステップと、選択領域変更手段が、前記モード選択ステップにより色を選択するモードが選択されたときに、前記撮影ステップにより撮影された映像の中で検出対象の色を選択する対象領域を任意に決定する選択領域変更ステップと、時系列色選択手段が、前記選択領域変更ステップにより決定された対象領域内の部分領域の色情報を設定時間抽出し、抽出した色情報の中から検出対象とする色の上限と下限の情報を抽出し、部分領域を変えることでそれぞれの部分領域に応じた上限と下限の情報を抽出し、抽出した上限と下限の情報を保存する時系列色選択ステップと、検出対象適用手段が、前記モード選択ステップにより色を選択するモードが選択されたときに、前記時系列色選択ステップにより抽出された色を検出対象に適用し、前記モード選択ステップにより色を選択しないモードが選択されたときに、前記時系列色選択手段により保存されている検索対象とする色の情報を適用する検出対象適用ステップと、特定部位検出手段が、前記検出対象適用ステップにより適用された情報に基づいて、前記撮影ステップにより撮影された映像内のユーザの特定部位を検出する特定部位検出ステップと、詳細情報提示手段が、前記映像提示手段に対して、前記特定部位検出ステップにより検出された特定部位に詳細情報を提示するように指示を行う詳細情報提示ステップと、を備えたことを特徴としている。

上記構成によれば、ユーザに対して待ち受け情報を提示してから、ユーザの特定部位に対して詳細情報を提示するといったように、段階的に情報を提供することができる。また、特定部位に情報を提示するので、情報が不必要な人に対して不快感を与えることはない。

また、請求項５に記載の情報提示プログラムは、コンピュータを請求項１又は２に記載の各手段として機能させるための情報提示プログラムであることを特徴としている。

また請求項６に記載の記録媒体は、コンピュータを請求項１又は２に記載の各手段として機能させるための情報提示プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。

（１）請求項１〜６に記載の発明によれば、検出対象物体の色を複数個選択することができ、それぞれが持つ色情報のしきい値を適用させることによって、検出対象と関係の無い物体を検出してしまうことは避けられる。特に、例えば肌色など色が一様でない人体であっても、より誤認識を減らすことができる。
（２）また、ユーザは、選択領域変更手段によって、検出対象の色を選択する領域を任意に決定する、例えばクリックするだけで、画像処理のしきい値を意識しなくても適切な値を設定することができ、また色のしきい値を多重に設定する場合も簡単に設定を行うことができる。

さらに、時間幅を持った時系列のデータを適用することで、時間的に揺らぎのある色データのノイズを吸収して安定した検出が可能となる。
（３）請求項２、４に記載の発明によれば、ユーザに対して待ち受け情報を提示してから、ユーザの特定部位に対して詳細情報を提示するといったように、段階的に情報を提供することができる。また、特定部位に情報を提示するので、情報が不必要な人に対して不快感を与えることはない。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明の一実施形態の情報提示装置を示す構成図である。また、図２は一実施形態のフローチャートを示す図である。

図１において、本発明は少なくとも、カメラなどの撮影手段１１と、モード選択手段としてのモード選択部１２と、色選択手段としての色選択部１３と、選択領域変更手段としての選択領域変更部１４と、時系列色選択手段としての時系列色選択部１５と、検出対象適用手段としての検出対象適用部１６とを具備する。

撮影手段１１は検出対象である物体を撮影し（ステップＳ１）、リアルタイムの情報を常に送り続ける。モード選択部１２では色を選択するモードと色を選択しないモードを選択する（ステップＳ２）ことができる。

モード選択部１２で色を選択するモードを選択した場合、撮影手段１１の映像は色選択部１３に送られる。色選択部１３では、選択領域変更部１４により、送られた映像の中で検出対象とする領域の大きさや位置、形を決定する（ステップＳ３）。

次に時系列色選択部１５は予め設定された時間の間、選択領域変更部１４で決定した領域の色情報を抽出する（ステップＳ４）。時系列色選択部１５は、抽出された色情報の中から検出対象とする色の上限と下限の情報を抽出する（ステップＳ５）。

色選択部１３は検索対象とする色の情報を保存する（ステップＳ６）。次にその他の色も選択する場合（ステップＳ７）は、前記ステップＳ３〜Ｓ７の処理を繰り返し実行する。

さらにその他にも検出対象とする色がある場合（ステップＳ８）は、前記ステップＳ３〜Ｓ８の処理を繰り返し実行する。次に検出対象適用部１６は、色選択部１３により保存された検索対象とする色の情報を適用し、撮影手段１１の映像の中から検索対象の色を検出する。

またモード選択部１２で色を選択しないモードを選択した場合（ステップＳ２）、撮影手段１１の映像は検出対象適用部１６へ送られる。検出対象適用部１６は、色選択部１３により過去に保存された検索対象とする色の情報を適用し、撮影手段１１の映像の中から検出対象の色を検出する（ステップＳ９）。

（実施例１）
図３は本発明の実施例１の情報提示装置を示す構成図である。また、図４は実施例１のフローチャートを示す図であり、図２と同一ステップは同一符号をもって示している。

本実施例１において、本発明の撮影手段はビデオカメラ２０として実装されている。本発明のモード選択手段（モード選択部１２の機能）と、色選択手段（色選択部１３の機能）と、選択領域変更手段（選択領域変更部１４の機能）と、時系列色選択手段（時系列色選択部１５の機能）と、検出対象適用手段（検出対象適用部１６の機能）は、ソフトウェアとして計算機２１内に実装されている。

ビデオカメラ２０で撮影した（ステップＳ１）リアルタイムの映像は計算機２１に送られる。計算機２１ではまず、検出する物体の色を選択するのかを決定する（ステップＳ２）。決定する手段は、ＧＵＩのプロダウンメニューやボタンを用いても、キーボードで入力しても良い。

本実施例では抽出する色情報はＨＳＶ色座標系のＨ（色相）とＳ（彩度）の値とするが、色情報はＲＧＢなどどの様な座標系を用いても良く、対象とする値は１つ以上のものを用いる。

特許文献１の発明に開示された手法においてＨの値とＳの値を用いて色情報を検出する場合、それぞれの値の上限下限を設定した。しかし、一様な色を持つ検出対象物体であった場合でも、実際の環境では光のあたり方や影により、色座標上では複雑な色の分布を見せる（図５の領域Ａ）。

そのため、特許文献１の手法の場合、図５の領域Ｂに示すように、しきい値の幅を大きく持たせることで検出してきた。その結果、本来は検出対象外である領域（図５の領域Ｂ−領域Ａ）が大きくなり、誤認識が起き易くなる。

本発明の手法の場合、図６の領域Ｄに示すように、色領域の上限下限を多重に細かく設定する。その結果、領域Ｄが本来の検出対象（図６の領域Ｃ）とほぼ同等になる（図６の領域Ｄ−領域Ｃが領域Ｃに近づく）ことで誤認識が起き難くなる。

色を設定する手法は、次の通りである。

まず、検出対象の領域大きさと形を決定する（ステップＳ３ａ，Ｓ３ｂ）。領域の大きさの決定方法は、予め用意されているテンプレートから選択しても、数値を入力しても、マウスでカメラ画像内の対象領域をドラッグし領域を指定しても良い。

クリックしてから時間ｔの間だけ色情報を抽出し、Ｓｔ、Ｈｔを得る。抽出されたＳｔとＨｔの値の中で最も大きい値をＳｔ（ｈｉｇｈ）、Ｈｔ（ｈｉｇｈ）、最も小さい値をＳｔ（ｌｏｗ）、Ｈｔ（ｌｏｗ）として、色情報のしきい値の上限下限を検出する（ステップＳ４）。

カメラから得られた画像は、同じ箇所であっても時間変化で多少異なった色合いに見えることがある。そこで本発明の様にクリックしてから時間ｔの間だけ色情報を抽出することで、より正確に対象領域の色情報を抽出することが可能になる。本処理を対象領域αをカバーできるまでｎ回行い、色情報を抽出する（ステップＳ５）。

検出される色情報を次の式（１）に示す。

検出される色情報＝（（Ｓｔ（ｈｉｇｈ），Ｓｔ（ｌｏｗ）），（Ｈｔ（ｈｉｇｈ），Ｈｔ（ｌｏｗ）））ｎ…（１）
ｔ：色情報を抽出する時間
Ｓｔ（ｈｉｇｈ）：時間ｔの中のＳ値の最大値
Ｓｔ（ｌｏｗ）：時間ｔの中のＳ値の最小値
Ｈｔ（ｈｉｇｈ）：時間ｔの中のＨ値の最大値
Ｈｔ（ｌｏｗ）：時間ｔの中のＨ値の最小値
ｎ：色情報を検出する回数
また、本発明の様にクリックするだけで色情報を抽出することで、容易に複数回色情報を検出することが可能になり、対象領域αの色分布が複雑になっていたり、複数の色を含んでいる場合でも色情報を簡単に抽出することが可能になる。

抽出された色情報はファイルに保存され（ステップＳ６）、検出プログラムに即座に適用される。その他にも選択する色がある場合は、検出対象の領域の大きさを再び選択し、処理を繰り返す（ステップＳ３ａ，Ｓ３ｂ〜Ｓ７）。

検出する物体の色を選択しないモードを選んだ場合（ステップＳ２）、過去に保存した任意の色情報のファイルを読み込み、撮影された映像の中から検出対象となった部分のみを抽出する（ステップＳ８，Ｓ９）。またユーザが検出する物体の色を選択するモードを選ぶと、検出プログラムを動作させつつ、前記色を抽出する処理を行う。

（実施例２）
図８は本実施例２における情報提示装置を示す図である。図８において図１と同一部分は同一符号をもって示している。本実施例２における情報提示装置は少なくとも映像提示手段１、撮影手段２、特定部位検出部３、詳細情報提示部４、待ち受け情報提示部５、図１で説明したモード選択部１２、色選択部１３、選択領域変更部１４、時系列色選択部１５及び検出対象適用部１６を具備する。

映像提示手段１は、待ち受け情報を提示する待ち受け情報提示部５、及び詳細情報を提示する詳細情報提示部４から信号を受信し、それぞれに対応する映像を提示する。

撮影手段２は映像を取得して当該映像を、モード選択部１２へ送信する。モード選択部１２、色選択部１３、選択領域変更部１４、時系列色選択部１５及び検出対象適用部１６は、前記図１で説明したように、撮影された映像の中から検出対象の色情報を抽出する。

特定部位検出部３は、送信された映像の中から詳細情報を提示する部位を検出する。ここで特定部位としては、ユーザの掌、手の甲、腕、つま先、手に持っている持ち物、及び身につけているもの等、ユーザにとって見易い位置や、当該ユーザにのみ見える位置が考えられる。また、検出する情報は、その部位の位置情報及び大きさ、並びに映像提示手段１から特定部位までの距離である。この映像提示手段１から特定部位までの距離は、平均的な人間の体型を想定して予め設定している値を利用してもよいし、又は、図９に示した距離センサ３０を用いて求めてもよい。このようにして検出した情報を詳細情報提示部４へ送信する。

詳細情報提示部４は特定部位検出部３から、特定部位の位置及び大きさ、並びに映像提示手段１から特定部位までの距離に関する情報を受け取り、特定部位の大きさに合わせて提示すべき詳細情報の大きさを縮小、拡大する。さらに、映像提示装置１から特定部位までの距離によって、特定部位に提示する映像の焦点を決定する。また、特定部位の位置が映像提示手段１の映像提示領域内であった場合には、詳細情報提示部４は映像提示手段１に対して、その位置に当てはまるよう映像を提示するように指示を送る。

ここで、詳細情報とは待ち受け情報に関連する詳細情報であってもよいし、又は、待ち受け情報とは関連しない別の事柄の情報であってもよい。

また、待ち受け情報及び詳細情報を提示する映像提示手段１は一台に限らず、複数台あっても構わない。また、待ち受け情報を提示する映像提示手段と詳細情報を提示する映像提示手段とはそれぞれ別の映像提示手段でも構わない。

また、待ち受け情報を提示する映像提示手段１はプロジェクタ、液晶ディスプレイ、及びプラズマディスプレイなどユーザが映像を見ることのできる手段であればよい。

また、特定部位検出部３、又は、後述するユーザ動作認識部６及びユーザ視線方向検出部７で処理される映像を撮影する撮影機器には、色を検出することが可能なカメラ（例えばカラービデオカメラ）を用いる。また、撮影機器は同じ種類の撮影機器が複数台あってもよいし、違う種類の撮影機器が複数台あっても構わない。

本実施形態ではユーザが情報を閲覧しながら移動している場合、ユーザの見やすい向きに情報を提示し続けるためにユーザ視線方向検出部７を具備することができる。このユーザ視線方向検出部７は、撮影手段２が取得した映像の中から人の視線方向を検出して、この検出した視線方向を詳細情報提示部４へ送信し、この視線方向から詳細情報提示部４が情報を提示する向きを決定する。

ここで図９を用いて、視線方向の検出について説明する。図９に示すように、視線方向を検出するためにユーザの上部に距離センサ３０を設置することができる。このように距離センサ３０をユーザの上部に設置し、ユーザ視線方向検出部７は距離センサ３０からの情報に対してユーザの一番高い部分である頭を検出する。ユーザ視線方向検出部７は、この頭の領域の重心から詳細情報を提示する特定部位の重心へ向かう方向を視線方向であると決定する。

なお、ユーザ視線方向検出手段７は、少なくとも２台以上の撮影手段３１、３２を用いてユーザの顔の向きを検出し、視線の方向を抽出してもよい。この場合、撮影手段３１、３２はユーザの顔が撮像できる位置に置くこととする。

また、情報提示装置の待ち受け情報提示領域内にユーザが存在し、そのユーザが詳細情報を閲覧している場合に、撮影手段２の映像からユーザ動作を抽出して、システムを操作するためのユーザ動作認識部６を設置してもよい。

このユーザ動作認識部６は既定のユーザ動作、及びこれに対応する動作ＩＤを管理する動作データベースを持ち、撮像手段２の撮像映像の中からユーザ動作を検出し、その後、検出されたユーザ動作に対応する動作ＩＤを動作データベースの中から取得し、この取得した動作ＩＤを詳細情報提示部４に送る。

詳細情報提示部４は動作ＩＤ及びこれに対応する情報操作を管理する操作データベースを持ち、ユーザ動作認識部６から送られた動作ＩＤに対応する情報操作を行う。

なお、ユーザ動作は手だけを用いたものや腕を上げ下げし曲げるもの、又は、体全体の動きなど何でもよい。

また、情報操作は情報を、表示するもの、更新するもの、棄却するもの、拡大縮小し表示の大きさを変更するもの、又は、予めユーザの登録しておいたアドレスへ情報を送信するものなどが挙げられる。

図１０を用いて本実施例に用いる情報提示装置の構成を説明する。図１０に示すように、待ち受け情報提示部５はソフトウェアとして計算機１０４内に実装されている。

映像提示手段１はプロジェクタ１０１で実装し、このプロジェクタ１０１は計算機１０４に接続されている。

撮影手段２はビデオカメラ１０２で実装し、このビデオカメラ１０２は計算機１０５に接続されている。

特定部位検出部３、詳細情報提示部４、ユーザ動作認識部６、ユーザ視線方向検出部７、モード選択部１２、色選択部１３、選択領域変更部１４、時系列色選択部１５及び検出対象適用部１６は、計算機１０５内に実装しており、この計算機１０５と計算機１０４とはネットワークで繋がっている。

また、プロジェクタ１０１及びビデオカメラ１０２は建物の天井に取り付けられ、それぞれ床面に投影、又は、床面を撮影しているものとする。

次に本実施例における具体的な動作を説明する。本実施例において、待ち受け情報は雨の映像を用い、ユーザ１０３の特定部位として掌を検出し、視線方向はビデオカメラ１０２を用いて検出するものとする。

ここで、ユーザ動作は手の動作を認識する。認識する手の動作は、握る動作、振る動作、傾ける動作、及び両手を添える動作である。これら手の動作には、それぞれ動作ＩＤが割り当てられている。

情報操作としては、情報の保存、情報の更新、情報の棄却、及び情報量の増加、の操作を実現する。これらそれぞれの情報操作は動作ＩＤに対応付けられている。

提示すべき詳細情報がある場合、待ち受け情報提示部５は、計算機１０４で生成された雨の映像をプロジェクタ１０１に送る。プロジェクタ１０１は待ち受け情報提示部５から送られた雨の映像を床面に投影する。

雨の映像において、人は雨が降り出すと雨を掌で受けるような動作を行うことが多い。そこで本実施例では雨の映像を提示することでユーザが手を差し出すと仮定する。そして、その差し出した掌の上に詳細情報を提示する。

また本実施例において、待ち受け情報提示部５は、ユーザ位置を検出する手段を具備してもよい。このユーザ位置を検出する手段は、待ち受け情報を提示している領域の中央にユーザ１０３がどれだけ近づいているのかを検出することができる手段である。これにより、ユーザが待ち受け情報に近づくにつれ雨が激しく変化していくように待ち受け情報をユーザに提示してもよい。

ビデオカメラ１０２は待ち受け情報が提示されている領域を含む付近を撮像しており、このビデオカメラ１０２の撮影画像は計算機１０５へ送信され、特定部位検出部３、ユーザ動作認識部６、ユーザ視線方向検出部７、色選択部１３および検出対象適用部１６は送信された撮影画像を得る。

ここで図１１、及び図１２を用いてモード選択部１２、色選択部１３、選択領域変更部１４、時系列色選択部１５、検出対象適用部１６及び特定部位検出部３での処理を説明する。

まずビデオカメラ１０２（撮影手段２）により撮影された現在の映像を図１１（１）とする。計算機１０５内のモード選択部１２において、前記図４のステップＳ２で述べたように色を選択するモードを選択した場合、送られた映像の中で検出対象とする領域の大きさや位置、形を決定する（ステップＳ３）。

上記のように検出対象適用部１６により色情報が適用されることによって、図１１（２）のように、例えば肌色の領域Ｃのみが抽出される。

次に特定部位検出部３は、領域Ｃの中で予め定められた最小閾値に満たない大きさの領域と、最大閾値を超えた大きさの領域を除去し、除去後の領域の中で、人物の体の重心４１の位置から一番遠い重心位置を持つ領域Ｄを求める(図１１（３）)。

ここで、ユーザが手を差し出している映像を見ると、掌の領域は体の重心４１より一番遠い位置になるという拘束条件がある。そこから、この領域Ｄは掌を含んだ領域になる。しかしこの領域はユーザが半袖の衣服を身につけている場合腕の領域も含んだ領域として検出されてしまう。このため、手の領域のみを切り出す必要がある。この手の領域は腕の領域より体の重心から遠くなる。そこで、領域Ｄの中から体の重心より一番遠い点４２を見つけ出す。この点は手の領域に含まれる点であり、手の領域の中で背景との境界にある点であると言える。そこでこの点を中心とした円４５の内部領域と領域Ｄの共有部分を求める。このとき、円４５の半径を、一般的な人の手の中指から手首までの長さにする。そうすることで、共有部分である領域Ｅが手の領域となる。さらに、領域Ｅの重心４４を求める(図１１（４))。

次に領域Ｅと円４５の境界線は手首の領域になると言える。そこで、その境界線の重心となる点４３を求めその点を手首の重心であるとする(図１１(５)、図１２)。

最後に、求められた領域Ｅの重心４４と重心４３までの領域４６が掌であると検出される(図１１(６)、図１２)。

この検出された掌の位置及び領域４６の大きさの情報は詳細情報提示部４へ送信される。さらに、特定部位検出部３はプロジェクタ１０１と特定部位である掌との距離を、平均的な人間の体型から予め求めておき、この情報も詳細情報提示部４へ送信する。

また、ユーザ視線方向検出部７は、特定部位検出部３から送信された体の重心４１から手の重心４４へ向かう方向を視線方向４７として検出する（図１２）。これは、この方向が本当の視線方向に類似するからである。ユーザ視線方向検出部７は、この視線方向４７を詳細情報提示部４へ送信する。

詳細情報提示部４は、特定部位検出部３から特定部位である掌の位置と大きさとプロジェクタ１０１から掌までの距離の情報を受け取り、掌の大きさの情報から詳細情報をユーザの掌に当てはまる大きさに拡大・縮小する。なお、提示すべき詳細情報は少なくとも１つ以上あり、それらはランダムで選ばれてもよいし、それぞれが順番を持っておりその順番で提示されてもよい。

さらに詳細情報提示部４は、ユーザ視線方向検出部７よりユーザの視線方向を受け取り、ユーザの視線方向と同じ向きになるように詳細情報を回転させる。つまりユーザが詳細情報を見た時に、文字などが逆さにならないようにする。さらに、詳細情報提示部４は特定部位検出部３から送られた掌の位置に、回転させた詳細情報を提示するよう、プロジェクタ１０１へ命令を送る。また、詳細情報提示部４は、特定部位検出部３から送られたプロジェクタ１０１から掌までの距離に基づきプロジェクタ１０１の焦点を決定する。

プロジェクタ１０１はそれら情報に基づき、ユーザの掌へ詳細情報を提示する。この時、詳細情報を提示する領域がプロジェクタ１０１の映像提示範囲外であった場合は、詳細情報を提示しないようにする、プロジェクタの台数を増やしビデオカメラ１０２の撮像範囲を全てカバーできるようにする、又は、プロジェクタが駆動する装置を用いて詳細情報を提示する向きにプロジェクタを向かせるという対応が可能である。

ユーザ動作認識部６は、特定部位検出部３と同様の処理でユーザの手の重心４４、体の重心、及び手の領域（領域Ｅ）の大きさを得る。

ここで図１３及び図１４を用いてユーザ動作と動作ＩＤの動作データベース表について説明する。

以下にユーザ動作認識部６がユーザ動作を認識する手順の一例を説明する。

ユーザ動作認識部６は、手の領域の大きさが、現在の大きさより３分の２以下になり手の重心が体の重心に近づくと、握る動作であると認識する。

また、ユーザ動作認識部６は、手の領域の大きさが、現在の大きさより３分の２以下になり手の重心の位置がほぼ変化しないと、傾ける動作であると認識する。

また、ユーザ動作認識部６は、手の領域の大きさが現在の大きさより倍の大きさになると、両手を添える動作であると認識する。

認識されたユーザ動作は図１３に示すように、動作データベースにより動作ＩＤが割り振られている。ユーザ動作が認識されるとユーザ動作認識部６は詳細情報提示部４へ、この動作ＩＤを送信する。また、上述の処理で検出された手の領域の情報も詳細情報提示部４へ送信する。

詳細情報提示部４は、ユーザ動作認識部６から動作ＩＤを受け取り、図１５に示す情報操作データベースにより動作ＩＤに当てはまる情報操作を行う。また、詳細情報提示部４はユーザ動作認識部６から手の領域の情報も受け取り、情報操作を行う上で手の領域の情報が必要な際にその情報を用いる。

ここで、上述した処理の一例を挙げて説明する。詳細情報提示部４は、両手を添える動作である動作ＩＤ０４を受け取ると、情報操作データベースに問い合わせを行う。詳細情報提示部４は、情報操作データベースから返された情報操作に基づき、提示している詳細情報に対して情報量の増加の処理を行う。ここで、情報量の増加の処理とは、詳細情報の拡大化、又は、詳細化である。

また、ユーザが両手を添える動作を行うと、手の領域が拡大される。これにより詳細情報提示部４はユーザ動作認識部６より送信された、拡大された手の領域に合うように、詳細情報を拡大、又はさらに詳細な詳細情報を提示するようプロジェクタ１０１に命令を送る。

プロジェクタ１０１は命令に合うように詳細情報提示部４より送られた情報をユーザの掌へ投影する。

なお、上記情報提示装置は、例えば、情報提示装置を構成するコンピュータ装置が有するＣＰＵによって実現され、必要とする色選択機能、選択領域変更機能、時系列選択機能、検出対象適用機能、特定部位検出機能、詳細情報提示機能、待ち受け情報提示機能、ユーザ動作認識機能、ユーザ視線方向検出機能、などをアプリケーションプログラムとして搭載することができる。

また、上述の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給し、このシステム又は装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することも実現できる。この場合、記憶媒体から読み出されたプログラムコード自体が上述の機能を実現することになる。このプログラムコードを記憶した記憶媒体には、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等がある。

本発明の一実施形態例の構成図。本発明の一実施形態例の動作の流れを示すフローチャート。本発明の実施例１の構成図。本発明の実施例１の動作の流れを示すフローチャート。従来の色情報検出方法の一例を示す説明図。本発明の色情報検出方法を示す説明図。本発明の実施形態例における、カメラ画像の任意箇所をクリックして検出する場合の説明図。本発明の実施例２の一例の構成図。本発明の実施例２の他の例の構成図。本発明の実施例２を計算機により達成した場合の構成図。本発明の実施例２における色選択部、検出対象適用部および特定部位検出部での処理説明図。本発明の実施例２における特定部位検出部での処理説明の一部拡大図。本発明の実施例２における動作データベースの構成図。本発明の実施例２における動作の例を示す図。本発明の実施例２における情報操作データベースの構成図。

符号の説明

１…映像提示手段、２，１１，３１，３２…撮影手段、３…特定部位検出部、４…詳細情報提示部、５…待ち受け情報提示部、６…ユーザ動作認識部、７…ユーザ視線方向検出部、１２…モード選択部、１３…色選択部、１４…選択領域変更部、１５…時系列色選択部、１６…検出対象適用部、２０、１０２…ビデオカメラ、２１、１０４、１０５…計算機、３０…距離センサ、１０１…プロジェクタ、１０３…ユーザ。

Claims

検出対象物体を撮影する撮影手段と、
検出対象となる色を選択するか否かを選択するモード選択手段と、
検出対象の色を選択する対象領域を任意に決定する選択領域変更手段と、
前記決定された対象領域内の部分領域の色情報を設定時間抽出し、抽出した色情報の中から検出対象とする色の上限と下限の情報を抽出し、部分領域を変えることでそれぞれの部分領域に応じた上限と下限の情報を抽出し、抽出した上限と下限の情報を保存する時系列色選択手段と、
前記時系列色選択手段で選択された色を検出対象に適用する検出対象適用手段と、
を備えたことを特徴とする情報提示装置。
前記撮影手段はユーザを含む映像を撮影する撮影手段であって、
前記ユーザに情報を提供する映像提示手段と、
前記映像提示手段に対してユーザに待ち受け情報を提示するように指示を行う待ち受け情報提示手段と、
前記検出対象適用手段により適用された情報に基づいて、前記撮影手段により撮影された映像内のユーザの特定部位を検出する特定部位検出手段と、
前記映像提示手段に対して、前記特定部位検出手段により検出された特定部位に詳細情報を提示するように指示を行う詳細情報提示手段と、
をさらに備えたことを特徴とする請求項１に記載の情報提示装置。
撮影手段が検出対象物体を撮影する撮影ステップと、
モード選択手段が、検出対象となる色を選択するか否かを選択するモード選択ステップと、
選択領域変更手段が、前記モード選択ステップにより色を選択するモードが選択されたときに、前記撮影ステップにより撮影された映像の中で検出対象の色を選択する対象領域を任意に決定する選択領域変更ステップと、
時系列色選択手段が、前記選択領域変更ステップにより決定された対象領域内の部分領域の色情報を設定時間抽出し、抽出した色情報の中から検出対象とする色の上限と下限の情報を抽出し、部分領域を変えることでそれぞれの部分領域に応じた上限と下限の情報を抽出し、抽出した上限と下限の情報を保存する時系列色選択ステップと、
検出対象適用手段が、前記モード選択ステップにより色を選択するモードが選択されたときに、前記時系列色選択ステップにより抽出された色を検出対象に適用し、前記モード選択ステップにより色を選択しないモードが選択されたときに、前記時系列色選択手段により保存されている検索対象とする色の情報を適用する検出対象適用ステップと、
を備えたことを特徴とする情報提示方法。
待ち受け情報提示手段が、映像提示手段に対してユーザに待ちうけ情報を提示するように指示を行う待ち受け情報提示ステップと、
撮影手段が前記ユーザを含む映像を撮影する撮影ステップと、
モード選択手段が、検出対象となる色を選択するか否かを選択するモード選択ステップと、
選択領域変更手段が、前記モード選択ステップにより色を選択するモードが選択されたときに、前記撮影ステップにより撮影された映像の中で検出対象の色を選択する対象領域を任意に決定する選択領域変更ステップと、
時系列色選択手段が、前記選択領域変更ステップにより決定された対象領域内の部分領域の色情報を設定時間抽出し、抽出した色情報の中から検出対象とする色の上限と下限の情報を抽出し、部分領域を変えることでそれぞれの部分領域に応じた上限と下限の情報を抽出し、抽出した上限と下限の情報を保存する時系列色選択ステップと、
検出対象適用手段が、前記モード選択ステップにより色を選択するモードが選択されたときに、前記時系列色選択ステップにより抽出された色を検出対象に適用し、前記モード選択ステップにより色を選択しないモードが選択されたときに、前記時系列色選択手段により保存されている検索対象とする色の情報を適用する検出対象適用ステップと、
特定部位検出手段が、前記検出対象適用ステップにより適用された情報に基づいて、前記撮影ステップにより撮影された映像内のユーザの特定部位を検出する特定部位検出ステップと、
詳細情報提示手段が、前記映像提示手段に対して、前記特定部位検出ステップにより検出された特定部位に詳細情報を提示するように指示を行う詳細情報提示ステップと、
を備えたことを特徴とする情報提示方法。
コンピュータを請求項１又は２に記載の各手段として機能させるための情報提示プログラム。
コンピュータを請求項１又は２に記載の各手段として機能させるための情報提示プログラムを記録したコンピュータ読み取り可能な記録媒体。