JP5694581B1 - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】センシング装置を利用して、ユーザが自分の体のことを、アミューズメント感覚で知ることを可能にする。【解決手段】本発明の実施形態としての情報処理装置は、画像取得部と、画像処理部と、制御部とを備える。前記画像取得部は、ディスプレイに対向するように位置するユーザを撮像する距離カメラから、前記ユーザを撮像した距離画像を取得する。前記画像処理部は、前記距離画像を解析して前記距離画像内のユーザ領域を特定する。前記制御部は、前記ユーザ領域を複数のセグメントに分割し、各セグメントの相対位置関係に応じて、各セグメントに対応する３次元形状のオブジェクトをそれぞれ前記ディスプレイに表示する。【選択図】図２

Description

本発明の実施形態は、ユーザからセンシングした情報を処理する情報処理装置および情報処理方法に関する。

脈拍センサー、深度センサー、カラーカメラなど、様々なセンシング装置が存在する。

個々のセンシング装置は、それぞれ特定の固有の機能を有する。例えば脈拍センサーを使用すればユーザの脈拍を測定できる。センシング装置を利用することで、ユーザは自分の体の状態を知ることができる。

特開２００６−６７１９号公報

本発明の実施形態は、センシング装置を利用して、ユーザが自分の体のことを、アミューズメント感覚で知ることを可能にする情報処理装置および情報処理方法を提供する。

本発明の実施形態としての情報処理装置は、画像取得部と、画像処理部と、制御部とを備える。

前記画像取得部は、ディスプレイに対向するように位置するユーザを撮像する距離カメラから、前記ユーザを撮像した距離画像を取得する。

前記画像処理部は、前記距離画像を解析して前記距離画像内のユーザ領域を特定する。

前記制御部は、前記ユーザ領域を複数のセグメントに分割し、各セグメントの相対位置関係に応じて、各セグメントに対応する３次元形状のオブジェクトをそれぞれ前記ディスプレイに表示する。

本発明の実施形態に係る情報処理システムの全体概略構成を示す図。 図１に示した情報処理システムのブロック図。 エントリー装置によるエントリー処理のフローチャート。 メイン装置によるメインコンテンツ処理のフローチャート。 図４に続くフローチャート。 Ｗｅｂカメラで取得したカラー画像の表示例を示す図。 図７（Ａ）は距離画像とユーザ領域を示す図、図７（Ｂ）はセグメント化を示す図。 オブジェクトの表示例を示す図。 オブジェクトの配置を崩した例を示す。 図９で崩したオブジェクトを全体として特定の形状をなすように再配置する例を示す図。 オブジェクトの合計数を表すメッセージの表示例を示す図。 色毎にオブジェクトを並べたソート表示の例を示す図。 最も多くオブジェクトが存在する色を表すメッセージの表示例を示す図。 ユーザの足下から順次、選択したオブジェクトを覆うように、水色の画像を透過的に重ね合わせた例を示す図。 ユーザの体の何パーセントが水分であるかのメッセージの表示例を示す図。 メインディスプレイの背景画像からオブジェクトを出現させる例を示す図。 図１６で背景画像から出現させたオブジェクトの合計数を表すメッセージの表示例を示す図。 楽器を表すアイコンを表示した例を示す図。 距離画像を用いてユーザが選択した楽器を判定する例を示す。

以下、図面を参照しながら、本発明の実施形態について説明する。

図１は、本発明の実施形態に係る情報処理システムの全体概略構成を示す。図１（A）は側面図、図１（B）は平面図である。

ユーザは、エントリー装置２０１に設置された血流センサー３０１の読取面に、自身の指先を置いて血流量データを読み取らせる。またエントリー装置２０１のタッチパネルディスプレイ５３を介して、所定の情報（性別、年齢等）を入力する。エントリー装置２０は、血流センサー３０１から血流センサー値データを取得し、血流センサー値データから、ユーザの心拍数または脈拍数（以下、心拍数に統一）を算出する。エントリー装置２０は、算出した心拍数、およびユーザ入力された性別および年齢の情報を情報処理装置１１に送信する。

ユーザは、所定箇所（体験ポイント）５７へ移動し、メインディスプレイ１２の表示面に対して、向かい合うように立つ。体験ポイント５７は、メインディスプレイ１２の表示面から、その垂直な方向に、一定距離だけ離れた場所にある。体験ポイント５７は、円マークなど、ユーザが分かるように、床に印を付けておいてもよい。メインディスプレイ１２は、メイン装置１０１の筐体に取り付けられており、床に対して垂直に設置されている。メイン装置１０１の筐体内には、検出デバイス１３、Ｗｅｂカメラ１５、および情報処理装置１１が搭載されている。検出デバイス１３には、距離カメラ２２および可視光カメラ２１が設けられている。

情報処理装置１１は、エントリー装置２０１からユーザ情報（心拍数、性別、年齢）を取得するとともに、検出デバイス１３およびＷｅｂカメラ１５を用いて、体験ポイント５７に立っているユーザの各種画像を取得する。これらの取得した情報および画像に基づき、種々のアプリケーションを実行することで、メインディスプレイ１２を介して、ユーザに多様なコンテンツを提供する。具体的に、情報処理装置１１は、アプリケーションを実行しながらメインディスプレイ１２の表示を制御し、一方、ユーザは、メインディスプレイ１２の表示に従った動作を行う。ユーザに提供するコンテンツは、ユーザが楽しんで自分の体のことを知ることができるような内容になっている。ユーザとメイン装置１０１間でインタラクティブなやり取りを行うことで、ユーザが自分の体のことを、アミューズメント感覚で知ることができる。

図２は、図１に示した情報処理システムのブロック図である。

メイン装置１０１、エントリー装置２０１および血流センサー３０１が、中継装置４０１（ハブ）を介して相互接続されている。接続形態は、有線でも無線でもよいが、ここではイーサーネット等の有線接続を想定する。

なお、メイン装置１０１、エントリー装置２０１、血流センサー３０１および中継装置４０１のそれぞれについて、コンピュータが一般的に備える接続インターフェースや、有線または無線の通信処理（物理層、データリンク層等）を行う通信部の図示は省略する。

血流センサー３０１は、所定の読取面に載せられたユーザの指先の表面から、所定のサンプリング間隔で血流量を読み取る。血流センサー３０１は、一例として、赤外線を放射し、血管を透過する赤外線量に応じて、血流量を読み取る。血流センサー３０１は、読み取った値を、血流センサー値データとしてエントリー装置２０１に送信する。血流センサー３０１は、エントリー装置２０１から、読み取りの開始と終了のタイミングを指示した信号を受け、指示された時間の間、読取りを行う。血流センサー値データは、ユーザの心拍数を求めるのに利用する。

エントリー装置２０１は、液晶のタッチパネルディスプレイ５３および制御装置５１を備える。制御装置５１は、タッチパネルディスプレイ５３のタッチパネル処理および画像表示を制御する。また、制御装置５１は、ネットワークを介して、血流センサー３０１を制御する。

制御装置５１は、タッチパネルディスプレイ５３に対し、画像ケーブル５５と通信ケーブル５４とで接続されている。画像ケーブル５５は、タッチパネルディスプレイ５３に画像信号を送信するケーブルであり、通信ケーブル５４は、タッチパネルディスプレイ５３からタッチパネル処理に関する信号を受信するケーブルである。一例として画像ケーブル５５はＤＶＩケーブル、通信ケーブル５４はＵＳＢ２．０のケーブルであるが、これに限定されない。

制御装置５１は、ユーザに対し、各種の画面をタッチパネルディスプレイ５３に表示する。例えば、必要な情報の入力を促す画面を表示し、ユーザからタッチパネル機能で入力された情報を受信する。ユーザに入力を要求する情報の例として、年齢情報および性別情報等がある。

また、制御装置５１は、血流センサー３０１の読取面に、人差し指など、指先面を一定時間、置くように指示するとともに、血流センサー３０１に一定時間、読取りを指示する。制御装置５１は、血流センサー３０１から血流センサー値データを取得する。なお、制御装置５１は、インターネットプロトコル層、トランスポート層等の上位層の通信プロトコル処理を行う機能を備える。一例として、インターネットプロトコル層としてＩＰ、およびトランスポート層としてＵＤＰを用いてもよい。ＵＤＰの代わりに、ＴＣＰを用いてもよい。

制御装置５１の心拍数算出部５２は、血流センサー値データからユーザの心拍数を計算する。例えば、血流センサー値データに含まれる一定期間の血流量データに基づき、当該一定期間に血流量のピークが何回発生したかを計算する。発生回数に基づき、単位時間当たりのピーク発生数を心拍数として取得する。単位時間は、当該一定期間と同じ長さでもよいし、あるいは１分など、別の時間でもよい。

制御装置５１は、心拍数算出部５２で計算した心拍数、およびユーザがタッチパネル入力した情報（性別、年齢情報）を内部のバッファ、または、アクセス可能な記憶部（図示せず）に格納する。

制御装置５１は、ユーザ情報（心拍数、性別、年齢情報）を含むファイルデータを、ネットワークを介して、メイン装置１０１に送信する。

メイン装置１０１は、情報処理装置１１、メインディスプレイ１２、検出デバイス１３、Ｗｅｂカメラ（ＲＧＢカメラ）１５を備える。検出デバイス１３は、距離カメラ２２および可視光カメラ２１を備える。

メインディスプレイ１２は、液晶のディスプレイである。メインディスプレイ１２は設置面に対して略垂直に立てられている。メインディスプレイ１２の表示面は、体験スポット５７に立つユーザに対向するようになっている。メインディスプレイ１２は、一例として、想定するユーザの横幅および高さの最大値よりも、大きな幅および高さの表示サイズを有する。

メインディスプレイ１２は情報処理装置１１と、ＤＶＩ等の画像ケーブル１９により接続される。メインディスプレイ１２は、情報処理装置１１から送られてくるカラー画像信号を画面に表示する。なお、メインディスプレイ１２は、ここでは液晶ディスプレイの場合を示したが、プラズマディスプレイ等、他の種類のディスプレイでもよい。

検出デバイス１３は、通信ケーブル１４によって情報処理装置１１と接続されている。通信ケーブル１４での通信の規格は任意でよいが、一例としてＵＳＢ２．０が挙げられる。

検出デバイス１３は、距離カメラ２２と可視光カメラ２１を含む。距離カメラ２２と可視光カメラ２１は、左右に近接して配置され、撮像範囲は実質的に同じか、その違いが無視して問題ない程度であるとする。撮像範囲は、体験ポイント５７に立つユーザの全身が収まるような範囲である。

検出デバイス１３は、例えばメインディスプレイ１２の下側に、設置面との間に配置される。検出デバイス１３内の距離カメラ２２および可視光カメラ２１は、メインディスプレイ１２の幅方向の略中央に沿って位置し、体験ポイント５７に立つユーザに向けられる。

距離カメラ２２は、光を発光部から出射し、その反射光を受光素子で計測することで、ユーザとの距離（深度）を画素毎に表す距離画像を取得する。距離画像の解像度は任意でよい。

距離カメラ２２は公知のものを用いばよい。例えば赤外線方式のカメラを用いて、赤外線を出射し、反射光の波形（電圧等）を測定し、電圧値等を各画素の値とする距離画像を取得してもよい。この場合、センシング距離が、カメラから体験スポットまでの距離よりも長く、所定の上限値以下であるカメラを使用することが好ましい。上限値はユーザ以外の別の人（ユーザの後方にいる人）が誤検知されないような値にすることが望ましい。

また別の方式のカメラとして、可視光を出射してから反射光を受光するまでの往復時間に応じて距離を計測する方式のカメラを用いてもよい。この場合、往復に要した時間の値を画素値とする距離画像を取得する。この場合、事前に体験スポットに立つユーザに対する往復時間の値の範囲を取得しておくことが望ましい。

距離カメラ２２および可視光カメラ２１は、情報処理装置１１により動作が制御される。距離カメラ２２は、情報処理装置１１から指示されたタイミングで距離画像を取得し、取得した距離画像を情報処理装置１１に送信する。また情報処理装置１１から指示に応じて、一定のフレーム間隔で距離画像を取得して、情報処理装置１１に逐次送信する。

可視光カメラ２１は、体験スポット５７に立つユーザを撮像してＲＧＢのカラー画像を生成する。画像の解像度は任意でよい。一例として、可視光カメラ２１の解像度は、距離カメラ２２の解像度と同じである。本実施形態では同じであるとする。

可視光カメラ２１は、情報処理装置１１から指示されたタイミングでカラー画像を取得し、取得したカラー画像を情報処理装置１１に送信する。また情報処理装置１１から指示に応じて、一定のフレーム間隔でカラー画像を取得して、情報処理装置１１に逐次送信する。

Ｗｅｂカメラ１５は、通信ケーブル１６によって情報処理装置１１と接続される。通信ケーブル１６での通信の規格は任意でよいが、一例としてＵＳＢ２．０があげられる。Ｗｅｂカメラ１５は、例えばメインディスプレイ１２の下側おいて、メインディスプレイ１２の幅方向の略中央に沿って配置される。図１の例では、Ｗｅｂカメラ１５は、検出デバイス１３の下側に配置されている。Ｗｅｂカメラ１５は、体験ポイント５７に立つユーザに向けられるように配置される。

Ｗｅｂカメラ１５は、体験ポイント５７に立つユーザの全身が収まるような撮像範囲を有する。Ｗｅｂカメラ１５は、撮像によりＲＧＢのカラー画像を生成する。画像の解像度は、任意で良いが、本実施形態では、可視光カメラ２１よりも十分高いとする。Ｗｅｂカメラ１５は、情報処理装置１１により動作が制御される。Ｗｅｂカメラ１５は、例えば情報処理装置１１から指示されたタイミングで撮像を行い、撮像したカラー画像を情報処理装置１１に送信する。一例として、一定のフレーム間隔でカラー画像を取得して、情報処理装置１１に送信する。

情報処理装置１１は、距離カメラ２２、可視光カメラ２１およびＷｅｂカメラ１５から取得した画像情報や、エントリー装置２０１から取得したユーザ情報に基づき、様々なアプリケーションを実行する。これにより、ユーザに、メインディスプレイ１２を介して、多様なコンテンツを提供する。情報処理装置１１は、制御部３１、記憶部４１、ファイルサーバ４２、およびスピーカ１７を備える。

記憶部４１は、不揮発性メモリ装置またはハードディスクなどの記憶装置である。記憶部４１は、ユーザに提供するコンテンツ毎に、アプリケーションとアプリケーションで使用するデータが格納されている。図では、コンテンツ１用のアプリケーションとデータ、コンテンツ２用のアプリケーションとデータ、コンテンツ３用のアプリケーションとデータ等が格納された例が示されている。複数のコンテンツを連続してユーザに提供する場合、各コンテンツは、全体として１つのコンテンツの中での１つのシーンに相当する。記憶部４１を、メイン装置１０１内ではなく、別のネットワークにネットワークストレージ装置として接続してもよい。この場合、中継装置４０１を介してネットワークストレージ装置にアクセスする。

また記憶部４１には、距離カメラ２２、可視光カメラ２１およびＷｅｂカメラ１５から取得した画像を格納してもよい。または、距離カメラ２２、可視光カメラ２１およびＷｅｂカメラ１５から取得した画像は、記憶部４１ではなく、制御部３１からアクセス可能な別のメモリ装置（作業用の揮発性メモリなど）などに格納してもよい。

ファイルサーバ４２は、中継装置４０１を介してエントリー装置２０１からユーザ情報（心拍数、性別、年齢情報）を取得する情報取得部を備える。ファイルサーバ４２は、取得したユーザ情報を内部のバッファ、またはアクセス可能な別のメモリ装置に格納する。ファイルサーバ４２は、制御部３１からの要求に応じて、ユーザ情報を制御部３１に提供する。なお、情報処理装置１１は、インターネットプロトコル層、トランスポート層等の上位層のプロトコル処理を行う機能を備えており、ファイルサーバ４２は、これらの機能を利用して、エントリー装置２０１と通信することで、ユーザ情報を取得する。

制御部３１は、情報処理装置１１全体を制御するとともに、検出デバイス１３（距離カメラ２２、可視光カメラ２１）、Ｗｅｂカメラ１５およびメインディスプレイ１２の動作を制御する。制御部３１は、ファイルサーバ４２から取得したユーザ情報に基づき、記憶部４１内の各コンテンツ用のアプリケーションを実行する。一例として、各コンテンツ用のアプリケーションを事前に定められた順序で、順番に実行することで全体として１つのコンテンツを提供する。

制御部３１は、心拍情報処理部３２、Ｗｅｂカメラ画像処理部３４、および検出デバイス画像処理部３３を備える。

検出デバイス画像処理部３３は、距離カメラ２２から距離画像を取得する距離画像取得部と、可視光カメラ２１からカラー画像を取得するカラー画像処理部を備える。検出デバイス画像処理部３３は、各画像処理部で取得した距離画像およびカラー画像を処理する。

検出デバイス画像処理部３３は、距離カメラ２２で取得された距離画像を解析することで、距離画像内のユーザの領域を特定する。例えば距離画像が赤外線カメラで取得され、距離画像の各画素に電圧値が格納されたものであるとする。この場合、電圧値が一定値以上の画素を特定し、特定した画素群をユーザ領域とする。図７（Ａ）に距離画像と、特定したユーザ領域７１を示す。距離画像の各画素の表記は省略している。

そして、ユーザ領域を複数のセグメントに分割（セグメント化）する。例えば距離画像を、縦方向はＸ画素および横方向はＹ画素ごとに分割することで、複数の矩形セグメントを得る。一例として、ＸとＹは同じ値である。１つのセグメントは、複数の画素を含む。セグメント化の例を図７（Ｂ）に示す。この例では、各セグメントの縦および横のサイズは同じであり、ユーザ領域のみのセグメント、ユーザ領域と背景が混在するセグメント、背景のみのセグメントの３種類のセグメントが存在する。全部がユーザ領域のセグメント、および一部にユーザ領域を含むセグメントを特定する。当該一部にユーザ領域を含むセグメントとして、例えばセグメントに含まれるユーザ領域部分の画素数が所定値（所定値は１以上の整数）個以上のセグメントを特定する。

また、検出デバイス画像処理部３３は、可視光カメラ２１で取得されたカラー画像に基づき、各特定したセグメントに対し、それぞれ表示色を決定する。例えば、特定したセグメント内のユーザ領域部分に対応する各画素の色をカラー画像から特定し、最も画素の多い色を当該セグメントの表示色に決定する。カラー画像と距離画像と同じ時刻で撮像したものであるとする。また、カラー画像と距離画像は、同じ撮像範囲で撮像されたものとみなして処理を行う。この場合、カラー画像と距離画像とで、画像内のユーザ領域の位置は同じであるとみなせる。

Ｗｅｂカメラ画像処理部３４は、Ｗｅｂカメラ１５により取得されたカラー画像にエフェクト処理等の画像処理を行う。

心拍情報処理部３２は、ファイルサーバ４２から心拍数情報を受け取り、心拍数に応じたテンポでベース音を奏でるベース音データを取得する。例えば心拍数が、１分間に８０回であれば、１/８０分ごとにベース音がなるベース音データを取得する。つまり、ユーザの心拍数がテンポになる。

ベース音データは、例えば心拍数ごとに予め用意しておき、取得した心拍数に応じたベース音データを選択することで取得する。あるいは、心拍数に応じたテンポでベース音がなるベース音データを作成してもよい。

制御部３１は、取得したベース音データを、スピーカ１７を介して再生するように制御する。

制御部３１は、Ｗｅｂカメラ１５により取得されたカラー画像（例えばユーザの全身が写った画像）を、メインディスプレイ１２に表示する。Ｗｅｂカメラ１５から一定時間毎にカラー画像を取得して、リアルタイムに映像を表示してもよいし、１枚の静止画を表示してもよい。また、制御部３１は、カラー画像を、Ｗｅｂカメラ画像処理部３４でエフェクトをかけながら表示してもよい。

制御部３１は、検出デバイス画像処理部３３で特定された各セグメントの、距離画像内の相対位置関係に応じて、各セグメントに対応する３次元形状のオブジェクトをメインディスプレイ１２にそれぞれ表示する。表示の例を図８に示す。ユーザの全身が、オブジェクト群により形作って表現されている。各オブジェクトは、それぞれ検出デバイス画像処理部３３で特定された各セグメントの１つに対応し、各セグメントの相対位置関係を概ね維持した配置となっている。

オブジェクトの形状は３次元である限り、任意でよいが、例えば立方体（キューブ）、球形、直方体等がある。本実施形態ではキューブの場合を示す。キューブは、各辺にまるみを帯びさせるなど変形を加えたものを含んでもよい。セグメント化された各セグメントの大きさが異なる場合は、それに合わせてオブジェクトのサイズを変更してもよい。各オブジェクトの形状は共通であるが、対応するセグメントによって形状を異ならせることも可能である。

メインディスプレイ１２に表示する各オブジェクト間には隙間を設けてもよい。また、各オブジェクトを同じ位置で回転（回転、上下に一定角度ずつ往復回転、左右に一定角度ずつ往復回転など）させたり、上下または左右に繰り返し微動させたりしてもよい。これらにより、ユーザにとって見やすい表示、および躍動感をもった表示が可能となる。図８に示した例では、各オブジェクト間には隙間が設けられている。各オブジェクトはキューブであるが、正面を向いているため、１つの面のみが表示されている。

また、メインディスプレイ１２に表示する各オブジェクトを、検出デバイス画像処理部３３で決定した表示色で表示してもよい。つまり、それぞれ対応するセグメントの表示色で、各オブジェクトを表示してもよい。これにより、ユーザの全身（服を着た状態）の色分布に近い表示が可能となる。変形例として、ユーザの形を表す各オブジェクトの色をすべて同一色としてもよい。

制御部３１は、一定のフレーム間隔で、距離カメラ２２および可視光カメラ２１から、距離画像および可視光のカラー画像を取得し、上記のようにセグメント化およびオブジェクト表示することで、ユーザの動きに追従したオブジェクト表示が実現できる。つまり、体験スポット５７でユーザが姿勢を変えれば、それに応じて、距離画像内のユーザ領域の位置も変動し、メインディスプレイ表示領域内のオブジェクト群の位置も変動する。例えばユーザが体験スポット５７でジャンプをすれば、距離画像内でユーザ領域も上側に位置し、メインディスプレイ表示内のオブジェクト群のユーザもディスプレイの上側に配置される。これにより、ユーザには、メインディスプレイ表示内でオブジェクト群のユーザがジャンプをしたように見える。

制御部３１は、上述したような画像表示機能、オブジェクト表示機能および音再生機能を元に、各種アプリケーションを実行することで、ユーザに多彩なコンテンツを提供する。

本実施形態の処理は、大きくエントリー装置２０１でユーザ情報を収集するエントリー処理と、メイン装置１０１でコンテンツをユーザに提供するメインコンテンツ処理とを有する。

図３は、エントリー装置２０１によるエントリー処理のフローチャートである。

エントリー装置２０１は、待機画面を表示して、ユーザによるタッチパネルへのタッチを待機する。例えば、タッチパネルディスプレイ５３に「画面にふれて下さい」のメッセージを表示する。ユーザによりタッチパネルにタッチがされたことを検知すると、処理を開始する。

（ステップＳ１０１）制御装置５１は、タッチパネルディスプレイ５３に、血流センサー３０１の読取面に指（人差し指など）を置くよう、ユーザへの指示メッセージを表示する。血流センサー３０１は、読取面に指が置かれたことを検知すると、一定期間、指先面から血流量のセンシングを行う。制御装置５１は、血流センサー３０１と通信して、一定期間分の血流センサー値のデータを取得する。心拍数算出部５２は、取得した血流センサー値のデータからユーザの心拍数を計算する。制御装置５１は、血流センシングが完了すると、完了のメッセージをタッチパネルディスプレイ５３に表示する。

（ステップＳ１０２）制御装置５１は、ユーザに性別の入力を要求する。例えば「男性」および「女性」のボタンを表示し、いずれかのボタンの押下を要求する。ユーザは、自分の性別を示すボタンを押下する。制御装置５１は、押下されたボタンに応じて、ユーザの性別情報を取得する。

（ステップＳ１０３）制御装置５１は、ユーザの性別情報を取得すると、次に、年齢情報の入力を要求する。例えば「１０才以下」、「１０才〜１５才」、「１６才〜２０才」、「２０代」、「３０代」、「４０代」、「５０代」、「６０代」、「７０才以上」のボタンを表示し、いずれかのボタンの押下を要求する。ユーザは、自分の年齢が含まれる年齢範囲のボタンを押下する。制御装置５１は、押下されたボタンに応じて、ユーザの年齢情報を取得する。ここでは、ユーザに自分の年齢が含まれる年齢範囲の入力を要求しているが、ユーザの実年齢の入力を要求する構成にしてもよい

（ステップＳ１０４）制御装置５１は、心拍数、性別、および年齢情報を含むデータファイルを作成し、メイン装置１０１に送信する。また制御装置５１は、ユーザに体験ポイント５７への移動を促すメッセージを表示する。なお、心拍数の計算は、メイン装置１０１側で行うようにしてもよく、この場合、データファイルには心拍数の代わりに、血流センサー値データを含めればよい。

なお、ステップＳ１０１、Ｓ１０２、Ｓ１０３の順序はこの通りでなくともよく、ステップの位置を入れ替えても良い。

図４および図５は、メイン装置１０１によるメインコンテンツ処理のフローチャートである。本処理では、７つのコンテンツをユーザに順番に連続して提供することで、個々のコンテンツが、１つのシナリオにおける個々のシーンのように位置づけられる。

［コンテンツ１：ユーザのオブジェクト表示］

（図４のステップＳ２０１）メイン装置１０１の情報処理装置１１は、メインディスプレイ１２に待機画面を表示しつつ、エントリー装置２０１からのデータファイルの受信を待機する。情報処理装置１１は、エントリー装置２０１からのデータファイルの受信を検知すると、受信したデータファイルを読み込み、ファイルサーバ４２へ格納する。

（図４のステップＳ２０２）情報処理装置１１は、Ｗｅｂカメラ１５で、体験スポット５７上のユーザを撮像する。Ｗｅｂカメラ１５での撮像は、エントリー装置２０１から体験スポットへのユーザの移動時間を考慮して、データファイルの受信後、一定時間後に行ってもよい。あるいは、距離カメラ２２あるいは人感センサ（図示せず）を用いて、ユーザが体験スポットに到着したのを確認してから行ってもよい。あるいは、データファイルの受信の直後から一定のフレーム間隔で継続して行ってもよい。情報処理装置１１は、Ｗｅｂカメラ１５で撮像されたカラー画像を取得してメインディスプレイ１２に表示する。これにより、ユーザに自分の静止画、またはリアルタイム映像を見させる。表示の例を図６に示す。

（図４のステップＳ２０３）情報処理装置１１は、Ｗｅｂカメラ１５で取得したカラー画像を表示している間、その背後の処理として、距離カメラ２２および可視光カメラ２１でユーザを撮像して、距離画像およびカラー画像を取得する。赤外線方式のカメラでは、例えば、距離画像において、一定値以上の電圧値を有する画素群をユーザ領域として特定する。

（図４のステップＳ２０４）情報処理装置１１は、特定したユーザ領域をセグメント化する。例えば距離画像を、縦および横方向に一定サイズごとに分割することで、セグメント化を行う。これにより、複数の正方形のセグメントを得る（図７（Ｂ）参照）。セグメントの中で、ユーザ領域のみのセグメント、および一部にユーザ領域を含むセグメントを特定する。特定したセグメントは、ユーザ領域を分割したセグメントに対応する。

また、可視光カメラ２１で取得されたカラー画像に基づき、特定した各セグメントについて表示色を決定する。例えば、特定したセグメントに含まれるユーザ領域部分の各画素の色をカラー画像から特定し、最も画素が多い色を表示色に決定する。

そして、情報処理装置１１は、距離画像内での各特定したセグメントの相対位置関係に応じて、各オブジェクトをメインディスプレイ１２に表示する。このとき、各オブジェクトは、それぞれに対応するセグメントの表示色で表示する。

表示の例を図８に示す。この例では、各オブジェクトはキューブである。各キューブは、それぞれ１つの面が正面を向くように表示されている。各オブジェクト間は見やすいように空間が空けられている。

なお、上述のステップＳ２０２において、Ｗｅｂのカラー画像を表示する間、Ｗｅｂカメラ画像処理部３４を用いてカラー画像にエフェクトをかけて、メインディスプレイ１２の表示に変化をもたせてもよい。これにより、オブジェクト表示が開始されるまでの時間を、ユーザが退屈しないようにする。エフェクトとして、ユーザのオブジェクト表示開始までの時間が、直感的に分かるようなものを用いてもよい。例えばメインディスプレイ１２においてユーザが写っている表示画像全体を上から順に、別の画像（例えば単色の画像）で透過的に重ねて行く。別の画像の表示が最下部にまで達した段階で、背後の処理が完了して、オブジェクト表示が開始されるように、別の画像の表示速度を制御してもよい。

［コンテンツ２：ユーザの体積計算］

（図４のステップＳ２０５）情報処理装置１１は、ユーザを構成するオブジェクトを計数し、合計オブジェクト数を表すメッセージを、メインディスプレイ１２の画面に表示する。この際、図９に示すように、ユーザを形作っている各オブジェクトを一旦床に崩して、その後、図１０に示すように、全体として特定の形状（ここでは立方体）に近づくように、各オブジェクトを再配置してもよい。図１０では、崩されているオブジェクトが１つずつ上に上昇して、床の上の空間に、立方体に近づくように組み立てられる様子が示される。図１１に示すように、ユーザの合計オブジェクト数を表すメッセージを表示するとともに、比較対象として、他の生物（ぞう、犬等）の代表的な合計オブジェクト数を表示してもよい。

［コンテンツ３：ユーザのカラー判定］

（図４のステップＳ２０６）情報処理装置１１は、ユーザを構成するオブジェクトを色毎にソートし、色毎にオブジェクトを並べたソート表示を行う。ソート表示の例を図１２に示す。

（図４のステップＳ２０７）情報処理装置１１は、個数が最も多いオブジェクト数の色を判定し、図１３に示すように、最も多い色を示すメッセージを、メインディスプレイ１２の画面に表示する。図１２に示した例では、Ａ色が、オブジェクト数が最も多い色である。

［コンテンツ４：ユーザの水分量判定］

（図４のステップＳ２０８）情報処理装置１１は、ユーザの性別および年齢情報に基づき、ユーザの体重に占める水分の割合を推定する。情報処理装置１１は、性別と年齢（または年齢範囲）に応じて、体重に占める水分の割合を表したデータ（テーブルまたは関数など）を保持している。情報処理装置１１は、当該データに基づき、ユーザの性別および年齢情報から、ユーザの水分の割合を推定する。

（図４のステップＳ２０９）情報処理装置１１は、推定した水分の割合に応じた個数のオブジェクトを選択する。例えば、推定した水分の割合が７０％であれば、ユーザのオブジェクト群のうち７０％に相当する個数のオブジェクトを選択する。

オブジェクトの選択方法として、ディスプレイの下側に表示されるもの（ユーザの足下のオブジェクト）から優先的に選択してもよい。情報処理装置１１は、選択したオブジェクトを、選択されていない他のオブジェクトと識別できるように表示する。一例として、図１４に示すように、ユーザの足下から順次、選択したオブジェクトを覆うように、水色の画像１４１を透過的に重ね合わせた画面を表示する。また、情報処理装置１１は、推定した水分の割合を示すメッセージをメインディスプレイ１２に表示する。表示の例を図１５に示す。

［コンテンツ５：ちょびっとダイエット］

（図５のステップＳ２１０）情報処理装置１１は、コンテンツ５（ちょびっとダイエット）の画面に遷移し、ユーザに体験スポット５７で体を動かすことを促すメッセージを表示する。例えば「たくさんカラダを動かしてダイエットしよう！」といったメッセージを表示する。情報処理装置１１は、距離カメラ２２および可視光カメラ２１に、一定のフレーム間隔で距離画像およびカラー画像を送信するよう指示し、一定のフレーム間隔で距離画像およびカラー画像を取得する。メインディスプレイ１２には、一定のフレーム間隔もしくはこれより大きいフレーム間隔で、オブジェクトの表示を更新して、ユーザの動きに追従した表現を行う。

また、情報処理装置１１は、２つの前後のフレームの距離画像に基づき、フレーム間でユーザの動き量を推定する。推定方法は、ユーザの動いた量を計測できる方法であれば、どのような方法でもよい。

例えば、時間的に前のフレームではユーザ領域が存在せず、時間的に後のフレームではユーザ領域が存在する画素を特定し、特定した画素数の合計に応じた値を動き量として推定する。情報処理装置１１は、推定した動き量に応じた個数の新たなオブジェクトを、メインディスプレイ１２の背景画像から出現するように表示を行う。この表示の例を図１６に示す。

図１６において、オブジェクト１６１が背景画面から手前に迫るように表示されている。オブジェクトの出現箇所は、ユーザを形作るオブジェクト間の隙間でもよい。背景からのオブジェクトの形状は、ユーザのオブジェクトと同じ形状（キューブ等）でもよいし、これとは別の形状でもよい。

なお、フレームごとに計算した動き量を累積し、累積値が一定値に達するごとに、所定数のオブジェクトを出現させてもよい。

（図５のステップＳ２１１）情報処理装置１１は、背景画像から出現させたオブジェクトの個数を計数し、合計のオブジェクト数（キューブ数）を表すメッセージを、メインディスプレイ１２の画面に表示する。この表示例を図１７に示す。これによりユーザは、自分が行った運動量を知ることができる。

［コンテンツ６：マイサウンド］

（図５のステップＳ２１２）情報処理装置１１は、コンテンツ６（マイサウンド）の画面に遷移する。情報処理装置１１は、エントリー装置２０１から取得した心拍数に応じたテンポでベース音を奏でるベース音データを、スピーカ１７を介して再生するように制御する。例えば心拍数が、１分間に８０回であれば、１/８０分ごとにベース音がなるベース音データを再生する。

（図５のステップＳ２１３）情報処理装置１１は、それぞれ異なる楽器を表す複数のアイコンをメインディスプレイ１２に表示する。表示の例を図１８に示す。この例では４つのアイコン１８１、１８２、１８３、１８４が表示されている。表示箇所は、例えばユーザが手を下ろした姿勢のときに、ユーザのオブジェクト群と重ならない位置が好ましい。

情報処理装置１１は、距離カメラ２２および可視光カメラ２１から、一定のフレーム間隔の距離画像およびカラー画像を取得する。情報処理装置１１は、メインディスプレイ１２に、例えば一定のフレーム間隔でオブジェクトを更新表示する。これにより、ユーザの動きに追従した表示を行う。

情報処理装置１１は、距離画像内に、各楽器用の領域を仮想的に設定する。設定のイメージを図１９に示す。図１８のアイコン１８１〜１８４に対応して、領域１９１〜１９４が設定されている。情報処理装置１１は、フレーム毎に、距離画像内のユーザ領域が、いずれかの楽器領域と重なったかを判定する（当たり判定）。

楽器用の領域を設定する位置に関し、メインディスプレイ１２の表示画面内のユーザとアイコンの位置関係と、距離画像内のユーザと楽器領域の位置関係が、概ね一致していることが好ましい。これにより、メインディスプレイ１２でユーザのオブジェクトがアイコンに重なったときに、そのアイコンに対応する楽器が選択されるように、ユーザに体感させることができる。

図１８の例では、アイコン１８１がユーザの右手に対応するオブジェクトに重なっており、アイコン１８１に対応するトランペットが選択される場合が示される。このとき、距離画像内のユーザ領域が、トランペットの領域１９１に重なっている（図示せず）。

情報処理装置１１は、重なった楽器領域が存在すると判定した場合は、その楽器で奏でられたサウンドデータ（メロディ）を、ベース音に重ね合わるように再生する。サウンドデータの再生が完了したら、再度、ユーザによる楽器の選択を受け付けるようにする。所定の終了条件が成立したら、本コンテンツ６（マイサウンド）の処理を終了する。終了条件として、例えば所定の起点（例えば楽器選択モードになった時点）から一定時間が経過したことがある。

［コンテンツ７：エンディング］

（図５のステップＳ２１４）情報処理装置１１は、コンテンツ７の画面に遷移し、エンディングメッセージをメインディスプレイ１２に表示する。この際、ユーザを形作っていたオブジェクト群を分解（さらに任意の形状に再配置）するなどの演出を行っても良い。これにより一連のコンテンツの提供を終了する。この後、図４のステップＳ２０１の待機画面に戻っても良い。

以上、本実施形態によれば、距離カメラを用いてユーザ領域情報を取得し、キューブ等のオブジェクトの集合によって、ユーザの体をメインディスプレイに表示するようにしたことにより、ユーザは、表示されたオブジェクト集合を自分のキャラクタ表現として見て、楽しむことができる。この際、キューブ間に隙間を開けたり、キューブに回転等の動きを付けたりすることで、ユーザは綺麗な表示で、飽きることなく、メインディスプレイを見ることができる。

また、ユーザを形作るオブジェクトの計数し、合計オブジェクト数を表示することにより、自分の正面面積あるいは体積の大きさを楽しみながら知ることができる。

また、ユーザを形作るオブジェクト群を一旦崩して、立方体に近づくように再配置することで、再配置後の形状の大きさから、自分の正面面積あるいは体積の大きさを楽しみながら知ることができる。

また、ユーザ情報を利用してユーザの体重に占める水分の割合を推定し、表示することにより、ユーザは自分の体の水分の割合を知ることができる。この際、足下から水分の割合に応じた長さだけ、上側に水色の画像を透過的に重ねて表示することにより、ユーザは楽しんで知ることができる。

また、ユーザを撮像したカラー画像に基づき、メインディスプレイに表示するユーザのオブジェクトに色を付けることで、自分の身体（服装）の色分布を知ることができる。また、最もオブジェクト数が多い色を求め、当該色を表すメッセージをメインディスプレイに表示することで、自分の中で最も多くを占める色を知ることができる。

また、距離画像に基づきユーザの動き量を推定し、動き量に応じた個数のオブジェクトを背景画像から出現させることで、ユーザは楽しみながら運動を行うことができる。また、背景画像から出現させたオブジェクトを計数し、合計オブジェクト数を表すメッセージをメインディスプレイに表示することで、ユーザは自分の運動量を知ることができる。

また、血流センサーで取得した血流センサー値データに基づき心拍数を求め、心拍数に応じたテンポでベース音を再生することにより、ユーザは自分の心拍数を音楽として楽しむことができる。また、ベース音に重ねて、ユーザが選択した楽器でのサウンドを再生するようにしたことにより、より音楽を楽しむことができる。

本実施形態における情報処理装置１１および制御装置５１は、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。情報処理装置１１および制御装置５１の各処理ブロックは、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき情報処理装置１１および制御装置５１は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、情報処理装置１１内の記憶部４１は、上記のコンピュータ装置に内蔵あるいは外付けされたにメモリ、ハードディスク、またはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１２：メインディスプレイ
１３：検出デバイス
１４、１６、５４：通信ケーブル
１５：Ｗｅｂカメラ
１７：スピーカ
２１：可視光カメラ
２２：距離カメラ
３１：制御部
３２：心拍情報処理部
３３：検出デバイス画像処理部
３４：Ｗｅｂカメラ画像処理部
４１：記憶部
４２：ファイルサーバ
５１：制御装置
５２：心拍数算出部
５３：タッチパネルディスプレイ
５５：画像ケーブル
１０１：メイン装置
２０１：エントリー装置
３０１：血流センサー
４０１：中継装置

Claims (15)

1. ディスプレイに対向するように位置するユーザを撮像する距離カメラから、前記ユーザを撮像した距離画像を取得する画像取得部と、
   前記距離画像を解析して前記距離画像内のユーザ領域を特定する画像処理部と、
   前記ユーザ領域を複数のセグメントに分割し、各セグメントの相対位置関係に応じて、各セグメントに対応する３次元形状のオブジェクトをそれぞれ前記ディスプレイに表示する制御部と、
   を備えた情報処理装置。
2. 前記制御部は、前記ユーザ領域を横方向および縦方向にそれぞれ同じ間隔で分割する
   請求項１に記載の情報処理装置。
3. 各セグメントに対応する前記３次元形状のオブジェクトは、同じサイズの立方体である
   請求項１または２に記載の情報処理装置。
4. 前記制御部は、前記オブジェクトを、隣接するセグメント同士に対応するオブジェクト間に隙間を設けるように表示する
   請求項１ないし３のいずれか一項に記載の情報処理装置。
5. 前記制御部は、前記ディスプレイに表示されているオブジェクト群を、全体として１つの所定の立体形状を組み立てるように再配置する
   請求項１ないし４のいずれか一項に記載の情報処理装置。
6. 前記制御部は、前記オブジェクトの個数を計数し、合計オブジェクト数を表すメッセージを前記ディスプレイに表示する
   請求項１ないし５のいずれか一項に記載の情報処理装置。
7. 入力手段を介して入力される前記ユーザの年齢情報と性別情報を取得する情報取得手段を備え、
   前記制御部は、前記年齢情報と前記性別情報に基づき、前記ユーザの体重に占める水分の割合を推定し、前記ディスプレイに表示されているオブジェクトのうち、推定した値に応じた個数のオブジェクトを選択し、選択したオブジェクトを、他のオブジェクトと識別可能に表示する
   請求項１ないし６のいずれか一項に記載の情報処理装置。
8. 前記制御部は、前記ディスプレイの表示面の下側に位置するオブジェクトから優先的に選択し、選択したオブジェクト群の全体を、前記表示面の下側から別の画像で順次覆うように制御する
   請求項７に記載の情報処理装置。
9. 前記制御部は、ディスプレイに対向するように位置するユーザを撮像する可視光カメラから前記ユーザのカラー画像を取得し、前記カラー画像に基づいて、各セグメントに対応するオブジェクトの表示色を決定し、決定した表示色で前記オブジェクトを表示する
   請求項１ないし８のいずれか一項に記載の情報処理装置。
10. 前記制御部は、前記オブジェクトの表示色の中で最もオブジェクト数が多い色を特定し、特定した色を表すメッセージを前記ディスプレイに表示する
    請求項９に記載の情報処理装置。
11. 前記画像取得部は、一定のフレーム間隔で前記距離画像を取得し、
    前記制御部は、２つのフレーム間で前記ユーザの移動量を前記距離画像に基づき計算し、前記移動量に応じた個数のオブジェクトが前記ディスプレイの画面の背景画像から出現するように制御する
    請求項１ないし１０のいずれか一項に記載の情報処理装置。
12. 前記制御部は、前記背景画像から出現したオブジェクトの合計数を計算し、合計オブジェクト数を表すメッセージを前記ディスプレイに表示する
    請求項１１に記載の情報処理装置。
13. 前記ユーザの血流量をセンシングする血流センサーに基づく前記ユーザの心拍数情報を取得する情報取得手段を備え、
    前記制御部は、前記ユーザの心拍数に応じたテンポでベース音を奏でるベース音データを再生する
    請求項１ないし１２のいずれか一項に記載の情報処理装置。
14. 前記制御部は、前記ディスプレイの画面の背景画像上に、異なる楽器を表す複数のアイコンを表示し、前記アイコンの表示領域に対応して前記距離画像に各楽器用の領域を設定し、各領域に前記ユーザ領域が重なったかを判定し、前記ユーザ領域が重なった領域に対応するアイコンが表す楽器によるサウンドデータを、前記ベース音に重ねるように再生する
    請求項１３に記載の情報処理装置。
15. ディスプレイに対向するように位置するユーザを撮像する距離カメラから、前記ユーザを撮像した距離画像を取得する取得ステップと、
    前記距離画像を解析して前記距離画像内のユーザ領域を特定する画像処理ステップと、
    前記ユーザ領域を複数のセグメントに分割し、各セグメントの相対位置関係に応じて、各セグメントに対応する３次元形状のオブジェクトをそれぞれ前記ディスプレイに表示する制御ステップと、
    を備えた情報処理方法。

Images