JP4481682B2 - 情報処理装置及びその制御方法 - Google Patents

Description

本発明は、表情や動作その他の非言語的、非明示的に表出された人物に関する心身状況を検出して行うマルチモーダルインタフェースを用いた情報提供サービスに関する。

所定の感覚刺激を提示し、利用者の状態（表情、視線、身体動作等）変化の履歴に基づき刺激を制御することにより利用者の感性を活性化するシステム（特許文献１）や、プレイヤーの精神状態を変化させるバイオフィードバック装置（特許文献２）、バイオフィードバックゲーム機器（特許文献３）などが提案されている。また、特許文献４では、脈波信号から得られる心拍間隔の揺らぎに基づきストレス度を検出し、ストレス度の増加の割合が所定値を超えたら、コンピュータやゲームなどの外部装置の動作を中止する。また、特許文献５に開示されるマルチモーダルインタフェース装置では、非言語メッセージを利用してインタフェース動作を制御することにより、自然なインタラクションを行う構成を示している。
特開２００２−３３４３３９号公報 特開２００１-２５２２６５号公報 特開平１０−３２８４１２号公報 特開平１０−７１１３７号公報 特開平１１−２４９７７３号公報

しかしながら、以上説明した技術のうち、マルチモーダルインタフェース装置は、利用者により意図的に表出されるジェスチャや表情をどのように効果的にかつ高精度に活用するかという点に対応するものであったが、利用者の非言語により表出された意図や情況を検出して所望のまたは予め設定した情報提供を行うようなインタフェース的機能を提供することは課題として捉えられていない。

また、感性活性化システムは単純な刺激に対する利用者の反応の履歴をみてリハビリテーションなどの為の有効な刺激を効果的に提示するためのものであり、利用者の心身の状態に対応して適切な情報提示を行うことには対応できない。バイオフィードバックゲーム等で用いるストレス検出方法では、プレイヤーの生体反応のみを検出するものであるが、ストレス以外の多様な心身状況の程度を精度良く推定することができず、結果としてゲーム等を行った後の注意力散漫、テンカンなどの発作、などの心身上の問題を有効に防止することが困難であった。感性活性化システムやバイオフィードバックゲームなどは、生体情報のみを用いるために利用者の特定の心身状況（たとえばストレスや疲労度など）の検出ができても多種多様な心身状況を検出することは困難であった。

本発明は上述した課題に鑑みてなされたものであり、画像情報から得られる表情や動作に関する情報を用いることを可能とし、非明示的な心身の状態を高精度に検知可能とすることを目的とする。

また、本発明の他の目的は、表情や動作に関する情報とともに、音声および／または生体情報等を総合的に用いることにより、非明示的な心身の状態を高い精度で検知して、利用者の状況に適応した情報提示の制御を可能とすることにある。

上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
画像情報に含まれる人物像の表情および身体動作を検出する第１検出手段と、
前記第１検出手段による検出結果に基づいて、ユーザの心身状況を判定する判定手段と、
画像及び音声の少なくともいずれかにより情報を提示する提示手段と、
前記判定手段で判定されたユーザの心身状況が第１の所定状況であれば当該第１の所定状況から離脱させるための予め用意された情報の提示を起動し、前記提示手段による情報の提示中に前記心身状況が第２の所定状況になれば当該情報の提示の仕方を変更し、前記心身状況が情報の提示を継続すると危険な状況になれば前記提示手段によって提示中の情報の提示を中止するよう前記提示手段による提示を制御する制御手段とを備える。

また、本発明の他の態様による情報処理装置は、上記の構成に対して、ユーザの音声及び生体情報の少なくともいずれかを検出する第２検出手段をさらに備え、前記判定手段は、前記第１及び第２検出手段の検出結果に基づいてユーザの心身状況を判定する。

本発明よれば、画像情報から得られる表情や動作に関する情報を用いることが可能となり、非明示的な心身の状態を高精度に検知可能となる。また、本発明によれば、表情や動作に関する情報とともに、音声および／または生体情報等を総合的に用いることが可能となり、非明示的な心身の状態を高い精度で検知して、利用者の状況に適応した情報提示の制御が可能となる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

＜第１実施形態＞
以下、図面を参照して本発明の第１実施形態を詳細に説明する。図１は、第１実施形態による情報提示システムの要部構成を示すブロック図である。情報提示システムは、画像センシング部１０（結像光学系、映像センサ、センサ信号処理回路、センサ駆動回路を含む）、音声センシング部１１、生体情報センシング部１２、画像認識部１５、音声認識部１６、心身状況検出部２０、情報提示部３０、これらの動作を司る制御部４０、データベース部５０などから構成される。以上の構成により、本実施形態では、画像認識部１５から得られる画像情報に基づいて利用者の心身状況を大まかに推定し、その推定結果と、音声情報、生体情報などを用いて詳細に心身状況の推定を行う。以下、各構成の機能について、概要を説明する。

画像センシング部１０は人物の顔画像などを撮影する撮像センサを主たる構成要素とする。撮像センサは典型的にはＣＣＤやＣＭＯＳイメージセンサなどが用いられ、センサ駆動回路（不図示）からの読み出し制御信号により映像信号が出力される。音声センシング部１１は、マイクロフォンと、該マイクロフォンによって入力される利用者の音声信号を背景の音信号から分離抽出する信号処理回路を具備する。音声センシング部１１で得られた音声信号は音声認識部１６において音声認識されたり、心身状況検出部２０においてその信号周波数等が測定される。

生体情報センシング部１２は、図４に示すように、各種生体情報を取得するためのセンサ４０１（発汗度センサ、脈拍センサ、呼気センサ、呼吸パターン検出部、血圧センサ、虹彩画像入力部等の少なくともいずれかを含む）と、センサ４０１からのセンシングデータを電気信号に変換し所定の前処理（圧縮、特徴抽出等）などを行って生態情報データを生成する信号処理回路４０２と、信号処理回路４０２で得られた生体情報データを情報提示部３０および制御部４０に送信する通信部４０３（若しくはデータ線）を備える。このように多種多様な生体情報をセンシングして統合することにより後で説明する心身状況の推定精度を高めることができる。なお、この生体情報センシング部１２は、人体に装着するものであっても、本情報提示システムに内蔵されてもよい。人体に装着する場合、例えば、腕時計、眼鏡、カツラ、下着などに埋め込まれていてもよい。

画像認識部１５は、図３に示すように、人物検出部３０１、表情検出部３０２、身振り検出部３０３、個人認識部３０４を有する。人物検出部３０１は、画像センシング部１０から入力する画像データを処理して、人物の頭部や顔、上半身部分、または全身を検出する画像処理モジュール（ソフトウエアモジュールもしくは回路モジュール）である。個人認識部３０４は、人物検出部３０１で検出された顔等を用いて人物（予め登録した人物）を特定（利用者識別）する画像処理モジュールである。なお、これら画像処理モジュールにおける頭部や顔検出、および顔認識（利用者識別）などのアルゴリズムは周知の方式を用いればよい（例えば、本出願人による特許第３０７８１６６号公報など参照）。

また、表情検出部３０２は、所定の表情（笑顔、退屈した表情、興奮した表情、困った表情、怒った表情、驚いた表情など）を検出するための画像処理モジュールである。身振り検出部３０３は、人体の手や足の動きから検出される特定の動作（歩く、座る、食事をする、物を運ぶ、運転する、横たわる、倒れる、受話器を取る、物を掴む、離す、など）、姿勢の変化、特定の手振り（指差し、手招き、じゃんけんの動作、など）等を検出するための画像処理モジュールである。表情認識技術、身振り検出技術についても周知の方式を用いればよい。

図１に戻り、心身状況検出部２０は、画像認識部１５による認識結果を用いて心身状況の一次推定を行う。この一次推定では、可能性のある複数の心身状況の状態の分類（状態クラス）の候補を特定する。そして、さらに心身状況検出部２０は、一次推定結果として得られた心身状況の状態クラスについて各種センシング部（音声センシング部１１および／または生体情報センシング部１２）からの出力信号を用いて絞込みを行い、利用者の心身の状態クラスを決定するとともに、その状態クラスにおける程度（状態レベル）を決定する。このように外見上の状態として現れた画像情報に基づき、大まかに心身状況を推定し、音声センシング部１１／生体情報センシング部１２により抽出された生体情報や音声情報に基づいて状態を絞り込み、心身状況の推定（状態クラスとレベルの決定）を行うことにより、心身状況検出部２０での心身状況の推定精度と処理効率が単に生体情報のセンシングだけに基づいて行う場合と比べて向上する。なお、一次推定において心身状況の状態クラスを１つに決定し、二次推定においてはその状態レベルを決定するようにしてもよいであろう。

なお、本明細書において、心身状況とは喜怒哀楽などの所定の感情、若しくは関心度、満足度、興奮度などに対応して利用者の表情や身体動作として発現され、かつセンシング部によって物理的に測定可能な状態量である。例えば、関心度、興奮度が高まれば、心拍数、発汗レベル、瞳孔径などの数値が上昇する。満足度が上がれば微笑みなどの表情やうなずきなどの身体動作が現れる。また、上機嫌なときは音声の中心周波数レベルが上がり、表情に目が垂れる、微笑むなどの状態変化が観測される。いらいらしているときは、足をゆする、髪の毛を掻きむしる、などの動作が画像認識部１５により観測される。

なお、心拍数、血圧、発汗量、音声は個人差があるので、平静時のこれらのデータをデータベース部に記憶させておき、心身状態の変化を検出するときは、これら参照データからの偏差に関する評価値を算出し、それに基づいて心身状況の推定を行う。即ち平静時のデータを個人別に記憶しておき、個人認識部３０４によって特定された個人に対応する平静時データを用いて、評価値の算出を行う。

また、心身状況検出部２０は、心身状態の種類だけでなく各種センシング情報に基づきその程度（興奮度、満足度、関心度、疲労度など）を推定する処理モジュール（興奮度推定、幸福度推定、疲労度推定、満足度推定、関心度推定モジュール）などを含む。例えば、“興奮度”の推定は心拍や呼吸頻度レベル（または脈波、呼吸リズムの不規則性）、顔が赤くなる、大笑いする、怒鳴るなどの表情動作、または笑い声、怒声、泣き声、喘ぎ声など音声レベルのセンシング情報の少なくとも１つもしくは複数を上記したように統合して行う。また、“関心度”は、瞳孔径の大きさ、身を乗り出すなどの動作、凝視の頻度、時間幅などにより推定することが出来る。“満足度”は、頷きの大きさ、満足若しくは快感を表す言葉（音声認識部１６により検出される「美味しい」、「面白い」、「すごい」など）とその音量、或いは微笑み、笑い、などの特定表情動作を検出することにより、そのレベルを推定することが出来る。

このように画像センシング部からの処理情報（画像認識部１５から得られる表情や身振りに関する検出情報）のみを用いることにより心身状況を推定しても良いが、一般的にはさらに他の複数のセンシング部からの処理情報（例えば心拍数、表情、音声など）を統合することにより心身状態の推定と分類を行う。その処理方法としては、ニューラルネットワーク（自己組織化マップ、サポートベクトルマシン、動径基底関数ネットワーク、その他フィードフォワードまたはリカレント型の並列階層処理モデル）、統計的パターン認識、多変量解析などの統計的手法や所謂センサーフュージョンなどの技術、ベイジアンネットワークなどの公知の技術を使うことができる。

情報提示部３０は、ディスプレイやスピーカ（いずれも図示せず）と、情報提示プログラムを格納する第１の記憶部（図示せず）、利用者の嗜好性を記憶する第２の記憶部（図示せず）を内蔵する。なお、これら記憶部に格納される情報はデータベース部５０に記憶されていてもよい。

制御部４０は、心身状況検出部２０からの出力に基づき、推定された心身状態に対応して予め情報提示部３０内に設定された情報提示プログラムの選択起動、現情報提示の停止または中断、推定された利用者の状態に対応した情報表示などを行う。情報提示の停止、中断などは、情報提示によってもたらされる心身状況の危険な状態またはその前触れ（極度の疲労、心不全などの兆候など）を自動的に検知して回避するためである。

図２は、第１実施形態における基本的な処理の流れをまとめたフローチャートである。先ず、画像センシング部１０、音声センシング部１２、生体情報センシング部１３よりセンシングデータ（画像、音声、生体情報データ）を取得する抽出処理を行う（ステップＳ２０１）。画像認識部１５では、画像データから人物検出、個人認識、表情認識、動作認識などの画像認識処理を行う（ステップＳ２０２）。心身状況検出部２０では、画像認識部１５の画像認識結果に基づいて心身状況の一次推定処理を行う（ステップＳ２０３）。そして、心身状況検出部２０は、さらに、ステップＳ２０３による一次推定結果と、上記表情認識および動作認識以外のセンシング情報（音声、生体情報といった画像以外のセンシング情報や、虹彩画像等から得られる情報）に基づき心身状況の二次推定を行う（ステップＳ２０４）。この二次推定によって得られた心身状況の種類（状態クラス）とその程度（状態レベル）に基づき情報提示内容の決定（提示内容の変更、情報提示の起動、停止を含む）を行い（ステップＳ２０５）、情報提示制御信号を発生させる（ステップＳ２０６)。

本実施形態では、情報提示とは、例えば音楽、映画、ゲームなどのコンテンツ提供のことをさす。例えば、利用者による身体動作としてのあくびや、空ろな目をした退屈そうな顔表情などが画像認識部１５により観測されたら退屈度が高い（状態クラス＝退屈）という一次推定結果が心身状況検出部２０から出力される。そして、更に二次推定において、音声センシング部１１により検出されるあくび音声や、生体情報センシング部１２により瞳孔径から得られるpupillogramを求めて推定される覚醒度の算出結果を用いて、退屈のレベルが推定される。制御部４０はこの推定結果（ここでは退屈の状態レベル）に基づいて、ジャンルの異なるコンテンツへの切り替え、情報提示の中止などの是非を問い掛けるメッセージを表示出力したり、音声出力したりする。

上記のように制御部４０は、心身状況検出部２０からの出力（二次推定結果）に基づき、情報提示部３０により提示する情報の内容の制御を行う。具体的には、上記した様に画像認識部１５の出力に基づき心身状況検出部２０により一次推定の結果得られる心身状態の推定クラスである第一の状態クラス（退屈状態、興奮状態、疲労状態、困惑状態など）及び、音声センシング部１１または生体情報センシング部１２からの出力を用いて二次推定の結果得られる心身状態の推定クラスである第二の状態クラス、及びその程度（退屈度、興奮度、疲労度、困惑度など）に対応して予め用意された画像プログラムの提示に関する制御信号（起動、停止、中断を促すメッセージの表示、など）を発生する。心身状況の状態クラスと程度に対応する制御信号の内容は、ルックアップテーブル化され、データベース部５０または所定のメモリ（図示せず）に格納されている。ここで所定レベル以上の疲労度、倦怠感、恐怖感、または嫌悪感のいずれかを検出した場合、制御部４０は他の動画像表示への切り替え、現動画像表示の停止、または所定のメッセージ表示（「脳が疲労しています。これ以上は健康を害するおそれがあります」などの警告メッセージ）を行う。即ち、情報提示部３０は、利用者の心身の状態に関して検出された情報を提示する。

次に、第１実施形態による心身状況検出処理について、図５のフローチャートを参照してより詳細に説明する。

ステップＳ５０１において、画像認識部１５は、画像センシング部１０より画像を入力する。そして、ステップＳ５０２において、人物検出部３０１が、入力された画像より主被写体（人間の顔）を検出する。そして、ステップＳ５０３において、個人認識部３０４により、検出された人物の特定、即ち個人認識を行い、個人認識結果に基づき、データベース部５０などからその人物に関する各心身状態に対応する生体情報（心拍リズム、呼吸リズム、血圧、体温、発汗量など）、音声情報（声の調子など）、画像情報（表情、身振りなど）の個人データを一次記憶部に読み込む。

なお、上記ステップＳ５０２およびＳ５０３における人物の検出および認識処理のための前処理用に抽出する一次特徴量としては、色彩情報や動きベクトル情報から得られる特徴量があげられるがこれらに限定される必要は無い。他の低次の特徴量（例えば、特定範囲の方向成分と特定範囲の空間周波数を有するような幾何学的特徴、或いは本出願人による特許第３０７８１６６号公報に開示されるような局所的特徴要素など）を用いてもよいことは言うまでも無い。なお、画像認識処理としては、例えば、本出願人による階層的ニューラルネットワーク回路（特願２０００−１８１４８７、特願２０００―１８１４８８、特願２０００−１８１４８０）その他の構成を用いてもよい。利用者が画面内で検出されなかった場合には、主被写体の未検出信号が出力されるようにしてもよい。

なお、ステップＳ５０３において個人の特定ができなかった場合には、汎用のモデルデータとして予め用意されたルックアップテーブルデータを読み込む。

次に、ステップＳ５０４において、画像認識部１５は、その人物に関して画像センシング部１０を用いて入力された画像データから所定の表情、身振り、動作の検出を行う。ステップＳ５０５において、心身状況検出部２０は、ステップＳ５０４で画像認識部１５より出力された顔表情や身振り、動作の検出結果に基づき心身状況の状態クラスを推定（一次推定）する。次に、ステップＳ５０６において、心身状況検出２０は、音声センシング１１や生体情報センシング部１２から信号を取得し、ステップＳ５０７において、一次推定結果とこれらの信号に基づいて二次推定を行う。即ち、一次推定で得られた状態クラスの絞込みを行い、最終的に心身状態のクラスとその程度を判定する。そして、ステップＳ５０８において、制御部４０は、判定された心身状態クラスと程度（状態レベル）に基づいて情報提示の中止、起動、警告などのメッセージ表示、或いは情報提示内容の変更、情報提示内容のストーリ展開速度の変更、情報提示内容の難易度変更、情報提示用文字サイズの変更などを行う。

例えば、情報提示内容の難易度変更とは、心身状況の推定結果が「困惑」状態であり、そのレベル値が所定値を超えた場合に、ひらがな表示、平易な表現に変更することなどを意味する。同様に情報提示用文字サイズの変更は、目を細めるなどの表情、顔を画面に近づけるなどの動作が検出されたときに行う（表示される文字サイズを大きくするよう変更する）。情報提示の起動は、例えば推定された心身状況が、「退屈」、「憂鬱」などであり、そのレベル値が所定値を超えた場合、その心身状況を離脱させ、精神的活動を活性化させる（或いは元気付ける）ような情報提示プログラム（映画、ゲーム、音楽、教育など）を起動する。情報提示プログラムは、インタラクティブなコンテンツ（インタラクティブ映画、ゲーム、教育用プログラム）でもよい。情報提示の中止は、主として検出された心身状況が高いレベルの「疲労」などそれ以上の継続は危険として予め設定された心身状況に利用者があると推定されるときに実行される。

このような情報提示の制御は、利用者の心身状況が生体情報、表情などから推定される一定範囲の活性度に保たれるように行ってもよい。

以上のように、第１実施形態によれば、利用者の外部に現れる顔表情や身体動作に基づいて心身状況を把握し（一次推定）、顔表情や身体動作以外のセンシング情報（音声情報やセンシング情報、虹彩パターンのような画像情報）に基づいて心身状況の絞込み、心身状況の状態クラスとレベルの判定を行う（二次推定）ので、効率よく、しかも正確に心身状況を判定することができる。また、こうして決定された心身状況の状態クラスおよびレベルに基づいて利用者への情報提示を制御するので、利用者の心身状況に応じた適切な情報を自動的に提示することが可能である。

＜第２実施形態＞
第１実施形態では、心身状況検出部２０によって検出された心身状況に応じて、当該装置内のデータベース５０に格納された情報の提示が制御された。第２実施形態では、提示する情報を外部装置から取得する場合を説明する。

図６は第２実施形態による情報提示システムの構成を示すブロック図である。図６において第１実施形態（図１）の構成と同様の構成要素には同一の参照番号を付してある。第２実施形態では、データベース５０の代わりにネットワークとの通信を行うネットワーク通信制御部６０１が設けられている。情報提示部３０は、心身状況検出部２０によって検出された心身状況の状態レベルをトリガとしてネットワーク通信制御部６０１により外部装置６２０へアクセスし、該状態レベルに応じた提示用の情報を取得する。な尾、図１と同様に音声認識部１６を設けてもよい。

外部装置６２０において、ネットワーク通信制御部６２３はネットワークを介して情報提示装置６００との通信を可能とする。情報提示用サーバ６２１は、情報提示装置６００より受信した、情報の要求に基づいて、対応する情報をデータベース６２２より取得して、情報提示装置６００へ送信する。課金部６２４は、情報提示に対する課金を行う。なお、情報提示部３０が心身状況の状態レベルに応じて必要な情報を特定し、外部装置６２０にこれを要求するようにしてもよいし、検出された心身状況の状態レベルを情報要求とともに送信し、外部装置６２０の情報提示用サーバ６２１において受信した心身状況に応じた情報を特定するようにしてもよい。

第２実施形態の応用例について説明する。この応用例では、情報提示部３０による情報取得のトリガとして人物の所定の表情、身体動作に応じた画像変換を行って提供するシステムおよびサービスについて説明する。利用者により現れた身体上の所定の変化をトリガとして画像変換を自動的に行うインタフェース機能を実現する。

本システムではインターネットによる販売システムを実現する。図７は第２実施形態による処理を説明するフローチャートである。衣服、帽子、眼鏡などの購入を検討している利用者がインターネットを通じて画面上でカタログを閲覧し、気に入ったアイテムを選択し、かつその利用者が特定の表情やポーズをとると、処理はステップＳ７０１、Ｓ７０２を経て、ステップＳ７０３へ進む。ステップＳ７０３で、選択されたアイテムに関する画像データの要求を該外部装置６２０に対して行い、さらにステップＳ７０４で、その利用者の頭部や全身像が抽出され、抽出画像が情報提示装置６００において保持される（抽出情報と画像全体という形態で保持してもかまわない）。一方、センター側の情報提示用サーバ６２１からは、通信回線を通じてカタログより選択されたアイテムの表示用データがユーザ端末に送信されるので、ステップＳ７０５においてこれを受信し、情報提示装置６００の情報提示部３０（ディスプレイ）に表示する。情報提示部６０には、合成画像生成プログラムがインストールされており、上記ステップＳ７０４で抽出された、所定の表情やポーズを行っているユーザの画像に対して、上記ステップＳ７０５で受信したアイテム画像を合成し、ユーザがそのアイテムを身に付けた画像を生成して情報提示部３０（ディスプレイ）に表示する（ステップＳ７０６）。利用者がそれを確認して最終的に購入決定を指示すると、ステップＳ７０７からステップＳ７０８へ進み、当該アイテムの購入が成立する。なお、課金部６２４は、利用者による物品購入の際の課金だけでなく、利用者に様々な合成画像データを提供するサービスに対する対価として課金する目的にも用いられる。

なお、上記において、外部より画像データを取得するためのトリガとして顔表情や身体の動きによる情報を用いたが、他の音声や生体情報を加味してトリガとするか否かを決定するようにしてもよい。

＜第３実施形態＞
第３実施形態では、第１実施形態や第２実施形態による情報提示装置（システム）をゲームや映画などの動画像コンテンツを提示するエンターテイメント装置（システム）に適用する。これにより、心身状況検出部２０によって検出された利用者（視聴者）の心身状況の状態レベルに基づいて動画像コンテンツの展開を自動制御（変更）する。以下、第３実施形態の構成、動作について第１実施形態の情報提示装置を用いて説明する。

図８は、データベース５０に格納されている動画コンテンツの構成例を説明する図である。（ａ）の例では、ａから始まって、最終的にｃ１〜ｃ４までのいずれかにたどり着く４種類のストーリーが用意されている。ストーリーの一部であるａの終了時に、利用者の心身状況の状態レベルを検出し、次のストーリー展開として、ｂ１かｂ２のいずれかを選択する。ｂ２の終了時においても同様にｃ２〜ｃ４のいずれかのストーリーが心身状況の状態レベルに応じて選択される。或いは、（ｂ）に示すように、Ａ〜Ｄへのストーリーの転換において、所定の場面において心身状況の状態レベルをチェックし、それに応じてａ１やｂ１等のストーリーを追加的に組み込むような形態でもよい。

即ち、動画像コンテンツ中の予め設定された複数場面において利用者（視聴者）の心身状況の状態レベルを認識し、その認識結果に基づいてコンテンツの表示内容の制御を行う。第１実施形態で説明したように、画像認識部３５に内蔵される利用者の身振り検出部３０３および表情検出部３０２による表情または動作（頷き、パンチのポーズ、泣く、笑う）の検出、または生体信号の状況（心拍数・血圧・呼吸頻度・発汗量の増加など）に基づいて心身状況検出部２０が状態レベルを検出し、この検出結果に応じて動画像の表示展開の変更を行う。例えば、動画像中の登場人物が利用者に向かって問い掛けを行う場面で視聴者の反応（表情または身振り）を画像認識３１５が判定し、予め用意された状態クラス（肯定／否定、満足／不満足、関心有り／無関心、嬉しい／悲しい、など）のいずれかに該当すると判定された場合には、その場面の内容と視聴者の心身状況に関する状態クラスとの対応関係に基づき予め設定されたストーリ展開などを行う。また、動画像展開の制御プログラムは、心拍数や血圧など生体情報の異常が検出されたら、直ちに動画像表示の停止、警告メッセージの表示などを第１実施形態と同様に行う。或いは、利用者の恐怖状態を検出し、ある恐怖状態があるレベルを超えているかいないかで所定の恐怖シーンを提示するか否かを決定する。また、生体反応レベルが所定の範囲内に入るようにストーリ展開の制御（即ち情報提示の制御）を行ってもよい。例えば、興奮度や疲労度などに関する生体反応レベルの許容範囲として上限値、下限値を定め、興奮度または疲労度を上げる方向か下げる方向かの方向性とその変化の大きさに応じた複数のストーリ展開を各分岐点に予め設定しておき、許容範囲の中央値に近づく方向となるストーリ展開を選択する。

＜第４実施形態＞
第４実施形態では、上記第１或いは第２実施形態で示した情報提示装置（システム）をロボットに適用する。例えば、ロボットは手、足、頭部、胴体などを備え、画像センシング部１０および音声センシング部１１を頭部に、生体情報センシング部１２を手に設ける。このように配置することで、ユーザの画像を効率よく捉え、生体情報をユーザとの接触に違和感のない「手」から取得することができるようになる。なお、画像センシング部および音声センシング部は左右２対設ける。ロボット頭部の左右に１対ずつ設けることにより、奥行き分布や立体情報の知覚、音源方向の推定などを行うことができる。こうして、得られたユーザに対するセンシング情報から、心身状況検出部２０が近くにいるユーザの心身状態を推定し、その結果に応じて情報提示を制御する。

＜第５実施形態＞
第５実施形態では、第１実施形態に示したような情報提示システムがディスプレイや壁面／天井面、窓、鏡などに埋め込まれているものとし、利用者からは見えないか、もしくは目立たない状態に置かれているものとする。ディスプレイ、壁面／天井面、鏡などは半透明部材で構成されており、利用者の画像入力が可能になっている。図１で示したセンシング部のうち、画像センシング部１０（顔画像、虹彩画像入力部としての機能を有する）、音声センシング部１１は情報提示システム側に設定される。生体情報センシング部１２は呼気センサ、血圧、心拍数、体温、呼吸パターン計測センサなどが含まれ、第１実施形態で用いたものと同様に通信部を内蔵し、利用者（人物、ペットなどの生体）が装着しているものとする。

ここでは、心身状況検出部５２０は特に利用者の表情、身振り、呼気、虹彩パターン、血圧、などのデータに基づいて利用者の心身の健康状態を推定する。情報提示部３０は、利用者の健康状態に関する情報提示やアドバイス提示などの情報提示を第１実施形態と同様にディスプレイへの文字表示またはスピーカからの音声メッセージにより行う。なお、呼気に基づく病気の診断については日経サイエンス2004年2月号132−133ページに記載の記事などを参照されたい。その他、制御部４０は第１実施形態と同様の機能と構成を有する。また、生体情報センシング部１２は、ユーザに装着され、取得した信号を送信するセンサ部と、この信号を受信する情報提示装置に組み込まれた通信部を含み、センサ部で計測、取得された生体信号は情報提示装置の心身状況検出部２０に提供される。

以上説明した情報提示システムは情報提示の目的以外に、例えば、利用者の表情を認識し、表情の明るさ（または暗さ）評価機能を有する心身状況検出部を用い、制御部は、検出された表情の明るさに応じて、認識された表情が明るいほどディスプレイや照明の明るさが明るくなるように制御するような機器環境設定に用いることもできる。

なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

第１実施形態に係る情報提示装置の構成を示すブロック図である。 第１実施形態による情報提示処理の主要な手順を説明するフローチャートである。 画像認識部１５の構成を示すブロック図である。 生体情報センシング部１２の構成を示すブロック図である。 第１実施形態による情報提示処理を説明するフローチャートである。 第２実施形態による情報提示システムの構成を示すブロック図である。 第２実施形態による情報提示処理を説明するフローチャートである。 第４実施形態によるコンテンツの構成を模式的に示した図である。

Claims (15)

1. 画像情報に含まれる人物像の表情および身体動作を検出する第１検出手段と、
   前記第１検出手段による検出結果に基づいて、ユーザの心身状況を判定する判定手段と、
   画像及び音声の少なくともいずれかにより情報を提示する提示手段と、
   前記判定手段で判定されたユーザの心身状況が第１の所定状況であれば当該第１の所定状況から離脱させるための予め用意された情報の提示を起動し、前記提示手段による情報の提示中に前記心身状況が第２の所定状況になれば当該情報の提示の仕方を変更し、前記心身状況が情報の提示を継続すると危険な状況になれば前記提示手段によって提示中の情報の提示を中止するよう前記提示手段による提示を制御する制御手段とを備えることを特徴とする情報処理装置。
2. ユーザの音声及び生体情報の少なくともいずれかを検出する第２検出手段をさらに備え、
   前記判定手段は、前記第１及び第２検出手段の検出結果に基づいてユーザの心身状況を判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記判定手段は、
   前記第１検出手段により得られた情報に基づいて、ユーザの心身状況に関して予め定義された複数のクラスの一つへ現在のユーザの心身状況を分類する分類手段と、
   前記第２検出手段により得られた情報に基づいて、前記分類手段で分類されたクラスにおける前記現在の心身状況のレベルを決定するレベル付け手段とを備えることを特徴とする請求項２に記載の情報処理装置。
4. 前記判定手段は、
   前記第１検出手段により得られた情報に基づいて、ユーザの心身状況に関して予め定義された複数のクラスから複数の候補のクラスを抽出する抽出手段と、
   前記第２検出手段により得られた情報に基づいて、前記抽出手段で抽出された複数の候補のクラスのいずれか１つに現在のユーザの心身状況を分類するとともに、分類されたクラスにおける該ユーザの心身状況のレベルを決定する決定手段とを備えることを特徴とする請求項２に記載の情報処理装置。
5. 前記画像情報に含まれる人物を特定する特定手段と、
   前記特定された人物に基づいて前記判定手段で利用する個人情報を取得する取得手段とをさらに備えることを特徴とする請求項２に記載の情報処理装置。
6. 前記生体情報は、発汗度、脈拍、呼吸パターン、瞳孔径、虹彩パターンの少なくともいずれかを含むことを特徴とする請求項２に記載の情報処理装置。
7. 前記提示手段は、更に、前記ユーザの心身の状態に関して検出された情報を提示することを特徴とする請求項１又は２に記載の情報処理装置。
8. 前記提示手段は、外部装置より提示すべき情報を取得することを特徴とする請求項１又は２に記載の情報処理装置。
9. 前記判定手段で判定されたユーザの心身状況が予め定められた状況である場合に、その時点のユーザの画像を保持する保持手段をさらに備え、
   前記提示手段は、前記所定の状況であると判定された場合に外部装置より取得した画像を前記保持手段で保持されたユーザの画像に合成して提示することを特徴とする請求項１又は２に記載の情報処理装置。
10. 前記制御手段は、前記判定手段によって判定されるユーザの心身状況が所定のレベル範囲内に収まるように前記提示手段による提示の内容を制御することを特徴とする請求項１又は２に記載の情報処理装置。
11. 前記提示手段は、複数の画像の連続提示もしくは動画の提示を行い、
    前記制御手段は、前記判定手段によって判定された心身状況に基づいて提示内容が異なるように制御することを特徴とする請求項１又は２に記載の情報処理装置。
12. 情報処理装置の制御方法であって、
    第１検出手段が、画像情報に含まれる人物像の表情および身体動作を検出する第１検出工程と、
    判定手段が、前記第１検出工程で検出された状態に基づいて、ユーザの心身状況を判定する判定工程と、
    提示手段が、画像及び音声の少なくともいずれかにより情報を提示する提示工程と、
    制御手段が、前記判定工程で判定されたユーザの心身状況が第１の所定状況であれば当該第１の所定状況から離脱させるための予め用意された情報の提示を起動し、前記提示工程による情報の提示中に前記心身状況が第２の所定状況になれば当該情報の提示の仕方を変更し、前記心身状況が情報の提示を継続すると危険な状況になれば前記提示工程により提示中の情報の提示を中止する制御工程とを備えることを特徴とする情報処理装置の制御方法。
13. 第２検出手段が、音声及び生体情報の少なくともいずれかを検出する第２検出工程をさらに備え、
    前記判定工程は、前記第１及び第２検出工程で検出された状態に基づいてユーザの心身状況を判定することを特徴とする請求項１２に記載の情報処理装置の制御方法。
14. 請求項１２又は１３に記載の情報処理装置の制御方法をコンピュータに実行させるための制御プログラム。
15. 請求項１２又は１３に記載の情報処理装置の制御方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。

Images