JP3733075B2

JP3733075B2 - インタラクション・メディアシステム

Info

Publication number: JP3733075B2
Application number: JP2002030809A
Authority: JP
Inventors: 紀博萩田; 健二間瀬; 眞蓼沼; 信二鉄谷; 恭弘片桐
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2002-02-07
Filing date: 2002-02-07
Publication date: 2006-01-11
Anticipated expiration: 2022-02-07
Also published as: JP2003233798A; US20030170602A1

Description

【０００１】
【発明の属する技術分野】
本発明は、自律的に且つ協調的に人間とインタラクションを行うためのインタラクション・メディアシステムに関するものである。
【０００２】
【従来の技術】
近年、電子メールやインターネットが普及し、大量の情報が地球規模で入手、共有及び発信できるようになっており、政治、経済及び文化等のグローバル化が加速されている。また、超高速ネットワークによる情報基盤の整備の進展に伴い、いつでも、どこでも、だれもが必要な情報をやりとりできるユビキタスな情報流通時代が目前に迫っている。
【０００３】
一方、メディア利用形態の変遷をコミュニケーションの拡がりという観点からみると、テキスト、音及び映像を通じて専門家から大衆へ発信するマス・メディアの時代が始まり、携帯電話や電子メール等のように個人が相互に発信するパーソナル・メディアの時代へ発展し、１９９０年代にはグループウエア及びウエブ（Ｗｅｂ）等によって個人がコミュニティへ発信するコミュニティ・メディアの時代に移行している。また、メディアの次元という観点からみても、コンピュータで扱えるメディアがテキストから音や映像へと発展し、最近では、バーチャル・リアリティ（ＶＲ）、テレ・イグジスタンス等に代表される「場」という空間も含めたものに発展してきている。
【０００４】
【発明が解決しようとする課題】
しかしながら、現在のウエブはハイパーテキストをベースにしたドキュメントの集まりであり、情報を発信する発信者が文字や写真で表現したドキュメント形式の知識情報だけをインターネットを介して受信者に一方的に伝達しただけでは、発信者の体験、感動及び意図を受信者に十分に伝達することができない。
【０００５】
また、ユビキタスな情報流通を実現するためには、情報のグローバル化だけでなく、異文化及び異分野の多様性を認め合う視点が必要となるが、異文化及び異分野を越えたコミュニケーションを実現するには、インターネットで現在利用可能なメディアでは不十分である。
【０００６】
さらに、体験等を発信者と受信者との間で共有するためには、発信者と受信者とが使用する言語の翻訳だけでは不十分であり、非言語の情報をも翻訳する必要があり、発信者と受信者とが使用するメディアが異なっている場合には、非言語情報特有のメディア変換を伴う翻訳すなわちメディア翻訳が必要となるが、このようなメディア翻訳を行い得る技術は現在のところ開発されていない。
【０００７】
一方、人間とインタラクションを行うインタラクション・メディア装置としては、ロボット、ウェアラブル・コンピュータ、エージェントシステム等があるが、これらのインタラクション・メディア装置は単体で動作することを前提としており、実世界で自由に振舞うユーザを、特定の目的に自然に導く技術は確立されていない。
【０００８】
例えば、自動応答の電話番号案内では、ユーザに質問をしてユーザの回答からユーザの要求を抽出し、番号検索を行う方法がとられているが、ユーザが質問と関係のない回答をすると、システムは次の手続に進むことができなくなってしまう。また、ビデオゲームにおけるロールプレイングゲームは、ゲームの制作者が演出して作り出す世界の中でプレイヤの行動を既定してゴールに向うという目的を達成させることを可能にしているが、ビデオゲームというコンピュータ内の閉じた特殊な世界に限られた用途であり、日常活動を支援するという目的から大きく乖離している。
【０００９】
さらに、「角康之，間瀬健二著：エージェントサロン：パーソナルエージェント同士のおしゃべりを利用した出会いと対話の促進，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８４−Ｄ−Ｉ，Ｎｏ．８，ｐｐ．１２３１−１２４３，２００１年８月」や「角康之：ＪＳＡＩ２０００デジタルアシスタントプロジェクトの報告，人工知能学会誌，Ｖｏｌ．１５，Ｎｏ．６，ｐｐ．１０１２−１０２６，２０００年１１月」などにおいては、実世界で行動するユーザに付随して、その状況に合わせた情報を提供するコンピュータエージェントが実現され、前者においてはエージェント同士の対話によってユーザ同士の対話を誘導することを導いているが、前者及び後者ともにユーザの状況を認識しつつ特定の目的に誘導することは実現されていない。
【００１０】
本発明の目的は、人間の体験を相互共有することができるインタラクション・メディアシステムを提供することである。
【００１１】
【課題を解決するための手段および発明の効果】
（１）第１の発明
第１の発明に係るインタラクション・メディアシステムは、複数の協創パートナー装置と、複数の協創パートナー装置と通信可能に接続されるとともに、所定のネットワークを介して他のインタラクション・メディアシステムと通信可能に接続された協調制御手段とを備え、複数の協創パートナー装置のうち第１の協創パートナー装置は、ヒューマノイド型ロボットから構成され、複数の協創パートナー装置のうち第２の協創パートナー装置は、ユーザの体験に関する体験情報のうち視覚情報を観測する視覚情報観測部と、ユーザの体験に関する体験情報のうち聴覚情報を観測する聴覚情報観測部とを含む取得手段と、視覚情報観測部及び聴覚情報観測部によって観測された視覚情報及び聴覚情報を記憶する記憶手段とを備え、協調制御手段は、第２の協創パートナー装置が視覚情報及び聴覚情報を的確に収集するように、予め埋め込まれた演出ルールに従って第２の協創パートナー装置の観測動作に連動してヒューマノイド型ロボットを動作させ、ネットワークを介して記憶手段に記憶されている視覚情報及び聴覚情報を送信する一方、他のインタラクション・メディアシステムから他のユーザの視覚情報及び聴覚情報を受信し、第２の協創パートナー装置は、協調制御手段により受信された他のユーザの視覚情報を再現する画像表示部と、協調制御手段により受信された他のユーザの聴覚情報を再現する音響合成部とを含む再現手段と、取得手段、記憶手段及び再現手段の動作を制御する制御手段とをさらに備え、第２の協創パートナー装置は、再現手段により他のユーザの視覚情報及び聴覚情報をユーザに追体験させながら、取得手段によりユーザを同時に観測するものである。
【００１２】
本発明に係るインタラクション・メディアシステムにおいては、自律的に且つ協調的に人間とインタラクションを行いながら、人間の体験に関する体験情報が取得され、取得された体験情報が記憶されるので、容易な操作で体験情報を高精度に観測することができる。この体験情報を他のインタラクション・メディアシステムへ送信した場合、当該インタラクション・メディアシステムにおいて体験情報に基づいて体験を再現することができるので、人間の体験を相互共有することができる。
【００１３】
（２）第２の発明
第２の発明に係るインタラクション・メディアシステムは、第１の発明に係るインタラクション・メディアシステムの構成において、再現手段は、他のユーザの視覚情報及び聴覚情報を再現するときに、記憶手段に記憶されているユーザのメディア環境及び身体情報と他のユーザのメディア環境及び身体情報とを比較してユーザのメディア環境及び身体情報に適合するように変換された視覚情報及び聴覚情報を再現するものである。
【００１４】
この場合、体験の発信者と受信者とが使用するメディアが異なっている場合でも、人間の体験を相互共有することができる。
【００２３】
【発明の実施の形態】
以下、本発明による体験伝達システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による体験伝達システムの構成を示すブロック図である。
【００２４】
図１に示す体験伝達システムは、協調メディア１ａ，１ｂ及び知育メディア２ａ，２ｂを備え、協調メディア１ａ，１ｂ及び知育メディア２ａ，２ｂは、ネットワーク３を介して相互に通信可能に接続される。なお、図１では、２個の協調メディア１ａ，１ｂ及び２個の知育メディア２ａ，２ｂを図示しているが、ネットワーク３を介して接続される協調メディア及び知育メディアの数は、上記の例に特に限定されず、１又は３個以上の協調メディア又は知育メディアを用いてもよい。
【００２５】
協調メディア１ａ，１ｂを体験の発信に使用する場合、協調メディア１ａ，１ｂは、自律的に且つ協調的に人間とインタラクション（相互作用）を行うことによって、人間の体験を観測して認識・理解し、認識・理解した体験情報を蓄積し、蓄積した体験情報をネットワーク３を介して発信可能な状態で保持する。一方、協調メディア１ａ，１ｂを体験の再現に使用する場合、協調メディア１ａ，１ｂは、知育メディア２ａ，２ｂ又は他の協調メディアに蓄積されている体験情報をダウンロードし、ダウンロードした体験情報を解釈して自身の再現メディアに適合するようにメディア変換を行うとともにメディア合成を行い、体験を再現する。
【００２６】
芸術家や職人等の専門家が知育メディア２ａ，２ｂを使用する場合、知育メディア２ａ，２ｂは、自律的に且つ協調的に専門家とインタラクションを行うことによって、技能情報として専門家の創作過程における感性情報や技巧等の体験情報を計測して体験に関する感性情報等を分析し、その分析結果等から専門家の知識を蓄積した感性・技能辞書を作成し、蓄積した技能情報等をネットワーク３を介して発信可能な状態で保持する。一方、学習者が知育メディア２ａ，２ｂを使用する場合、知育メディア２ａ，２ｂは、自律的に且つ協調的に学習者とインタラクションを行うことによって、学習者の個人情報を計測し、体験に関する感性情報等の個人情報を分析して学習者の個人辞書を作成し、ネットワーク３を介して他の知育メディアから読み出した専門家の技能情報と記憶している学習者の個人情報とを用いて学習者に適合するように専門家の体験を学習者に追体験させる。
【００２７】
ネットワーク３としては、例えば、インターネットが使用され、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に従い協調メディア１ａ，１ｂ及び知育メディア２ａ，２ｂ間で相互にデータ等が送受信される。なお、ネットワーク３としては、インターネットに特に限定されず、イントラネット等の他のネットワーク、または、インターネット、イントラネット等の種々のネットワークを組み合わせたネットワーク等を用いてもよい。また、ネットワークではなく、専用線により協調メディア１ａ，１ｂ及び知育メディア２ａ，２ｂを相互に接続してもよい。
【００２８】
次に、図１に示す協調メディアについてさらに詳細に説明する。図２は、図１に示す協調メディアの一例の構成を示すブロック図である。なお、以下の説明では、協調メディア１ａを例に説明するが、協調メディア１ｂ及び知育メディア２ａ，２ｂも同様に構成される。
【００２９】
図２に示すように、協調メディア１ａは、ｍ個（ｍは任意の正数）の協創パートナー１１〜１ｍ及び協調エージェント５１を含み、各協創パートナー１１〜１ｍは、五感メディア２１〜２ｍ、パートナーエージェント３１〜３ｍ及びサブ・インタラクション・コーパス４１〜４ｍを含む。
【００３０】
協創パートナー１１〜１ｍは、人間と自律的にインタラクションしながら協調して新しいコミュニケーションを創出する。協創パートナー１１〜１ｍとしては、ヒューマノイド型ロボット、ぬいぐるみ型ロボット、ウェアラブル・コンピュータ、実世界インターフェース・エージェント等を用いることができ、これらのヒューマノイド型ロボット等は、主体が明確で人間がインタラクションしやすいコンピュータのコミュニケーション・インターフェース部となる。
【００３１】
例えば、ｍ＝５の場合、協創パートナー１１がロボットから構成され、協創パートナー１２が人形から構成され、協創パートナー１３が椅子、机、壁等に埋め込まれた構造物から構成され、協創パートナー１４がユーザである人間の体に装着したウェアラブル・コンピュータから構成され、協創パートナー１５が複数のカメラ及び各種体感再現装置から構成される。これらの協創パートナーは、ユーザとの対話機能を有しており、ユーザの体験観測結果又は体験再現結果をみて必要に応じてユーザと対話し、協創パートナーがロボット、人形及び構造物の場合、音声合成機能、音声認識機能及び対話制御機能等をも装備している。
【００３２】
上記の協創パートナーは、人間とのインタラクションを自律的且つ協調的に創出することを主なタスクとする人工物の総称を意味し、秘書やガイドとして機能するパーソナル・エージェントにとどまらず、コミュニケーションロボットや、上記の機能を実行するための衣服、家又は街といった環境をも含む広い概念を意味するものである。例えば、内部にセンサやアクチュエータ等を付けたロボット、人形、着衣、家具等が協創パートナーとしてユーザに話し掛け、必要な体験情報等を観測する。
【００３３】
また、協創パートナーは、インタラクションにより自己を表現するメディアとしてとらえることもでき、自分のインタラクティブな体験情報を表現及び加工して他人と共有したり、新しい体験を創造するコミュニケーション形態を実現することができる。
【００３４】
さらに、協創パートナーは、人間のコミュニケーションにおける相互作用や振る舞いの原理を認知科学的に解明することにも利用することができ、人間の振る舞いをモデル化して操作性のよいコンピュータ・インターフェースを確立することができる。
【００３５】
各五感メディア２１〜２ｍは、人間の五感である視覚、聴覚、嗅覚、味覚、触覚等を検出する五感センサ及びこれらの五感を人間に伝達するためのアクチュエータ等から構成され、体験に関する五感情報、生体情報及び身体情報等を体験情報として観測し認識・理解するとともに、体験情報等を用いて体験を再現する。
【００３６】
具体的には、五感メディア２１〜２ｍは、パターン認識・理解技術及びマルチメディア内容検索技術等を用いて、ユーザの体験、感動及び相互作用等を計測して認識・理解し、体験情報等を獲得する。例えば、五感メディア２１〜２ｍは、人間の動作、人体情報、心拍等を観測することによって人間の体験を計測及び獲得したり、同期コミュニケーションを基本とするテレ・イグジスタンス技術及び場表現を含む人工現実感技術等を用いて体験を再現する。
【００３７】
各パートナーエージェント３１〜３ｍは、ＣＰＵ（中央演算処理装置）等から構成され、協創パートナー１１〜１ｍ単体の動作を制御するとともに、有線又は無線によって協調エージェント５１に接続され、体験情報等を協調エージェント５１に送信したり、協調エージェント５１から受信する。
【００３８】
各サブ・インタラクション・コーパス４１〜４ｍは、ハードディスクドライブ等の記憶装置等から構成され、協創パートナー１１〜１ｍの内部にそれぞれ別々に設けられ、五感メディア２１〜２ｍによって計測されたユーザの体験や相互作用をコンピュータが処理可能な形式でデータベース化して記憶して蓄積する。サブ・インタラクション・コーパス４１〜４ｍに蓄積されたデータは、体験を再現するための素データ又はユーザの相互作用や常識をコンピュータが認識・理解するための辞書として用いられる。
【００３９】
例えば、サブ・インタラクション・コーパス４１〜４ｍは、Ｃｙｃ、ＷｏｒｄＮｅｔ、ＥＤＲ（電子辞書）等の言語領域における知識ベース化だけでなく、非言語領域における映像、触覚、味覚、臭覚及び体性感覚等の人間が利用しているすべてのモダリティデータを統合的に蓄積し、それらに意味的なタグ付けが行われている内容を含む。このタグ付けは、従来のパターン認識の方法を継承するだけでなく、協創パートナー１１〜１ｍによりインタラクションを演出し、あるドメインに引き込みながらタグ付けを行う。このようにして、サブ・インタラクション・コーパス４１〜４ｍは、暗黙知や技と呼ばれる知識及び日常的な相互作用等をコンピュータが認識できる知識として構築する。
【００４０】
なお、協調エージェント５１からサブ・インタラクション・コーパス４１〜４ｍをみた場合、サブ・インタラクション・コーパス４１〜４ｍは、後述する協調エージェント５１の制御によって論理的に１つのインタラクション・コーパス５２として機能する。
【００４１】
協調エージェント５１は、ＣＰＵ等から構成され、マルチエージェント機能を有するとともに、有線又は無線によってデータを送受信可能な状態で各協創パートナー１１〜１ｍに接続され、各協創パートナー１１〜１ｍを同期及び非同期制御してユーザの体験情報等からインタラクション・コーパス５２を構築する。また、協調エージェント５１は、ゲートウエイ機能を有し、情報を発信及び受信可能な状態でネットワーク３に接続されている。
【００４２】
ロボット、ウェアラブル・コンピュータ、エージェントシステム等から協創パートナー１１〜１ｍが構成されている場合、協調エージェント５１は、ユーザの状況を画像処理、音声処理及びセンサ信号処理等を用いて認識しつつ、体験内容に応じて予め埋め込まれた演出ルールに従って体験情報を的確に収集するように、協創パートナー１１〜１ｍを連動して動作させ協調的に制御する。
【００４３】
例えば、ロボットとウェアラブル・コンピュータとが連動して、ウェアラブル・コンピュータのセンサ情報を使ってユーザの生理状態を観測しながら、ロボットがアクションを起して体験を導くことができる。また、スナップ写真の撮影をする場合、被写体の目線をカメラ方向に向けてリラックスした笑顔を演出して撮影することが望まれるが、ヒューマノイド型ロボットに指差しの動作を行わせることにより、被写体であるユーザの目線を誘導して「はい笑って」というようなきっかけを与えるとともに、ユーザが装着しているウェアラブル・コンピュータのセンサが笑顔に関連する生理情報を検出したときにシャッターを押すことができる。さらに、限られたセンサ群でユーザの体験を的確に観測するために、センシングに都合の良い場所や配置にユーザを導くことも、ロボットなどのジェスチャーや対話で演出することができる。
【００４４】
なお、上記の説明では、協調メディアが複数のパートナーエージェントから構成される場合について説明したが、一つのパートナーエージェントから協調メディアを構成してもよく、この場合、協調エージェントは不要となる。
【００４５】
次に、図２に示す五感メディアについてさらに詳細に説明する。図３は、図２に示す五感メディアの一例の構成を示すブロック図である。なお、以下の説明では、五感メディア２１を例に説明するが、他の五感メディアも同様に構成される。
【００４６】
図３に示すように、五感メディア２１は、五感メディア入力部６１及び五感メディア出力部７１を含む。五感メディア入力部６１は、観測部６２、特徴抽出部６３、特徴抽出プログラム部６４、認識・理解部６５及び認識標準辞書部６６を含み、五感メディア出力部７１は、再現部７２、メディア合成部７３、合成プログラム部７４、メディア変換部７５及び変換辞書部７６を含む。
【００４７】
五感メディア入力部６１は、ユーザの体験を観測して認識・理解し、その結果をパートナーエージェント３１へ送り、体験情報等がサブ・インタラクション・コーパス４１に蓄積される。
【００４８】
観測部６２は、一つ又は複数の観測装置から構成され、体験を観測する観測系として人間の動作、表情、触覚、脈拍等の生体情報等を観測し、例えば、人間の行動を複数のカメラから追従する方法（「追跡対象の動きを利用した多数カメラの位置・姿勢推定」，情報処理学会，ＣＶＩＭ研究会、２００２−ＣＶＩＭ−１３１−１７，ｐｐ．１１７−１２４，２００２等参照）、顔及び眼を追跡する方法（「アイカメラへの目位置出力を目的とした目の検出と追跡」，信学技報，ＰＲＭＵ２００１−１５３，ｐｐ．１−６，２００１等参照）、脈拍センサを用いて脈拍を計測する方法等を用いて各データを収集する。
【００４９】
上記の処理を行うため、例えば、観測部６２は、複数のカメラ等から構成される視覚情報観測部６７、複数のマイク等から構成される聴覚情報観測部６８、及び複数の生体センサ等から構成される触覚・生体情報観測部６９等から構成される。なお、触覚・生体情報観測部６９内に、嗅覚情報を観測する嗅覚情報観測部や味覚情報を観測する味覚情報観測部等を設けてもよい。
【００５０】
視覚情報観測部６７はユーザの視覚情報を観測し、聴覚情報観測部６８はユーザの聴覚情報を観測し、触覚・生体情報観測部６９はユーザの触覚・生体情報を観測し、各観測データは時系列データとして特徴抽出部６３に入力される。また、触覚・生体情報観測部６９では周囲の環境情報、例えば、温度、湿度、風力、イオン濃度等を観測してもよい。
【００５１】
このとき、特徴抽出プログラム部６４には、各観測系の特徴抽出プログラムがネットワーク３等を介してダウンロードされて予め記憶されている。また、複数台の一眼レフカメラや全方位カメラ等を用いて計測する場合、各カメラのキャリブレーション情報、三次元位置等の情報が、事前にサブ・インタラクション・コーパス４１に格納される。さらに、認識・理解部６５には、ネットワーク３又はインタラクション・コーパス５２から認識すべきユーザ身体のクラス及び身体の動き情報のクラス等の認識標準辞書が認識標準辞書部６６から予め読み込まれている。例えば、ユーザ身体のクラスには、左手、右手、肩、顔、視線、顔の向き、口の形状、筆、硯、半紙、フルート、ギター、フルートのフレット、ギターの弦等が該当し、身体の動き情報のクラスには、右手で筆を持つこと、筆を払うこと、筆を硯に向けること、筆に墨をつけること、グリッサンド奏法等が該当する。
【００５２】
特徴抽出部６３は、ＣＰＵ等から構成され、特徴抽出プログラム部６４に記憶されている各観測系の特徴抽出プログラムを読み出して特徴抽出処理を実行することにより、特徴を抽出して特徴パラメータ群に蓄積するとともに、既に蓄積されている特徴パラメータ等と比較し、特徴ベクトル等の特徴データを認識・理解部６５へ出力する。
【００５３】
また、特徴抽出部６３は、サブ・インタラクション・コーパス４１等に蓄えている身長、体格、心拍数、発汗情報等の身体情報に基づいて認識標準辞書部６６との照合を高精度に行うために正規化処理を行う。この正規化処理は、例えば、認識標準辞書部６６に身体情報として身長が１５０ｃｍ、腕の長さが７０ｃｍと記憶され、ユーザの身長が１８０ｃｍ、腕の長さが８０ｃｍである場合には、腕の位置を求めるための特徴抽出プログラムの各パラメータを１８０ｃｍ、８０ｃｍに正規化して測定するために必要な処理である。
【００５４】
認識・理解部６５は、ＣＰＵ等から構成され、特徴データを基に種々の分析を行い、認識処理において入力された特徴ベクトルと認識標準辞書部６６に記憶されているベクトルとの間で公知の識別関数を用いて比較計算を行い、最大一致度を示す認識クラス等を認識結果として出力する。例えば、認識・理解部６５は、行動パターンとして動きの特徴データから物を探しているのか、目的の場所が分かって歩いているのか等を認識・理解したり、顔を追跡して顔の傾き及び動きの大小から不安な状態、安定な状態、鬱状態、躁状態等のいずれの精神状態であるかを認識・理解したり、脈拍から興奮状態、平常状態等のいずれであるかを認識・理解する。また、認識・理解部６５は、三次元画像計測のために複数台のカメラ等から出力される観測結果を用いて三次元復元が可能か否かを判断し、判断結果をパートナーエージェント３１へ送信する。
【００５５】
上記の各処理は、パートナーエージェント３１により制御され、パートナーエージェント３１は、認識結果及び観測データ等を体験情報としてサブ・インタラクション・コーパス４１に格納し、例えば、上記の一連の時間軸の流れがサブ・インタラクション・コーパス４１に送信されて記憶される。
【００５６】
五感メディア出力部７１は、ユーザの体験情報に関するインタラクション・コーパス５２の内容とネットワーク３を介して受信した他のユーザのインタラクション・コーパスの内容とを比較し、受信した他のユーザの体験情報を再現部７２に適合するように変換してメディア合成を行う。
【００５７】
再現部７２は、追体験を再現する再現系等として、音、映像、触覚（肌触り、力覚、弛緩刺激、風、温度環境、湿度環境等）、匂い、味覚等を再現する。例えば、再現部７２は、複数の映像表示装置等から構成される画像表示部７７、複数のスピーカ等から構成される音響合成部７８、及び複数の体感装置から構成される体感情報再現部７９等から構成される。
【００５８】
メディア変換部７５は、ＣＰＵ等から構成され、ユーザの体験情報に関するインタラクション・コーパス５２の情報と他のユーザのメディア環境及び身体情報に関する情報とを比較して変換辞書を作成し、変換辞書部７６に格納する。例えば、身体情報の正規化変換処理では、体験情報を発信したユーザの身長が１８０ｃｍ、腕の長さが８０ｃｍであり、体験情報を受信したユーザの身長が１６０ｃｍ、腕の長さが７０ｃｍである場合には、再現時の腕の位置を求めるためのメディア合成プログラムの各パラメータを１６０ｃｍ、７０ｃｍに正規化して再現パラメータを決定する。また、３台のカメラを用いてあるユーザの体験が計測され、２台のカメラを用いて他のユーザが体験共有する場合、３台のカメラによって計測された体験情報を２台のカメラを用いて再現できるようにメディア変換を行う。
【００５９】
メディア合成部７３は、ＣＰＵ等から構成され、合成プログラム部７４に記憶されている合成プログラムを読み出してメディア合成処理を実行することにより、メディア変換部７５によって再現部７２に適するように変換された特徴データを、変換辞書部７６の内容を参照して特徴パラメータ群と比較・合成して再現部７２が動作可能な信号に変換し、再現部７２を用いて体験を再現する。なお、合成プログラム部７４に記憶されている合成プログラムは、ネットワーク３又は体験情報を発信した協調メディアのインタラクション・コーパス等からダウンロードされて予め記憶されている。
【００６０】
上記の処理が終了した後に、協創パートナー１１〜１ｍのいずれかが、他のユーザの体験を協調メディア１ａを使用するユーザに対して再現できる段階になったことを対話により伝え、ユーザＢへの体験共有を再現する。このとき、ユーザから体験共有に関して不満や疑問が出た場合、協創パートナー１１〜１ｍのいずれかが必要に応じてユーザと対話し、所望の体験共有ができるまでメディア変換部７５及びメディア合成部７３によりパラメータを変えて再現を繰り返す。
【００６１】
このように、図３に示す五感メディア２１では、ネットワーク３を介して他の協調メディアのインタラクション・コーパスに蓄積されている身体情報（身長、体重、性別、運動能力、視力、年齢等）等を用いて、追体験するユーザすなわち個人に適応した情報変換を加味してメディア変換を行うことができるので、多数のユーザに対して同時に体験を再現することができる。また、観測部６２と再現部７２とが別々に設けられることにより、再現部７２によりユーザに追体験させながら、観測部６２によりユーザを同時に観測することができるので、観測部６２の観測結果に基づいて再現部７２へ出力する信号を変化させるフィードバック機能を実現することができ、追体験を観測時の体験に近づけることができる。
【００６２】
本実施の形態では、協調メディア１ａ，１ｂ及び知育メディア２ａ，２ｂがインタラクション・メディア装置並びに第１及び第２のインタラクション・メディア装置に相当し、五感メディア２１〜２ｍが取得手段及び再現手段に相当し、五感メディア入力部６１が取得手段に相当し、五感メディア出力部７１が再現手段に相当し、サブ・インタラクション・コーパス４１〜４ｍが記憶手段に相当し、パートナーエージェント３１〜３ｍが制御手段に相当し、協創パートナー１１〜１ｍが協創パートナー装置に相当し、協調エージェント５１が協調制御手段に相当する。
【００６３】
次に、体験情報として書道家による習字の筆遣いの過程を観測する場合について説明する。図４は、体験情報として書道家による習字の筆遣いの過程を観測する場合のサブ・インタラクション・コーパスのデータ内容の一例を示す図である。
【００６４】
図４に示す例では、まず、時間ｔ１において、協調メディア１ａの協創パートナーｉ（ｉ＝１１〜１ｍ）がユーザＡに話し始め、観測部６２の観測装置１〜ｊ（ｊは任意の正数）が体験情報を観測し始めた状態を示し、次に、時間ｔ２において、ユーザＡが応答したことを示している。また、この時間間隔ｔ１〜ｔ２では、三次元計測復元が不可能であることが示されている。
【００６５】
次に、時間ｔ３において、協創パートナーｉが対話データ２を発した直後に、三次元計測復元が可能になり、体験情報として観測が有効な段階に入ったことが示されている。この時間ｔ３の前後から身体行動の認識・理解処理も結果を出し始め、ユーザの筆遣いの時間系列をテキスト形式で復元することができる。また、感情認識・理解処理においても、ユーザの脈拍数を計測することにより、時間ｔ２付近からユーザＡが精神的に安定した状態で書を書き始めていることがわかる。このように、サブ・インタラクション・コーパスには、観測部からの観測データ、認識・理解結果、認識プログラム、身体情報等が格納されている。
【００６６】
次に、協調メディア１ａをユーザＡが使用し、協調メディア１ｂをユーザＢが使用する場合の協調メディア１ａ、１ｂの動作について説明する。
【００６７】
まず、協調メディア１ａは、ユーザＡとのインタラクションに応じて五感メディア２１〜２ｍを制御し、ユーザＡの体験に関する音、映像、生体情報、身体情報等を観測し、認識・理解処理等によって言語情報及び非言語情報に関するインタラクション・コーパス５２を作成するとともに、複数の協創パートナー１１〜１ｍによって体験を観測して各観測結果を統合する。また、協調メディア１ａは、体験情報に欠落があるか否かを調べ、必要に応じて再度測定を行う。
【００６８】
次に、ユーザＢが協調メディア１ｂを用いてネットワーク３を介してユーザＡの体験情報を検索し、ユーザＡの体験をユーザＢに伝達する。このとき、ユーザＡとユーザＢとの間で観測できるメディア、生体情報、身体情報、環境等が異なっている場合、インタラクション・コーパスの中にこれらの相違を識別するための属性データを作成し、ユーザ間での相互変換を行う。すなわち、ユーザＢの協調メディア１ｂがユーザＡとユーザＢとのインタラクション・コーパスを比較し、ユーザＢのメディア環境で体験を共有できるデータを再現する。
【００６９】
図５は、体験を共有して新たな体験を創造する体験共有コミュニケーションの一例を示す図である。図５に示すように、一家団欒のひと時に図１に示す体験伝達システムを使用して少年が学校で体験した授業内容を受け取り、少年の体験を家族と共有して家族皆で新たな体験が創出される。このとき、理解を深め、新たな発想や創造性を高めるために、ヒューマノイド型ロボットＲ１やぬいぐるみ型ロボットＲ２がインタラクティブな演出を行い、少年の父が恐竜の肌触りを擬似的に体験することができる。これらロボットは、家族の会話を聴いているうちにその内容を検知し、その内容に近いデータ、この場合は学校での体験データを自動的に収集し、家族に提示する。このようにして、現存のインターネット検索のような煩わしさから解放される。
【００７０】
次に、知育メディア２ａを専門家が使用し、知育メディア２ｂを学習者が使用する場合の知育メディア２ａ、２ｂの動作について説明する。
【００７１】
まず、知育メディア２ａは、対象とする創作活動等における専門家の創作過程や動作を時空間的に精密に測定する。次に、知育メディア２ａは、創作結果において優れた効果が表れることとなった重要な因子を創作過程から抽出する。ここで、重要な因子は、多数の創作過程における種々の時空間上の物理パラメータと創作結果上の対応部分に対する評価値との相関を事前に調べておくことによって特定することができる。このようにして、抽出された創作過程の各因子は、工程毎にラベル付けされ、感性及び技能に関する辞書データが技能情報として知育メディア２ａ内のインタラクション・コーパスに蓄積される。
【００７２】
一方、学習者についても、同様の創作過程や動作を計測して各因子を抽出し、学習者本人の感性や技能が反映された個人辞書データを個人情報として知育メディア２ｂ内のインタラクション・コーパスに蓄積しておく。この個人辞書は、事前に別個作成しておかなくとも、標準的な人の個人辞書を初期辞書として使用し、手本の過程が示された際の追従動作を計測した結果によって、自動的に辞書を更新していくことにより作成してもよい。この場合、この更新処理によって学習者の技能の向上に伴って最新の個人辞書が残されていくこととなる。
【００７３】
知育メディア２ｂは、専門家による手本となる感性・技能辞書となる知育メディア２ａ内のインタラクション・コーパスに蓄積されている各因子と学習者の個人辞書となる知育メディア２ｂ内のインタラクション・コーパスに蓄積されている各因子との違いを随時比較し、学習者が追従し得るレベルよりも幾分高度なレベルになるように縮小した各因子の差分に学習者の個人辞書の各因子に加えたものを、五感メディアを用いて手本として提示する。
【００７４】
上記の処理により、学習者が初めから専門家の高度な技能を真似るような無理を押し付けられたり、個性を無視されたりすることなく、各時点で最良の手本を参考にすることができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による体験伝達システムの構成を示すブロック図である。
【図２】図１に示す協調メディアの一例の構成を示すブロック図である。
【図３】図２に示す五感メディアの一例の構成を示すブロック図である。
【図４】体験情報として書道家による習字の筆遣いの過程を観測する場合のサブ・インタラクション・コーパスのデータ内容の一例を示す図である。
【図５】体験を共有して新たな体験を創造する体験共有コミュニケーションの一例を示す図である。
【符号の説明】
１ａ，１ｂ協調メディア
２ａ，２ｂ知育メディア
３ネットワーク
１１〜１ｍ協創パートナー
２１〜２ｍ五感メディア
３１〜３ｍパートナーエージェント
４１〜４ｍサブ・インタラクション・コーパス
５１協調エージェント
５２インタラクション・コーパス
６１五感メディア入力部
６２観測部
６３特徴抽出部
６４特徴抽出プログラム部
６５認識・理解部
６６認識標準辞書部
６７視覚情報観測部
６８聴覚情報観測部
６９触覚・生体情報観測部
７１五感メディア出力部
７２再現部
７３メディア合成部
７４合成プログラム部
７５メディア変換部
７６変換辞書部
７７画像表示部
７８音響合成部
７９体感情報再現部

Claims

複数の協創パートナー装置と、前記複数の協創パートナー装置と通信可能に接続されるとともに、所定のネットワークを介して他のインタラクション・メディアシステムと通信可能に接続された協調制御手段とを備え、
前記複数の協創パートナー装置のうち第１の協創パートナー装置は、ヒューマノイド型ロボットから構成され、
前記複数の協創パートナー装置のうち第２の協創パートナー装置は、
ユーザの体験に関する体験情報のうち視覚情報を観測する視覚情報観測部と、ユーザの体験に関する体験情報のうち聴覚情報を観測する聴覚情報観測部とを含む取得手段と、
前記視覚情報観測部及び前記聴覚情報観測部によって観測された視覚情報及び聴覚情報を記憶する記憶手段とを備え、
前記協調制御手段は、前記第２の協創パートナー装置が視覚情報及び聴覚情報を的確に収集するように、予め埋め込まれた演出ルールに従って第２の協創パートナー装置の観測動作に連動して前記ヒューマノイド型ロボットを動作させ、前記ネットワークを介して前記記憶手段に記憶されている視覚情報及び聴覚情報を送信する一方、他のインタラクション・メディアシステムから他のユーザの視覚情報及び聴覚情報を受信し、
前記第２の協創パートナー装置は、
前記協調制御手段により受信された他のユーザの視覚情報を再現する画像表示部と、前記協調制御手段により受信された他のユーザの聴覚情報を再現する音響合成部とを含む再現手段と、
前記取得手段、前記記憶手段及び前記再現手段の動作を制御する制御手段とをさらに備え、
前記第２の協創パートナー装置は、前記再現手段により他のユーザの視覚情報及び聴覚情報をユーザに追体験させながら、前記取得手段によりユーザを同時に観測することを特徴とするインタラクション・メディアシステム。
前記再現手段は、他のユーザの視覚情報及び聴覚情報を再現するときに、前記記憶手段に記憶されているユーザのメディア環境及び身体情報と他のユーザのメディア環境及び身体情報とを比較してユーザのメディア環境及び身体情報に適合するように変換された視覚情報及び聴覚情報を再現することを特徴とする請求項１記載のインタラクション・メディアシステム。