JP3644100B2 - エージェント表示装置 - Google Patents
エージェント表示装置 Download PDFInfo
- Publication number
- JP3644100B2 JP3644100B2 JP31413295A JP31413295A JP3644100B2 JP 3644100 B2 JP3644100 B2 JP 3644100B2 JP 31413295 A JP31413295 A JP 31413295A JP 31413295 A JP31413295 A JP 31413295A JP 3644100 B2 JP3644100 B2 JP 3644100B2
- Authority
- JP
- Japan
- Prior art keywords
- agent
- image
- message
- database
- storage area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータシステムのヒューマンインタフェースにおいて、擬人化された情報処理プロセスであるエージェントの表示を行うエージェント表示装置に関する。
【０００２】
【従来の技術】
擬人化されたエージェントは、計算機やネットワーク内を代理人のように自由に動き回って仕事を行ない、次のような特長を持つことが期待されている（Laurel,B., The Art of Human-Computer Interface Design）。
【０００３】
それは、エージェントの外見から内面を予想できること、言語的な対話ができること、我々の注意を引くようなメタファを持つことである。各ユーザに一つずつ起動されたエージェントが、図１４のように、ユーザの要求に適合する情報を他のエージェントと協調して得るという技術が知られている(公開特許平7-6142)。
【０００４】
また、ユーザインタフェースに用いた場合、案内役のキャラクターがシステム状態を表情によって表現するという技術が知られている(公開特許平3-215891)。
【０００５】
従来、インターネット上の情報を表示するネットスケープ・ナビゲータ(Netscape Navigator)のようなソフトウェアツールが知られている。ある情報についてユーザが知りたい場合には、キーワードを入力すると関連する情報の存在するネットワーク上の場所を提示してくれる検索技術を使ったサービスがよく知られている。
【０００６】
一方、人の動きをリアルにコンピュータ上に実現するために、人の骨格の動きをモデル化するスケルトンモデル技術が知られている（Monheit et al. A kinematic model of the human spine and torso.IEEE Computer Graphics and Applications, March 1991.)。
【０００７】
３次元のスケルトンモデルにイメージを張り付けて、動作させることによってアニメーションのフレーム画像を作成するコンピュータグラフィックス技術が知られている(Robertson,B., Toy Story: A triumph of animation, Computer
Ｇｒａｐｈｉｃｓ Ｗｏｒｌｄ， Ａｕｇｕｓｔ １９９５．）。
【０００８】
【発明が解決しようとする課題】
インターネットナビゲーションと呼ばれる検索対象が曖昧な場合の情報検索において、キーワード検索はキーワードの選択が難しかった。
【０００９】
インターネットのWWWサーバでユーザに提供されるおすすめのサーバ情報は、提供情報が固定的であり、各ユーザはその中から自分の目的や好みに合った情報を探さなければならないという問題点があった。また、コンピュータシステムから一般ユーザに対して出力されるヘルプメッセージやシステムメッセージが、初心者にとって分かりにくいという問題点がある。
【００１０】
本発明は、検索対象が曖昧な場合の情報検索におけるユーザの目的や好みや、ユーザのコンピュータの熟練レベルに合った処理をしてくれるユーザインタフェースを提供することを第一の目的とする。
【００１１】
一方、エージェントなどを表現する際の、コンピュータグラフィックスによる３次元モデルで擬人的なアニメーションを作成するには、レンダリング処理などのコンピュータグラフィックス処理に膨大な計算量を必要とするため、作成に時間がかかり過ぎてリアルタイムに表示できないという問題点があった。また、エージェントの画像表現や反応が固定的であり、変更ができないため、ユーザが自分の好みに応じて表現に変更を加えることができないという問題点があった。
【００１２】
本発明は、擬人的な動きをするアニメーションを簡単な操作で作成して表示し、動きのパターンを状況やユーザの好みに応じて変更できる手段を提供することを第二の目的とする。
【００１３】
また、電子メール通信においては、マルチメディアを駆使した楽しい電子メールを相手に出したいという利用者の要望は多いが、動画像データや音声データを加工するのに手間がかかるので、文章による伝達が一般的に多用されている。文字ばかりであると、読む時間がかかる、一目見て用件が分かりにくいという問題点があった。
【００１４】
本発明は、電子メールにおいて、単純な用件を簡単な操作で分かりやすく伝達できる意志伝達手段を提供することを第三の目的とする。
【００１５】
【課題を解決するための手段】
第一の課題を解決するために、本発明は、エージェントのディスプレイ上の表示イメージに服装イメージを上に重ねる服装上書き手段と、服装データベースとを有することによって、検索する対象分野をエージェントの服装によって分かりやすく表現し、エージェントの属性によってメッセージの言い回しを変更するメッセージ設定手段と、種々の言い回しをするメッセージを格納するメッセージデータベースとを有することによって、メッセージの言い回しからエージェントの検索方針を分かりやすく表現し、また、現在の状況によって感情を表現するイメージパターンを動的に設定するフレーム画像生成手段と、感情表現イメージパターンデータベースとを有することによって、検索状況をエージェントの感情として分かりやすく表現し、複数個のエージェントを表示するエージェントリスト表示手段を有することによって、ユーザの趣向や目的に合ったエージェントが選択できるようにするものである。
【００１６】
第二の課題を解決するために、本発明は、エージェントオブジェクトに記述された処理を実行するエージェント処理手段と、感情を表現するイメージのスケルトンモデルを格納する感情表現イメージパターンデータベースと、スケルトンモデルを編集する感情表現イメージパターン編集手段と、スケルトンモデルに基本イメージをマッピングしてフレーム画像を生成するフレーム画像生成手段とを有することによって、スクリプトとスケルトンモデルによる簡単なフレーム画像を生成できるものである。
【００１７】
第三の課題を解決するために、本発明は、上記の感情表現イメージパターンデータベースと、感情表現イメージパターン編集手段と、フレーム画像生成手段とに加えて、通信手段やシステム状態監視手段を有することによって、エージェントによるコミュニケーション手段を提供するものである。
【００１８】
【発明の実施の形態】
本発明の請求項１に記載の発明は、擬人化された情報処理プロセスであるエージェントに関して、エージェントの属性や処理を規定するデータであるエージェントオブジェクトを格納するエージェントオブジェクト記憶領域と、エージェントの出力するメッセージを格納するメッセージ記憶領域と、エージェントの画像フレームを格納するフレーム画像記憶領域と、エージェントの表示イメージの基本構成画像を格納する基本イメージデータベースと、エージェントオブジェクトに記述された処理を実行するエージェント処理手段と、エージェントの出力を出力装置に送出するエージェント出力手段と、複数個のエージェントを表示し、ユーザの選択を受け付けるエージェントリスト表示選択手段と、エージェントの属性によってメッセージの言い回しを変更するメッセージ設定手段と、種々の言い回しをするメッセージを格納するメッセージデータベースとを有するエージェント表示装置としたものであり、エージェントの性格特性をメッセージのいい回しによって表現しユーザが種々のエージェントの中からエージェントを選択できる環境を提供するという作用を有する。
【００２０】
本発明の請求項２に記載の発明は、メッセージ設定手段とメッセージデータベースとが、音声による音声メッセージ表現方法設定手段と、音声メッセージデータベースとである請求項２記載のエージェント表示装置としたものであり、エージェントの性格特性を音声によるメッセージのいい回しによって表現しユーザが種々のエージェントの中からエージェントを選択できる環境を提供するという作用を有する。
【００２７】
本発明の請求項３に記載の発明は、擬人化された情報処理プロセスであるエージェントに関して、エージェントの属性や処理を規定するデータであるエージェントオブジェクトを格納するエージェントオブジェクト記憶領域と、エージェントの出力するメッセージを格納するメッセージ記憶領域と、エージェントの画像フレームを格納するフレーム画像記憶領域と、エージェントの表示イメージの基本構成画像を格納する基本イメージデータベースと、エージェントオブジェクトに記述された処理を実行するエージェント処理手段と、エージェントの出力を出力装置に送出するエージェント出力手段と、エージェントの表示イメージに服装イメージを上書きする服装イメージ設定手段と、服装イメージデータベースと、エージェントの属性によってメッセージの言い回しを変更するメッセージ設定手段と、種々の言い回しをするメッセージを格納するメッセージデータベースと感情を表現するイメージのスケルトンモデルを格納する感情表現イメージパターンデータベースと、スケルトンモデルに基本イメージをマッピングしてフレーム画像を生成するフレーム画像生成手段と、エージェントオブジェクトを編集するエージェントオブジェクト編集手段と、ネットワークに接続された通信手段とを有するエージェント表示装置としたものであり、エージェントオブジェクトを送受信して通信を行なうという作用を有する。
【００２８】
本発明の請求項４に記載の発明は、ネットワークに接続された通信手段が、システムの状況を監視するシステム状態監視手段である請求項３記載のエージェント表示装置としたものであり、エージェントがシステム状態を知らせるという作用を有する。
【００２９】
以下、本発明の実施の形態について、図１から図１２を用いて説明する。
(実施の形態１)
図１は、本発明の実施の形態１によるエージェント表示装置１００の構成図を示す。本実施の形態では、情報検索手段１１１を通じて、ネットワーク１１４上の情報源をエージェントによって検索する際のエージェントの表示に関して説明する。まず、全体の処理の流れの概要を説明する。
【００３０】
最初に情報検索処理を起動すると、情報検索手段１１１がエージェント制御手段１４を起動する。エージェントの指定がある場合は、エージェント制御手段１４は、エージェント処理手段５を起動する。エージェントの指定がない場合は、エージェントリスト表示選択手段１３を起動して、検索に適するエージェントをユーザに選択させる。単数でも複数でもエージェントを選択できる。
【００３１】
エージェントを選択すると、エージェント制御手段１４は、エージェント処理手段５に制御を渡し、それぞれのエージェントに対応した処理をさせる。それぞれのエージェントの処理は、エージェントオブジェクトと呼ばれるデータに記述されており、エージェントオブジェクトは、エージェントオブジェクト記憶領域１に格納されている。
【００３２】
エージェントオブジェクトのデータ構造は、エージェントの出力するメッセージ、エージェントのディスプレイ上に一定時間ごとに出力されるフレーム画像、基本イメージとから構成されている。メッセージとフレーム画像と基本イメージは、それぞれメッセージ記憶領域２、フレーム画像記憶領域３、基本イメージデータベース４に格納されている。
【００３３】
メッセージ設定手段９は、メッセージデータベース１０に記憶されたメッセージのいくつかをメッセージ記憶領域２内にコピーしエージェントオブジェクトの一部として設定する手段である。
【００３４】
服装イメージ設定手段７は、服装イメージデータベース８内の服装イメージを、フレーム画像上に上書きする手段である。フレーム画像生成手段１１は、感情表現イメージパターンデータベース１２と基本イメージデータベース４とを用いて、フレーム画像を生成してフレーム画像記憶領域３に格納する手段である。
【００３５】
以下、それぞれの部分について、詳細に説明する。一つのエージェントに対して、一つのエージェントオブジェクトが定義され、エージェントオブジェクト記憶領域１に格納されている。エージェントオブジェクトのデータ構造は、属性と属性値の組で表現されている。属性の数は、増加可能な構造になっている。メッセージは、メッセージ記憶領域２に格納されている。
【００３６】
図２に、エージェントオブジェクトのデータ例を示す図を示した。この例では、「花子さん」エージェントのエージェントオブジェクトである。
【００３７】
図３に、そのエージェントオブジェクトのリンク関係を含むデータ構造図を示した。これらを参照して、エージェントオブジェクトのデータ構造の説明をする。エージェントオブジェクトは、エージェント名で一意的に管理されている。エージェントオブジェクトは、大きく基本要素項目と、行動規則項目と、感情表現パターン項目とメッセージ項目とに分かれる。以下、それぞれについて説明する。
【００３８】
基本要素項目は、性格、出身、性、専門分野、得意分野という属性を持つ。メッセージ設定手段９は、これらの属性値から、メッセージデータベース１０の中の適当なメッセージデータを選択して、メッセージ項目の「挨拶する」や「転送する」などにメッセージのポインターを設定する。
【００３９】
メッセージが音声の場合は、性属性によって、男性または女性の声のメッセージの音声データがメッセージデータベース１０から選択される。
【００４０】
行動規則項目では、条件によってどのようにエージェントが行動を変化させるかが、Ｉｆ−Ｔｈｅｎルールによって記述されている。ルールの条件部には、エージェントの表示処理についての条件を、エージェント処理手段５の解釈できる言語で記述する。実行部には、「登場する」、「挨拶する」というようなエージェントの出力を指定するコマンド（スクリプトと呼ぶ）を記述できる。スクリプトは、エージェント表示のパターンであるエージェントの感情表現パターンか、もしくは出力するメッセージを表現する。
【００４１】
スクリプトの処理内容は、感情表現パターン項目かメッセージ項目で設定されている。
【００４２】
エージェント処理手段５が、エージェントオブジェクトを解読し、スクリプトを解釈して実行する。各ルールの実行部の処理の内、画像イメージ操作処理が必要な処理は、感情表現パターン項目に、フレーム画像記憶領域３に格納された感情表現パターンへのポインターが指定されている。
【００４３】
登場について、いろいろな登場の仕方があり、図２のエージェントの例では、画面上に元気な動きで登場する。例えば、エージェントが利用者に提示した検索結果の中を、ユーザが詳細に参照した場合に、「ありがとう」とメッセージを出力して感謝を示すエージェントもいれば、「どんなもんだい」と威張るエージェントも考えられるように、エージェントの性格、感情を反映したバリエーションを演出して、いきいきと表現できる。
【００４４】
例えば、花子さんエージェントの場合は、行動規則項目におけるエラー発生時のＴｈｅｎ部に設定された謝るスクリプトを、悲しがるや怒るのスクリプトに変更すれば異なった反応に容易に変更できる。このように、エージェントの動作表現を簡単にカスタマイズできるという効果がある。
【００４５】
感情表現パターン項目は、行動規則に記述されたスクリプトを実行した時に、どのような画面イメージをディスプレイ１１２上に表現するかを定める。例えば、「登場する」スクリプトの場合は、フレーム画像記憶領域３の中に格納されたルンルン登場画像パターンへのポインターを格納している。起動時の「登場する」スクリプトを行なう時に、エージェント処理手段５は、ルンルン登場画像パターンをエージェント出力手段６に渡して、フレーム画像切替え表示手段１０１が、フレーム画像記憶領域３の中に格納されたルンルン登場画像パターンのフレームを一定時間おきにディスプレイ１１２上に表示する。
【００４６】
フレーム画像生成手段１１は、例えば、「ルンルン登場」といった指定がエージェントオブジェクトでされた時に、雛型のモデルで記述されたルンルン登場パターンを感情表現イメージパターンデータベース１２から読み込み、それに基本イメージデータベース４から読み込んだ該当するエージェントの基本イメージを貼り込む。そして、生成された該当エージェントのルンルン登場する画像イメージのフレーム群をフレーム画像記憶領域３に格納して、そのポインターをエージェントオブジェクト記憶領域１に格納されている該当するエージェントオブジェクトの感情表現パターンの項目へ登録する。これにより、エージェントの感情表現イメージを状況によって変化させることができる。エージェントオブジェクトの行動規則と感情表現パターンが設定された時に、あらかじめ画像パターンを生成してポインターを登録しておくと高速に処理できる効果がある。
【００４７】
また、メッセージ項目は、行動規則に記述されたスクリプトを実行した時に、どのようなメッセージをディスプレイ１１２又はスピーカー１１３に出力するかを定める。メッセージは、種々の言い回しを持つメッセージデータベース１０から選択され、種々の特性を持つエージェントを表現することができる。
【００４８】
図４にメッセージデータベース１０を構成する種々の言い方データベースの例と、それぞれの言い方データベースにおける行動とメッセージとの主要な例を示す。言い方データベースは、標準的な表現である標準データベース、丁寧な言い方データベース、くだけた言い方データベース、女性的言い方データベース、方言（例えば、東北、関西、九州など）のデータベース、厳格ないい方データベース、大雑把な人のいい方データベース、下品ないい方データベース、上品ないい方データベース、若者用語辞書データベースなどである。
【００４９】
例えば、図２の「指し示す」属性は、丁寧な言い方データベースの中の「指し示す」メッセージへのポインターで、丁寧に指し示すメッセージ、例えば「こちらでございます」というメッセージ記憶領域２に格納されたメッセージを指す。従って、例えば、ユーザの要求に対して情報を指し示す時に、エージェントの指し示す画像パターンを表示しつつ「こちらでございます」というメッセージの表示、又は音声出力を行なう。
【００５０】
メッセージ設定手段９は、エージェントの性格属性や出身地属性、性属性が設定される時に、設定する静的設定作用と、エージェントの起動中に、エージェントの状況によって設定する動的設定作用とを持つ。静的設定作用では、例えば女性ならば女性的言い方データベースからメッセージを設定したり、丁寧ならば丁寧な言い方データベースからメッセージを設定したり、大阪出身ならば関西方言言い方データベースからメッセージを設定したりする。
【００５１】
メッセージ項目の設定を変更することにより、一つのエージェントオブジェクトの中で、二種類以上のメッセージデータベース１０からのメッセージを設定できる。
【００５２】
また、メッセージ設定手段９は、状況によってメッセージ項目を設定するメッセージデータベースを動的に選択する作用を有する。例えば、花子さんを何度も登場させた時に、メッセージ設定手段９にくだけた言い方データベースを使用するように作用させると、メッセージ設定手段９が花子さんのエージェントオブジェクトのメッセージ項目へくだけた言い方データベースのポインターを設定するため、指し示すメッセージが「こちらでございます」から「これだよ」という表現に変わる。そのため、くだけた態度に変化したように、ユーザに感じられるという効果がある。
【００５３】
行動規則項目のＩｆ−Ｔｈｅｎルールの実行部でメッセージ項目の使い分けを行なっても同様の効果が得られる。このように、エージェントのメッセージをそのエージェントらしい言い方に、かつその時の状況に合った言い方に動的に変更できるという効果がある。
【００５４】
また、種々のエージェントを作成する上で、組合せのバリエーションを増やせるという効果もある。
【００５５】
また、エージェントの行なう処理の特性と、話し方の特性とを一致させることもできる。例えば、厳格な話し方をするエージェントは、検索方針も厳密に行なうが、処理がその分遅くなるという特性を持つ。また、逆に、大雑把な話し方のエージェントは、検索は速いが広範囲に渡って粗く検索をかける方法を取る。キャラクターの性格がさっぱりした性格か、執着するタイプかで、検索結果のデータをどれくらいずつ持ち帰るかを設定できる。このように、エージェントの発するメッセージの言い回しを知ることによって、エージェントの処理の特性を容易に予想することができるという効果がある。なお、メッセージを文字列データと仮定して説明したが、音声であっても同様の効果がある。
【００５６】
エージェント制御手段１４は、エージェント起動の命令を受け取ると、指定されたエージェント名をエージェント処理手段５に渡し、エージェント処理を起動する。
【００５７】
エージェント処理手段５は、指定されたエージェントのデータ構造をエージェントオブジェクト記憶領域１から探索し、そこに記述された基本要素項目、行動規則項目、感情表現パターン、メッセージ項目に従って、処理を行なう。
【００５８】
また、エージェント制御手段１４は、複数のエージェントを同時に起動している時の制御を行なう。これにより、複数のエージェントを同時に処理させることを可能とする。このことを利用すれば、例えば、性格や得意分野の異なる複数のエージェントに、同時に検索処理を行なわせることによって、検索式よりも分かりやすい方法で複数の検索分野を指定することができる。
【００５９】
エージェント出力手段６は、各オブジェクト内からポインターで指示されたメッセージ記憶領域２のメッセージと、フレーム画像記憶領域３のフレーム画像とを参照し、ディスプレイ１１２上に表示を行なう。メッセージが音声データの場合は、スピーカー１１３に出力を行なう。
【００６０】
画像出力は、フレーム画像記憶領域３に記憶された、フレーム画像を、フレーム画像切替え表示手段１０１によって、ある一定の時間間隔でディスプレイ１１２上に表示を行なう。
【００６１】
エージェントリスト表示選択手段１３は、エージェント制御手段１４を通じて、エージェントオブジェクト記憶領域１に登録されているエージェントのリストを表示する。
【００６２】
図５は、エージェントリストの表示例を示す図である。一番左端にエージェントの基本イメージとエージェントの名前が表現されている。左から２番目の欄には、エージェントの性格が示されている。例えば、一番上の「松下ＭＡＮ」の場合は、律義で丁寧な性格を持つ人のように表現されている。これは、エージェントの処理に関する特性を表現している。
【００６３】
本実施形態でのエージェントの処理は、情報探索であるので、ユーザの要求した情報の探索範囲を詳細に探索するという探索処理の特性を表現する。３番目の得意分野は、ユーザからお勧めの情報を要求された時に、優先的に探索して表示してくれる分野を示す。「松下ＭＡＮ」エージェントの得意分野が電気製品であるのに対して、「花子さん」は、ショッピング、食べ歩き、海外旅行である。このように、エージェントの姿、形から類推しやすいステレオタイプの性格イメージをエージェントに採用することによって、探索分野の絞り込みを自然に行なうことができる。
【００６４】
エージェントリスト表示選択手段１３によって、エージェントを選択すると、そのエージェントの情報がエージェント処理手段５に渡されて、そのエージェントオブジェクト内に記述された起動処理に従って、エージェントが起動される。
【００６５】
このように、擬人的な性格を選択することは、性格を持つ人を判断するという人の日常の情報処理と似ているので、高速に判断を下しやすいという効果と、何を基準に選択したらよいかとか、選択した結果どうなるかといったことが予想しやすく、また、理解しやすいという効果がある。
【００６６】
性格によって、使用するメッセージデータベース１０の種類を別に設定すれば、それぞれのメッセージの言い回しが異なり、エージェントの発するメッセージがエージェントの性格に応じた言葉使いらしくなる。例えば、律義で丁寧な「松下ＭＡＮ」エージェントのメッセージは、懇切丁寧な言葉使いである。このように、メッセージを見る／聞くことによって、エージェントにさせる処理が、どのような特質を持つかを簡単に予想できるという効果がある。
【００６７】
服装イメージデータベース８には、例えば図６の左の欄に示した服装の服装イメージが格納されている。対応する右の欄には、服装の意味する専門分野が示されている。左の服装をしたエージェントに検索処理を行なわせた場合、対応する右欄が検索対象分野を示す。
【００６８】
服装イメージ設定手段７は、あるエージェントに対して服装イメージ又は専門分野の指定があった時に、その服装イメージを指定されたエージェントの各フレーム画像上にオーバーレイ処理を行なって服装イメージを上書きする。すると、そのエージェントの表現画像がその服装を着用したような画像となる。
【００６９】
図７で示すように、花子さんエージェントにスチュワーデス服装イメージが上書きされると、花子さんエージェントは海外旅行が専門分野となるし、逆に、花子さんエージェントの専門分野を海外旅行と指定すると、服装がスチュワーデスに変化する。このことにより、服装によってそのエージェントの検索処理などの処理における得意分野が何かが分かりやすいという効果がある。
【００７０】
なお、花子さんエージェントに図６の一番下にある「普段着」を着せると、専門分野は設定されない。専門分野が指定されていない場合は、得意分野がデフォルト値として扱われる。例えば、図２の花子さんエージェントの場合は、ショッピング、食べ歩き、海外旅行が得意分野である。
【００７１】
複数のエージェントを同時に起動することができ、それらのエージェントは、エージェント制御手段１４が、起動されたエージェントオブジェクトの名前と、起動条件とを管理する。検索対象の分野の範囲を広げたい場合に、複数エージェントを用いてそれぞれに検索を行なわせると、検索結果がそれぞれの結果の和集合で得られる。従って、要求を満足するような広い範囲での情報収集が簡単にできるという効果がある。また、複数エージェントの選択による収集された情報が、各エージェントが収集する情報の和集合であることが理解しやすいという効果もある。また、収集情報の違いの区別が理解しやすいという効果もある。
【００７２】
検索対象の情報が上記のような科学や工学などの学問的な分野でなくビデオ・オン・デマンドと呼ばれるユーザ要求に応じてビデオの再生を行なうシステムの中での映画選択を行なう場合にも、次のような基本イメージを持つエージェントを登録しておくことで、どの映画を勧めたら良いかの選択をユーザに簡単にさせることができる。
【００７３】
例えば、基本イメージを著名な監督の似顔絵、女優又は男優の似顔絵とすれば、監督で映画を選びたい場合は、好きな監督の似顔絵のエージェントを選択する。俳優やスターでテレビ番組を選びたい場合は、俳優やスターの似顔絵のエージェントを選択する。映画のジャンルによって選択させたければ、カウボーイ（西部劇というジャンルを示す）、サングラスをかけたスパイ（アクション映画というジャンルを示す）、宇宙人（ＳＦ映画というジャンルを示す）のイメージとする。
また、視聴者層での人気度による検索ならば、一般市民の代表的な視聴者層、例えば、小学生、中高生、20代前半、ヤングミセス、などの典型的なステレオタイプのエージェントを選択するとしても同様の効果を得る。
【００７４】
以上のように、擬人化されたエージェントの画像と言葉、性格を見聞きすることで、ユーザ自身の目的や趣向に合ったエージェントを、種々のエージェントの中から選択することが容易にできるという効果がある。
【００７５】
(実施の形態２)
図８は、本発明の実施の形態２におけるエージェント表示装置７００の構成図を示す。以下、本発明の実施の形態１と異なる部分について、主に説明する。
【００７６】
エージェントオブジェクト編集手段１５は、エージェントを新たに作成したり、既存のエージェントの設定を変更する編集機能を有する。本実施形態では、エージェントオブジェクト編集手段１５によってエージェントを編集し、通信手段７１１によってエージェントの送受信を行なう実施の形態に関して説明を行なう。
【００７７】
言い回しのあるメッセージを設定する場合は、エージェントオブジェクト編集手段１５が、メッセージ設定手段９から、メッセージの種類やメッセージ例を得て、ディスプレイ７１２に表示する。ユーザがメッセージを選択すると、操作対象のエージェントオブジェクトのメッセージ項目に、メッセージへのポインターを保存する。
【００７８】
図９は、フレーム画像生成手段の構成図である。以下、フレーム画像生成手段の実施形態に関して説明する。エージェントのイメージの、胴体や肢体の部分を構成する基本イメージを編集するのが、基本イメージ編集手段８０１である。基本イメージ編集手段８０１は、胴体イメージデータベース８０２、肢体イメージデータベース８０３、手足イメージデータベース８０４、頭イメージデータベース８０５、物体イメージデータベース８０６、顔イメージデータベース８０７を用いて、基本イメージを作成する。
【００７９】
顔イメージデータベース８０７は、目、鼻、口のイメージデータを含む。物体イメージデータベース８０６は、エージェントが人以外を表現する場合の物体のイメージを格納する。図３の書類渡し画像パターンの書類イメージは、物体イメージデータベース８０７の一例である。基本イメージ編集手段８０１の編集結果である基本イメージは、基本イメージ記憶領域８０８に格納される。
【００８０】
感情を表現するイメージパターンは、スケルトンモデルで表現され、感情表現イメージパターンデータベース１２に格納されている。
【００８１】
図１０に、スケルトンモデルを説明する図を示す。スケルトンモデルは、１個の胴体部９０１と、右腕部９０２、左腕部９０３、右足部９０４、左足部９０５、頭部９０６を示す５つの直線で表現された肢体部と５つの終線部分（９１０、９１１、９１２、９１３、９３０）、５直線と胴体との接続した可回転部分（９２０、９２１、９２２、９２３、９２４）とから構成される。
【００８２】
頭部の終線部分９３０は、矢印がついており、顔がどの方向を向いているかを表現している。胴体と肢体部とが離れていてもよい。これにより、アニメーションらしい誇張表現を行なえるという効果がある。
【００８３】
スケルトンモデル編集手段８１４は、スケルトンモデルの構成要素の配置を２次元平面上に設定する配置手段８２０と、肢体部や胴体部と肢体部を伸縮させる伸縮手段８２２と、顔が左右上下正面のどの方向を向いているかを設定する顔方向設定手段８２１とを有する。スケルトンモデルのデータをイメージマッピング手段８０９を介して感情表現イメージパターンデータベース１２からコピーして編集を行ない、新たな感情表現イメージパターンを作成することができる。
【００８４】
イメージマッピング手段８０９は、スケルトンモデルに対して基本イメージをマッピングする処理を行なう。スケルトンモデルの胴体部、肢体部、頭部に基本イメージの胴体イメージ、肢体イメージ、頭部イメージを重ね合わせる。胴体部や肢体部において、伸縮変形が行なわれている場合は、同じ伸縮変形をイメージに対して行なう。頭部は、顔の向きによってイメージが異なる。頭回転イメージデータベースには、あらかじめ用意された頭部の回転イメージが格納されており、その中から指定された回転角度のイメージを選択してマッピングする。選択された頭部イメージには、目、鼻、口のイメージ位置が指定されているので、所定の位置に目、鼻、口のイメージをマッピングする。このようなイメージマッピング処理を終了したイメージデータは、感情表現イメージパターン記憶領域８１１に格納される。
【００８５】
目や口を持たない最も単純な基本イメージをイメージマッピング手段８０９によってスケルトンモデルにマッピングさせたイメージを、スキンモデルと呼ぶ。スキンモデルは、スキンモデル記憶領域８１２に記憶される。スケルトンモデル編集手段８１４からスキンモデルの生成処理を起動して、スキンモデル記憶領域８１２を呼び出せる。
【００８６】
図１１に、楽しく登場する動作を表現するスケルトンモデルによる感情表現イメージパターン１００１と、スキンモデルによる感情表現イメージパターン１００２の例を示す。この感情表現イメージパターンは左から右に時系列的に表示され、エージェントが登場しておじぎをする一連の動作を表す。スキンモデルによる感情表現イメージパターンは、スケルトンモデルによる感情表現イメージパターンに目鼻のないエージェントの標準的な基本イメージを、イメージマッピング手段８０９によってマッピング処理したものである。エージェント編集時に、感情表現イメージパターンを選択する時に、スケルトンモデルよりもスキンモデルによる感情表現イメージパターンを出力した方が、編集する人にとって実際のエージェントの表示画像であるフレーム画像パターンを想像しやすいという効果がある。
【００８７】
図１２は、スケルトンモデルが人でなくペンギンのような変わった形状を基本とした時のスケルトンモデルによる驚きの感情表現イメージパターンと、そのパターンにエージェントの「ペンちゃん」の基本イメージパターンをマッピングして生成したフレーム画像の例である。このように、スケルトンモデルの基本形をキャラクターに合わせて自由に変形することができる。このことによって、本発明が人以外の形態をしたエージェントにも適用可能という効果がある。
【００８８】
感情表現イメージパターンデータベース１２には、図１２の他に図１３で示されるような動作を表現するイメージパターンが格納されている。フレーム画像設定手段８１３は、イメージマッピング手段８０９の結果の格納された感情表現イメージパターン記憶領域８１１のデータを時系列の順序に集め、フレーム画像記憶領域３への格納と、エージェントオブジェクト記憶領域１に格納されたエージェントオブジェクトへの設定を行なう。これにより、エージェントのフレーム画像が設定される。
【００８９】
以上のように、エージェントの基本イメージを基本イメージ編集手段８０１によって作成し、感情表現イメージパターンデータベース１２の中から、スケルトンモデルで記述された適当な感情表現パターンを選択すれば、他のエージェントのどの動作とも同じ動作を行なえる。すなわち、エージェントごとにフレーム画像を作成しなければならないという手間を省くことができる効果がある。そして、スケルトンモデルによる感情表現イメージパターンを作成、選択することによって、ユーザの趣向に適するフレーム画像を簡単に作成できる効果がある。
【００９０】
ここで、エージェントのペンちゃんにパーティの招待をさせる場合を例にエージェントの送受信に関して説明する。まず、エージェントオブジェクト編集手段１５を用いて送信するエージェントペンちゃんのエージェントオブジェクトを編集し登録する。まず、パーティ案内のメッセージをメッセージ編集手段７０２を用いて編集して登録すると、メッセージ設定手段９が起動され、メッセージがメッセージ記憶領域２に格納されて、そのポインターがエージェントオブジェクト記憶領域１のペンちゃんエージェントのメッセージ項目に格納される。
【００９１】
次にイメージについては、エージェントオブジェクト編集手段１５内から「くるくる回転」というスクリプトのフレーム画像を新規に作成してペンちゃんの動作とする。まず、エージェントオブジェクトの感情表現パターン項目にくるくる回転を記述する。そして、スケルトンモデルを、スケルトンモデル編集手段８１４によって編集し、スケルトンモデル記憶領域８１５に格納する。ペンちゃんの基本イメージは、基本イメージデータベース４内にすでに存在すると仮定する。もし、基本イメージの修正を行なう場合は、基本イメージ編集手段８０１によって編集する。
【００９２】
スケルトンモデル編集手段８１４からイメージマッピング手段８０９を起動し、作成したスケルトンモデルへのマッピングを行なったイメージパターンを感情表現イメージパターン記憶領域８１１に格納する。フレーム画像設定手段８１３が感情表現イメージパターン記憶領域８１１に格納された感情表現イメージパターンをフレーム画像記憶領域３に格納し、エージェントオブジェクト記憶領域１に格納されたエージェントオブジェクトの感情表現パターン項目のくるくる回転にそのポインターを設定する。
【００９３】
また、エージェントオブジェクト編集手段１５を用いて、行動規則項目にＩｆ：起動の実行部にくるくる回転を記述する。くるくる回転以外の動作についても、同様の操作によってエージェントに処理させることができる。
【００９４】
送信のコマンドが入力されると、通信コマンド入力手段７１０が、エージェント制御手段１４に送信するエージェントの指定を行なう。エージェント制御手段１４は、送信するエージェントに該当するエージェントオブジェクト記憶領域１に格納されたエージェントオブジェクトのデータと、それにリンクされたメッセージ記憶領域２に格納されたメッセージと、フレーム画像記憶領域３に格納されたフレーム画像とを、通信手段７１１を用いネットワーク７１７を介して送信する。
【００９５】
受信側は、図７と同じ構成の装置を有し、通信手段７１１で受信してエージェント制御手段１４に制御が渡される。エージェント制御手段１４は、受信したエージェントオブジェクトをエージェントオブジェクト記憶領域１とメッセージ記憶領域２とフレーム画像記憶領域３とに格納する。受信したエージェントオブジェクトのエージェントの起動は、エージェント制御手段１４から行なう。エージェントが起動されると、行動規則項目に記述されたルールに従って動作する。
【００９６】
例えば、次のような動作を行なえる。電子メールが到着したことを注目させるために、くるくる回転するフレーム画像で登場する。マウスクリックされたら、要件であるパーティに招待するメッセージを出力し、出席または欠席の返事を待つ。マウスクリックなどの出席の反応をユーザが行なうと、エージェントが飛びあがる喜びの感情表現画像パターンを出力し、欠席ならば残念がる画像パターンを出力する。このことにより、文字列だけでは得られない楽しい効果を与えられる。
【００９７】
返信する場合、例えばエージェントオブジェクト編集手段１５を用いて、ペンちゃんを少し変更して送り返すことができる。例えば、行動規則項目のＩｆ：起動のＴｈｅｎ部を「驚く、喜ぶ」とし、メッセージ設定手段９が関西方言データベースからメッセージを選択するように設定しておくと、エージェントオブジェクト編集手段１５から呼び出されたフレーム画像生成手段１１は、感情表現イメージデータベース１２内の驚くと喜ぶのスケルトンモデルにペンちゃんの基本イメージをマッピングしてフレーム画像を生成してエージェントオブジェクトにポインターを設定する。
【００９８】
また、メッセージ設定手段９は、図４の関西方言データベースのように「ホンマでっかー」と「えらいうれしいですわ」のポインターをエージェントオブジェクトに設定する。エージェントオブジェクト編集手段１５を用いて、「出席させてもらいますわ」という独自のメッセージを作成して、メッセージ記憶領域２に登録することもできる。
【００９９】
また、エージェントの基本イメージに自分の似顔絵を登録することもできる。この場合、相手にとって誰からの電子メールであるかが分かりやすく、親しみがわくという効果がある。
【０１００】
これによって、エージェントを電子メールのようにコミュニケーション手段として使用することができる。伝達したい文字列のメッセージだけでなく、相手の反応に対して、感情や性格を持つかのように対話的に反応させ、コミュニケーションの円滑化を行なう効果がある。
【０１０１】
また、性格や感情を表現するエージェントをコミュニケーション手段に使用することによって、楽しい演出を行なえるという効果がある。
【０１０２】
エージェント制御手段１４は、複数のエージェントを同時に起動している時の管理を行なう。性格や服装の異なる複数のエージェントを同時に送信することによって、さらに楽しい演出が可能である。例えば２つのエージェントを送信した場合に、各エージェントオブジェクトのメッセージを全て関西方言データベースから選択し、行動規則に２つのエージェントが互いの台詞を条件に会話をするように指定すれば、２つのエージェントに掛け合い漫才的な会話を実現することができる。すると、情報伝達における漫才的な楽しい雰囲気の演出ができるという効果と、２つのエージェントが重要な伝達事項を繰り返すことで、相手の印象に残るという効果が得られる。
【０１０３】
また、このようなエージェント表示装置をシステム状態を提示する場合に適用すると、システム状態を効果的に示すことができる。例えば、データ転送状態の時は、書類を左から右へ渡している画像イメージで表現し、情報収集状態の時は、分厚い百科辞典をパラパラめくっている画像イメージで表現するなどである。
【０１０４】
キャラクターのアニメーション動作によって、システムの状況が今どういった状況なのかがユーザに分かりやすいという効果がある。
【０１０５】
また、エージェントの属性の中に、コンピュータの習熟度を設けて、ユーザに選択させるか、システムが操作レベルを判断して、属性値を設定すれば、熟練度に対応したシステムメッセージの出力ができる。この場合、熟練度に応じたメッセージレベルの変更を容易にするという効果がある。
【０１０６】
なお、メッセージを文字列データと仮定して説明したが、音声であっても同様の効果がある。
【０１０７】
以上のように、エージェントオブジェクトの行動規則項目のルールのスクリプトを編集するという簡単な操作によって、キャラクターの動作を単純なアニメーションで表現できるという効果がある。また、スケルトンモデルを編集することによって、キャラクターの動作を簡単に作成できるという効果がある。また、エージェントを電子的に送信して動作と言い回しを持つメッセージを出力することによって、分かりやすく楽しいコミュニケーションの効果を与えることができる。
【０１０８】
また、システムの状況を示すシステムメッセージやエラーメッセージをエージェントの動作で出力することによって、現在の状況がユーザに分かりやすいという効果がある。
【０１０９】
【発明の効果】
以上のように本発明は、第一の課題に対して、画像上に表現された情報検索を行なう擬人化されたエージェントの表現パターンや言動をユーザが示し、種々のエージェントの中から検索目的に合ったエージェントを選択する方法によって検索方法の指定が行なえる。
【０１１０】
ユーザにとって、検索情報の知識がない場合やインターネットのＷＷＷサーバのように情報源が膨大である場合に、種々のエージェントの中から自分のその時の目的に最も合うエージェントを選択するという簡単な方法で、要求に近い情報を得られるという効果がある。
【０１１１】
また、熟練度の属性を持つエージェントの場合は、システムの処理を自分の熟練度に合わせた処理に簡単に適応させることができるという効果がある。
【０１１２】
第二の課題に対しては、エージェントオブジェクトの行動規則項目のルールの条件部や実行部のスクリプトを編集することによって、簡単にアニメーション作成を行なえるという効果がある。また、単純なスケルトンモデルに対して基本イメージをマッピングする処理を行なうため、スケルトンモデルの中からユーザの好みや目的に応じて動作パターンを選択するだけで簡単にアニメーションを作成できるという効果がある。
【０１１３】
また、スケルトンモデルの構造が単純なので、変更が容易にできるという効果もある。
【０１１４】
第三の課題に対しては、キャラクターアニメーションの服装、動作、言葉使いによって、システムの状況がどういった状況であるかが、ユーザに分かりやすくなるという効果がある。また、電子メールのような通信手段に用いた場合は、相手がどのような状況であるかが分かりやすく、いきいきした状況を伝えるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１によるエージェント表示装置の構成図
【図２】本発明の実施の形態１によるエージェントオブジェクトのデータを示す概念図
【図３】本発明の実施の形態１によるエージェントオブジェクトのデータ構造図
【図４】本発明の実施の形態１によるメッセージデータベースの格納データ例図
【図５】本発明の実施の形態１によるエージェントリストの表示例を示す概念図
【図６】本発明の実施の形態１による服装名と専門分野との対応を示す概念図
【図７】本発明の実施の形態１による服装イメージ上書き例を示す概念図
【図８】本発明の実施の形態２によるエージェント表示装置の構成図
【図９】本発明の実施の形態２によるフレーム画像生成手段の構成図
【図１０】本発明の実施の形態２によるスケルトンモデルを示す概念図
【図１１】本発明の実施の形態２による感情表現イメージパターンと対応するスキンモデルの例を示す概念図
【図１２】本発明の実施の形態２による感情表現イメージパターンと対応するフレーム画像パターンの例を示す概念図
【図１３】本発明の実施の形態２による感情表現イメージパターンの例を示す概念図
【図１４】従来のエージェントシステムの構成図
【符号の説明】
１ エージェントオブジェクト記憶領域
２ メッセージ記憶領域
３ フレーム画像記憶領域
４ 基本イメージデータベース
５ エージェント処理手段
６ エージェント出力手段
７ 服装イメージ設定手段
８ 服装イメージデータベース
９ メッセージ設定手段
１０ メッセージデータベース
１１ フレーム画像生成手段
１２ 感情表現イメージパターンデータベース
１３ エージェントリスト表示選択手段
１４ エージェント制御手段
１５ エージェントオブジェクト編集手段
１００ エージェント表示装置
１０１ フレーム画像切替え表示手段
１１１ 情報検索手段
１１２ ディスプレイ
１１３ スピーカー
１１４ ネットワーク
７００ エージェント表示装置
７０１ フレーム画像切替え表示手段
７０２ メッセージ編集手段
７０３ 感情表現イメージパターン編集手段
７１０ 通信コマンド入力手段
７１１ 通信手段
７１２ ディスプレイ
７１３ スピーカー
７１４ マウス
７１５ キーボード
７１６ マイク
７１７ ネットワーク
８０１ 基本イメージ編集手段
８０２ 胴体イメージデータベース
８０３ 肢体イメージデータベース
８０４ 手足イメージデータベース
８０５ 頭イメージデータベース
８０６ 物体イメージデータベース
８０７ 顔イメージデータベース
８０８ 基本イメージ記憶領域
８０９ イメージマッピング手段
８１０ 頭部回転イメージデータベース
８１１ 感情表現イメージパターン記憶領域
８１２ スキンモデル記憶領域
８１３ フレーム画像設定手段
８１４ スケルトンモデル編集手段
８１５ スケルトンモデル記憶領域
８２０ 配置手段
８２１ 顔方向設定手段
８２２ 伸縮手段
９０１ 胴体部
９０２ 右腕部
９０３ 左腕部
９０４ 右足部
９０５ 左足部
９０６ 頭部
【発明の属する技術分野】
本発明は、コンピュータシステムのヒューマンインタフェースにおいて、擬人化された情報処理プロセスであるエージェントの表示を行うエージェント表示装置に関する。
【０００２】
【従来の技術】
擬人化されたエージェントは、計算機やネットワーク内を代理人のように自由に動き回って仕事を行ない、次のような特長を持つことが期待されている（Laurel,B., The Art of Human-Computer Interface Design）。
【０００３】
それは、エージェントの外見から内面を予想できること、言語的な対話ができること、我々の注意を引くようなメタファを持つことである。各ユーザに一つずつ起動されたエージェントが、図１４のように、ユーザの要求に適合する情報を他のエージェントと協調して得るという技術が知られている(公開特許平7-6142)。
【０００４】
また、ユーザインタフェースに用いた場合、案内役のキャラクターがシステム状態を表情によって表現するという技術が知られている(公開特許平3-215891)。
【０００５】
従来、インターネット上の情報を表示するネットスケープ・ナビゲータ(Netscape Navigator)のようなソフトウェアツールが知られている。ある情報についてユーザが知りたい場合には、キーワードを入力すると関連する情報の存在するネットワーク上の場所を提示してくれる検索技術を使ったサービスがよく知られている。
【０００６】
一方、人の動きをリアルにコンピュータ上に実現するために、人の骨格の動きをモデル化するスケルトンモデル技術が知られている（Monheit et al. A kinematic model of the human spine and torso.IEEE Computer Graphics and Applications, March 1991.)。
【０００７】
３次元のスケルトンモデルにイメージを張り付けて、動作させることによってアニメーションのフレーム画像を作成するコンピュータグラフィックス技術が知られている(Robertson,B., Toy Story: A triumph of animation, Computer
Ｇｒａｐｈｉｃｓ Ｗｏｒｌｄ， Ａｕｇｕｓｔ １９９５．）。
【０００８】
【発明が解決しようとする課題】
インターネットナビゲーションと呼ばれる検索対象が曖昧な場合の情報検索において、キーワード検索はキーワードの選択が難しかった。
【０００９】
インターネットのWWWサーバでユーザに提供されるおすすめのサーバ情報は、提供情報が固定的であり、各ユーザはその中から自分の目的や好みに合った情報を探さなければならないという問題点があった。また、コンピュータシステムから一般ユーザに対して出力されるヘルプメッセージやシステムメッセージが、初心者にとって分かりにくいという問題点がある。
【００１０】
本発明は、検索対象が曖昧な場合の情報検索におけるユーザの目的や好みや、ユーザのコンピュータの熟練レベルに合った処理をしてくれるユーザインタフェースを提供することを第一の目的とする。
【００１１】
一方、エージェントなどを表現する際の、コンピュータグラフィックスによる３次元モデルで擬人的なアニメーションを作成するには、レンダリング処理などのコンピュータグラフィックス処理に膨大な計算量を必要とするため、作成に時間がかかり過ぎてリアルタイムに表示できないという問題点があった。また、エージェントの画像表現や反応が固定的であり、変更ができないため、ユーザが自分の好みに応じて表現に変更を加えることができないという問題点があった。
【００１２】
本発明は、擬人的な動きをするアニメーションを簡単な操作で作成して表示し、動きのパターンを状況やユーザの好みに応じて変更できる手段を提供することを第二の目的とする。
【００１３】
また、電子メール通信においては、マルチメディアを駆使した楽しい電子メールを相手に出したいという利用者の要望は多いが、動画像データや音声データを加工するのに手間がかかるので、文章による伝達が一般的に多用されている。文字ばかりであると、読む時間がかかる、一目見て用件が分かりにくいという問題点があった。
【００１４】
本発明は、電子メールにおいて、単純な用件を簡単な操作で分かりやすく伝達できる意志伝達手段を提供することを第三の目的とする。
【００１５】
【課題を解決するための手段】
第一の課題を解決するために、本発明は、エージェントのディスプレイ上の表示イメージに服装イメージを上に重ねる服装上書き手段と、服装データベースとを有することによって、検索する対象分野をエージェントの服装によって分かりやすく表現し、エージェントの属性によってメッセージの言い回しを変更するメッセージ設定手段と、種々の言い回しをするメッセージを格納するメッセージデータベースとを有することによって、メッセージの言い回しからエージェントの検索方針を分かりやすく表現し、また、現在の状況によって感情を表現するイメージパターンを動的に設定するフレーム画像生成手段と、感情表現イメージパターンデータベースとを有することによって、検索状況をエージェントの感情として分かりやすく表現し、複数個のエージェントを表示するエージェントリスト表示手段を有することによって、ユーザの趣向や目的に合ったエージェントが選択できるようにするものである。
【００１６】
第二の課題を解決するために、本発明は、エージェントオブジェクトに記述された処理を実行するエージェント処理手段と、感情を表現するイメージのスケルトンモデルを格納する感情表現イメージパターンデータベースと、スケルトンモデルを編集する感情表現イメージパターン編集手段と、スケルトンモデルに基本イメージをマッピングしてフレーム画像を生成するフレーム画像生成手段とを有することによって、スクリプトとスケルトンモデルによる簡単なフレーム画像を生成できるものである。
【００１７】
第三の課題を解決するために、本発明は、上記の感情表現イメージパターンデータベースと、感情表現イメージパターン編集手段と、フレーム画像生成手段とに加えて、通信手段やシステム状態監視手段を有することによって、エージェントによるコミュニケーション手段を提供するものである。
【００１８】
【発明の実施の形態】
本発明の請求項１に記載の発明は、擬人化された情報処理プロセスであるエージェントに関して、エージェントの属性や処理を規定するデータであるエージェントオブジェクトを格納するエージェントオブジェクト記憶領域と、エージェントの出力するメッセージを格納するメッセージ記憶領域と、エージェントの画像フレームを格納するフレーム画像記憶領域と、エージェントの表示イメージの基本構成画像を格納する基本イメージデータベースと、エージェントオブジェクトに記述された処理を実行するエージェント処理手段と、エージェントの出力を出力装置に送出するエージェント出力手段と、複数個のエージェントを表示し、ユーザの選択を受け付けるエージェントリスト表示選択手段と、エージェントの属性によってメッセージの言い回しを変更するメッセージ設定手段と、種々の言い回しをするメッセージを格納するメッセージデータベースとを有するエージェント表示装置としたものであり、エージェントの性格特性をメッセージのいい回しによって表現しユーザが種々のエージェントの中からエージェントを選択できる環境を提供するという作用を有する。
【００２０】
本発明の請求項２に記載の発明は、メッセージ設定手段とメッセージデータベースとが、音声による音声メッセージ表現方法設定手段と、音声メッセージデータベースとである請求項２記載のエージェント表示装置としたものであり、エージェントの性格特性を音声によるメッセージのいい回しによって表現しユーザが種々のエージェントの中からエージェントを選択できる環境を提供するという作用を有する。
【００２７】
本発明の請求項３に記載の発明は、擬人化された情報処理プロセスであるエージェントに関して、エージェントの属性や処理を規定するデータであるエージェントオブジェクトを格納するエージェントオブジェクト記憶領域と、エージェントの出力するメッセージを格納するメッセージ記憶領域と、エージェントの画像フレームを格納するフレーム画像記憶領域と、エージェントの表示イメージの基本構成画像を格納する基本イメージデータベースと、エージェントオブジェクトに記述された処理を実行するエージェント処理手段と、エージェントの出力を出力装置に送出するエージェント出力手段と、エージェントの表示イメージに服装イメージを上書きする服装イメージ設定手段と、服装イメージデータベースと、エージェントの属性によってメッセージの言い回しを変更するメッセージ設定手段と、種々の言い回しをするメッセージを格納するメッセージデータベースと感情を表現するイメージのスケルトンモデルを格納する感情表現イメージパターンデータベースと、スケルトンモデルに基本イメージをマッピングしてフレーム画像を生成するフレーム画像生成手段と、エージェントオブジェクトを編集するエージェントオブジェクト編集手段と、ネットワークに接続された通信手段とを有するエージェント表示装置としたものであり、エージェントオブジェクトを送受信して通信を行なうという作用を有する。
【００２８】
本発明の請求項４に記載の発明は、ネットワークに接続された通信手段が、システムの状況を監視するシステム状態監視手段である請求項３記載のエージェント表示装置としたものであり、エージェントがシステム状態を知らせるという作用を有する。
【００２９】
以下、本発明の実施の形態について、図１から図１２を用いて説明する。
(実施の形態１)
図１は、本発明の実施の形態１によるエージェント表示装置１００の構成図を示す。本実施の形態では、情報検索手段１１１を通じて、ネットワーク１１４上の情報源をエージェントによって検索する際のエージェントの表示に関して説明する。まず、全体の処理の流れの概要を説明する。
【００３０】
最初に情報検索処理を起動すると、情報検索手段１１１がエージェント制御手段１４を起動する。エージェントの指定がある場合は、エージェント制御手段１４は、エージェント処理手段５を起動する。エージェントの指定がない場合は、エージェントリスト表示選択手段１３を起動して、検索に適するエージェントをユーザに選択させる。単数でも複数でもエージェントを選択できる。
【００３１】
エージェントを選択すると、エージェント制御手段１４は、エージェント処理手段５に制御を渡し、それぞれのエージェントに対応した処理をさせる。それぞれのエージェントの処理は、エージェントオブジェクトと呼ばれるデータに記述されており、エージェントオブジェクトは、エージェントオブジェクト記憶領域１に格納されている。
【００３２】
エージェントオブジェクトのデータ構造は、エージェントの出力するメッセージ、エージェントのディスプレイ上に一定時間ごとに出力されるフレーム画像、基本イメージとから構成されている。メッセージとフレーム画像と基本イメージは、それぞれメッセージ記憶領域２、フレーム画像記憶領域３、基本イメージデータベース４に格納されている。
【００３３】
メッセージ設定手段９は、メッセージデータベース１０に記憶されたメッセージのいくつかをメッセージ記憶領域２内にコピーしエージェントオブジェクトの一部として設定する手段である。
【００３４】
服装イメージ設定手段７は、服装イメージデータベース８内の服装イメージを、フレーム画像上に上書きする手段である。フレーム画像生成手段１１は、感情表現イメージパターンデータベース１２と基本イメージデータベース４とを用いて、フレーム画像を生成してフレーム画像記憶領域３に格納する手段である。
【００３５】
以下、それぞれの部分について、詳細に説明する。一つのエージェントに対して、一つのエージェントオブジェクトが定義され、エージェントオブジェクト記憶領域１に格納されている。エージェントオブジェクトのデータ構造は、属性と属性値の組で表現されている。属性の数は、増加可能な構造になっている。メッセージは、メッセージ記憶領域２に格納されている。
【００３６】
図２に、エージェントオブジェクトのデータ例を示す図を示した。この例では、「花子さん」エージェントのエージェントオブジェクトである。
【００３７】
図３に、そのエージェントオブジェクトのリンク関係を含むデータ構造図を示した。これらを参照して、エージェントオブジェクトのデータ構造の説明をする。エージェントオブジェクトは、エージェント名で一意的に管理されている。エージェントオブジェクトは、大きく基本要素項目と、行動規則項目と、感情表現パターン項目とメッセージ項目とに分かれる。以下、それぞれについて説明する。
【００３８】
基本要素項目は、性格、出身、性、専門分野、得意分野という属性を持つ。メッセージ設定手段９は、これらの属性値から、メッセージデータベース１０の中の適当なメッセージデータを選択して、メッセージ項目の「挨拶する」や「転送する」などにメッセージのポインターを設定する。
【００３９】
メッセージが音声の場合は、性属性によって、男性または女性の声のメッセージの音声データがメッセージデータベース１０から選択される。
【００４０】
行動規則項目では、条件によってどのようにエージェントが行動を変化させるかが、Ｉｆ−Ｔｈｅｎルールによって記述されている。ルールの条件部には、エージェントの表示処理についての条件を、エージェント処理手段５の解釈できる言語で記述する。実行部には、「登場する」、「挨拶する」というようなエージェントの出力を指定するコマンド（スクリプトと呼ぶ）を記述できる。スクリプトは、エージェント表示のパターンであるエージェントの感情表現パターンか、もしくは出力するメッセージを表現する。
【００４１】
スクリプトの処理内容は、感情表現パターン項目かメッセージ項目で設定されている。
【００４２】
エージェント処理手段５が、エージェントオブジェクトを解読し、スクリプトを解釈して実行する。各ルールの実行部の処理の内、画像イメージ操作処理が必要な処理は、感情表現パターン項目に、フレーム画像記憶領域３に格納された感情表現パターンへのポインターが指定されている。
【００４３】
登場について、いろいろな登場の仕方があり、図２のエージェントの例では、画面上に元気な動きで登場する。例えば、エージェントが利用者に提示した検索結果の中を、ユーザが詳細に参照した場合に、「ありがとう」とメッセージを出力して感謝を示すエージェントもいれば、「どんなもんだい」と威張るエージェントも考えられるように、エージェントの性格、感情を反映したバリエーションを演出して、いきいきと表現できる。
【００４４】
例えば、花子さんエージェントの場合は、行動規則項目におけるエラー発生時のＴｈｅｎ部に設定された謝るスクリプトを、悲しがるや怒るのスクリプトに変更すれば異なった反応に容易に変更できる。このように、エージェントの動作表現を簡単にカスタマイズできるという効果がある。
【００４５】
感情表現パターン項目は、行動規則に記述されたスクリプトを実行した時に、どのような画面イメージをディスプレイ１１２上に表現するかを定める。例えば、「登場する」スクリプトの場合は、フレーム画像記憶領域３の中に格納されたルンルン登場画像パターンへのポインターを格納している。起動時の「登場する」スクリプトを行なう時に、エージェント処理手段５は、ルンルン登場画像パターンをエージェント出力手段６に渡して、フレーム画像切替え表示手段１０１が、フレーム画像記憶領域３の中に格納されたルンルン登場画像パターンのフレームを一定時間おきにディスプレイ１１２上に表示する。
【００４６】
フレーム画像生成手段１１は、例えば、「ルンルン登場」といった指定がエージェントオブジェクトでされた時に、雛型のモデルで記述されたルンルン登場パターンを感情表現イメージパターンデータベース１２から読み込み、それに基本イメージデータベース４から読み込んだ該当するエージェントの基本イメージを貼り込む。そして、生成された該当エージェントのルンルン登場する画像イメージのフレーム群をフレーム画像記憶領域３に格納して、そのポインターをエージェントオブジェクト記憶領域１に格納されている該当するエージェントオブジェクトの感情表現パターンの項目へ登録する。これにより、エージェントの感情表現イメージを状況によって変化させることができる。エージェントオブジェクトの行動規則と感情表現パターンが設定された時に、あらかじめ画像パターンを生成してポインターを登録しておくと高速に処理できる効果がある。
【００４７】
また、メッセージ項目は、行動規則に記述されたスクリプトを実行した時に、どのようなメッセージをディスプレイ１１２又はスピーカー１１３に出力するかを定める。メッセージは、種々の言い回しを持つメッセージデータベース１０から選択され、種々の特性を持つエージェントを表現することができる。
【００４８】
図４にメッセージデータベース１０を構成する種々の言い方データベースの例と、それぞれの言い方データベースにおける行動とメッセージとの主要な例を示す。言い方データベースは、標準的な表現である標準データベース、丁寧な言い方データベース、くだけた言い方データベース、女性的言い方データベース、方言（例えば、東北、関西、九州など）のデータベース、厳格ないい方データベース、大雑把な人のいい方データベース、下品ないい方データベース、上品ないい方データベース、若者用語辞書データベースなどである。
【００４９】
例えば、図２の「指し示す」属性は、丁寧な言い方データベースの中の「指し示す」メッセージへのポインターで、丁寧に指し示すメッセージ、例えば「こちらでございます」というメッセージ記憶領域２に格納されたメッセージを指す。従って、例えば、ユーザの要求に対して情報を指し示す時に、エージェントの指し示す画像パターンを表示しつつ「こちらでございます」というメッセージの表示、又は音声出力を行なう。
【００５０】
メッセージ設定手段９は、エージェントの性格属性や出身地属性、性属性が設定される時に、設定する静的設定作用と、エージェントの起動中に、エージェントの状況によって設定する動的設定作用とを持つ。静的設定作用では、例えば女性ならば女性的言い方データベースからメッセージを設定したり、丁寧ならば丁寧な言い方データベースからメッセージを設定したり、大阪出身ならば関西方言言い方データベースからメッセージを設定したりする。
【００５１】
メッセージ項目の設定を変更することにより、一つのエージェントオブジェクトの中で、二種類以上のメッセージデータベース１０からのメッセージを設定できる。
【００５２】
また、メッセージ設定手段９は、状況によってメッセージ項目を設定するメッセージデータベースを動的に選択する作用を有する。例えば、花子さんを何度も登場させた時に、メッセージ設定手段９にくだけた言い方データベースを使用するように作用させると、メッセージ設定手段９が花子さんのエージェントオブジェクトのメッセージ項目へくだけた言い方データベースのポインターを設定するため、指し示すメッセージが「こちらでございます」から「これだよ」という表現に変わる。そのため、くだけた態度に変化したように、ユーザに感じられるという効果がある。
【００５３】
行動規則項目のＩｆ−Ｔｈｅｎルールの実行部でメッセージ項目の使い分けを行なっても同様の効果が得られる。このように、エージェントのメッセージをそのエージェントらしい言い方に、かつその時の状況に合った言い方に動的に変更できるという効果がある。
【００５４】
また、種々のエージェントを作成する上で、組合せのバリエーションを増やせるという効果もある。
【００５５】
また、エージェントの行なう処理の特性と、話し方の特性とを一致させることもできる。例えば、厳格な話し方をするエージェントは、検索方針も厳密に行なうが、処理がその分遅くなるという特性を持つ。また、逆に、大雑把な話し方のエージェントは、検索は速いが広範囲に渡って粗く検索をかける方法を取る。キャラクターの性格がさっぱりした性格か、執着するタイプかで、検索結果のデータをどれくらいずつ持ち帰るかを設定できる。このように、エージェントの発するメッセージの言い回しを知ることによって、エージェントの処理の特性を容易に予想することができるという効果がある。なお、メッセージを文字列データと仮定して説明したが、音声であっても同様の効果がある。
【００５６】
エージェント制御手段１４は、エージェント起動の命令を受け取ると、指定されたエージェント名をエージェント処理手段５に渡し、エージェント処理を起動する。
【００５７】
エージェント処理手段５は、指定されたエージェントのデータ構造をエージェントオブジェクト記憶領域１から探索し、そこに記述された基本要素項目、行動規則項目、感情表現パターン、メッセージ項目に従って、処理を行なう。
【００５８】
また、エージェント制御手段１４は、複数のエージェントを同時に起動している時の制御を行なう。これにより、複数のエージェントを同時に処理させることを可能とする。このことを利用すれば、例えば、性格や得意分野の異なる複数のエージェントに、同時に検索処理を行なわせることによって、検索式よりも分かりやすい方法で複数の検索分野を指定することができる。
【００５９】
エージェント出力手段６は、各オブジェクト内からポインターで指示されたメッセージ記憶領域２のメッセージと、フレーム画像記憶領域３のフレーム画像とを参照し、ディスプレイ１１２上に表示を行なう。メッセージが音声データの場合は、スピーカー１１３に出力を行なう。
【００６０】
画像出力は、フレーム画像記憶領域３に記憶された、フレーム画像を、フレーム画像切替え表示手段１０１によって、ある一定の時間間隔でディスプレイ１１２上に表示を行なう。
【００６１】
エージェントリスト表示選択手段１３は、エージェント制御手段１４を通じて、エージェントオブジェクト記憶領域１に登録されているエージェントのリストを表示する。
【００６２】
図５は、エージェントリストの表示例を示す図である。一番左端にエージェントの基本イメージとエージェントの名前が表現されている。左から２番目の欄には、エージェントの性格が示されている。例えば、一番上の「松下ＭＡＮ」の場合は、律義で丁寧な性格を持つ人のように表現されている。これは、エージェントの処理に関する特性を表現している。
【００６３】
本実施形態でのエージェントの処理は、情報探索であるので、ユーザの要求した情報の探索範囲を詳細に探索するという探索処理の特性を表現する。３番目の得意分野は、ユーザからお勧めの情報を要求された時に、優先的に探索して表示してくれる分野を示す。「松下ＭＡＮ」エージェントの得意分野が電気製品であるのに対して、「花子さん」は、ショッピング、食べ歩き、海外旅行である。このように、エージェントの姿、形から類推しやすいステレオタイプの性格イメージをエージェントに採用することによって、探索分野の絞り込みを自然に行なうことができる。
【００６４】
エージェントリスト表示選択手段１３によって、エージェントを選択すると、そのエージェントの情報がエージェント処理手段５に渡されて、そのエージェントオブジェクト内に記述された起動処理に従って、エージェントが起動される。
【００６５】
このように、擬人的な性格を選択することは、性格を持つ人を判断するという人の日常の情報処理と似ているので、高速に判断を下しやすいという効果と、何を基準に選択したらよいかとか、選択した結果どうなるかといったことが予想しやすく、また、理解しやすいという効果がある。
【００６６】
性格によって、使用するメッセージデータベース１０の種類を別に設定すれば、それぞれのメッセージの言い回しが異なり、エージェントの発するメッセージがエージェントの性格に応じた言葉使いらしくなる。例えば、律義で丁寧な「松下ＭＡＮ」エージェントのメッセージは、懇切丁寧な言葉使いである。このように、メッセージを見る／聞くことによって、エージェントにさせる処理が、どのような特質を持つかを簡単に予想できるという効果がある。
【００６７】
服装イメージデータベース８には、例えば図６の左の欄に示した服装の服装イメージが格納されている。対応する右の欄には、服装の意味する専門分野が示されている。左の服装をしたエージェントに検索処理を行なわせた場合、対応する右欄が検索対象分野を示す。
【００６８】
服装イメージ設定手段７は、あるエージェントに対して服装イメージ又は専門分野の指定があった時に、その服装イメージを指定されたエージェントの各フレーム画像上にオーバーレイ処理を行なって服装イメージを上書きする。すると、そのエージェントの表現画像がその服装を着用したような画像となる。
【００６９】
図７で示すように、花子さんエージェントにスチュワーデス服装イメージが上書きされると、花子さんエージェントは海外旅行が専門分野となるし、逆に、花子さんエージェントの専門分野を海外旅行と指定すると、服装がスチュワーデスに変化する。このことにより、服装によってそのエージェントの検索処理などの処理における得意分野が何かが分かりやすいという効果がある。
【００７０】
なお、花子さんエージェントに図６の一番下にある「普段着」を着せると、専門分野は設定されない。専門分野が指定されていない場合は、得意分野がデフォルト値として扱われる。例えば、図２の花子さんエージェントの場合は、ショッピング、食べ歩き、海外旅行が得意分野である。
【００７１】
複数のエージェントを同時に起動することができ、それらのエージェントは、エージェント制御手段１４が、起動されたエージェントオブジェクトの名前と、起動条件とを管理する。検索対象の分野の範囲を広げたい場合に、複数エージェントを用いてそれぞれに検索を行なわせると、検索結果がそれぞれの結果の和集合で得られる。従って、要求を満足するような広い範囲での情報収集が簡単にできるという効果がある。また、複数エージェントの選択による収集された情報が、各エージェントが収集する情報の和集合であることが理解しやすいという効果もある。また、収集情報の違いの区別が理解しやすいという効果もある。
【００７２】
検索対象の情報が上記のような科学や工学などの学問的な分野でなくビデオ・オン・デマンドと呼ばれるユーザ要求に応じてビデオの再生を行なうシステムの中での映画選択を行なう場合にも、次のような基本イメージを持つエージェントを登録しておくことで、どの映画を勧めたら良いかの選択をユーザに簡単にさせることができる。
【００７３】
例えば、基本イメージを著名な監督の似顔絵、女優又は男優の似顔絵とすれば、監督で映画を選びたい場合は、好きな監督の似顔絵のエージェントを選択する。俳優やスターでテレビ番組を選びたい場合は、俳優やスターの似顔絵のエージェントを選択する。映画のジャンルによって選択させたければ、カウボーイ（西部劇というジャンルを示す）、サングラスをかけたスパイ（アクション映画というジャンルを示す）、宇宙人（ＳＦ映画というジャンルを示す）のイメージとする。
また、視聴者層での人気度による検索ならば、一般市民の代表的な視聴者層、例えば、小学生、中高生、20代前半、ヤングミセス、などの典型的なステレオタイプのエージェントを選択するとしても同様の効果を得る。
【００７４】
以上のように、擬人化されたエージェントの画像と言葉、性格を見聞きすることで、ユーザ自身の目的や趣向に合ったエージェントを、種々のエージェントの中から選択することが容易にできるという効果がある。
【００７５】
(実施の形態２)
図８は、本発明の実施の形態２におけるエージェント表示装置７００の構成図を示す。以下、本発明の実施の形態１と異なる部分について、主に説明する。
【００７６】
エージェントオブジェクト編集手段１５は、エージェントを新たに作成したり、既存のエージェントの設定を変更する編集機能を有する。本実施形態では、エージェントオブジェクト編集手段１５によってエージェントを編集し、通信手段７１１によってエージェントの送受信を行なう実施の形態に関して説明を行なう。
【００７７】
言い回しのあるメッセージを設定する場合は、エージェントオブジェクト編集手段１５が、メッセージ設定手段９から、メッセージの種類やメッセージ例を得て、ディスプレイ７１２に表示する。ユーザがメッセージを選択すると、操作対象のエージェントオブジェクトのメッセージ項目に、メッセージへのポインターを保存する。
【００７８】
図９は、フレーム画像生成手段の構成図である。以下、フレーム画像生成手段の実施形態に関して説明する。エージェントのイメージの、胴体や肢体の部分を構成する基本イメージを編集するのが、基本イメージ編集手段８０１である。基本イメージ編集手段８０１は、胴体イメージデータベース８０２、肢体イメージデータベース８０３、手足イメージデータベース８０４、頭イメージデータベース８０５、物体イメージデータベース８０６、顔イメージデータベース８０７を用いて、基本イメージを作成する。
【００７９】
顔イメージデータベース８０７は、目、鼻、口のイメージデータを含む。物体イメージデータベース８０６は、エージェントが人以外を表現する場合の物体のイメージを格納する。図３の書類渡し画像パターンの書類イメージは、物体イメージデータベース８０７の一例である。基本イメージ編集手段８０１の編集結果である基本イメージは、基本イメージ記憶領域８０８に格納される。
【００８０】
感情を表現するイメージパターンは、スケルトンモデルで表現され、感情表現イメージパターンデータベース１２に格納されている。
【００８１】
図１０に、スケルトンモデルを説明する図を示す。スケルトンモデルは、１個の胴体部９０１と、右腕部９０２、左腕部９０３、右足部９０４、左足部９０５、頭部９０６を示す５つの直線で表現された肢体部と５つの終線部分（９１０、９１１、９１２、９１３、９３０）、５直線と胴体との接続した可回転部分（９２０、９２１、９２２、９２３、９２４）とから構成される。
【００８２】
頭部の終線部分９３０は、矢印がついており、顔がどの方向を向いているかを表現している。胴体と肢体部とが離れていてもよい。これにより、アニメーションらしい誇張表現を行なえるという効果がある。
【００８３】
スケルトンモデル編集手段８１４は、スケルトンモデルの構成要素の配置を２次元平面上に設定する配置手段８２０と、肢体部や胴体部と肢体部を伸縮させる伸縮手段８２２と、顔が左右上下正面のどの方向を向いているかを設定する顔方向設定手段８２１とを有する。スケルトンモデルのデータをイメージマッピング手段８０９を介して感情表現イメージパターンデータベース１２からコピーして編集を行ない、新たな感情表現イメージパターンを作成することができる。
【００８４】
イメージマッピング手段８０９は、スケルトンモデルに対して基本イメージをマッピングする処理を行なう。スケルトンモデルの胴体部、肢体部、頭部に基本イメージの胴体イメージ、肢体イメージ、頭部イメージを重ね合わせる。胴体部や肢体部において、伸縮変形が行なわれている場合は、同じ伸縮変形をイメージに対して行なう。頭部は、顔の向きによってイメージが異なる。頭回転イメージデータベースには、あらかじめ用意された頭部の回転イメージが格納されており、その中から指定された回転角度のイメージを選択してマッピングする。選択された頭部イメージには、目、鼻、口のイメージ位置が指定されているので、所定の位置に目、鼻、口のイメージをマッピングする。このようなイメージマッピング処理を終了したイメージデータは、感情表現イメージパターン記憶領域８１１に格納される。
【００８５】
目や口を持たない最も単純な基本イメージをイメージマッピング手段８０９によってスケルトンモデルにマッピングさせたイメージを、スキンモデルと呼ぶ。スキンモデルは、スキンモデル記憶領域８１２に記憶される。スケルトンモデル編集手段８１４からスキンモデルの生成処理を起動して、スキンモデル記憶領域８１２を呼び出せる。
【００８６】
図１１に、楽しく登場する動作を表現するスケルトンモデルによる感情表現イメージパターン１００１と、スキンモデルによる感情表現イメージパターン１００２の例を示す。この感情表現イメージパターンは左から右に時系列的に表示され、エージェントが登場しておじぎをする一連の動作を表す。スキンモデルによる感情表現イメージパターンは、スケルトンモデルによる感情表現イメージパターンに目鼻のないエージェントの標準的な基本イメージを、イメージマッピング手段８０９によってマッピング処理したものである。エージェント編集時に、感情表現イメージパターンを選択する時に、スケルトンモデルよりもスキンモデルによる感情表現イメージパターンを出力した方が、編集する人にとって実際のエージェントの表示画像であるフレーム画像パターンを想像しやすいという効果がある。
【００８７】
図１２は、スケルトンモデルが人でなくペンギンのような変わった形状を基本とした時のスケルトンモデルによる驚きの感情表現イメージパターンと、そのパターンにエージェントの「ペンちゃん」の基本イメージパターンをマッピングして生成したフレーム画像の例である。このように、スケルトンモデルの基本形をキャラクターに合わせて自由に変形することができる。このことによって、本発明が人以外の形態をしたエージェントにも適用可能という効果がある。
【００８８】
感情表現イメージパターンデータベース１２には、図１２の他に図１３で示されるような動作を表現するイメージパターンが格納されている。フレーム画像設定手段８１３は、イメージマッピング手段８０９の結果の格納された感情表現イメージパターン記憶領域８１１のデータを時系列の順序に集め、フレーム画像記憶領域３への格納と、エージェントオブジェクト記憶領域１に格納されたエージェントオブジェクトへの設定を行なう。これにより、エージェントのフレーム画像が設定される。
【００８９】
以上のように、エージェントの基本イメージを基本イメージ編集手段８０１によって作成し、感情表現イメージパターンデータベース１２の中から、スケルトンモデルで記述された適当な感情表現パターンを選択すれば、他のエージェントのどの動作とも同じ動作を行なえる。すなわち、エージェントごとにフレーム画像を作成しなければならないという手間を省くことができる効果がある。そして、スケルトンモデルによる感情表現イメージパターンを作成、選択することによって、ユーザの趣向に適するフレーム画像を簡単に作成できる効果がある。
【００９０】
ここで、エージェントのペンちゃんにパーティの招待をさせる場合を例にエージェントの送受信に関して説明する。まず、エージェントオブジェクト編集手段１５を用いて送信するエージェントペンちゃんのエージェントオブジェクトを編集し登録する。まず、パーティ案内のメッセージをメッセージ編集手段７０２を用いて編集して登録すると、メッセージ設定手段９が起動され、メッセージがメッセージ記憶領域２に格納されて、そのポインターがエージェントオブジェクト記憶領域１のペンちゃんエージェントのメッセージ項目に格納される。
【００９１】
次にイメージについては、エージェントオブジェクト編集手段１５内から「くるくる回転」というスクリプトのフレーム画像を新規に作成してペンちゃんの動作とする。まず、エージェントオブジェクトの感情表現パターン項目にくるくる回転を記述する。そして、スケルトンモデルを、スケルトンモデル編集手段８１４によって編集し、スケルトンモデル記憶領域８１５に格納する。ペンちゃんの基本イメージは、基本イメージデータベース４内にすでに存在すると仮定する。もし、基本イメージの修正を行なう場合は、基本イメージ編集手段８０１によって編集する。
【００９２】
スケルトンモデル編集手段８１４からイメージマッピング手段８０９を起動し、作成したスケルトンモデルへのマッピングを行なったイメージパターンを感情表現イメージパターン記憶領域８１１に格納する。フレーム画像設定手段８１３が感情表現イメージパターン記憶領域８１１に格納された感情表現イメージパターンをフレーム画像記憶領域３に格納し、エージェントオブジェクト記憶領域１に格納されたエージェントオブジェクトの感情表現パターン項目のくるくる回転にそのポインターを設定する。
【００９３】
また、エージェントオブジェクト編集手段１５を用いて、行動規則項目にＩｆ：起動の実行部にくるくる回転を記述する。くるくる回転以外の動作についても、同様の操作によってエージェントに処理させることができる。
【００９４】
送信のコマンドが入力されると、通信コマンド入力手段７１０が、エージェント制御手段１４に送信するエージェントの指定を行なう。エージェント制御手段１４は、送信するエージェントに該当するエージェントオブジェクト記憶領域１に格納されたエージェントオブジェクトのデータと、それにリンクされたメッセージ記憶領域２に格納されたメッセージと、フレーム画像記憶領域３に格納されたフレーム画像とを、通信手段７１１を用いネットワーク７１７を介して送信する。
【００９５】
受信側は、図７と同じ構成の装置を有し、通信手段７１１で受信してエージェント制御手段１４に制御が渡される。エージェント制御手段１４は、受信したエージェントオブジェクトをエージェントオブジェクト記憶領域１とメッセージ記憶領域２とフレーム画像記憶領域３とに格納する。受信したエージェントオブジェクトのエージェントの起動は、エージェント制御手段１４から行なう。エージェントが起動されると、行動規則項目に記述されたルールに従って動作する。
【００９６】
例えば、次のような動作を行なえる。電子メールが到着したことを注目させるために、くるくる回転するフレーム画像で登場する。マウスクリックされたら、要件であるパーティに招待するメッセージを出力し、出席または欠席の返事を待つ。マウスクリックなどの出席の反応をユーザが行なうと、エージェントが飛びあがる喜びの感情表現画像パターンを出力し、欠席ならば残念がる画像パターンを出力する。このことにより、文字列だけでは得られない楽しい効果を与えられる。
【００９７】
返信する場合、例えばエージェントオブジェクト編集手段１５を用いて、ペンちゃんを少し変更して送り返すことができる。例えば、行動規則項目のＩｆ：起動のＴｈｅｎ部を「驚く、喜ぶ」とし、メッセージ設定手段９が関西方言データベースからメッセージを選択するように設定しておくと、エージェントオブジェクト編集手段１５から呼び出されたフレーム画像生成手段１１は、感情表現イメージデータベース１２内の驚くと喜ぶのスケルトンモデルにペンちゃんの基本イメージをマッピングしてフレーム画像を生成してエージェントオブジェクトにポインターを設定する。
【００９８】
また、メッセージ設定手段９は、図４の関西方言データベースのように「ホンマでっかー」と「えらいうれしいですわ」のポインターをエージェントオブジェクトに設定する。エージェントオブジェクト編集手段１５を用いて、「出席させてもらいますわ」という独自のメッセージを作成して、メッセージ記憶領域２に登録することもできる。
【００９９】
また、エージェントの基本イメージに自分の似顔絵を登録することもできる。この場合、相手にとって誰からの電子メールであるかが分かりやすく、親しみがわくという効果がある。
【０１００】
これによって、エージェントを電子メールのようにコミュニケーション手段として使用することができる。伝達したい文字列のメッセージだけでなく、相手の反応に対して、感情や性格を持つかのように対話的に反応させ、コミュニケーションの円滑化を行なう効果がある。
【０１０１】
また、性格や感情を表現するエージェントをコミュニケーション手段に使用することによって、楽しい演出を行なえるという効果がある。
【０１０２】
エージェント制御手段１４は、複数のエージェントを同時に起動している時の管理を行なう。性格や服装の異なる複数のエージェントを同時に送信することによって、さらに楽しい演出が可能である。例えば２つのエージェントを送信した場合に、各エージェントオブジェクトのメッセージを全て関西方言データベースから選択し、行動規則に２つのエージェントが互いの台詞を条件に会話をするように指定すれば、２つのエージェントに掛け合い漫才的な会話を実現することができる。すると、情報伝達における漫才的な楽しい雰囲気の演出ができるという効果と、２つのエージェントが重要な伝達事項を繰り返すことで、相手の印象に残るという効果が得られる。
【０１０３】
また、このようなエージェント表示装置をシステム状態を提示する場合に適用すると、システム状態を効果的に示すことができる。例えば、データ転送状態の時は、書類を左から右へ渡している画像イメージで表現し、情報収集状態の時は、分厚い百科辞典をパラパラめくっている画像イメージで表現するなどである。
【０１０４】
キャラクターのアニメーション動作によって、システムの状況が今どういった状況なのかがユーザに分かりやすいという効果がある。
【０１０５】
また、エージェントの属性の中に、コンピュータの習熟度を設けて、ユーザに選択させるか、システムが操作レベルを判断して、属性値を設定すれば、熟練度に対応したシステムメッセージの出力ができる。この場合、熟練度に応じたメッセージレベルの変更を容易にするという効果がある。
【０１０６】
なお、メッセージを文字列データと仮定して説明したが、音声であっても同様の効果がある。
【０１０７】
以上のように、エージェントオブジェクトの行動規則項目のルールのスクリプトを編集するという簡単な操作によって、キャラクターの動作を単純なアニメーションで表現できるという効果がある。また、スケルトンモデルを編集することによって、キャラクターの動作を簡単に作成できるという効果がある。また、エージェントを電子的に送信して動作と言い回しを持つメッセージを出力することによって、分かりやすく楽しいコミュニケーションの効果を与えることができる。
【０１０８】
また、システムの状況を示すシステムメッセージやエラーメッセージをエージェントの動作で出力することによって、現在の状況がユーザに分かりやすいという効果がある。
【０１０９】
【発明の効果】
以上のように本発明は、第一の課題に対して、画像上に表現された情報検索を行なう擬人化されたエージェントの表現パターンや言動をユーザが示し、種々のエージェントの中から検索目的に合ったエージェントを選択する方法によって検索方法の指定が行なえる。
【０１１０】
ユーザにとって、検索情報の知識がない場合やインターネットのＷＷＷサーバのように情報源が膨大である場合に、種々のエージェントの中から自分のその時の目的に最も合うエージェントを選択するという簡単な方法で、要求に近い情報を得られるという効果がある。
【０１１１】
また、熟練度の属性を持つエージェントの場合は、システムの処理を自分の熟練度に合わせた処理に簡単に適応させることができるという効果がある。
【０１１２】
第二の課題に対しては、エージェントオブジェクトの行動規則項目のルールの条件部や実行部のスクリプトを編集することによって、簡単にアニメーション作成を行なえるという効果がある。また、単純なスケルトンモデルに対して基本イメージをマッピングする処理を行なうため、スケルトンモデルの中からユーザの好みや目的に応じて動作パターンを選択するだけで簡単にアニメーションを作成できるという効果がある。
【０１１３】
また、スケルトンモデルの構造が単純なので、変更が容易にできるという効果もある。
【０１１４】
第三の課題に対しては、キャラクターアニメーションの服装、動作、言葉使いによって、システムの状況がどういった状況であるかが、ユーザに分かりやすくなるという効果がある。また、電子メールのような通信手段に用いた場合は、相手がどのような状況であるかが分かりやすく、いきいきした状況を伝えるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１によるエージェント表示装置の構成図
【図２】本発明の実施の形態１によるエージェントオブジェクトのデータを示す概念図
【図３】本発明の実施の形態１によるエージェントオブジェクトのデータ構造図
【図４】本発明の実施の形態１によるメッセージデータベースの格納データ例図
【図５】本発明の実施の形態１によるエージェントリストの表示例を示す概念図
【図６】本発明の実施の形態１による服装名と専門分野との対応を示す概念図
【図７】本発明の実施の形態１による服装イメージ上書き例を示す概念図
【図８】本発明の実施の形態２によるエージェント表示装置の構成図
【図９】本発明の実施の形態２によるフレーム画像生成手段の構成図
【図１０】本発明の実施の形態２によるスケルトンモデルを示す概念図
【図１１】本発明の実施の形態２による感情表現イメージパターンと対応するスキンモデルの例を示す概念図
【図１２】本発明の実施の形態２による感情表現イメージパターンと対応するフレーム画像パターンの例を示す概念図
【図１３】本発明の実施の形態２による感情表現イメージパターンの例を示す概念図
【図１４】従来のエージェントシステムの構成図
【符号の説明】
１ エージェントオブジェクト記憶領域
２ メッセージ記憶領域
３ フレーム画像記憶領域
４ 基本イメージデータベース
５ エージェント処理手段
６ エージェント出力手段
７ 服装イメージ設定手段
８ 服装イメージデータベース
９ メッセージ設定手段
１０ メッセージデータベース
１１ フレーム画像生成手段
１２ 感情表現イメージパターンデータベース
１３ エージェントリスト表示選択手段
１４ エージェント制御手段
１５ エージェントオブジェクト編集手段
１００ エージェント表示装置
１０１ フレーム画像切替え表示手段
１１１ 情報検索手段
１１２ ディスプレイ
１１３ スピーカー
１１４ ネットワーク
７００ エージェント表示装置
７０１ フレーム画像切替え表示手段
７０２ メッセージ編集手段
７０３ 感情表現イメージパターン編集手段
７１０ 通信コマンド入力手段
７１１ 通信手段
７１２ ディスプレイ
７１３ スピーカー
７１４ マウス
７１５ キーボード
７１６ マイク
７１７ ネットワーク
８０１ 基本イメージ編集手段
８０２ 胴体イメージデータベース
８０３ 肢体イメージデータベース
８０４ 手足イメージデータベース
８０５ 頭イメージデータベース
８０６ 物体イメージデータベース
８０７ 顔イメージデータベース
８０８ 基本イメージ記憶領域
８０９ イメージマッピング手段
８１０ 頭部回転イメージデータベース
８１１ 感情表現イメージパターン記憶領域
８１２ スキンモデル記憶領域
８１３ フレーム画像設定手段
８１４ スケルトンモデル編集手段
８１５ スケルトンモデル記憶領域
８２０ 配置手段
８２１ 顔方向設定手段
８２２ 伸縮手段
９０１ 胴体部
９０２ 右腕部
９０３ 左腕部
９０４ 右足部
９０５ 左足部
９０６ 頭部
Claims (4)
- 擬人化された情報処理プロセスであるエージェントに関して、エージェントの属性や処理を規定するデータであるエージェントオブジェクトを格納するエージェントオブジェクト記憶領域と、エージェントの出力するメッセージを格納するメッセージ記憶領域と、エージェントの画像フレームを格納するフレーム画像記憶領域と、エージェントの表示イメージの基本構成画像を格納する基本イメージデータベースと、エージェントオブジェクトに記述された処理を実行するエージェント処理手段と、エージェントの出力を出力装置に送出するエージェント出力手段と、複数個のエージェントを表示してユーザの選択を受け付けるエージェントリスト表示選択手段と、エージェントの属性によってメッセージの言い回しを変更するメッセージ設定手段と、種々の言い回しをするメッセージを格納するメッセージデータベースとを有するエージェント表示装置。
- メッセージ設定手段とメッセージデータベースとが、音声による音声メッセージ表現方法設定手段と、音声メッセージデータベースとである請求項１記載のエージェント表示装置。
- 擬人化された情報処理プロセスであるエージェントに関して、エージェントの属性や処理を規定するデータであるエージェントオブジェクトを格納するエージェントオブジェクト記憶領域と、エージェントの出力するメッセージを格納するメッセージ記憶領域と、エージェントの画像フレームを格納するフレーム画像記憶領域と、エージェントの表示イメージの基本構成画像を格納する基本イメージデータベースと、エージェントオブジェクトに記述された処理を実行するエージェント処理手段と、エージェントの出力を出力装置に送出するエージェント出力手段と、エージェントの表示イメージに服装イメージを上書きする服装イメージ設定手段と、服装イメージデータベースと、エージェントの属性によってメッセージの言い回しを変更するメッセージ設定手段と、種々の言い回しをするメッセージを格納するメッセージデータベースと、感情を表現するイメージのスケルトンモデルを格納する感情表現イメージパターンデータベースと、スケルトンモデルに基本イメージをマッピングしてフレーム画像を生成するフレーム画像生成手段と、エージェントオブジェクトを編集するエージェントオブジェクト編集手段と、ネットワークに接続された通信手段とを有するエージェント表示装置。
- ネットワークに接続された通信手段が、システムの状況を監視するシステム状態監視手段である請求項３記載のエージェント表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31413295A JP3644100B2 (ja) | 1995-12-01 | 1995-12-01 | エージェント表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31413295A JP3644100B2 (ja) | 1995-12-01 | 1995-12-01 | エージェント表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09153145A JPH09153145A (ja) | 1997-06-10 |
| JP3644100B2 true JP3644100B2 (ja) | 2005-04-27 |
Family
ID=18049632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31413295A Expired - Fee Related JP3644100B2 (ja) | 1995-12-01 | 1995-12-01 | エージェント表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3644100B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3353651B2 (ja) * | 1997-06-23 | 2002-12-03 | 松下電器産業株式会社 | エージェントインタフェース装置 |
| EP2819002A3 (en) * | 1999-12-23 | 2015-03-04 | M.H. Segan Limited Partnership | System for viewing content over a network and method therefor |
| JP3501729B2 (ja) * | 2000-06-05 | 2004-03-02 | 株式会社タイトー | ブラウジングアシスト装置、プログラムが記録された記録媒体 |
| JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
| JP2002063505A (ja) * | 2000-08-16 | 2002-02-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報配信方法、情報配信センタ装置、情報配信端末装置及びキャラクタ人形 |
| JP4749585B2 (ja) * | 2001-03-30 | 2011-08-17 | 株式会社ブロードリーフ | 擬人化エージェントのユーザに対するサービス提供方法 |
| JP2003106846A (ja) * | 2001-09-28 | 2003-04-09 | Equos Research Co Ltd | エージェント装置 |
| JP2004053251A (ja) * | 2001-11-13 | 2004-02-19 | Equos Research Co Ltd | 車載装置、データ作成装置、及びデータ作成プログラム |
| JP2003233616A (ja) * | 2002-02-13 | 2003-08-22 | Matsushita Electric Ind Co Ltd | 提供情報提示装置、および情報提供装置 |
| JP2003271892A (ja) * | 2002-03-18 | 2003-09-26 | Nippon Telegraph & Telephone East Corp | シナリオ自動生成システム、シナリオ自動生成方法、コンピュータプログラムおよびそのプログラムを記録した記録媒体 |
| WO2003085511A1 (fr) | 2002-04-09 | 2003-10-16 | Matsushita Electric Industrial Co., Ltd. | Systeme fournisseur de parole, serveur, machine client, serveur de gestion fournisseur d'informations et procede fournisseur de parole |
| JP2006235671A (ja) * | 2005-02-22 | 2006-09-07 | Norinaga Tsukiji | 会話装置及びコンピュータ読み取り可能な記録媒体。 |
| JP4869340B2 (ja) * | 2006-05-30 | 2012-02-08 | パナソニック株式会社 | キャラクタ服飾決定装置、キャラクタ服飾決定方法、およびキャラクタ服飾決定プログラム |
| JP2009025224A (ja) * | 2007-07-23 | 2009-02-05 | Clarion Co Ltd | ナビゲーション装置、および、ナビゲーション装置の制御方法 |
| JP6001435B2 (ja) * | 2012-12-12 | 2016-10-05 | Kddi株式会社 | 動画コンテンツ生成装置、動画コンテンツ生成方法およびコンピュータプログラム |
| US11080882B2 (en) | 2016-12-08 | 2021-08-03 | Sony Corporation | Display control device, display control method, and program |
| JP7302642B2 (ja) * | 2017-09-11 | 2023-07-04 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、プログラム及び制御方法 |
| JP6972806B2 (ja) * | 2017-09-11 | 2021-11-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、プログラム及び制御方法 |
| JP6469299B1 (ja) * | 2018-10-10 | 2019-02-13 | 株式会社ＦｉＮＣ Ｔｅｃｈｎｏｌｏｇｉｅｓ | 方法 |
| JP7496128B2 (ja) * | 2019-11-28 | 2024-06-06 | 株式会社シルバコンパス | 仮想人物対話システム、映像生成方法、映像生成プログラム |
| JP7394674B2 (ja) * | 2020-03-19 | 2023-12-08 | 本田技研工業株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| JP7424880B2 (ja) * | 2020-03-19 | 2024-01-30 | 本田技研工業株式会社 | 表示制御装置、表示制御方法、およびプログラム |
-
1995
- 1995-12-01 JP JP31413295A patent/JP3644100B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09153145A (ja) | 1997-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3644100B2 (ja) | エージェント表示装置 | |
| US6329994B1 (en) | Programmable computer graphic objects | |
| Lee et al. | Nonverbal behavior generator for embodied conversational agents | |
| CN108877336A (zh) | 基于增强现实技术的教学方法、云服务平台和教学系统 | |
| US20240153186A1 (en) | Sentiment-based interactive avatar system for sign language | |
| Beskow et al. | OLGA-a dialogue system with an animated talking agent. | |
| Vilhjálmsson | Autonomous communicative behaviors in avatars | |
| Preda et al. | Avatar interoperability and control in virtual Worlds | |
| Tatai et al. | Happy chatbot, happy user | |
| Naert et al. | Motion synthesis and editing for the generation of new sign language content: Building new signs with phonological recombination | |
| Anderson et al. | Presence and usability in shared space virtual conferencing: A participatory design study | |
| Abbattista et al. | SAMIR: A Smart 3D Assistant on the Web. | |
| Norman | Emotionally centered design | |
| Zhang et al. | Towards a Framework for Social Robot Co-speech Gesture Generation with Semantic Expression | |
| Wu et al. | Costume design and animation synthesis for personalized avatars | |
| Dohi et al. | A Visual Software Agent connected with the WWW/Mosaic | |
| Hou et al. | Humanoid personalized avatar through multiple natural language processing | |
| Chauhan et al. | Image Multidiffusion Algorithms for AI Generative Art | |
| Kunyu | Body Image in AI Movies: A Way to Understand the Posthuman | |
| Dohi et al. | Visual Software Agent: A realistic face-to-face style interface connected with WWW/Netscape | |
| Ghaziasgar | The use of mobile phones as service-delivery devices in sign language machine translation system | |
| Ishizuka | A Visual Software Agent: An Internet-Based Interface Agent with Rocking Realistic Face and Speech Dialog Function | |
| Howard | ADVANCED COMPUTER GRAPHICS | |
| Ishizuka et al. | Multimodal anthropomorphic agent connected with WWW information space | |
| Itabashi et al. | Integrated robotics architecture with Kansei computing and its application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050124 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |