JP2723070B2 - 人物像表示によるユーザインタフェース装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、計算機システムあるい
は計算機を内蔵する装置のユーザインタフェースに関
し、特に動作や表情を伴う人物像を利用者に提示して利
用者と計算機との対話を行う人物像表示によるユーザイ
ンタフェース装置に関する。

【０００２】

【従来の技術】人物の動作や表情を用いるユーザインタ
フェースの技術に関しては、コンピュータグラフィック
ス（以下、ＣＧ）のテクスチャマッピングで生成した顔
の表情を利用して、計算機との対話を自然にさせる方法
（人工知能学会研究会資料、ＳＩＧ−ＳＬＵＤ−９２０
４−２，ｐｐ．９−１６，１９９２年）や、顔の表情以
外にも、イラストで描かれた人間の姿勢、例えば、聞き
姿勢やしゃべり姿勢などを利用して、計算機との対話を
円滑化する方法（第８回，Ｈｕｍａｎ Ｉｎｔｅｒｆａ
ｃｅシンポジウム，ｐｐ．１０５−１１０，１９９２
年）があった。

【０００３】

【発明が解決しようとする課題】利用者が計算機システ
ムや計算機を内蔵する装置と対話（入出力）を行う際に
は、その対話部分であるユーザインタフェースの特性や
品質がシステムや装置全体の使い勝手を左右する。ユー
ザインタフェースに画像情報を利用すればテキスト情報
だけの対話に比べて提示される情報の一覧性や視認性、
直感的な理解を助けるなど、作業効率の向上が期待でき
る。この画像情報に人物像を用いることで、計算機との
対話を日常場面での人間同士の対話により近づけられ、
計算機の操作に不慣れな利用者や計算機の利用に抵抗感
を持つ利用者によって抵抗感が低く受け入れられやすい
ユーザインタフェースを提供できる。また、人物像を介
したコマンドや情報の入出力は、計算機に対して命令を
伝えたり情報を受け取る窓口を人物像へ一本化すること
にもつながり、利用者は計算機とのやり取りに際して人
物像の部分に対して重点的に注意を払うだけで済むよう
になる。このようなユーザインタフェースの特性は、例
えば、システムや装置の扱いに不慣れな利用者にとって
は、まずは人物像が情報の入出力に関係している事を直
感的に理解できるので、一種の操作ガイダンスとしても
機能する。

【０００４】人物像としてどの表示形式を選択するかに
よっても、利用者のユーザインタフェースに対する印象
が大きく変わる。例えば、単純な形式から構成された無
機質的なＣＧの人物像を表示した場合には、その人物像
との対話はコンピュータらしさや記号的な情報のやり取
りを利用者に連想させやすい。また、実写による人物像
を表示した場合には人間同士との対話のような、双方向
的で自然言語によるやり取りが行えるような印象を与え
る。従って、作業の種類や目的、利用者やその周囲の環
境、システムや装置の動作状態などに応じて人物像の表
示形式を自由に選択できることが望ましい。

【０００５】ところが、上述した従来の技術では人物像
の表情や姿勢、あるいは、人物像の表現形式を動的にか
つ自由に変更することができず、用途や状況に応じた柔
軟な表現を提供できない問題がある。単調で不適切な人
物像の提示は利用者に違和感を印象づけ、操作性が低下
するだけでなく、システムや装置に対する印象や評価を
下げ利用意欲を減退させるため、その結果として作業効
率まで低下してしまうという問題がある。

【０００６】また従来、人物像の表示をユーザインタフ
ェースとして用いる際には、人物像の表示形式に依存し
た設計を行う必要があった。さらに、異なる表示形式の
人物像の間には互いに関連性が無く、出力する情報の意
味内容は同じままで表示形式だけを変更することはでき
なかった。例えば、人物像としてイラスト画像を表示す
るようにアプリケーションプログラムを設計してしまう
と、人物像をポリゴン表示によるＣＧ画像や実写画像に
切替えたり合成を行うためには、アプリケーションプロ
グラム毎にＣＧや実写画像を処理するサブルーチンや関
数を追加したり、また、そのために必要な人物像のデー
タを個別に作成する必要があり、表示形式の変更は簡単
には行えなかった。このようなアプリケーションプログ
ラム毎にまちまちなユーザインタフェースを構築する
と、同じような人物像を表示するプログラムであっても
その動作や表示の意味に統一性が無くなり、アプリケー
ションプログラムの作成効率が悪いだけでなく、複数種
類の完成プログラムを利用する利用者を混乱させる一因
ともなる。

【０００７】本発明の目的は、利用者や計算機システム
の動作状況に応じて、多様な表示形式の人物像を、動作
や表情を伴いながら表示させることができるようにし、
かつ、それら人物像表示を装置のユーザインタフェース
として簡単に設計し利用できるようにすることで、人物
像表示を利用するユーザインタフェースに一貫性や統一
性を持たせ、効果的でかつ快適な装置操作性を実現する
ことにある。

【０００８】

【課題を解決するための手段】本発明、第１の発明は、
計算機の画面上に表示する人物像の種類や動作の指定、
動作の手順等が記載された動作表現スクリプトを作成
し、前記動作表現スクリプトによって、前記人物像の表
示制御を行い、利用者との対話を行う計算機に用いられ
る人物像表示によるユーザインタフェース装置におい
て、前記動作表示スクリプトを解析して表示する人物像
の動作を指定する動作情報と人物像の属性や種類や演出
効果などの動作以外の要素を指定する表現情報とを生成
し出力する動作表現スクリプト解析部と、数値または記
号により人物の動作をモデル化した動作パターンと前記
動作情報との対応関係を定義した動作パターンデータベ
ースと、前記動作パターンデータベースを照合して前記
動作情報に基づき動作パターン情報を生成する動作パタ
ーン生成部と、前記利用者に関する情報を収集しユーザ
情報として出力または格納を行うユーザ情報収集部と、
前記計算機の動作状態を調べ装置状態情報として出力ま
たは格納を行う装置状態情報収集部と、前記装置状態情
報と前記ユーザ情報をもとに前記動作パターン情報に対
して修飾や調整を加える場合の対応関係を定義した動作
パラメータ修飾ルールと、前記動作パラメータ修飾ルー
ルと前記装置状態情報や前記ユーザ情報を参照し、前記
動作パターン情報に修飾や調整を加え、処理後の動作パ
ターン情報を出力する動作パラメータ修飾部と、前記ユ
ーザ情報または前記装置状態情報もしくは前記表現情報
と表示する人物像の種類や属性や表示形式との対応関係
を定義した表現形式ルールと、前記表現形式ルールと前
記ユーザ情報と前記装置状態情報を参照し、前記表現情
報に基づき表示する人物像の種類や属性や表示方法を決
定し、表示制御情報を生成し出力する表現形式選択部
と、前記処理後の動作パターン情報と前記表示制御情報
とに基づいて指定された人物像を生成し映像信号として
出力する人物像生成部とを備えることを特徴とする。

【０００９】また、第２の発明は、第１の発明におい
て、前記人物像生成部が、前記動作パターン情報と前記
表示制御情報とに基づいて画像の生成と画像出力処理の
制御を行う人物像生成制御部と、コンピュータグラフィ
クスの表現形式による人物像の情報が動作パターン毎に
格納されているＣＧ人物像情報格納部と、イラストの表
現形式による人物像の情報が動作パターン毎に格納され
ているイラスト人物像情報格納部と、実写の表現形式に
よる人物像の情報が動作パターン毎に格納されている実
写人物像情報格納部と、前記人物像生成制御部の制御に
従い前記ＣＧ人物像情報格納部を参照してコンピュータ
グラフィクスの表現形式による人物像の映像信号を生成
するＣＧ画像生成部と、前記人物像生成制御部の制御に
従い前記イラスト人物像情報格納部を参照してイラスト
の表現形式による人物像の映像信号を生成するイラスト
画像生成部と、前記人物像生成制御部の制御に従い前記
実写人物像情報格納部を参照して実写の表現形式による
人物像の映像信号を生成するイラスト画像生成部と、前
記人物像生成制御部の制御に従い前記表示制御情報によ
って指定された人物像の映像信号を人物像出力部へ出力
する人物像出力処理部とから構成されることを特徴とす
る。

【００１０】また、第３の発明は、第２の発明におい
て、前記人物像出力処理部が、前記ＣＧ画像生成部また
は前記イラスト画像生成部もしくは前記実写画像生成部
から送られてきた映像信号に修正や調整あるいは特殊効
果の付加を行う画像処理部と、前記画像処理部から送ら
れてきた映像信号の切替または合成を行う画像合成切替
部と、前記画像合成切替部から送られてきた映像信号に
修正や調整あるいは特殊効果の付加を行う終段画像処理
部とから構成されることを特徴とする。

【００１１】また、第４の発明は、第２または第３の発
明において、前記人物像生成部が、音声情報を格納した
音声情報格納部と、音声情報格納部を参照し前記人物像
生成制御部の制御に従い音声信号を生成する音声生成部
とをさらに備えて構成され、前記人物像生成制御部が、
音声の生成と音声出力処理の制御をさらに行うことを特
徴とする。

【００１２】

【実施例】以下の説明において、「対話」とは利用者と
装置との間の情報のやり取り、つまり、情報の入出力の
ことを指す。ＣＧまたはＣＧ画像とは座標値をもとに画
像を生成したものを指す。イラスト（ＩＬＬＵＳＴ）ま
たはイラスト画像とはスタイラスペンやマウス、デジタ
イザ、キーボード等の入力装置を使い描画用のソフトウ
ェアを用いて画素の集合として作成した画像、または、
ペンや筆などの描画手段を用いて描いた絵をスキャナや
カメラなどの入力手段で取り込み画素の集合へと変換し
たもの（例えばビットマップデータとして表現されたも
の）を指す。実写（ＩＭＡＧＥ）または実写画像とは、
カメラなどを用いて実際の空間を撮影し画素やラスタの
集合へと変換したものを指す。イラストと実写との違い
は画像の内容が人間の手によって描画されたものである
か否かの違いによる。また、映像信号は電流または電圧
の振幅や位相、周波数といった物理量の変動として表さ
れる場合（例えば、ＮＴＳＣ規格による映像信号など）
の他に、数値や記号といった論理的な情報として表され
る場合（例えば、離散的な階調として表されたＲＧＢ値
による画像表現などがこれにあたる。また、与えられた
ベクトル値に基づいて描画を行うような表示装置に出力
する場合には描画のために必要なベクトルの座標値やベ
クトル量など）も含まれる。また、以下では計算機シス
テムあるいは計算機を内蔵する装置は単に「計算機」と
呼ぶことにする。本発明の実施にあたっては計算機の他
に、動作表現スクリプトを手動で入力し出力する装置
や、あるいは、あらかじめ動作表現スクリプトを記憶・
格納しその動作表現スクリプトを再生・出力が行えるよ
うな装置に対しても実施することができる。後者の例と
してはメモリ上に動作表現スクリプトを記憶しておき何
らかのトリガにより順次出力する装置（メモリカードや
磁気カードなどから情報を読み出す装置）が挙げられ、
特定の人物像のみを表示するような用途や特定の情報を
多数に提示するような用途（例えば人物像の動画表示を
伴う宣伝広告など）に対しても有効である。

【００１３】まず、本発明における人物像やその動作の
扱いについて説明する。本発明では人物像の処理や制
御、管理は人物像の「属性」と「動作」とに区別して行
う。属性とは、例えば性別、年齢、職業、体格や外観の
特徴、といったものを表す。動作は動作パターンによっ
て定義、管理される。つまり、人物像の動作は、動作パ
ターンの組み合わせや各動作パターンのパラメータを設
定することで表現される。動作パターンとは人間の代表
的な動作を有限種類に区分、分類したものである。具体
的には人体の各部位が変位する方向や量、また、それら
変位の時間変化として表現される。特に、動作の量や速
度、時間変化などの動作の量的な要素を数値的に表した
部分を動作パラメータと呼ぶ。つまり、動作パターンは
動作の種類と動作パラメータとによって記述される。動
作の種類とは例えば、「首を振る」「手を挙げる」「立
ち上がる」「目を閉じる」「笑う」といった具合に動作
を区分したものである。従って、動作パターンとは、
「手を移動する 上へ １０」といった具合に人間の動
作を記述したものである。図６の例では「ＨＥＡＤ Ｆ
ＯＲＷＡＲＤ ０．３」という一文が一つの動作パター
ンを形成している。体の別の部位を同時に動作させる場
合には、複数の動作パターンを括弧で一まとまりにくく
る、といった記述方法により表すことができる。動作パ
ターンは処理しやすいように数字や記号により抽象的な
表現を用いることが望ましいが、これはあくまで一例で
あり、色々な表現が可能である。実際の人体の部位に関
する情報は人物像生成部の内部に格納してあり、動作パ
ターンと映像信号として生成される人物像やその動作と
が対応づけられている。用意する動作パターンの種類や
動作として記述する身体の部位は作業の内容や用途に応
じて設定される。これは人体の動作は複雑なので人間が
行う動作を全て提供し再現することは困難であり、ま
た、人物像を生成するのに必要な情報が膨大になってし
まうためである。場面や用途を限定することで、動作パ
ターンの種類や人物像の画像情報を減らすことができ、
限られた資源（例えば記憶領域や情報処理能力など）で
目的とする人物像の動きを自然に表現できるようにな
る。複数種類の人物像を利用する場合にも、動作パター
ンは共通に設定される。また、種類が異なる人物像のそ
れぞれが各動作パターンの情報を備えている。資源が豊
富にあり、かつ、処理能力が高い場合には、多数の動作
パターンを登録しておく方が、より自然で多様な人物像
の表示を行うことができ効果的である。

【００１４】ここで、動作表現スクリプトについて説明
する。動作表現スクリプトは計算機の画面上に表示する
人物像の種類や動作の指定、動作の手順などを記述した
一連の文字または記号情報である。動作の指定は、人体
の働きを直接指定する表現、例えば「手を挙げる」とい
った動作パターンと一対一で対応する記述から、「挨拶
をする」「謝る」「高らかに笑う」といった、より複雑
な表現を記述することもできる（複雑な表現を用いるた
めには動作パターンデータベースにおいて動作パターン
との対応付けがなされる）。動作表現スクリプトの一例
を図５に示す。ＶＡＲ＿ＳＴＡＲＴとＶＡＲ＿ＥＮＤで
囲まれる部分は、人物像の表示動作を制御するための変
数を定義するブロック（つまり、文字情報のかたまり）
である。ＭＥＴＨＯＤ＿ＴＹＰＥとは、動作や表情の表
現形式、たとえば、ＣＧとＩＬＬＵＳＴ（イラスト）と
ＩＭＡＧＥ（実写）との何れの表現形式を用いるか、あ
るいは、ユーザやシステムの状態を参照し動的に表現形
式を決めるか、などを定義する変数である。ＭＯＤＥＬ
＿ＴＹＰＥは表示する人物像の種類や、その種類を動的
に変更したり選択したりするかどうかを定める定数であ
る。図５では変数ＭＯＤＥＬ＿ＴＹＰＥの値がＤＹＮＡ
ＭＩＣに設定した例だが、これは、人物像の属性をユー
ザ情報や装置状態情報に基づいて動的に決定するように
指示するコマンドである。この部分を人物像の属性を具
体的に記述した場合（例えば、ＡＧＥＤ＿ＷＯＭＡＮ、
ＢＯＹ、ＳＥＣＲＥＴＡＲＹなど）には記述した内容が
優先的に扱われてユーザ情報や装置状態情報を加味しな
がら人物像の属性が決定される。より具体的に細かく人
物像の属性を指定したい場合には、このブロック内つま
り動作表現スクリプトに表現情報と同じレベルの詳細さ
をもつ情報を記述できるようにする。ＭＯＴＩＯＮ＿Ｓ
ＴＡＲＴとＭＯＴＩＯＮ＿ＥＮＤで囲まれるブロック
は、動作の種類を定義する部分である。この中に、動作
の種類（ＴＹＰＥ）、動作の時間（ＴＩＭＥ）の定義が
含まれる。また、動作表現スクリプトに動作パターンを
直接記述する方法もある。動作パターンを記述する方法
は、アプリケーションソフト側で表示する人物像の動き
を細かく指定し制御するような場合において有効であ
る。動作表現スクリプトは、このようなブロックとして
表示する人物像の動作や属性が順に記述される。動作表
現スクリプトには表示する人物像の動作や人物像の種類
だけでなく、人物像を表示する事の目的や表示の際に加
える演出効果、人物像の動きに合わせて音声を出力する
場合には音声出力に関する情報を記述することができ
る。

【００１５】動作表現スクリプトにより人物像の表示を
記述することで、特にプログラマは人物像の表示を表現
形式や属性の違いを意識することなく行うことができる
ようになる。つまり、プログラマは表現形式や属性を細
かく指示することで人物像の表示が行えるだけでなく、
表現形式や属性の決定は本発明にまかせ、人物像の表示
目的や大まかな動作、用途や目的を動作表現スクリプト
により指示、記述するだけで適切な人物像が表示される
ようになる。また、表現形式が異なる人物像の表示指示
を動作表現スクリプトという単一の記述形式で行うこと
ができるようになり、プログラムの作成に際しての負担
を軽減できる。

【００１６】次に、第１の発明の実施例について説明す
る。図１に本発明の一実施例を構成図で示す。計算機側
で生成された動作表現スクリプト１１２を動作表現スク
リプト解析部１０１が解析し、動作情報１１３と表現情
報１１６を生成し、動作情報１１３は動作パターン生成
部１０２へ、また、表現情報１１６は表現形式選択部１
０６へ送られる。動作パターン生成部１０２は動作パタ
ーンデータベース１０３を参照して動作情報１１３に基
づき動作パターン情報１１４を生成し動作パラメータ修
飾部１０４へ送る。動作パラメータ修飾部１０４は動作
パラメータ修飾ルール１０５とユーザ情報収集部１０８
において生成されたユーザ情報１１９や装置状態情報収
集部１０９において生成された装置状態情報１２０を参
照し動作パターン情報１１４に修飾や調整を加え、処理
後の動作パターン情報１１５を人物像生成部１１０へ送
る。表現形式選択部１０６は表現情報１１６に基づき表
現形式ルール１０７とユーザ情報１１９や装置状態情報
１２０を参照して表示制御情報１１７を生成し人物像生
成部１１０へ送る。人物像生成部１１０は処理後の動作
パターン情報１１５と表示制御情報１１７に基づき指定
された人物像の映像信号１１８を生成し人物像出力部１
１１へ送る。人物像出力部１１１は利用者に対して人物
像の表示を行う。

【００１７】動作表現スクリプト解析部について説明す
る。一例として図５に示すような動作表現スクリプトを
受け取った場合について説明すると、動作表現スクリプ
ト解析部はまず人物像の特性や属性を記述したＶＡＲ＿
ＳＴＡＲＴのブロックにある変数の定義の解析を行い初
期化（例えば計算機や本発明の内部で管理している特定
の変数のクリアや初期値の設定など）を実行し、解析結
果である表現情報を表現形式選択部へ送る。次に、動作
を記述しているブロックであるＭＯＴＩＯＮ＿ＳＴＡＲ
Ｔの部分を解析して、動作の種類とその動作を実行する
時間を読み出し動作情報を生成して動作パターン生成部
へ送る。

【００１８】表現情報の一例としては、動作表現スクリ
プトの中から属性を記述したブロックの内容を抽出しデ
ータ書式や形式を整えたものが挙げられる。同様に動作
情報の一例には、動作表現スクリプトの中から動作を記
述したブロックの内容を抽出し、データ書式や形式を整
えたものが挙げられる。動作情報や表現情報の生成にあ
たっては別の言語体系や表記方法へと変換する方法を用
いてもかまわない。

【００１９】動作パターンデータベースについて説明す
る。動作パターンデータベースには図６に示すように、
一つの動作に対して、必要な身体の各部の動き、つま
り、指定された動作を実現するために必要な動作パター
ンが定義してある。図６の例では、ＧＲＥＥＴＩＮＧと
いう動作が、ＨＥＡＤ（頭部）とＮＥＣＫ（首）とＷＡ
ＩＳＴ（腹部）との動作パターンの組み合わせによって
定義されている。また、図６の例ではＨＥＡＤが動作の
部位、ＦＯＲＷＡＲＤがその部位の動作方向の指定、
０．３が動作量を表すパラメータである。ここで定義さ
れている動作パラメータは、動作として一般的な数値、
すなわち動作のデフォルト値が定義してある。動作パラ
メータの調整は動作パラメータ修飾部において行われ
る。

【００２０】ユーザ情報収集部およびユーザ情報につい
て説明する。ユーザ情報とは利用者の名前や年齢、性
別、計算機の操作の作業に関する熟練度、過去の装置操
作履歴、利用者の嗜好や身体的特性といった利用者に関
する情報のことを指す。利用者の情報入力行動などもユ
ーザ情報に含まれる。ユーザ情報は一度登録してしまえ
ば変更や更新の必要が生じない静的な情報と、計算機を
利用している間は常に変化する動的な情報とがある。静
的な情報はテキスト情報として計算機やユーザ情報収集
部にあらかじめ登録され、必要に応じてユーザ情報とし
て出力される。動的な情報の例には利用者の入力行動や
現在位置、姿勢や動作などのリアルタイムな計測値が挙
げられる。動的な情報の収集はあらかじめ設定しておい
た一定時間間隔で測定する場合と、ユーザ情報の参照が
ある毎に測定する場合とがある。動的な情報を収集する
ために、ユーザ情報収集部または計算機に収集する情報
の特性に応じて各種センサを接続し利用者の情報の収集
を行う。

【００２１】装置状態情報収集部および装置状態情報に
ついて説明する。装置状態情報とは計算機や本発明の動
作状況や動作状態を示す情報である。例えば、計算機や
プログラムの使用時間、作業の経過時間、起動実行中の
プロセスやプログラム名、ＣＰＵのレジスタやメモリや
情報処理能力などの計算機資源に関する情報、通信バッ
ファやＩ／Ｏポートなどへの情報の入力や各種割り込み
要求の有無、周辺機器の接続状況を含む計算機の動作チ
ェックに関する情報などがある。装置状態情報収集部は
これら情報の収集を行い、装置状態情報として表し格納
したり、要求に応じて情報の出力を行う。

【００２２】動作パラメータ修飾部について説明する。
動作パラメータ修飾部は、受け取った動作パターン情報
から動作パラメータを抽出し、ユーザ情報や装置状態情
報を参照して動作パラメータに修飾（または修正、調
整）を加え、動作パターン情報の動作パラメータの部分
を修飾後の数値に置換し動作パターン情報を構成し直し
て人物像生成部へ出力する。例えば、装置状態情報に人
物像の画面表示サイズの情報を含めて参照を行う場合に
おいて、この画面への出力サイズの情報を用いて、動作
の振舞を大きくしたり小さくしたりするパラメータの設
定を行うことができる。実際の修飾の一例を示すと、も
との動作パラメータをＭ、新しい動作パラメータをＮ、
装置状態情報から取得した人物像を画面へ出力する面積
をＳとし、 Ｎ＝Ｍ｛２−（Ｓ／Ｂ）² ｝ といった具合に修飾後の数値Ｎを算出する。ただし、Ｂ
は装置状態情報などから取得した全スクリーンのサイズ
を表す。この計算（修飾方法）では、スクリーン全体の
中に人物像の表示領域が占める割合によって、動作の幅
を変えて見やすさを改善している。つまり、人物像の表
示が小さければ人物像の動きを大きくすることになる。

【００２３】表現形式選択部について説明する。図５に
示す動作表現スクリプトにおいて表現形式（ＭＥＴＨＯ
Ｄ＿ＴＹＰＥ）がＣＧ、ＩＬＬＵＳＴ、またはＩＭＡＧ
Ｅといった具合に具体的に指定してあれば、その指定は
表現情報に変換され表現形式選択部へ送られてくる。表
現形式選択部では表現情報に従い指定された形式の表示
を行うように指示した表示制御情報を生成する。また、
表現形式としてＤＹＮＡＭＩＣという属性を動的に選択
決定する指定があれば、表現形式選択部はユーザ情報と
装置状態情報を参照し、表現形式ルールに基づいて人物
像の表現形式を決定する。

【００２４】表現形式ルールについて説明する。表現形
式ルールは表現情報と表示制御情報との対応関係、ある
いは、ユーザ情報や装置状態情報と表示制御情報との対
応関係を定義する。図７に表現形式ルールにおける定義
の一例を示す。Ｒｕｌｅ１は、利用者の年齢（ＵＳＥＲ
＿ＡＧＥ）が１５才以下であれば、人物像の表現形式と
してイラストを選択するというルールの記述例である。
Ｒｕｌｅ２は、利用者の性別（ＵＳＥＲ＿ＳＥＸ）が女
性である場合に、ＣＧと実写とを選択するルールであ
る。Ｒｕｌｅ３は、装置状態情報の一例として利用者が
装置を使用している経過時間（ＵＳＥＲ＿ＴＩＭＥ）と
表示形式との対応を定義した例である。この例では利用
時間が１０分以内の場合には表現形式としてイラストを
選択することを示している。

【００２５】表示制御情報について説明する。表示制御
情報とは表示する人物像の表現形式や種類、属性などの
映像信号を生成する際に参照するデータを指定する情報
が含まれる。さらに、生成された映像信号に対する調整
や演出効果の付加の指示といった表示方法を指定する情
報も含まれる。同じ表現形式、例えば、表現形式はイラ
ストであっても、異なる人物像のデータを備えている場
合には、イラスト表現されているどの人物像のデータを
用いて映像信号を生成するかを指定する。

【００２６】人物像生成部について説明する。人物像生
成部は処理後の動作パターン情報と表示制御情報に従い
人物像の映像を生成する。人物像生成部の内部には映像
信号を生成するために必要な人物像のデータが動作パタ
ーンと対応づけられて格納されており、また、その人物
像のデータを読み出し映像信号を生成する機能とが備わ
っている。例えば、ＣＧの人物像の表示を行う場合には
人物像のデータが座標値またはポリゴンなどの情報とし
て動作パターン毎に対応づけて格納してあり、表示制御
情報に従いＣＧの、かつ、指定のあった人物像の情報を
処理後の動作パターン情報に従い順次読み出し人物像で
ある映像信号の生成を行う。生成された映像信号は人物
像出力部へ出力されるが、映像信号がＣＲＴや液晶ディ
スプレイの信号入力端子へ直接出力される場合と、Ｉ／
Ｏや計算機内部の表示用メモリ領域（例えばＶＲＡＭ）
などへ出力する場合とがあるため、人物像生成部はそれ
ぞれの出力先の信号入力形態に応じた映像信号を生成す
るように設計される。

【００２７】次に、第２の発明の実施例について説明す
る。図２に本発明の一実施例を構成図で示す。第１の発
明の人物像生成部１１０において、処理後の動作パター
ン情報１１５と表示制御情報１１７が人物像生成制御部
２０１において解析され人物像生成部１１０の各部を制
御するための制御信号２０９，２１１，２１３，２１５
が生成され各部へ送られる。ＣＧ画像生成部２０２はＣ
Ｇ人物像情報格納部２０５を参照し制御信号２０９に従
い指定されたＣＧ形式の人物像である映像信号を生成す
る。イラスト画像生成部２０３はイラスト人物像情報格
納部２０６を参照し制御信号２１１に従い指定されたイ
ラスト形式の人物像である映像信号を生成する。実写画
像生成部２０４は実写人物像情報格納部２０７を参照し
制御信号２１３に従い指定された実写形式の人物像であ
る映像信号を生成する。人物像出力処理部２０８では制
御信号２１５の制御に従い、ＣＧ画像生成部２０２また
はイラスト画像生成部２０３または実写画像生成部２０
４から出力された映像信号のうち指定された映像信号を
人物像出力部１１１へ出力する。表現形式はＣＧとイラ
ストと実写の全てを備えている必要はなく、必要に応じ
て単独あるいは組み合わせて構成される。例えば、ＣＧ
のみや、ＣＧとイラスト、実写とイラストといった具合
に実施される。

【００２８】人物像生成制御部について説明する。人物
像生成制御部では処理後の動作パターン情報と表示制御
情報との解析を行い、実際に生成する人物像を具体的に
決定する。例えば、表示制御情報から、「生成するのは
ＣＧ形式の画像で男性で年齢は３０歳前後、身長は１７
０cm程度でやせ形、服装は背広、日本人」といった人物
像の属性が決定される。このような細かな人物像の属性
の指定は表現形式選択部１０６において指定する場合
と、人物像生成制御部２０１において決定する場合とが
ある。後者の場合には、表示制御情報から人物像の細か
な属性を決定するための情報やルールが人物像生成制御
部にあらかじめ内蔵される。表示する人物像の属性を指
定する情報は数値、記号化されて指定された画像生成部
へと送られる。具体的には人物像情報格納部に格納され
ている人物像の情報を指定するためのインデックスやア
ドレス情報、ポインタ情報などとして送られる。これら
情報は制御信号として指定された表現形式の画像生成部
へ送られるが、複数の表現形式の画像を合成する場合に
は、合成のもととなる画像を生成する複数の画像生成部
へ送る。処理後の動作パターン情報は表示制御情報で指
定された画像生成部へ制御信号に変換または含められて
送られる。また、人物像生成制御部は人物像出力制御部
の制御、例えば、映像信号の送出や調整、信号形式の変
換などの制御を行う。

【００２９】画像生成部および人物像情報格納部につい
て説明する。画像生成部では制御信号に従い人物像情報
格納部に格納されている人物像の情報を参照し映像信号
である人物像の生成を行う。格納されている人物像の情
報は各表現形式毎に固有の形式により格納される。人物
像の属性や動作パターンについての情報を含む制御信号
は、各表現形式の人物像の情報の保存状態に従い、各画
像生成部において人物像情報格納部から情報を読み出す
ために必要な情報（例えば、メモリのアドレス値、人体
の部位のパーツ名称や番号、ファイル名やファイル番
号、フィールドやフレームの番号、インデックス番号、
タイムスタンプ情報など）へと変換される。人体の情報
は人体全体や半身などを一つの単位として管理し格納す
る場合と、体の部位を細かく分割して情報を格納する場
合とがある。分割する場合とは例えば、頭部や胸部、
首、顔の各部位（目、鼻、口、眉など）、手（指、甲な
ど）、腕、胴部、足といった具合に分割し管理、格納す
る。また、これら人物像の情報は、異なる属性の人物像
毎に格納される。属性に関する情報から具体的な人物像
の情報の参照を容易にするために、属性と人物像情報と
の対応付けを定義しておく。例えばこの定義をテーブル
情報として画像生成部または人物像情報格納部に格納し
ておき、必要に応じて参照するといった方法がとられる
こと等が考えられる。

【００３０】例えば、表現形式がＣＧの場合には、ＣＧ
人物像情報格納部に格納される人物像の情報や点や線分
やポリゴンなどの座標値の集合として、さらには、ポリ
ゴンに張り付けるテクスチャ情報などとして表される。
人物像の動きを表す場合には各座標値の変位やその時間
変動に関する情報（例えば、速度や加速度など）として
格納される。それら座標値などをもとにＣＧ画像生成部
ではコンピュータグラフィクスとして人物像を生成す
る。

【００３１】また、例えば、表現形式がイラストの場合
には、イラスト人物像情報格納部に格納される人物像の
情報は平面画像を単位とした集合として表される。例え
ば、ビットマップ形式やＪＰＥＧ形式（あるいはＴＩＦ
ＦやＭＡＧといった平面画像を記述できる情報形式）平
面画像の集合として人物像が格納される。ＭＪＰＥＧや
ＭＰＥＧ形式のように動画像のための形式であっても良
い。それら平面画像の情報がイラスト画像生成部から順
に読み出され映像信号が生成される。

【００３２】また、例えば、表現形式が実写の場合に
は、実写人物像情報格納部に格納される人物像の情報
は、イラストの場合と同様に平面画像の集合として格納
されるが、ＭＪＰＥＧやＭＰＥＧ形式のような記録媒体
上へファイル形式として保存することを意識した記録形
式の他に、フレームまたはフィールドといったラスタス
キャンを意識した形式で保存する場合とがある。後者で
は、例えば磁気テープや磁気ディスク、光ディスクなど
へアナログ信号として画像情報を格納する場合が挙げら
れる。これら画像の情報が実写画像生成部から順に読み
出され人物像が生成される。

【００３３】画像生成部における動作パターンや動作パ
ラメータの扱いについてさらに説明する。表現形式がＣ
Ｇの場合には、図６に示した動作パターンの情報を例に
とると、表示制御情報に基づき数値情報やポリゴンデー
タにより構成された人物像のモデルが呼び出され、その
モデルにおいて頭部（ＨＥＡＤ）を前方（ＦＯＲＷＡＲ
Ｄ）へ動作パラメータである０．３だけ変位させる画像
が生成される。また、画像は変位を段階的に行いながら
生成する場合（例えば、０から０．３まで変位を０．０
５間隔で行いその各段階毎に画像を生成する場合など）
と、直ちに変位させた画像を生成する場合（例えば、
０．３だけ変位した画像のみを生成する場合）とがあ
り、人物像の動きを滑らかに表現する場合には前者の方
法がとられる。動作パラメータ（この場合には０．３と
いう数値）の意味は、例えば人物像のモデルにおいて頭
部としてグルーピングされた座標点や、頭部の重心を
０．３という変位量だけ移動させるという意味付けがな
される。この場合の０．３という数値はモデルを構成す
る座標系の単位に依存した数値とする場合と、人物像を
観察する利用者の主観に依存した数値と定義する場合と
がある。イラストや実写形式との共通のパラメータとす
る場合には後者の定義を用いる方が適している。例え
ば、頭部の可動範囲を考える場合に、基準点から限界稼
働点までの段階を０から１という具合に定義しておき、
その段階を指定するパラメータを位置づける方法が挙げ
られる。頭部の場合を例にとると、頭部をまっすぐにし
ている状態を０、完全に曲げた状態を１といった具合に
定義する。

【００３４】表示形式がイラストの場合を、人物像の情
報が画像ファイルとしてイラスト人物像情報格納部に保
存されて送られてきたのが図６に示した動作パターンの
情報である場合を例にとり説明する。イラスト画像生成
部は頭部を前方へ動作させる画像ファイルをイラスト人
物像情報格納部から順に読み出し画像を生成する。この
場合に、人物像全体を更新する方法と、基準となる画像
をまず読み出し、動作が生じる部分だけを順に上書きし
ていく方法とがある。例えば、頭部だけを描いた画像を
全身画像の上に次々に上書きしていくといった方法をと
る。このような部分的な描画更新方法では、格納すべき
人物像の情報の量を少なくすることができ、また、上書
きの描画部分が少ないため描画を高速に行うことがで
き、滑らかなアニメーション画像が生成できる点で有効
である。また、イラスト画像で複数の部位、例えば、頭
部と腰部を同時に動かすような場合には、頭部と腰部を
同時に動かす人物像の情報をあらかじめ用意しておく
か、または、頭部と腰部との部分を同時に上書きしてい
く方法などがとられる。動作パラメータは、読み出す画
像ファイルの選択時に反映され、動作量が大きいほど、
大きな動きを示す画像ファイルが読み出される。このた
め、イラスト人物像情報格納部に動作パラメータによっ
て設定可能な範囲の動作を表現できる人物像の情報をあ
らかじめ全て格納しておくか、動作パラメータに従い基
準となるイラスト画像をもとに動作パラメータの表す画
像を補間または変形、拡大、縮小といった画像処理によ
り生成できるようにしておく。また、動作パラメータが
動作の速度を表す場合には、画像ファイルを読み出した
りその情報を描画する時間間隔の調整に用いる。

【００３５】表現形式が実写の場合に、実写人物像情報
格納部に保存されている情報がイラストと同様のファイ
ル形式である場合には、動作パターンや動作パラメータ
についてもイラスト形式の場合と同じように扱うことが
できる。一方、実写人物像情報格納部において磁気テー
プや磁気ディスク、光ディスクなどにアナログ映像信号
として実写人物像の画像を記録しているような場合に
は、部分的な描画、例えば全身画面をまず描き、頭部だ
けを後から上書き描画するといったことが行い難く、ま
た、そのような画像の部分的な上書き合成を実写表現形
式で行うと描画位置のずれなどが目立ち利用者に違和感
を感じさせる場合がある。その際には、動作パターンや
動作パラメータで指定可能な画像を全て格納しておく方
法が有効である。

【００３６】人物像出力処理部について説明する。人物
像出力処理部の最も簡単な処理は、ＣＧ画像生成部また
はイラスト画像生成部または実写画像生成部から送られ
てきた映像信号の切替動作である。人物像生成制御部か
ら送られてきた制御信号に従い、指定された映像信号が
人物像出力部へ送られるように映像信号のスイッチング
を行うことで実現される。人物像出力処理部ではスイッ
チングの他に、映像信号の調整、例えば、明るさやコン
トラスト、色合い、映像同期信号の調整、映像解像度の
変換、映像サイズや表示位置、表示タイミングの調整、
さらには、映像に対して特殊効果を施すといった機能を
持たせることができる。また、人物像出力部が入力する
信号形式に合わせて出力する映像信号の形式を変更する
機能を備える場合もある。また、ＣＧ画像生成部とイラ
スト画像生成部と実写画像生成部とが出力する映像信号
の形式が異なる場合には、同一の人物像出力部の信号入
力形式へと変換する機能を備える。

【００３７】第３の発明の実施例について説明する。図
３に本発明の一実施例を構成図で示す。第２の発明の人
物像出力処理部２０８において、ＣＧ画像生成部または
イラスト画像生成部または実写画像生成部が生成した映
像信号２１０または２１２または２１４が画像処理部３
０１または３０２または３０３に入力され人物像生成制
御部から出力された制御信号２１５に従い各映像信号に
対して修正や調整あるいは特殊効果の付加が行われる。
処理後の映像信号は画像合成切替部３０４へ送られ人物
像生成制御部２０１の制御に従い映像信号の切替や合成
が施される。処理後の画像は終段画像処理部３０５へ送
られ人物像生成制御部の制御に従い最終的な映像信号の
修正や調整、特殊効果の付加が施され、処理後の映像信
号１１８が人物像出力部へと送られる。

【００３８】画像処理部では、送られてきた映像信号に
対する修正や調整あるいは特殊効果の付加が行われる。
修正や調整としては、明るさやコントラスト、色合い、
色相、ガンマ補正のように各種映像機器の特性に依存し
た補正やそれに関する補正あるいはそれら補正の解除、
映像同期信号の調整、映像解像度の変換を含む映像信号
型式の変換、映像サイズや表示位置、表示タイミングの
調整などが挙げられる。特殊効果とは、画像の縮小や拡
大、変形、切り出し、反転、ワイプやモザイクなどの映
像信号や各種映像信号用のエフェクタ機能やフィルタの
適用などが挙げられる。

【００３９】画像合成切替部は、制御信号に従い、入力
された複数の映像信号の中から指定された映像信号を出
力するように切り替えを行う。切り替えは、瞬時に切り
替える場合と、オーバーラップやワイプといった段階的
に映像の切り替えを行う場合とがある。複数の映像の合
成を行う場合には、キーとなる映像信号をもとに画像の
合成を行う場合（例えば、色成分をキーとしたクロマキ
ー合成や、明るさ情報をキーとした合成）や、オーバー
ラップやミキシング手法のように複数の画像全体を同時
に加算表示するのに用いる場合や、窓分割やワイプなど
を利用し基準となる画面に別の画面をはめ込み合成する
場合などがある。

【００４０】終段画像処理部は、制御信号２１５の制御
に従い、画像処理部と同じような送られてきた映像信号
に対する修正や調整あるいは特殊効果の付加を行う。ま
た、必要に応じて画像出力部側の映像信号形式へ映像信
号を変換する機能を備える。

【００４１】第４の発明の実施例について説明する。図
４に本発明の一実施例を構成図で示す。第２または第３
の発明の人物像生成部において、人物像生成制御部２０
１の制御に従い音声生成部４０１が音声情報格納部４０
２を参照して音声信号４０４を生成し人物像出力部１１
１へと送る。映像と音声とを利用者に提示する場合に
は、人物像出力部には画像出力部の他に音声出力部を備
える。

【００４２】第４の発明は人物像の表示と一緒に音声を
利用者に出力する装置である。本発明における音声とは
人物が発する声だけでなく、自然界に存在する音や機械
が発する音、効果音といった音情報全般を含む。出力す
る音声の選択は人物像生成部から制御信号が出力され、
その制御信号に基づき、音声生成部が音声情報から必要
な音声情報を読み出し音声を出力する。音声出力の指定
は、人物像生成制御部において、処理後の動作パターン
情報と表示制御情報とから決定されるが、その他、動作
表現スクリプトに音声の出力を指示する内容を記述しそ
れを表現情報や表示制御情報として人物像生成制御部ま
で送り、人物像生成制御部において音声の出力制御に関
する処理内容を定義しておくことで実現される。また、
表現形式選択部において人物像の表示に関する演出効果
の決定を行う場合に音声の出力を選択し表示制御情報と
して指示を出すこともできる。音声として言葉を出力す
る場合に、出力する内容をテキスト情報として動作表現
スクリプトに記述する方法も可能である。その場合に
は、テキスト情報が音声生成部まで送られ、音声生成部
において音声化される。定型的な音や言葉を出力する場
合には、出力する音声情報に番号や記号を付加して管理
し、その番号は記号を指定することで音声情報を呼び出
すことができる。音声情報は音声情報格納部に格納され
るが、情報の格納形式は音声生成部の音声生成方法に依
存する。例えば、音声生成部がＰＣＭのような音声生成
方法をとるならば、音声情報はコード化された音声波形
として記録される。また、ＦＭ音源のように各種パラメ
ータを指定して音を生成する場合には、それらパラメー
タが格納される。人の声を生成する音声合成装置であれ
ば、テキスト情報や音韻や抑揚、人の声の特性などに関
する情報が格納される。また、動作パラメータや表示制
御情報を参照して音量や音の高さといった生成する音声
の調整や修正、演出効果の種類や効果の深さなどを決定
することができる。

【００４３】人物像の動きに合わせて音声を出力する場
合には動作パターンや動作パラメータの解析結果や画像
生成部の画像生成状況が人物像生成部から音声生成部へ
制御信号として送られ、音声信号を生成し出力するタイ
ミングがとられる。

【００４４】人物像と一緒に音声を出力することの有効
性を説明する。人間の行動には必ず音声や物音の発声が
伴う。また、映画やテレビなどの演出手法にみられるよ
うに、映像と一緒に効果音を同時に提示することで、動
きの意味付けや強調、演出を加えることができる。この
場合には映像と音声とを連動させて出力する必要がある
が、映像と音声の出力を人物像生成制御部において一元
的に管理することで容易に映像と音声との同期をとるこ
とができる。また、音声の出力により、視覚だけでなく
聴覚のチャネルもユーザインタフェースとして用いるこ
とができ、常に人物像に注意を向けている必要性を軽減
することができる。また、人物像をディスプレイ上で平
面画像として表示する場合にも、音声を出力、特にステ
レオなどの立体音響手法を用いて音声を出力すること
で、人物像の存在感やユーザインタフェースの臨場感を
増すことができる。このように映像と音声を一緒に出力
することで、効果的で応用範囲の広いユーザインタフェ
ースが提供できる。

【００４５】

【発明の効果】以上説明したとおり、本発明が提供する
人物像表示によるユーザインタフェース装置により、利
用者や計算機システムの動作状況に応じて、多様な表示
形式の人物像を、動作や表情を伴いながら表示させるこ
とができるようになり、かつ、それら人物像表示を装置
のユーザインタフェースとして簡単に設計し利用できる
ようになる。また、人物像表示を利用するユーザインタ
フェースに一貫性や統一性が生まれ、効果的でかつ快適
な装置操作性が実現される。

【図面の簡単な説明】

【図１】第１の発明の人物像表示によるユーザインタフ
ェース装置の構成の一実施例を示す図である。

【図２】第２の発明の人物像表示によるユーザインタフ
ェース装置の構成の一実施例を示す図である。

【図３】第３の発明の人物像表示によるユーザインタフ
ェース装置の構成の一実施例を示す図である。

【図４】第４の発明の人物像表示によるユーザインタフ
ェース装置の構成の一実施例を示す図である。

【図５】本発明の動作表現スクリプトの一例を示す図で
ある。

【図６】本発明の動作パターンデータベースに格納され
る情報の一例を示す図である。

【図７】本発明の表現形式ルールにおける定義の一例を
示す図である。

【符号の説明】

１０１ 動作表現スクリプト解析部 １０２ 動作パターン生成部 １０３ 動作パターンデータベース １０４ 動作パラメータ修飾部 １０５ 動作パラメータ修飾ルール １０６ 表現形式選択部 １０７ 表現形式ルール １０８ ユーザ情報収集部 １０９ 装置状態情報収集部 １１０ 人物像生成部 １１１ 人物像出力部 １１２ 動作表現スクリプト １１３ 動作情報 １１４ 動作パターン情報 １１５ 処理後の動作パターン情報 １１６ 表現情報 １１７ 表示制御情報 １１８ 人物像の映像信号 １１９ ユーザ情報 １２０ 装置状態情報 ２０１ 人物像生成制御部 ２０２ ＣＧ画像生成部 ２０３ イラスト画像生成部 ２０４ 実写画像生成部 ２０５ ＣＧ人物像情報格納部 ２０６ イラスト人物像情報格納部 ２０７ 実写人物像情報格納部 ２０８ 人物像出力処理部 ２０９，２１１，２１３，２１５，４０３ 制御信号 ２１０，２１２，２１４ 映像信号 ３０１，３０２，３０３ 画像処理部 ３０４ 画像合成切替部 ３０５ 終段画像処理部 ４０１ 音声生成部 ４０２ 音声情報格納部 ４０４ 音声信号 ４０５ 映像出力部 ４０６ 音声出力部

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】計算機の画面上に表示する人物像の種類や
   動作の指定、動作の手順等が記載された動作表現スクリ
   プトを作成し、前記動作表現スクリプトによって、前記
   人物像の表示制御を行い、利用者との対話を行う計算機
   に用いられる人物像表示によるユーザインタフェース装
   置において、 前記動作表示スクリプトを解析して表示する人物像の動
   作を指定する動作情報と人物像の属性や種類や演出効果
   などの動作以外の要素を指定する表現情報とを生成し出
   力する動作表現スクリプト解析部と、 数値または記号により人物の動作をモデル化した動作パ
   ターンと前記動作情報との対応関係を定義した動作パタ
   ーンデータベースと、 前記動作パターンデータベースを照合して前記動作情報
   に基づき動作パターン情報を生成する動作パターン生成
   部と、 前記利用者に関する情報を収集しユーザ情報として出力
   または格納を行うユーザ情報収集部と、 前記計算機の動作状態を調べ装置状態情報として出力ま
   たは格納を行う装置状態情報収集部と、 前記装置状態情報と前記ユーザ情報をもとに前記動作パ
   ターン情報に対して修飾や調整を加える場合の対応関係
   を定義した動作パラメータ修飾ルールと、 前記動作パラメータ修飾ルールと前記装置状態情報や前
   記ユーザ情報を参照し、前記動作パターン情報に修飾や
   調整を加え、処理後の動作パターン情報を出力する動作
   パラメータ修飾部と、 前記ユーザ情報または前記装置状態情報もしくは前記表
   現情報と表示する人物像の種類や属性や表示形式との対
   応関係を定義した表現形式ルールと、 前記表現形式ルールと前記ユーザ情報と前記装置状態情
   報を参照し、前記表現情報に基づき表示する人物像の種
   類や属性や表示方法を決定し、表示制御情報を生成し出
   力する表現形式選択部と、 前記処理後の動作パターン情報と前記表示制御情報とに
   基づいて指定された人物像を生成し映像信号として出力
   する人物像生成部とを備えることを特徴とする人物像表
   示によるユーザインタフェース装置。
2. 【請求項２】前記人物像生成部が、 前記動作パターン情報と前記表示制御情報とに基づいて
   画像の生成と画像出力処理の制御を行う人物像生成制御
   部と、 コンピュータグラフィクスの表現形式による人物像の情
   報が動作パターン毎に格納されているＣＧ人物像情報格
   納部と、 イラストの表現形式による人物像の情報が動作パターン
   毎に格納されているイラスト人物像情報格納部と、 実写の表現形式による人物像の情報が動作パターン毎に
   格納されている実写人物像情報格納部と、 前記人物像生成制御部の制御に従い前記ＣＧ人物像情報
   格納部を参照してコンピュータグラフィクスの表現形式
   による人物像の映像信号を生成するＣＧ画像生成部と、 前記人物像生成制御部の制御に従い前記イラスト人物像
   情報格納部を参照してイラストの表現形式による人物像
   の映像信号を生成するイラスト画像生成部と、 前記人物像生成制御部の制御に従い前記実写人物像情報
   格納部を参照して実写の表現形式による人物像の映像信
   号を生成するイラスト画像生成部と、 前記人物像生成制御部の制御に従い前記表示制御情報に
   よって指定された人物像の映像信号を人物像出力部へ出
   力する人物像出力処理部とから構成されることを特徴と
   する請求項１に記載の人物像表示によるユーザインタフ
   ェース装置。
3. 【請求項３】前記人物像出力処理部が、 前記ＣＧ画像生成部または前記イラスト画像生成部もし
   くは前記実写画像生成部から送られてきた映像信号に修
   正や調整あるいは特殊効果の付加を行う画像処理部と、 前記画像処理部から送られてきた映像信号の切替または
   合成を行う画像合成切替部と、 前記画像合成切替部から送られてきた映像信号に修正や
   調整あるいは特殊効果の付加を行う終段画像処理部とか
   ら構成されることを特徴とする請求項２に記載の人物像
   表示によるユーザインタフェース装置。
4. 【請求項４】前記人物像生成部が、音声情報を格納した
   音声情報格納部と、音声情報格納部を参照し前記人物像
   生成制御部の制御に従い音声信号を生成する音声生成部
   とをさらに備えて構成され、前記人物像生成制御部が、
   音声の生成と音声出力処理の制御をさらに行うことを特
   徴とする請求項２または３に記載の人物像表示によるユ
   ーザインタフェース装置。