JPH0981353A

JPH0981353A - 表示装置

Info

Publication number: JPH0981353A
Application number: JP7235444A
Authority: JP
Inventors: Hiroaki Harada; 裕明原田; Naohisa Kawaguchi; 尚久川口; Kazuki Matsui; 一樹松井; Takashi Ono; 敬史大野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-09-13
Filing date: 1995-09-13
Publication date: 1997-03-28
Anticipated expiration: 2015-09-13
Also published as: JP3437686B2

Abstract

(57)【要約】【課題】本発明は、画像を伴った対話に適する表示装置
に関し、画像操作と文字入力操作とを連続的に行なう。【解決手段】ディスプレイ１４にそのまま表示するため
の対話文字列とアニメーション画像に変換してディスプ
レイ１４に表示するための制御文字列とを、キーボード
１１から連続的に入力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字列と画像とが
併用された画面を表示する表示装置に関し、特に画像を
伴った対話に適する表示装置に関する。

【０００２】

【従来の技術】従来よりパーソナルコンピュータ等の端
末装置どうしを通信回線を介して接続しておき、それら
のパーソナルコンピュータを操作して相手側にメッセー
ジを送ることにより対話を行なうパーソナル通信システ
ムが構築されている。図１８は、パーソナル通信システ
ムで用いられる従来の端末装置の一例を示すブロック図
である。

【０００３】従来は、主に文字を媒介とした対話方式が
採用されている。これは、パーソナル通信システムのセ
ンターにあるデータベースを端末側で検索する場合も、
不特定のパーソナル通信システム会員間のオンライン・
チャット（即時文字対話）を行なう場合も同様である。
ユーザが端末のキーボード１１から文字列を入力する
と、その入力文字列は、先ず、ディスプレイ１４に表示
する画面を制御する表示機構１３に入力され、その表示
機構１３の制御によりディスプレイ１４に入力文字列が
表示される。ユーザがキーボード１１の操作により入力
文字列を確定させると、その確定した文字列は符号化器
／復号化器１２により符号化され、モデム１５等の通信
機器、公衆回線網等を経由して、センターあるいは対話
相手に送信される。相手側端末も、この図１８に示す端
末と同様に構成されており、公衆回線網等を経由して相
手側に伝送された文字列は、その相手側の符号化器／復
号化器で復号化され表示機構に入力されて、相手側端末
のディスプレイにその送信されてきた文字列が表示され
る。このようにして、相互にあるいは不特定多数のユー
ザが同様の操作を繰り返して対話が行なわれる。

【０００４】上記のような対話方式は文字列のみを利用
しているため、対話に伴う感情表現がうまくできず、柔
軟で繊細な対話を行ないにくいという欠点があった。そ
の改良として、文字列だけでなく、アニメーション等の
画像を伴った対話通信方式が提案されている（「ルーカ
スフィルム社のハビタットの教訓」サイバースペース，
ＮＴＴ出版（１９９４年）ｐｐ２８２〜３０７、“ＣＹ
ＢＥＲＳＰＡＣＥ：ＦｉｒｓｔＳｔｅｐｓ”，ｅｄｉ
ｔｅｄｂｙＭｉｃｈａｅｌＢｅｎｅｄｉｋｔ，
ＴｈｅＭＩＴＰｒｅｓｓ（１９９１）参照）。

【０００５】図１９は、そこに提案された対話通信方式
で用いられる端末装置の一例を示すブロック図である。
ここに提案された対話通信方式では、各ユーザがそれぞ
れアニメーション人物像を持ち、それぞれのアニメーシ
ョン人物がそのユーザの指示により表情や姿勢を変える
ことができる。したがって、文字列のみによる単純な対
話に比べ、感情等が表現された対話を行なうことができ
る。

【０００６】

【発明が解決しようとする課題】しかし、この方式で
は、画像（アニメーション）の動きや感情表現の操作
は、ディスプレイ１４上にメニュウを表示しておいてマ
ウス１６のポインティングデバイスにより所望の選択技
が選択されるという操作方式が採用されており、ユーザ
はキーボード１１からの対話文字入力とマウス１６等に
よる画像の動きや感情表現の指示との双方を行なう必要
があり、例えばキーボード１１から入力された文字列の
みが先ず送信されて相手側のディスプレイに表示され、
その後マウス等１６を用いて、感情表現が指示されてデ
ィスプレイ上のアニメーションがやっとその表示文字列
に対応した表情に変化するなど、本来同時的に表示され
ることが好ましい、対話文字列とその対話に伴った感情
表現との間に時間的ずれを生じ、まだまだ自然な感情表
現の伝達に難があるという問題がある。

【０００７】本発明は、上記事情に鑑み、画像操作と文
字入力操作とを連続的に行なうことのできる、文字列と
画像とが併用された画面を表示することのできる表示装
置を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成する本発
明の表示装置は、文字列と画像とが併用された画面を表
示する表示装置において、（１）任意の文字列を操作入力する文字列入力操作子（２）文字列入力操作子が操作されることにより入力さ
れた入力文字列を、文字列のまま表示される対話文字列
と、画像に変換される制御文字列とに分類する文字列分
類手段（３）制御文字列をその制御文字列に対応した画像に変
換する画像変換手段（４）文字列分類手段により分類された対話文字列と、
文字列分類手段により分類された制御文字列が画像変換
手段で変換されてなる画像とから成る画面を表示する画
面表示手段を備えたことを特徴とする。

【０００９】ここで、上記本発明の表示装置において、
文字列を送信する送信手段と、文字列を受信する受信手
段とを備え、文字列分類手段が、受信手段により受信さ
れた文字列を文字列入力操作子が操作されることにより
入力された上記入力文字列と同等に取り扱うものである
ことが好ましい。この場合に、さらに、上記受信手段に
より所定の識別文字列が受信されたことを受けて、その
識別文字列に対応する所定の識別文字列を上記送信手段
により送信させる応答手段を備えることが、より好まし
く、また、送信手段により所定の識別文字列を送信させ
て、その送信から所定の時間内に、その送信した識別文
字列に対応する所定の識別文字列が受信手段により受信
されるか否かを監視する監視手段を備え、上記送信手段
が、監視手段により所定の時間内に所定の識別文字列の
受信が確認されるか否かに応じて、それぞれ、制御文字
列と対話文字列との双方を含む入力文字列を、もしく
は、文字列分類手段により分類された対話文字列を送信
するものであることも好ましい態様である。

【００１０】さらに本発明の表示装置において、制御文
字列が登録されてなる制御文字列辞書を有し、文字列分
類手段が、その制御文字列辞書を参照して、入力文字列
を対話文字列と制御文字列とに分類するものであること
が好ましい。その場合に、制御文字列辞書が、各制御文
字列を、制御文字列としてのみ用いる第１のタイプと、
制御文字列として用いるとともに対話文字列としても用
いる第２のタイプとに区分する情報を含み、文字列分類
手段が、上記第２のタイプの制御文字列に対応する入力
文字列を、制御文字列と対話文字列との双方に分類する
ものであることも好ましい態様である。

【００１１】また、上記本発明の表示装置において、制
御文字列に対応する画像を表わす画像パターンデータが
登録されてなるパターンデータベースを有し、画像変換
手段が、そのパターンデータベースを参照して、文字列
分類手段により分類された制御文字列に対応する画像を
生成するものであることが好ましい。その場合に、上記
パターンデータベースが、少なくとも１つの制御文字列
に対応して複数の画像パターンデータが登録されてなる
ものであって、画像変換手段が、複数の画像パターンデ
ータが登録されてなる制御文字列を画像に変換するにあ
たり、それら複数の画像パターンデータに対応する複数
の画像を順次生成するものであってもよい。

【００１２】また、入力文字列が、制御文字列に付され
る、画像の変形を指示する変形指示パラメータを含み、
画像変換手段が、変形指示パラメータが付された制御文
字列を画像に変換するにあたり、パターンデータベース
に登録された、その制御文字列に対応する画像パターン
データを、その変形指示パラメータに応じて変更するこ
とにより新たな画像を生成するものであってもよく、そ
の場合に、上記パターンデータベースが、変形指示パラ
メータが付与され得る少なくとも１つの制御文字列に対
応して複数の画像パターンデータが登録されて成るもの
であって、画像変換手段が複数の画像パターンデータが
登録されてなる制御文字列に対応する画像を生成するに
あたり、パターンデータベースに登録された、その制御
文字列に対応する複数のパターンデータをその変形指示
パラメータに応じて結合することにより新たな画像を生
成するものであってもよい。

【００１３】さらに、入力文字列が互いに結合される複
数の制御文字列を含み、画像変換手段が、互いに結合さ
れる複数の制御文字列を画像に変換するにあたり、パタ
ーンデータベースに登録された、それら複数の制御文字
列に対応する複数の画像パターンデータを結合すること
により新たな画像を生成するものであってもよい。従来
技術の問題点は、文字列を入力するにあたってはキーボ
ード等を用いて行ない、アニメーション操作を行なうに
あたってはマウス等を用いて行なうという、文字と画像
とを別々の操作手段を用いて入力、操作を行なっている
ことにその根元原因がある。本発明は、画像操作用の制
御文字列を定義しておいて、例えばキーボードのみによ
り、対話文字列も制御文字列も順次入力することにあ
る。これにより、対話文字列も制御文字列も順次連続的
に入力することができ、対話文字列とその対話文字列と
ともに表現したい感情を、ほぼ同時に表示することがで
き、従来よりも一層豊かな感情表現を伴った対話を実現
することができる。

【００１４】

【発明の実施の形態】以下、本発明の実施形態について
説明する。図１は、本発明の表示装置の一実施形態の概
略構成を示すブロック図である。この図１を参照して、
先ず本実施形態の概要について説明する。前述した、図
１８ないし図１９に示す従来の端末の各構成要素に対応
する構成要素には、それらの図１８，１９に付した番号
と同一番号を付して示し、相違点について説明する。

【００１５】キーボード１１から入力された入力文字列
は、文字列分離機構２１に入力されて、ディスプレイ１
４に文字列のまま表示される対話文字列と、アニメーシ
ョン画像を制御するための制御文字列、すなわち、アニ
メーション画像に変換されてディスプレイ１４に表示さ
れる制御文字列とに分類される。対話文字列は、その文
字列のまま表示機構１３に入力され、制御文字列は、パ
ターン選択機構２２に入力される。パターン選択機構２
２には、複数の制御文字列それぞれに対応してあらかじ
め定められた複数枚のアニメーション画像が記憶されて
おり、パターン選択機構２２に制御文字列が入力される
とその入力された制御文字列がアニメーション画像に変
換され、そのアニメーション画像が表示機構１３に送ら
れる。表示機構１３は、ディスプレイ１４上のあらかじ
め定められた各位置に文字とアニメーション画像をそれ
ぞれ表示する。

【００１６】また、キーボード１１からの入力文字列
は、対話文字列と制御文字列との双方を含んだまま、そ
のまま符号化器／復号化器１２に送られて符号化され、
モデム１５等の通信システム、公衆回線網を経由して対
話相手に送信される。対話相手側から公衆回線網を経由
して文字列が入力されると、その文字列は符号化器／復
号化器１２で復号化された後文字列分離機構２１に入力
され、この文字列はキーボード１１からの入力文字列と
同等に取り扱われる。対話相手側の端末にも、図１と同
様な文字列分離機構およびパターン選択機構が備えられ
ている場合、互いのキーボードから入力された入力文字
列を互いに通信し合うことにより、対話文字列とアニメ
ーション画像との双方の表示による対話が行なわれる。

【００１７】図２は、キーボード１１からの入力文字列
の一例を示す図、図３は、図２の入力文字列による、デ
ィスプレイ１４の画面の変化を示す図である。キーボー
ド１１からの入力文字列は、図２に例示するように、通
常の対話内容を示す対話文字列と、対話文字列どうしの
間に挿入される制御文字列とから構成されている。

【００１８】図２の例では、「こんにちは」という通常
の対話文（対話文字列）に続いて、そのときの表情を示
す＊ｈｅｌｌｏという記号列（制御文字列）が続き、さ
らに「今日は良い天気ですね」という対話に続いて、さ
らに：−）という記号列が続いている。ここで、＊ｈｅ
ｌｌｏは、画面上の人物像があいさつをする動作を示
し、：−）はその人物像が笑うという表情を示してお
り、いずれもあらかじめ規則として登録しておいたもの
である。つまり、図３に示すように、図２の文字列によ
って、最初に「こんにちは」という文章がディスプレイ
に表示され、その直後に、ほとんど時間遅れなく、同じ
画面内に表示されている人物像が手をあげ、次に、「今
日は良い天気ですね」という文章がディスプレイに表示
されてその人物像が笑顔に変化する、という表示動作が
行なわれる。

【００１９】図４は、本発明の表示装置の実施形態を示
したブロック図、図５は、図４に各ブロックで示す制御
文字列辞書、およびパターンデータベースの各一部分を
示す模式図である。キーボード１１１から、たとえば図
２の文字列が入力されたとする。この入力文字列は文字
列バッファ２１１に一旦蓄積され、シーケンサ２１２に
より、その蓄積された文字列が先頭から順にサーチさ
れ、あるまとまった文字列が切り出される。たとえば通
常の対話に用いる文字列は必ず“”で囲むという規則を
決めておくと、“”で囲まれていない部分の文字列は制
御文字列とみなされ、その部分だけ切りだすことが可能
である。対話文字列と制御文字列を区別する他の規則を
決めてある場合でも同様である。図２の例の場合“”で
囲まれていない＊ｈｅｌｌｏの部分がシーケンサ２１２
によって切り出される。

【００２０】次に、シーケンサ２１２によって切り出さ
れた文字列＊ｈｅｌｌｏが制御文字列として登録されて
いるか否かを確認するために、その文字列＊ｈｅｌｌｏ
が文字列比較器２１３に送られる。文字列比較器２１３
はシーケンサ２１２から送られた＊ｈｅｌｌｏという文
字列と、あらかじめ作成されている制御文字列辞書１の
キーとを比較して、一致するものが存在するか否かをサ
ーチし、もし存在すればそのキーに対応したアニメーシ
ョンデータ番号を出力する。制御文字列辞書１およびパ
ターンデータベース２の構成例は図５に示す通りであ
る。図５に示す制御文字には＊ｈｅｌｌｏという文字列
がキーとして登録されており、それに対応したアニメー
ションデータ番号ｐａｔｔｅｒｎ−１が出力される。も
し制御文字列辞書１に該当する文字列がキーとして登録
されていなければ、文字列比較器２１３はＮｏという出
力をシーケンサ２１２に返す。シーケンサ２１２はその
Ｎｏという出力を受理すると、いま切り出した文字列は
“”で囲まれていないが、そのまま対話用の文字列とみ
なして、表示機構１１３に送る。

【００２１】文字列比較器２１３で制御文字列辞書に登
録されたアニメーションデータ番号が検索されると、パ
ターン選択器２２１では、そのアニメーションデータ番
号に基づいて実際のアニメーションデータ（画像）が検
索される。本実施形態では、パターンデータベース２に
は１つのアニメーションデータ番号に対応して複数枚の
アニメーション画像が格納されており、それら複数枚の
アニメーション画像が順次、表示機構に送られ、ディス
プレイ１４１上にアニメーション画像が表示される。

【００２２】図２の例では、＊ｈｅｌｌｏに対応したア
ニメーション（ｐａｔｔｅｒｎ−１）は３枚の画像から
構成される。第１の画像は手を挙げる前、第２の画像は
右手を挙げている状態、第３の画像は再び手を下ろした
状態を示している。各画像の下には相対時刻が記入され
ており、おおよそどの程度の時間間隔で画像を表示機構
に転送するかを指示している。ｐａｔｔｅｒｎ−１の例
ではシステム時刻を１ずつ更新する時間間隔でアニメー
ションを行なうことを示している。：−）の表情に対応
するｐａｔｔｅｒｎ−２は第３の画像が時刻８に実行す
るように設定されており、これは、第２の画像からかな
りの時間間隔をおいて元の表情に戻すことを示してい
る。このようなアニメーションの各画像に相対時刻を記
入しておくことで、アニメーションの更新速度が制御さ
れる。

【００２３】シーケンサ２１２によって通常の対話文と
みなされた文字列（“”で囲まれた部分）は、文字列比
較器２１３には転送せず、そのまま表示システムに送ら
れて通常の文字列表示が行われる。ディスプレイ１４１
には、シーケンサ２１２から送られた通常の対話文字列
と、パターン選択器２２１から送られたアニメーション
画像とが同時に表示され、時刻とともにアニメーション
画像が変化する。文字列の表示は、通常あらかじめ定め
られた時間内のみ表示する。

【００２４】図５の制御文字列辞書内には表示フラグの
欄が設けられており、ここに“０”が記入してある場合
には登録された制御文字列はアニメーションの操作のみ
に用いて文字列としては表示せず、ここに“１”が記入
されている場合には、その制御文字列はアニメーション
操作だけでなく、同時に対話文字列として表示すること
を意味する。

【００２５】図５の場合、登録された制御文字列“＊ｈ
ｅｌｌｏ”は表示フラグ“０”が設定されているので、
アニメーションｐａｔｔｅｒｎ−１を表示するのみであ
る。制御文字列“：−）”は表示フラグ１が設定されて
いるので、アニメーションｐａｔｔｅｒｎ−２を表示す
ると同時に、対話文字列“今日は良い天気ですね”に続
いて、“：−）”も対話文字列として表示する。すなわ
ち、“今日は良い天気ですね：−）”となる。また、後
述するように、図４に示す実施形態においては、キーボ
ード１１１から入力された入力文字列を、対話文字列と
制御文字列との双方を含んだまま送信するモードとその
入力文字列から選ばれた対話文字列のみ送信するモード
とに切り換えられるが、対話文字列のみ送信する場合で
あっても、“：−）”の部分は通常の対話文字列と同様
に相手に送信されるので、たとえ相手側の通信システム
が、送信されてきた文字列をその文字列のまま表示する
機能しか持たない場合であっても、表情記号である“：
−）”が共に転送されて表示されるため、対話に表情を
つけることができる。

【００２６】また、図４に示す実施形態においては、制
御文字列をアニメーション画像に変換するのに必要な情
報は、制御文字列辞書１およびパターンデータベース２
に登録されており、したがって制御文字列とアニメーシ
ョン画像等が容易に対応付けられる。しかも、ここで
は、制御文字列辞書１とパターンデータベース２は、ユ
ーザのキーボード等の操作により追加、書き換えが可能
であり、ユーザが任意の文字列を制御文字列として登録
し、また任意のアニメーション画像をその制御文字列に
対応させて登録することができる。

【００２７】図４に示す実施形態においては、キーボー
ド１１１から入力された文字列をそのまま、すなわち対
話文字列と制御文字列との双方を含んだまま送信するモ
ードと対話文字列のみを送信するモードとに切り換えら
れる。対話文字列と制御文字列との双方が含まれた文字
列を送信する場合、図４に示すように、文字列バッファ
２１１から直接、符号化器／復号化器１２１に送信文字
列を送る。この場合には、相手側が図４と同様の同様の
文字列分離機構を持っていれば図４と同様の対話文とア
ニメーション操作を実行できる。また相手側が同様の機
構は持っておらず、文字列をそのまま表示する機能のみ
を持っている場合は、制御文字列もそのまま対話文とし
て文字列表示されるが、このときも制御文字列は通常に
使用される文字コード（たとえばＡＳＣＩＩ文字コー
ド）のみで構成されているので、相手側の端末でそのま
ま表示してもさしつかえは生じない。

【００２８】一方、文字列が文字列バッファ２１１から
シーケンサ２１２に転送され、文字列を対話文字列と制
御文字列に分離した後は、シーケンサ２１２から対話文
字列のみを符号化器／復号化器１２１に転送することが
できる。この場合には相手側には制御文字列を含まない
対話文字列のみが送信される。相手側では文字列のみに
よる通常の対話が行なわれる。

【００２９】以上のようにして、文字列バッファ２１１
から直接、送信文字列を符号化器／復号化器１２１に送
るか、制御文字列を除去した対話文字列のみをシーケン
サ２１２から符号化器／復号化器１２１に送るかを選択
することができる。これを外部からユーザが指示して切
り換えることも容易であるが、本実施形態では、以下に
説明するようにして、いずれの送信モードを用いるかが
自動的に切り換えられる。

【００３０】図６は、送信モードを選択するための手順
を示すフロー図である。対話相手と交信する最初に、あ
らかじめ決められた識別文字列を互いにやりとりするこ
とにより、相手側の端末が同様の文字列分離機構やアニ
メーション表示機構を備えているかどうかを確認する。
確認方法は下記の方法による。図４に示す監視部１２２
では、図６に示すように、先ずあらかじめ定められた識
別文字列（たとえば“ＯＫ”）を相手側に送信し、相手
側はそれを受理できたときはその識別文字列“ＯＫ”を
そのまま返信する。尚、送信用の識別文字列と受信用の
識別文字列は異なっていてもよい。監視部１２２では識
別文字列を送信した後、相手側からの識別文字列の返信
があるかどうかを監視する。もし、識別文字列を送信し
た後所定の時間内に相手側から識別文字列が返信されて
こなかったときは相手が同様の機構を持たないことを意
味し、この場合は対話文字列のみを送信し、相手側から
送られてきた文字列もそのままディスプレイ１４１に表
示する。一方、識別文字列が所定の時間内に返信された
時は、自分側、相手側双方ともが同じ機構を持つことに
なるので、制御文字列を含めた文字列を送信し合う。一
方、相手側から先に識別文字列が送られてきたときは、
応答部１２３で識別文字列が送られてきたことを認識
し、その識別文字列を送ってきた相手側に直ちに識別文
字列を返信し、その相手との間では制御文字列を含めた
文字列を送信し合う。

【００３１】図７は、本発明の表示装置のもう１つの実
施形態の概略構成を示すブロック図、図８は、入力文字
列の一例を示す図、図９は、図８の入力文字列による、
ディスプレイ１４の画面の変化を示す図である。図１〜
図３に示す実施形態との相違点について説明する。本実
施形態では、図８に示すように、入力文字列には、対話
文字列、制御文字列のほか、制御文字列に付随する変形
指示パラメータが含まれている。図８に示す例では制御
文字列＊ｈｅｌｌｏ、：−）には、それぞれ、変形指示
パラメータ（０．８）、（０．９）が付されている。変
形指示パラメータは、それに対応する制御文字列の、ア
ニメーション画像に対する影響力、すなわちそのアニメ
ーション画像の変形度を指示するパラメータである。

【００３２】制御文字列とアニメーション画像の動作や
表情との対応がいつも固定されていると、表情や動作の
柔軟性が削られるため、変形指示パラメータを導入する
ことにより、それを解決し一層柔軟な、きめの細かい表
情や動作をもったアニメーション画像を表示できるよう
にし、より豊かな感情表現を含ませた対話を可能とする
ものである。

【００３３】図７に示すパターン選択機構２２において
選択されたアニメーション画像は、変形指示パラメータ
とともにパターン自動変形機構３１に送られる。パター
ン自動変形機構３１では、送られてきたアニメーション
画像が変形指示パラメータに基づいて変形され、その変
形されたアニメーション画像が表示機構１３に送られ
る。表示機構１３は、ディスプレイ１４上のあらかじめ
定められた各位置に、文字とアニメーション画像をそれ
ぞれ表示する。

【００３４】また、キーボード１１からの入力文字列
は、対話文字列、制御文字列との双方、さらに、制御文
字列に付された変形指示パラメータを含んだまま、符号
化器／復号化器１２に送られて符号化され、モデム１５
等の通信システム、公衆回線網を経由して対話相手に送
信される。対話相手側から、公衆回線網を経由して文字
列が入力されると、その文字列は、符号化器／復号化器
１２で復号化された後、文字列分離機構２１に入力さ
れ、この文字列は、キーボード１１からの入力文字列と
同等に取り扱われる。

【００３５】本実施形態における文字列は、図２に示す
ように、対話文字列、制御文字列、さらに制御文字列に
付された変形指示パラメータにより構成される。図８の
例では、「こんにちは」という通常の対話文（対話文字
列）に続いて、そのときの表情を示す＊ｈｅｌｌｏとい
う記号列（制御文字列）が続き、さらにその制御文字列
＊ｈｅｌｌｏの変形指示パラメータ（０．８）が続いて
いる。この変形指示パラメータ（０．８）は、制御文字
列＊ｈｅｌｌｏに対応する、右手を上げて挨拶するとい
う動作パターンを８０％の度合で表示することを指示し
ており、右手が完全に上には上げられずに８０％の位置
まで上げられる。

【００３６】また、図８の例では、さらに、「今日は良
い天気ですね」という対話文字列に続き、笑顔を表わす
制御文字列：−）が続き、さらにその変形パラメータ
（０．９）が続いている。この場合、図７に示すパター
ン選択機構２２では、無表情のパターンと笑顔のパター
ンとの２種類のアニメーションパターンが選択されてパ
ターン自動変形機構３１に送られ、パターン自動変形機
構３１では、それら無表情のアニメーションパターンと
笑顔のアニメーションパターンから、補間演算により、
笑顔に９０％近づいたアニメーションパターンが生成さ
れる。

【００３７】図１０は、本発明の表示装置の、図７に示
す実施形態に沿った考え方に基づく、さらに詳細な実施
形態を示したブロック図、図１１は、図１０に各ブロッ
クで示す制御文字列辞書およびパターンデータベースの
各一部分を示す模式図である。図４、図５に示す実施形
態との相違点について説明する。図１１に示すように、
制御文字列辞書には、制御文字列とアニメーションデー
タ番号が互いに対応づけられて登録されている。また、
パターンデータベースには、各アニメーションデータ番
号に対応して、最小モデルと最大モデルとの２つのアニ
メーションパターンデータが登録されている。

【００３８】図１０に示すシーケンサ２１２で、例えば
図８に示す文字列中の制御文字列：−）と変形指示パラ
メータ（０．９）が切りだされ、制御文字列：−）は文
字列比較器２１３に送られ、変形指示パラメータ（０．
９）はセグメント補間器３１１に送られる。文字列比較
器２１３では、シーケンサ２１２から送られた制御文字
列：−）と、制御文字列辞書１にあらかじめ登録されて
いる制御文字列とを比較して、一致するものがあるかど
うかをサーチし、一致するものがあればその制御文字列
に対応したアニメーションデータ番号（ここの例ではア
ニメーションデータ番号ｐａｔｔｅｒｎ−２）が出力さ
れる。

【００３９】パターン選択器２２１は、そのアニメーシ
ョンデータ番号ｐａｔｔｅｒｎ−２を受けて、パターン
データベースからそのアニメーションデータ番号ｐａｔ
ｔｅｒｎ−２に対応したアニメーション画像（最小モデ
ルと最大モデルとの双方）を読み出してセグメント補間
器３１１に送る。セグメント補間器３１１では、以下に
説明するようにして、送られてきたアニメーション画像
を変形指示パラメータに基づいて変形し、その変形した
アニメーション画像を表示機構１１３に送る。表示機構
１１３は、シーケンサ２１２から送られてきた対話文字
列とセグメント補間器３１１から送られてきたアニメー
ション画像を、ディスプレイ１４１上の各所定位置に表
示する。

【００４０】図１２は、セグメント補間器３１１で実行
される補間演算方法を説明するための模式図、図１３
は、その補間演算方法を示すフロー図である。図１２
（Ａ）に示すように、最小モデル、最大モデルはそれぞ
れ無表情、１００％の笑顔を表わしており、それらの表
情を構成するセグメントとしては、それぞれＳ１〜Ｓ
５、Ｌ１〜Ｌ５の５つずつから成り立っている。

【００４１】図１２（Ｂ）は、各５つずつの構成セグメ
ントのうち、口の形状を表わす構成セグメントの補間を
示しており、図１３に示す方法により、最小モデルの構
成セグメントＳ（ｔ）と最大モデルの構成セグメントＬ
（ｔ）から補間画像の構成セグメントＰ（ｔ）が生成さ
れる。ここでｔ（ｔ＝０〜１）は、構成セグメントＳ
（ｔ）、Ｌ（ｔ）の画素の配列を表わしておりＳ（０）
の点がＬ（０）に対応し、Ｓ（１）の点がＬ（１）の点
に対応している。変形指示パラメータをｋ（ｋ＝０〜
１）としたとき、補間要素Ｐ（ｔ）は、Ｐ（ｔ）＝（１−ｋ）・Ｓ（ｔ）＋ｋ・Ｌ（ｔ） …（１）で表わされる。これを図１３に示すように、各構成セグ
メントについてｔを０から１まで順次変化させながら上
記（１）式の演算を行ない、これを全ての構成セグメン
トについて反復することにより補間画像が生成される。

【００４２】ここで、上記（１）式を変形すると、Ｐ（ｔ）＝Ｓ（ｔ）＋ｋ・（Ｌ（ｔ）−Ｓ（ｔ）） …（２）と表わすことができる。すなわち、この（２）式は、最
大モデルＬ（ｔ）と最小モデルＳ（ｔ）との差分画像
（Ｌ（ｔ）−Ｓ（ｔ））に変形指示パラメータｋを掛け
た画像と、最小モデルＳ（ｔ）との加算を表わしてい
る。したがって、図１１に示すパターンデータベースに
は、最小モデルと最大モデルとを登録しておく代わり
に、最小モデルＳ（ｔ）と、差分画像（Ｌ（ｔ）−Ｓ
（ｔ））を登録しておいて、上記（２）式の演算により
補間画像Ｐ（ｔ）を求めてもよい。

【００４３】上記は、例えば笑顔という１つの表情につ
いてその笑顔の程度を変更する例であるが、実際の人間
は、例えば笑顔と泣き顔あるいは怒り顔などの複数の表
情が複雑に混ざり合った表情をみせることがある。以
下、このような複雑な表情の生成方法について説明す
る。図１４は、複数の表情を結合するときの文字列の構
成例を示した図、図１５は、それら複数の表情の結合方
法を示すフロー図である。

【００４４】ここでは、対話文字列を間に挟むことな
く、制御文字列のみが複数連続する場合、ないし変形指
示パラメータのみを間に挟んで複数の制御文字列が連続
する場合であって、それらの制御文字列が、例えば顔の
表情等、同じジャンルに属する制御文字列である場合、
それら複数の制御文字列は互いに結合されるものと見な
される。

【００４５】図１５のフロー中、一点鎖線で囲まれた部
分は、図１３のフローと同一であり説明は省略する。こ
こでは、先ずＱ（ｔ）が初期化され、１つの表情につい
ての演算が終わることにＱ（ｔ）に重ね合わされる。こ
の重ね合わせは、一点鎖線内と同様の補間処理により行
なわれる。

【００４６】また、生成される補間画像は一枚だけとは
限らず、ある画像から別の画像までアニメーション画像
を連続的に変形する方法を採用してもよい。図１６は、
５０％の笑顔：−）（０．５）から８０％の怒り顔：−
＜（０．８）まで連続的に変形させることを指示する文
字列を示した図である。５０％の笑顔：−）（０．５）
と８０％の怒り顔：−＜（０．８）との間に連続変形指
示子→が挿入されており、この連続変形指示子→がその
直前の表情（５０％の笑顔）から直後の表情（８０％の
怒り顔）へと連続的に変形させることを指示している。

【００４７】図１７は、この連続的な変形を実現するた
めの方法を示すフロー図である。先ず、第１の画像（こ
こでは笑顔）について変形指示パラメータ（０．５）に
従って変形計算をする（図１３参照）。これにより生成
された５０％の笑顔をパターンＰ１（ｔ）とする。同様
に、第２の画像（ここでは怒り顔）について変形指示パ
ラメータ（０．８）に従って変形計算をする。そのパタ
ーンをＰ２（ｔ）とする。

【００４８】次いで、それら２つのパターンＰ１
（ｔ）、Ｐ２（ｔ）を基準パターンとしたときの変形パ
ラメータに相当する変数δ（δ＝０〜１）の値を順次変
更しながら、各値δについて２つのパターンＰ１
（ｔ）、Ｐ２（ｔ）間の補間画像を求める。このように
して、５０％の笑顔から８０％の怒り顔まで順次変形し
たアニメーション画像が生成されてディスプレイ１４１
に表示される。

【００４９】

【発明の効果】以上説明したように、本発明によれば、
対話文字列とその対話文字列に対応した画像とをそれら
の間に大きな時間遅れなしに表示することができ、感情
表現がより適切に表現された対話を行なうことができ
る。

【図面の簡単な説明】

【図１】本発明の表示装置の一実施形態の概略構成を示
すブロック図である。

【図２】キーボードからの入力文字列の一例を示す図で
ある。

【図３】図２の入力文字列による、ディスプレイの画面
の変化を示す図である。

【図４】本発明の表示装置の実施形態を示したブロック
図である。

【図５】図４に各ブロックで示す制御文字列辞書および
パターンデータベースの各一部を示す模式図である。

【図６】送信モードを選択するための手順を示すフロー
図である。

【図７】本発明の表示装置のもう１つの実施形態の概略
構成を示すブロック図である。

【図８】入力文字列の一例を示す図である。

【図９】図８の入力文字列による、ディスプレイの画面
の変化を示す図である。

【図１０】本発明の表示装置の、詳細な実施形態を示し
たブロック図である。

【図１１】図１０に各ブロックで示す制御文字列辞書お
よびパターンデータベースの各一部分を示す模式図であ
る。

【図１２】セグメント補間器で実行される補間演算方法
を説明するための模式図である。

【図１３】補間演算方法を示すフロー図である。

【図１４】複数の表情を結合するときの文字列の構成例
を示した図である。

【図１５】それら複数の表情の結合方法を示すフロー図
である。

【図１６】５０％の笑顔：−）（０．５）から８０％の
怒り顔：−＜（０．８）まで連続的に変形させることを
指示する文字列を示した図である。

【図１７】この連続的な変形を実現するための方法を示
すフロー図である。

【図１８】従来の端末装置の一例を示すブロック図であ
る。

【図１９】従来の端末装置の一例を示すブロック図であ
る。

【符号の説明】

１制御文字列辞書２パターンデータベース１１キーボード１３表示機構１４ディスプレイ１５モデム１６マウス２１文字列分離機構２２パターン選択機構３１パターン自動変形機構１１１キーボード１２１符号化器／複合化器１２２監視部１２３応答部１３１表示機構１４１ディスプレイ２１１バッファ２１２シーケンサ２１３文字比較器２２１パターン選択器３１１セグメント補間器

───────────────────────────────────────────────────── フロントページの続き (72)発明者松井一樹神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者大野敬史神奈川県川崎市中原区上小田中1015番地富士通株式会社内

Claims

【特許請求の範囲】

【請求項１】文字列と画像とが併用された画面を表示
する表示装置において、任意の文字列を操作入力する文字列入力操作子、前記文字列入力操作子が操作されることにより入力され
た入力文字列を、文字列のまま表示される対話文字列
と、画像に変換される制御文字列とに分類する文字列分
類手段、前記制御文字列を該制御文字列に対応した画像に変換す
る画像変換手段、および前記文字列分類手段により分類
された対話文字列と、前記文字列分類手段により分類さ
れた制御文字列が前記画像変換手段で変換されてなる画
像とから成る画面を表示する画面表示手段を備えたこと
を特徴とする表示装置。
【請求項２】文字列を送信する送信手段と、文字列を
受信する受信手段とを備え、前記文字列分類手段が、該
受信手段により受信された文字列を前記入力文字列とし
て取り扱うものであることを特徴とする請求項１記載の
表示装置。
【請求項３】前記送信手段により所定の識別文字列を
送信させて、該送信から所定の時間内に、該識別文字列
に対応する所定の識別文字列が前記受信手段により受信
されるか否かを監視する監視手段を備え、前記送信手段が、前記監視手段により所定の時間内に所
定の識別文字列の受信が確認されるか否かに応じて、そ
れぞれ、制御文字列と対話文字列との双方を含む入力文
字列を、もしくは、前記文字列分類手段により分類され
た対話文字列を送信するものであることを特徴とする請
求項２記載の表示装置。
【請求項４】前記制御文字列が登録されてなる制御文
字列辞書を有し、前記文字列分類手段が、該制御文字列
辞書を参照して、前記入力文字列を対話文字列と制御文
字列とに分類するものであることを特徴とする請求項１
記載の表示装置。
【請求項５】前記制御文字列に対応する画像を表わす
画像パターンデータが登録されてなるパターンデータベ
ースを有し、前記画像変換手段が、該パターンデータベ
ースを参照して、前記文字列分類手段により分類された
制御文字列に対応する画像を生成するものであることを
特徴とする請求項１記載の表示装置。
【請求項６】前記入力文字列が、前記制御文字列に付
される、画像の変形を指示する変形指示パラメータを含
み、前記画像変換手段が、前記変形指示パラメータが付
された制御文字列を画像に変換するにあたり、前記パタ
ーンデータベースに登録された、該制御文字列に対応す
る画像パターンデータを、該変形指示パラメータに応じ
て変更することにより新たな画像を生成するものである
ことを特徴とする請求項５記載の表示装置。
【請求項７】前記パターンデータベースが、変形指示
パラメータが付与され得る少なくとも１つの制御文字列
に対応して複数の画像パターンデータが登録されて成る
ものであって、前記画像変換手段が、複数の画像パター
ンデータが登録されてなる制御文字列を画像に変換する
にあたり、前記パターンデータベースに登録された、該
制御文字列に対応する複数のパターンデータを該変形指
示パラメータに応じて結合することにより新たな画像を
生成するものであることを特徴とする請求項６記載の表
示装置。
【請求項８】前記入力文字列が互いに結合される複数
の制御文字列を含み、前記画像変換手段が、互いに結合
される複数の制御文字列を画像に変換するにあたり、前
記パターンデータベースに登録された、該複数の制御文
字列に対応する複数の画像パターンデータを結合するこ
とにより新たな画像を生成するものであることを特徴と
する請求項５記載の表示装置。