JP4765070B2 - キャラクタ情報処理方法及びキャラクタ情報処理装置 - Google Patents

Description

本発明は、コンピュータにより実現される仮想環境上のキャラクタの表情を変化させるためのキャラクタ情報処理方法及びキャラクタ情報処理装置に関する。

オンラインネットワークゲーム等に代表されるインタラクティブコンテンツでは、複数の参加者の間にコミュニケーションが発生する。

この際、匿名性を維持しつつも、コミュニケートする相手と現実の人間に対面したときのような自然なコミュニケーションに近づけることが望ましく、ＣＧで描画するキャラクタの表情に変化をもたせることにより上記の点を満たす試みがなされている（たとえば、非特許文献１参照）。
ＮＴＴ西日本アバターツールホームページ（http://www.ntt-west.co.jp/news/0312/031215.html）

しかしながら、キャラクタの表情を変化させる際には、ユーザが常に指示を出さねばならない。さらに、この指示を出すには煩雑なキー入力操作等が必要であり、自然なコミュニケーションを実現できるとは言い難い。

このような事情に鑑み本発明は、多彩な表現手法を含み、且つ円滑なコミュニケーションを容易に行うことができる技術を提供することを目的とする。

請求項１に記載の本発明は、コンピュータが仮想環境上のキャラクタの表情を変化させる処理を行うキャラクタ情報処理方法であって、前記キャラクタの置かれている状況を表す状況情報を取得する工程と、前記キャラクタの置かれ得る状況と、前記キャラクタの心理状態を表すための心理的要因の構成要素と、瞳孔の拡大縮小、充血程度、涙滴量の少なくとも１つを含む眼球の状態変化との対応関係を示した感情モデルを用いて、前記取得された状況情報に対応する、前記感情モデルに示された心理的要因の構成要素に基づいたキャラクタの心理状態を表す心理的要因情報を生成する工程と、前記感情モデルを用い、前記心理的要因情報に対応する、前記キャラクタの眼球の状態変化を表す眼球状態変化情報を生成する工程とを有することを要旨とする。

請求項２に記載の本発明は、請求項１記載の発明において、前記眼球の状態変化が、瞳孔の拡大縮小、充血程度、涙滴量のすべてを含むことを要旨とする。

請求項３に記載の本発明は、請求項１又は２に記載の発明において、前記キャラクタの眼球に入射された光の強度とその変化量との少なくとも一方を含む生理的要因情報を生成する工程をさらに有し、前記眼球状態変化情報を生成する工程において、前記生成された生理的要因情報と前記心理的要因情報とに基づいて、前記眼球状態変化情報を生成することを要旨とする。

請求項４に記載の本発明は、請求項３に記載の発明において、前記眼球状態変化情報を生成する工程において、前記生理的要因情報から決定される眼球状態変化情報と前記心理的要因情報から決定される眼球状態変化情報とが対立する場合は、前記心理的要因情報から決定される眼球状態変化情報を優先して採択することを要旨とする。

請求項５に記載の本発明は、請求項３又は４に記載の発明において、前記眼球状態変化情報を生成する工程において、前記生理的要因情報である前記キャラクタの眼球に入射された光の強度の対数に比例した前記眼球状態変化情報を生成することを要旨とする。

請求項６に記載の本発明は、請求項３〜５いずれか１項に記載の発明において、前記眼球状態変化情報を生成する工程において、前記キャラクタの位置によって求められる光の強度に基づいて、前記眼球状態変化情報を生成することを要旨とする。

請求項７に記載の本発明は、仮想環境上のキャラクタの表情を変化させるためのキャラクタ情報処理装置であって、前記キャラクタの置かれ得る状況と、前記キャラクタの心理状態を表すための心理的要因の構成要素と、瞳孔の拡大縮小、充血程度、涙滴量の少なくとも１つを含む眼球の状態変化要因との対応関係を示した感情モデルを取得する手段と、前記キャラクタの置かれている状況を表す状況情報を取得する手段と、前記感情モデルを用いて、前記取得された状況情報に対応する、前記感情モデルに示された心理的要因の構成要素に基づいたキャラクタの心理状態を表す心理的要因情報を生成する手段と、前記感情モデルを用い、前記心理的要因情報に対応する、前記キャラクタの眼球の状態変化を表す眼球状態変化情報を生成する手段とを備えることを要旨とする

請求項８に記載の本発明は、請求項７に記載の発明において、前記キャラクタの眼球に入射された光の強度とその変化量の少なくとも一方を含む生理的要因情報を生成する手段をさらに有し、前記眼球状態変化情報を生成する手段において、前記生成された生理的要因情報と前記心理的要因情報とに基づいて、前記眼球状態変化情報を生成することを要旨とする。

請求項９に記載の本発明は、請求項８に記載の発明において、前記眼球状態変化情報を生成する手段において、前記生理的要因情報から決定される眼球状態変化情報と前記心理的要因情報から決定される眼球状態変化情報とが対立する場合は、前記心理的要因情報から決定される眼球状態変化情報を優先して採択することを要旨とする。

本発明によれば、多彩な表現手法を含み、且つ円滑なコミュニケーションを容易に行うことが可能となる。

以下、本発明の実施例について説明するが、これらの実施例は、あくまでも本発明の説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば、これらの各要素又は全要素を含んだ各種の実施例を採用することが可能であるが、これらの実施例も本発明の範囲に含まれる。

人間のコミュニケーションにおいて重要な要素とされているのは眼球（目）やまぶた（瞬き）である。眼球には人間の感情が最も反映されるが、その反面、瞳孔の大きさなどは自分の意志で操作しにくい。

それだけに内面の心理をよく反映するため、眼球の状態や反応は顔の感情を評価する際の貴重な指標となる。

また、まぶたの状態「瞬き」は、光が眩しいとき、目にゴミなどが入ったとき、風が当たるとき、あるいは、瞬きが自然に増える心理状態になったときなどに行うもので、光を遮る、目を潤す、コミュニケーションの相手に生き生きした印象、同意、可愛しい印象を与える。従って、瞬きは、眼球の状態とともに顔の感情を評価する際の貴重な指標となる。このまぶたの状態（瞬き）は、瞬きの時間軸上の変化、即ち、回数をもとに評価するものである。

なお、「瞬き」と本文中の「目をつぶる」との差異は、「目をつぶる」行為はプログラム中で自動化する行為にはなっておらず、あくまでもゲーム中にユーザがマウスクリックで意図的に「目をつぶる」ようになっていることである。また、「目をつぶる」行為は、一般的には、光を遮る、他者の視線の回避、目の休息などの目的・効果があり、コミュニケーションにおいては、「眠っている」「瞑想している」などのアクティブでない印象を与えることなので、「瞬き」との差別化がされる。

このため、本発明においては、感情表現器官としての眼球の動作（状態変化）に注目し、キャラクタを構成させるにあたって、場面や状況に応じて状態（表情）を自動的に変化させる眼球のインタラクションモデルを用い、これによりキャラクタに豊かな表情をもたせる。

上記の眼球の状態変化の代表例としては、“瞳孔直径の変化”、“充血”、“涙”が挙げられ、そのプロセスは、図１に示すように、眼球に光が入射されると（Ｓ１１）、眼球の状態を変化させる要因が抽出され（Ｓ１２）、一方、キャラクタに何らかの影響があると（Ｓ１３）、キャラクタの感情が変化し（Ｓ１４）、上記の変化要因ならびに感情状態に基づいて眼球の状態が決定される（Ｓ１５）。なお、図示しないが、必要により、まぶたの状態（瞬き）を変化させる要因の抽出も、眼球の状態を変化させる要因の抽出（Ｓ１２）と同様に行われ、瞬きの状態を決定する。

つまり、眼球の状態は、主に外界から眼球に入射する光による刺激（生理的要因）と、心理的要因により変化する。

この際、瞳孔直径は、眼球への入射光の明るさ（強度）の対数に比例し、明るければ収縮、暗ければ拡大する。

外部からの光刺激に関しては、以下の式（１）及び式（２）に示すように、仮想環境中の光の強度Ｉに対し、明るさに対する感覚の大きさＳをマグニチュード推定法を利用して求め、明るければ収縮するよう瞳孔の面積をＳに比例させる。なお、瞬きの操作に関しても、同様に、瞬きの頻度Ｂを、Ｓに比例させる。

なお、式中のｋは定数であり、ｒは瞳孔半径であり、ｎは０より大且つ１より小の冪指数である。

仮想環境中の光強度の物理的シミュレーションは、計算量が膨大でありリアルタイム処理を必要とするゲームには適さない。

したがって、本実施例においては、キャラクタが進む方向を視線の方向とし、３次元空間内の位置によって光の強度変数Ｉをあらかじめ設定し、それに対応する瞳孔直径を決定する。ただし時刻ｔにおけるＩの変化量ΔＩが０の状態が長時間続く場合は、次第に標準の瞳孔直径に戻し、変化量が閾値を越えて変化したときには、再び上記の式に基づいて瞳孔直径を決定する。

また、人間の心理状態によっても瞳孔は変化するが、その対応関係についての解釈は一様ではない。しかしながら、具体的にどのような心理状態で変化が起こるのかは様々な実験から知られている。この変化の一例を表１に示す。

また、表中の心理的状態の変化量が大きいほど瞳孔直径も変化する。更に、瞬きの頻度も変化する。

なお、本発明においては、心理状態による瞳孔の変化を表現するにあたって、感情モデルを用いる。この感情モデルにおいては、“Arousal”、“Valence”、“Stance”からなる３つの軸の値を決めることでキャラクタの心理状態を決定する。この３つの軸の値と眼球の変化との対応関係を表２に示す。

また、本発明においては、図２に示すとおり、外部光刺激（生理的要因）と心理状態（心理的要因）から、眼球の状態を決定する。この眼球の状態とは瞳孔直径と充血程度（充血の度合）、涙滴量（涙の量）を指す。なお、本実施例においては、図中の生理的要因と心理的要因が対立する場合は心理的要因を優先し採択する。なお、図２の右図は、心理的要因に瞬きの状態を含めた決定モデルである。

上記のインタラクションモデルは、アバターチャット等の人対人のコミュニケーションをはじめとする様々な用途に用いることができるが、本実施例においては、これをオンラインゲームに適用した場合を示す。なお、このゲームを実行するためのシステムは、通信ネットワークを介して接続された複数のプレイヤー（ユーザ）端末装置及びサーバからなる。

本実施例におけるゲームにおいては、図３に示す仮想空間１が先のプレイヤー端末装置により形成され、プレイヤー（ユーザ）は、眼球自体がボディとなっているキャラクタ２ａ及び２ｂ（以下、適宜これらを“キャラクタ２”と総称する）を操作する。

ゲームは、ステージ３上の任意の点からスタートし、キャラクタ２ａを操作するプレイヤーの端末装置にはこのキャラクタの視界が表示され、プレイヤーは、キーボードやマウス等の操作によりキャラクタの位置と視界（視線方向）を変化させる。

また、キャラクタ２ｂを操作するプレイヤーの端末装置にもこのキャラクタの視界が表示され、このプレイヤーもキャラクタの位置と視界を変化させることができる。

上記のキャラクタ２は、平坦な円形状のステージ３上を移動でき、このステージ３の外に落下すると負けになる。

また、ステージ３上の特定の場所は光源４により明るくなっており、各々の位置における明るさがあらかじめ設定されている。

また、ステージ３上には相手の視線を回避することに利用可能な障害物５も存在する。

実際にゲームを行うにあたっては、図４に示すように、プレイヤーのキャラクタ２がステージ３上にランダム配置され、プレイヤーがマウスを左クリックすることにより「見る（視認）」動作を行うと、視界がズームアップされ、この「見る」動作を行っている最中に相手のキャラクタ２（本説明文中では２ｂ）を視界内に数秒間収めておくことができれば、キャラクタ２ｂの動きを止めることができ、この際に自分のキャラクタ２（本説明文中では２ａ）を相手のキャラクタ２ｂに接触させることによりステージ３外に落下させることができる。

一方、相手プレイヤーは、マウスを右クリックすることにより「目をつぶる（回避）」動作を行うことができる。これにより自分の動きが止められることを防止でき、ステージ３外に落下させられることを避けることができる。

相手を見ることと、目をつぶることは、このゲームにおける２つの基本動作となっている。このようにゲームでは、視線の操作が重要な要素となっている。

また、キャラクタ２には、上記のインタラクションモデルが用いられているため、キャラクタは自分の居る場所の明るさと、心理状態によって自動的に表情を変化させる。この表情変化の例を図５に示す。図示するとおり本発明におけるキャラクタの表情には、「通常状態」、「見る」、「目をつぶる」、「喜び・満足」、「驚き・恐怖」、「悲しみ・悲嘆」、「怒り・嫌悪」、「疲労」があり、人間の表情のほぼ全てを網羅している。

更に、本発明におけるキャラクタの表情に、必要により「瞬き」も含ませるものであり、このときの表情変化は（図示せず）、図５（Ｃ）を変形して行うことができる。なお、瞬きの状態は、例えば、眼を開いたまぶた状態から、２秒ごとに起こされる瞬き（まぶたの閉状態）である。

上記の表情（感情表現）は、以下の表３に示すゲーム中の各種変化要因がキャラクタに作用し生じるものである。

次に、上記のキャラクタ２の情報構成について説明する。
図６に示すとおり、キャラクタ２を構成するキャラクタ情報６１は、キャラクタ位置情報６２、心理的要因情報６３、フラグ情報６４、眼球状態情報６５、その他の情報６６からなり、プレイヤー端末装置に記憶される。このその他の情報６６は、まぶた（瞬き）の変化情報を含むものである。

キャラクタ位置情報６２は、キャラクタ２のステージ３における位置を表す情報である。

心理的要因情報６３は、上記のインタラクションモデルの構成要素であるArousal、Valence、Stanceに基づいたキャラクタ２の心理状態を表す情報である。

フラグ情報６４は、キャラクタ２の「見る」動作の成功条件等を表す視認動作フラグ情報６４１と、「目をつぶる」動作の成功条件等を表す回避動作フラグ情報６４２とからなる。

眼球状態情報６５は、眼球の状態を表す情報であり、テクスチャ・マッピング等の手法により作成された画像情報を含む。なお、この眼球状態情報６５は、眼球形状情報６５１、視線方向情報６５２、眼球色情報６５３、瞳孔半径情報６５４、涙滴量情報６５５、充血程度情報６５６、瞬き情報６５７に大別される。

眼球形状情報６５１は、キャラクタ２の眼球の形状を表す情報である。
視線方向情報６５２は、キャラクタ２の視線方向を表す情報である。
瞳孔色情報６５３は、キャラクタ２の瞳孔の色を表す情報である。
瞳孔半径情報６５４は、キャラクタ２の瞳孔半径を表す情報であり、これに基づいて瞳孔直径が決定される。
涙滴量情報６５５は、キャラクタ２の涙の量を表す情報である。
瞬き情報６５７は、瞬きの時間軸上の回数変化を表す情報である。
その他の情報６６は、キャラクタ２の足等の眼球以外の部位、その動作パターンを表す情報等を含む。

次に、図７を参照しつつ、本実施例のゲーム全体の情報構成ならびに情報処理動作について説明する。なお、以下の情報処理動作は、サーバがプレイヤー端末装置から各種の情報（上記のキャラクタ情報を含む）を入手し、これに基づいて実行される。

まず、図６に示したキャラクタ位置情報６２（処理開始時のキャラクタ２ａの位置）、視線方向情報６５２（処理開始時のキャラクタ２ａの視線方向）、本図（図７）のプレイヤー操作情報７１（位置座標の変化量）とに基づいて、キャラクタ２ａの位置情報（視線方向も含む）７３と、先の操作におけるマウスクリックの速さ等により規定されるキャラクタ２ａの疲労度等を含む操作状況情報７４とが生成される。

また、前記のプレイヤー操作情報７１、相手プレイヤー操作情報７２、操作状況情報７４によりゲーム状況情報７５、つまり相手プレイヤー２ｂのキャラクタの位置や動作（「見る」、「目をつぶる」等）、これによる勝負の趨勢や勝敗を表す情報が生成される。

また、ステージ３上の光源４から発せられ、キャラクタ２ａもしくは２ｂの眼球に入射された光の強度やその変化量を含む生理的要因情報７６が生成される。

また、操作状況情報７４とゲーム状況情報７５とに基づいて図６に示した心理的要因情報６３が生成される。

また、この心理的要因情報６３、前記の生理的要因情報７６、図６に示した眼球状態情報６５とに基づいて眼球の状態変化を示す情報である眼球状態変化情報７７が生成される。更に、まぶたの変化を示す瞬き変化情報も眼球状態変化情報７７と同様な手法で生成する。なお、「瞬きの回数」は、瞳孔直径と同様に、生理的要因情報と心理的要因情報の両方の要因を受けるものである。

プレイヤー端末装置は、眼球状態変化情報７７の指示に則り、記憶している眼球状態情報６５に基づいて、図５に示したような種々の状況に応じた表情を有するキャラクタ２を生成し、プレイヤーに向けて表示する。

上記のとおり、キャラクタ２を生成するために必要不可欠な情報である眼球状態情報６５は、サーバではなくプレイヤー端末装置に記憶されており、サーバから受信するのはキャラクタ２の生成を指示する眼球状態変化情報７７のみである。したがって、プレイヤー端末装置とサーバとの間で送受される情報の量を大幅に減少させることができ、処理の迅速化が可能となる。

また、キャラクタ位置情報６２と、心理的要因情報６３は絶えず更新され、プレイヤー端末装置に記憶されるため、さらなる処理の迅速化がなされる。

なお、本実施例においては、キャラクタが進む方向を視線の方向としている場合を示したが、これに限定されず、キャラクタの進む方向と視線の方向とを別にすることもできる。

また、本実施例においては、光の強度変数Ｉを３次元空間内の位置によってあらかじめ設定する場合を示したが、これに限定されず、仮想空間中の光の強度を計算によって求める構成とすることもできる。

また、本実施例においては、ゲームのシステムが複数のプレイヤー端末装置とサーバからなる場合を示したが、サーバを廃し、全ての処理をプレイヤー端末装置に実行させる構成とすることもできる。

また、プレイヤー（ユーザ）端末装置及びサーバとしては、ＣＰＵ（Central Processing Unit）、ハードディスクドライブ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、キーボード、ディスプレイ、フレキシブルディスクドライブ、通信ネットワークに接続して通信を行うための通信部等を有したコンピュータを用いることができる。

また、プレイヤー（ユーザ）端末装置としては、上記のコンピュータの他に、ＰＤＡ（Personal Digital Assistance）端末装置、携帯電話端末装置やＰＨＳ（Personal Handy phone System）端末装置等のあらゆる情報端末装置を用いることができる。

以上のとおり本発明によれば、ネットワークゲームに限らず、インタラクティブコンテンツ全般において、その状況に対応したキャラクタの心理的要因や生理的要因に基づいて、眼球の状態を自動的且つ即時的に変化させることができ、これにより、ユーザはキャラクタの表情をよりリアルに、豊かに感じられるようになる。更に、眼球の状態に加え、まぶた（瞬き）の状態を自動的且つ即時的に変化させて機能の向上を図ることができる。

また、上記のとおり自分のＣＧキャラクターの表情を豊かにできることから、心情に富んだコミュニケーションを実現できる。

また、キャラクタごとに感情表現方法に差をつけることにより個性を演出し、さらに、人工知能を導入することによりキャラクタにプレイヤーの個性を学習させることも可能である。

また、本発明のインタラクションモデルを上記のようなキャラクタだけではなく、人間や動物の３次元ＣＧモデルにおける眼球に適応させ、これを用いることにより汎用的なグラフィックスライブラリを構築することも可能である。

本発明におけるキャラクタの眼球状態の決定要因を示す図である。 本発明におけるインタラクションモデルの構成を示す図である。 本発明の一実施例に係るゲームの概略を示す図である。 本発明の一実施例に係るゲームのフローチャートである。 図３のキャラクタの表情変化の例を示す図である。 図３のキャラクタの情報構成を示す図である。 本発明の一実施例に係るゲームの情報構成を示す図である。

符号の説明

１…仮想空間
２ａ、２ｂ…キャラクタ
３…ステージ
４…光源
５…障害物
６１…キャラクタ情報
６２…キャラクタ位置情報
６３…心理的要因情報
６４…フラグ情報
６５…眼球状態情報
６６…その他の情報
７１…プレイヤー操作情報
７２…相手プレイヤー操作情報
７３…位置情報
７４…操作状況情報
７５…ゲーム状況情報
７６…生理的要因情報
７７…眼球状態変化情報
６４１…視認動作フラグ情報
６４２…回避動作フラグ情報
６５１…眼球形状情報
６５２…視線方向情報
６５３…眼球色情報
６５４…瞳孔半径情報
６５５…涙滴量情報
６５６…充血程度情報
６５７…瞬き情報

Claims (9)

1. コンピュータが仮想環境上のキャラクタの表情を変化させる処理を行うキャラクタ情報処理方法であって、
   前記キャラクタの置かれている状況を表す状況情報を取得する工程と、
   前記キャラクタの置かれ得る状況と、前記キャラクタの心理状態を表すための心理的要因の構成要素と、瞳孔の拡大縮小、充血程度、涙滴量の少なくとも１つを含む眼球の状態変化との対応関係を示した感情モデルを用いて、前記取得された状況情報に対応する、前記感情モデルに示された心理的要因の構成要素に基づいたキャラクタの心理状態を表す心理的要因情報を生成する工程と、
   前記感情モデルを用い、前記心理的要因情報に対応する、前記キャラクタの眼球の状態変化を表す眼球状態変化情報を生成する工程と
   を有することを特徴とするキャラクタ情報処理方法。
2. 前記眼球の状態変化が、瞳孔の拡大縮小、充血程度、涙滴量のすべてを含むことを特徴とする請求項１記載のキャラクタ情報処理方法。
3. 前記キャラクタの眼球に入射された光の強度とその変化量との少なくとも一方を含む生理的要因情報を生成する工程をさらに有し、
   前記眼球状態変化情報を生成する工程において、前記生成された生理的要因情報と前記心理的要因情報とに基づいて、前記眼球状態変化情報を生成する
   ことを特徴とする請求項１又は２に記載のキャラクタ情報処理方法。
4. 前記眼球状態変化情報を生成する工程において、前記生理的要因情報から決定される眼球状態変化情報と前記心理的要因情報から決定される眼球状態変化情報とが対立する場合は、前記心理的要因情報から決定される眼球状態変化情報を優先して採択する
   ことを特徴とする請求項３に記載のキャラクタ情報処理方法。
5. 前記眼球状態変化情報を生成する工程において、前記生理的要因情報である前記キャラクタの眼球に入射された光の強度の対数に比例した前記眼球状態変化情報を生成する
   ことを特徴とする請求項３又は４に記載のキャラクタ情報処理方法。
6. 前記眼球状態変化情報を生成する工程において、前記キャラクタの位置によって求められる光の強度に基づいて、前記眼球状態変化情報を生成する
   ことを特徴とする請求項３〜５いずれか１項に記載のキャラクタ情報処理方法。
7. 仮想環境上のキャラクタの表情を変化させるためのキャラクタ情報処理装置であって、
   前記キャラクタの置かれ得る状況と、前記キャラクタの心理状態を表すための心理的要因の構成要素と、瞳孔の拡大縮小、充血程度、涙滴量の少なくとも１つを含む眼球の状態変化要因との対応関係を示した感情モデルを取得する手段と、
   前記キャラクタの置かれている状況を表す状況情報を取得する手段と、
   前記感情モデルを用いて、前記取得された状況情報に対応する、前記感情モデルに示された心理的要因の構成要素に基づいたキャラクタの心理状態を表す心理的要因情報を生成する手段と、
   前記感情モデルを用い、前記心理的要因情報に対応する、前記キャラクタの眼球の状態変化を表す眼球状態変化情報を生成する手段と
   を備えることを特徴とするキャラクタ情報処理装置。
8. 前記キャラクタの眼球に入射された光の強度とその変化量の少なくとも一方を含む生理的要因情報を生成する手段をさらに有し、
   前記眼球状態変化情報を生成する手段において、前記生成された生理的要因情報と前記心理的要因情報とに基づいて、前記眼球状態変化情報を生成する
   ことを特徴とする請求項７記載のキャラクタ情報処理装置。
9. 前記眼球状態変化情報を生成する手段において、前記生理的要因情報から決定される眼球状態変化情報と前記心理的要因情報から決定される眼球状態変化情報とが対立する場合は、前記心理的要因情報から決定される眼球状態変化情報を優先して採択する
   ことを特徴とする請求項８に記載のキャラクタ情報処理装置。