JP3212255B2 - 画像合成装置及び画像合成方法 - Google Patents

画像合成装置及び画像合成方法

Info

Publication number
JP3212255B2
JP3212255B2 JP19539796A JP19539796A JP3212255B2 JP 3212255 B2 JP3212255 B2 JP 3212255B2 JP 19539796 A JP19539796 A JP 19539796A JP 19539796 A JP19539796 A JP 19539796A JP 3212255 B2 JP3212255 B2 JP 3212255B2
Authority
JP
Japan
Prior art keywords
information
motion
key frame
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP19539796A
Other languages
English (en)
Other versions
JPH1021420A (ja
Inventor
皇太郎 佐藤
隆司 増山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namco Ltd
Original Assignee
Namco Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Ltd filed Critical Namco Ltd
Priority to JP19539796A priority Critical patent/JP3212255B2/ja
Publication of JPH1021420A publication Critical patent/JPH1021420A/ja
Application granted granted Critical
Publication of JP3212255B2 publication Critical patent/JP3212255B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像合成装置に関
し、特に時間軸にそって動くオブジェクトの画像を合成
する画像合成装置に関する。
【0002】
【背景の技術】従来より、映像やゲーム装置等において
コンピュータグラフィクス(以下CGという)を用い
て、複数のオブジェクトが連結して構成されたオブジェ
クトの集合体の動きを表示することが行われている。単
独のオブジェクトであれば、3次元空間のワールド座標
系における当該オブジェクトの座標及び方向を時系列に
求めることにより、当該オブジェクトの動きを表示する
ことができる。
【0003】ところが、例えば人体等のように手足や頭
等の複数のオブジェクトを連結して構成されたオブジェ
クトの集合体においては、手足や頭等の各オブジェクト
は固定されておらず、個々別々に運動する。
【0004】このような、オブジェクトを連結して構成
されたオブジェクトの集合体の動きをCGで表示するた
めには、各フレーム毎に変化するオブジェクトの集合体
のワールド座標系における配置のみならず、当該オブジ
ェクトの集合体を構成する各オブジェクトの、前記集合
体毎に有しているローカル座標系における動きを表す情
報も必要となる。この様なオブジェクトの集合体を構成
する各オブジェクトのローカル座標系における動きを表
す情報を、各フレーム毎に表したデータをモーションデ
ータといい、該モーションデータを用いて、オブジェク
トの集合体の動きを表示することにより、人体等の複雑
な動きをリアルに表現することができる。
【0005】従来、ポリゴン又は自由曲面等で構成され
た3次元オブジェクトを用いて画像合成を行うゲーム装
置等では、前記のモーションデータを予めワークステー
ション等の三次元CGツール上で作成して、ゲーム機の
メモリに記憶させておくよう構成されていた。
【0006】ところが、この様なモーションデータを全
フレームの全三次元オブジェクトについてベタ形式で記
憶させると、そのデータ量は膨大となる。そこで、従来
よりベタ形式のモーションデータに対し、ランレングス
圧縮等の圧縮を施し、ゲーム機上で展開しつつ再生する
方式が行われていた。
【0007】しかし、特に三次元CGの場合、この様な
モーションデータは膨大であり、ベタ形式は言うまでも
なく、一旦ベタ形式に展開されてしまったモーションデ
ータを圧縮したところで効果的な圧縮率が得られないと
いう欠点があった。
【0008】
【発明が解決しようとする課題】メモリや外部記憶装置
の容量に厳しい制限があるハードウエア、例えばゲーム
機等では、モーションデータをいかに削減するかが重要
な問題となり、効果的な圧縮方法が望まれていた。
【0009】本発明はこの様な課題に鑑みてなされたも
のであり、モーションデータ及びモーションデータを得
るためのデータの少なくとも1つを効果的に削減して画
像合成を行う画像合成装置を提供することである。
【0010】なお、本文中、モーションデータ、モーシ
ョンに関するデータ、モーション生成情報、モーション
情報と複数の類似した用語を以下のように使い分けして
いる。すなわち、モーションデータについては前述した
通りであり、モーションに関するデータとは文字通りモ
ーションに関するデータであるが、従来はモーションデ
ータのリアルタイム生成を行っていなかったので、モー
ションに関するデータとは、ベタ形式(又はそれを圧縮
した)のモーションデータのことであった。
【0011】ところが、本発明においては、モーション
データのリアルタイム生成を行っているため、モーショ
ンに関するデータとは、モーションデータ、モーション
生成情報、モーション情報をふくむことになる。ここに
おいて、モーション生成情報、モーション情報が、モー
ションデータを得るためのデータである。いいかえれ
ば、モーションデータを生成するもとになる情報のこと
であり、本発明ではモーション生成情報記憶手段に記憶
されているモーション生成情報のことである。また、本
発明においてはモーション生成情報は、モデル情報記憶
手段に記憶されたモデル情報と、モーション情報記憶手
段に記憶されたモーション情報によって構成されてい
る。モーション情報記憶手段に記憶されたモーション情
報は、後述するように、あるフレームにおけるモーショ
ンデータと、他のフレームのモーションデータを生成す
るための情報が記憶されているが、以下、モーション情
報といったら、これらのモーション情報記憶手段に記憶
された情報をさす。
【0012】また、モーション生成情報、モーション情
報とは、本発明において使われる概念であるのにたい
し、モーションデータという用語は、前述した通りの一
般的意味で、従来例および本発明の説明のいずれの場合
にも使用する。
【0013】
【課題を解決するための手段】請求項1の発明は、時間
軸にそって動くオブジェクトの画像を合成する画像合成
装置であって、当該オブジェクトのモーションを生成す
るための少なくとも1つのキーフレームのキーフレーム
情報を記憶するキーフレーム情報記憶手段と、前記キー
フレーム情報記憶手段に記憶されたキーフレーム情報に
基づき、他のフレームのオブジェクトのモーションデー
タをリアルタイムに生成するモーションデータ生成手段
とを含むことを特徴とする。
【0014】ここにおいて、キーフレームとは当該フレ
ームのモーションを規定するための情報が与えられてい
るフレームを言う。また、キーフレーム情報とは当該フ
レームのモーションを規定するための情報、例えば座標
や回転角等の狭義のキーフレーム情報のみならず、キー
フレーム間の補間情報、さらには1つのキーフレームか
らの他のフレームのモーションに関する情報を生成する
情報等も含んだ概念である。
【0015】請求項1の様にするとキーフレーム情報に
基づいて、他のフレームのモーションデータをリアルタ
イムに生成するため、モーションデータによるメモリの
消費を押さえることが出来る。
【0016】請求項2の発明は、請求項1において、前
記キーフレーム情報記憶手段は、モーションを規定する
各モーションデータ及び各モーションデータの各成分の
少なくとも1つである各要素の変化に基づき、各要素毎
に独立して設定されたキーフレームに対するキーフレー
ム情報を記憶することを特徴とする。
【0017】ここにおいて、モーションを規定するため
の要素とは、1つのフレームの画像を合成するための複
数のモーションデータの内の1つのモーションデータで
あり、所与のオブジェクトの座標や回転角等の値、また
これらの値が各座標軸等の成分値として表されている場
合はその成分値等を言う。
【0018】本発明ではキーフレームは各要素毎に必要
に応じて設定する。すなわち、ある要素Aについてはそ
の変化の具合から、a1、a2の2つのキーフレームが
必要で、他の要素Bについてはその変化の具合から、b
1、b2の2つのキーフレームが必要な場合、a1、a
2とb1、b2とは独立に設定されている。
【0019】従って、キーフレーム毎に全要素の値を記
憶する場合に比べて、キーフレーム情報記憶手段に記憶
する情報量を削減することが出来る。
【0020】また、各要素毎に必要に応じてキーフレー
ムを設定するため、一連のモーションを通じて変化しな
い要素については、キーフレームは一つだけでよい。さ
らに、一連のモーションを通じて変化しない要素であ
り、かつその値が特定の値の場合は、キーフレームすら
設定する必要がない。
【0021】以上のような工夫によってキーフレーム自
体もコンパクトにまとめることが出来る。
【0022】請求項3の発明は、請求項1、請求項2の
いずれかにおいて、前記キーフレーム情報記憶手段は、
キーフレーム情報として、時間軸にそって動くオブジェ
クトのモーションの変化の仕方を規定するための手続情
報を記憶し、前記モーションデータ生成手段は、前記手
続情報に基づき他のフレームのオブジェクトのモーショ
ンデータをリアルタイムに生成することを特徴とする。
【0023】前記手続情報には2つのキーフレーム間の
補間情報だけでなく、ある手続に従ったモーションデー
タのリアルタイム生成のための、時間の進行に伴うモー
ションデータの変化の仕方の情報等が含まれる。
【0024】本発明では、キーフレーム情報記憶手段に
記憶された手続情報に基づき、モーションデータをリア
ルタイムに生成することができるため、モーションデー
タによるメモリの消費を押さえることが出来る。
【0025】請求項4の発明は、請求項1〜請求項3の
いずれかにおいて、前記キーフレーム情報記憶手段は、
前記キーフレーム情報を、予め定められた所定の形式で
記述されたモーション生成用手続言語として記憶し、前
記モーションデータ生成手段は、前記手続言語をリアル
タイムに解釈して実行するインタプリタであることを特
徴とする。
【0026】本発明では、キーフレーム情報をモーショ
ン生成用手続言語として記憶し、インタプリタが該モー
ション生成用手続言語を、リアルタイムに解釈して逐次
実行してモーションデータをリアルタイムに生成するこ
とができる。従って、生成されたモーションデータを一
次保持するためのワークエリアのメモリも少なくて済
む。
【0027】また前記モーション生成用手続言語はイン
タプリタによって逐次実行されるため、連続した進行を
妨げること無く、実行途中にキーフレーム情報を変更す
ることが出来る。さらに、インタプリタによって逐次実
行されるため、実行途中にキーフレーム情報を変更して
も再コンパイルの必要が無いため、試行錯誤により動き
を画面で確認しながらのキーフレーム情報の作成、変更
を容易に行うことができる。
【0028】従って、当該画像合成装置を画像の開発環
境に用いる場合等は、データの変更に迅速に対応した画
像合成が行えるため、開発効率の向上を図ることが出来
る。
【0029】また、例えば当該画像合成装置をゲーム装
置に適用する場合、前記インタプリタを開発環境用ワー
クステーション上に実装しておけば、ゲーム機の種類に
関係なく実際のゲーム機上で行われるインタプリタの機
能を実現できるので、正確なモーション設計をスムーズ
に行うことが可能になり、開発作業効率が上がる。
【0030】また、ゲーム機と同様に、開発環境である
ワークステーション等のメモリの使用量を抑える効果が
ある。さらに、ゲーム機本体が無くても、インタプリタ
を用いてゲームの開発が可能となる。
【0031】請求項5の発明は、請求項3又は請求項4
のいずれかにおいて、前記キーフレーム情報記憶手段
は、前記手続情報として、手続により規定されるモーシ
ョンの変化の仕方を変更するためのパラメータを含むこ
とを特徴とする。
【0032】本発明では、同一の手続でもパラメタをか
えることにより、モーションデータの変化の仕方を変更
することが出来る。従って、パラメタを変更するだけ
で、バライティに富んだ動きを作り出すことが可能とな
る。
【0033】請求項6の発明は、請求項4又は請求項4
に従属する請求項5のいずれかにおいて、前記キーフレ
ーム情報記憶手段は、前記モーション生成用手続言語を
バイナリー形式で記憶していることを特徴とする。
【0034】この様にすると手続情報がアスキー形式で
格納されている場合に比べて、モーション情報生成手段
が前記手続情報を解釈する際の解釈時間が短くてすむた
め、リアルタイム性を損なうこと無く、モーションデー
タを生成し、画像合成を行うことが出来る。
【0035】また、この様にするとアスキー形式で格納
させる場合に比べて、データ量を削減することも出来
る。
【0036】請求項7の発明は、複数のオブジェクトを
関節により連結して構成されたオブジェクトの集合体が
時間軸にそって動く画像を合成する請求項1〜請求項6
のいずれかの画像合成装置であって、前記キーフレーム
情報記憶手段は、オブジェクトの集合体が時間軸にそっ
て動く際の前記キーフレーム情報のうち、各関節の回転
角及び当該集合体を構成する各オブジェクトの相対的な
位置関係を表す方向成分に関する情報の少なくとも1つ
を含んで記憶するモーション情報記憶手段と、オブジェ
クトの集合体で表現されるモデル毎に、各モデルに固有
の情報及び各モデルの各関節間の長さを規定する情報の
少なくとも1つをモデル情報として記憶するモデル情報
記憶手段とを含み、前記モーションデータ生成手段は、
前記モーション情報及びモデル情報に基づきモーション
データをリアルタイムに生成するよう構成され、1つの
モデルのオブジェクトの集合体の関節による連結構造と
他のモデルのオブジェクトの集合体の関節による連結構
造とが等しい場合には、それらのモデル間でモーション
情報を共通して使用することを特徴とする。
【0037】請求項8の発明は、複数のオブジェクトを
関節により連結して構成されたオブジェクトの集合体が
時間軸にそって動く画像を合成する画像合成方法であっ
て、オブジェクトの集合体が時間軸にそって動く際のモ
ーションデータ及びキーフレーム情報の少なくとも1つ
の、各関節の回転角及び当該集合体を構成する各オブジ
ェクトの相対的な位置関係を表す方向成分に関する情報
の少なくとも1つを含むモーション情報と、オブジェク
トの集合体で表現されるモデル毎に、各モデルに固有の
情報及び各モデルの各関節間の長さを規定する情報の少
なくとも1つを含むモデル情報とを独立して記憶させて
おき、前記オブジェクトの集合体の動きを、前記オブジ
ェクトの集合体に対応するモデル情報及び表示すべきオ
ブジェクトの集合体の動きに対応するモーション情報と
に基づき画像合成を行う際に、1つのモデルのオブジェ
クト集合体の関節による連結構造と他のモデルのオブジ
ェクトの集合体の関節による連結構造とが等しい場合に
は、それらのモデル間では、モーション情報を共通して
使用することを特徴とする。
【0038】従来は、オブジェクトの集合体毎にモデル
情報とモーション情報を一体としたモーションデータと
して管理していたため、異なるモデル間では、例え関節
による連結構造が同じでも、それぞれ独自にモーション
データを有していた。しかし、本発明では従来のモーシ
ョンデータをその要素毎に、モデルに固有の情報(モデ
ルの各関節間の長さも含む)であるモデル情報と、それ
以外に分離し、前者をモデル情報とし、後者をモーショ
ン情報として独立して管理している。
【0039】従って、関節による連結構造が同じモデル
の画像合成に際しては、モデル情報を変えるだけで、同
一のモーション情報を共通して使用することができるの
で、モーション情報の削減を図ることができる。
【0040】例えばモーション情報としてモーション情
報A、モーション情報Bがあり、複数のオブジェクトを
関節により連結して構成されたオブジェクトの集合体で
あって、関節による連結構造が等しいモデルX、モデル
Y、モデルZがある場合、モーション情報Aに基づきモ
デルX、モデルY、モデルZを動かすことが可能で、モ
ーション情報Bに基づきモデルX、モデルY、モデルZ
を動かすことが可能である。
【0041】ここにおいて、関節による連結構造が等し
いとは、例えば人間の大人とこどもや、足の長い人と短
い人等である。すなわち各関節間の距離は異なっても、
連結構造は等しい場合、関節による連結構造が等しいと
いう。
【0042】従って本発明では、各関節間の距離に基づ
く情報、例えば腕の長さや足の長さはモデル情報として
もつことになる。
【0043】この様にすることで、大人と子ども、足の
長い人と短い人、猫とライオンのように一部又は全部大
きさの異なるモデル群にたいしても、関節による連結構
造が等しければ、共通してモーション情報を使用するこ
とが可能となる。
【0044】従って、異なるモデル間でモーション情報
を有効に使い回すことが可能となり、モーション情報に
よるメモリ消費を押さえることが出来る。また、モデル
群とモーション情報の組み合わせを変えることによっ
て、各モデルの動きにバリエーションを与えることが出
来る。
【0045】請求項9の発明は、時間軸にそって動くオ
ブジェクトの画像を合成する画像合成装置であって、オ
ブジェクトのモーションを生成するためのモーション生
成情報を記憶するモーション生成情報記憶手段と、所与
のオブジェクトの所与の期間内の一連のモーションを生
成するための処理単位である複数のキャラクタパーツ
を、前記モーション生成情報記憶手段に記憶されたモー
ション生成情報を読み出して実行するキャラクタパーツ
実行手段を含み、前記キャラクタパーツ実行手段は、1
つのキャラクタパーツにおいて使用されるモーション生
成情報が他のキャラクタパーツにおいて使用されるモー
ション生成情報と共通する場合、共通するモーション生
成情報については、1つのキャラクタパーツの処理の実
行と他のキャラクタパーツの処理の実行において共通し
て使用することを特徴とする。
【0046】請求項10の発明は、時間軸にそって動く
オブジェクトの画像を合成する画像合成方法であって、
オブジェクトのモーションを生成するためのモーション
生成情報を記憶させておき、所与のオブジェクトの所与
の期間内の一連のモーションを生成するための処理単位
である複数のキャラクタパーツを実行する際に、1つの
キャラクタパーツにおいて使用されるモーション生成情
報が他のキャラクタパーツにおいて使用されるモーショ
ン生成情報と共通する場合、共通するモーション生成情
報については、1つのキャラクタパーツの実行と他のキ
ャラクタパーツの実行において共通して使用することを
特徴とする。
【0047】ここにおいて、キャラクタパーツとは少な
くとも1つのオブジェクトの所与の期間におけるモーシ
ョン生成するための処理単位を指す。従って、オブジェ
クトの集合体を構成する各オブジェクトのモーションを
生成する複数のキャラクタパーツを組み合わせて、オブ
ジェクトの集合体の動きを生成するよう構成することも
できる。
【0048】また、同一のオブジェクトにおける所与の
期間のモーションを生成するキャラクタパーツを、当該
期間をさらに分割した期間のキャラクタパーツを組み合
わせて生成するよう構成することもできる。
【0049】本発明では、異なるキャラクタパーツにお
いて使用されるモーション生成情報が共通する場合は、
共通して使用することができるので、モーション生成情
報記憶手段に記憶する情報量を削減することが出来る。
【0050】また、目的とするモーションを実現するた
めに、それを構成する小さな単位に分割してキャラクタ
パーツを設定し、それら小さな単位であるキャラクタパ
ーツを組み合わせてモーションのコントロールを行うと
いう設計法が可能となり、複雑なモーションの設計が容
易になる。さらにキャラクタパーツの組み合わせ次第
で、モーションの設計、生成に応用がきくので、変化に
富んだ動きの表現が可能となる。
【0051】
【発明の実施の形態】以下、本発明の好適な実施の形態
について説明する。
【0052】図1には、本発明の画像合成装置を用いて
ゲーム装置10を構成した場合の機能ブロック図が示さ
れている。
【0053】本実施の形態のゲーム装置10は、操作部
20、コンピュータ本体(システム基板)12、表示部
90とを含んで構成されている。
【0054】前記操作部20は、プレーヤがゲーム用の
入力信号を前記コンピュータ本体(システム基板)12
に入力するためのもので、ゲームの種類、内容に応じた
各種操作が行えるよう構成されている。
【0055】前記表示部90は、コンピュータ本体(シ
ステム基板)12の演算結果に基づき、ゲーム空間の所
定の範囲を画像表示出力する。
【0056】コンピュータ本体(システム基板)12
は、ゲームプログラム実行部14、キャラクタパーツ管
理部30、画像合成部40、モーション生成情報記憶部
65、オブジェクト情報記憶部80とを含んで構成され
ている。
【0057】前記ゲームプログラム実行部14は、前記
操作部20からの操作信号および所定のプログラムに基
づき、ゲーム演算を行うものである。該ゲームプログラ
ムは後述するキャラクタパーツを組み合わせて実行する
よう構成されており、各キャラクタパーツ間の実行の管
理及び各キャラクタパーツにおいてモーションデータを
生成する際にキャラクタパーツ管理部30に制御を渡す
よう構成されている。従って、前記ゲームプログラム実
行部14及びキャラクタパーツ管理部30が、キャラク
タパーツ実行手段として機能する。
【0058】ところで、例えば人体等は手足や頭等は固
定されておらず、個々別々に運動する。すなわち人間の
身体は首、肩、肘、手首、指、腰、膝等の関節によって
リンクされた物体が個々に動くため、それぞれが人体と
いうローカル座標系における配置情報を有し、ワールド
座標系のなかに、前記人体が配置されているみなすこと
が出来る。
【0059】人間の身体のように複数のオブジェクトが
関節によってリンクされたオブジェクトの集合体の動き
をCGで表示するためには、関節で切り取った各オブジ
ェクトそれぞれを3次元座標上に配置する必要がある。
従って、変化する各オブジェクトのオブジェクトの集合
体のローカル座標系における動きを表示するための情報
が必要となる。
【0060】この様な情報は、従来は各フレーム毎のベ
タ形式のモーションデータとして記憶されていたが、本
実施の形態では、モーションデータを生成するための情
報(以下モーション生成情報という)がモーション生成
情報記憶部65に記憶されている。
【0061】モーション生成情報記憶部65は、オブジ
ェクトの集合体が時間軸にそって動く際の、各関節の回
転角を含む情報であるモーション情報を記憶するモーシ
ョン情報記憶部60と、オブジェクトの集合体で表現さ
れるモデル毎に、各モデルに固有の情報及び各モデルの
各関節間の長さを規定する情報であるモデル情報を記憶
するモデル情報記憶部70とを含んで構成されている。
【0062】モーション情報記憶部60には、前記モー
ション情報が、後述するキーフレーム情報を予め定めら
れた所定の形式を有するモーション生成用手続言語で記
述したものとして、バイナリー形式で格納されている。
【0063】モデル情報記憶部70は、各モデルに固有
の情報として、モーション情報によって生成されるモー
ションデータを各モデルごとにモーションデータに対応
させるための情報が記憶されている。具体的には、各モ
デル毎に、各モデルを構成する各オブジェクトのオブジ
ェクト情報をオブジェクト情報記憶部80から読み出す
場合の識別番号を記憶している。また、前述したように
各モデルの各関節間の距離も記憶している。
【0064】なお、モーション情報記憶部60に記憶さ
れたモーション情報は、フレーム毎に生成されるモーシ
ョンに応じて変化する可能性のある情報であり、モデル
情報記憶部70に記憶されるモデル情報は、一連のフレ
ームにおいて変化しない情報(但し、表現の可能性を広
げるために、一連のフレームの途中でモデル情報の一部
を差し替えることは可能である)であるが、いずれも、
後述するように、キーフレーム情報記憶手段として機能
する。
【0065】前記キャラクタパーツ管理部30は、ゲー
ム空間におけるオブジェクト又はオブジェクトの集合体
として構成されるキャラクタの各キャラクタパーツにお
けるモーション生成を、モーション生成情報記憶部65
に記憶された情報に基づき管理実行するよう構成されて
いる。
【0066】ここにおいて必要となるモーションデータ
を生成しているのが、モーションデータ生成部50であ
る。すなわち、モーションデータ生成部50は、モデル
情報記憶部70に記憶されているモデル情報に基づき、
モーション情報記憶部60に記憶されているモーション
生成用手続言語をリアルタイムに解釈して逐次実行する
インタプリタとして機能する。具体的には、モーション
生成用手続言語とモデル情報である各モデルの各関節間
の距離とに基づきその瞬間のモーションデータを生成
し、モデル情報であるオブジェクト情報の識別番号によ
りオブジェクト情報に対応づけするのである。
【0067】オブジェクト情報記憶部80は、ゲーム空
間内の各オブジェクトの形状及び外観にかかる情報を記
憶するものであり、ポリゴン情報記憶部82とテクスチ
ャ情報記憶部84とを含んでいる。すなわち、本ゲーム
装置においては、各オブジェクトはポリゴンの組み合わ
せによってモデリングされていて、各ポリゴンにはそれ
ぞれのオブジェクトの外観を表すテクスチャがマッピン
グされる。
【0068】前記ポリゴン情報記憶部82には、各オブ
ジェクトの形状を表す情報として、該オブジェクトを構
成する各ポリゴンの頂点座標と、それぞれのポリゴンに
マッピングするテクスチャとが対応して記憶される。前
記頂点座標は各オブジェクト毎にそれぞれ設けられた座
標系(ボディ座標系)における各頂点の位置座標として
記憶されている。
【0069】また、前記テクスチャ情報記憶部84に
は、これらのポリゴンにマッピングするテクスチャのテ
クスチャ情報が記憶される。ここで、テクスチャ情報と
は表示物の色や模様等の情報を意味する。
【0070】この様なポリゴン情報及びテクスチャ情報
をオブジェクト情報と呼び、該オブジェクト情報は、オ
ブジェクト毎に所定の識別番号に対応して記憶されてい
る。
【0071】前記画像合成部40は、前記ゲームプログ
ラム実行部14及び前記キャラクタパーツ管理部30の
演算結果に基づき、オブジェクト情報記憶部80に記憶
されたオブジェクト情報を読み出し、ゲーム画面の画像
合成を行い、表示部90に表示させる機能を有してい
る。
【0072】具体的には、前記画像合成部40は、オブ
ジェクトを構成するポリゴンを、ワールド座標系(X
w,Yw,Zw)で表現されるゲームステージ上に配置
するための演算を行う。すなわち、前記ポリゴン情報記
憶部72には、オブジェクトを構成するポリゴンの位置
情報がオブジェクトのボディ座標系における座標情報と
して記憶されている。前記画像合成部40は、ゲームプ
ログラム実行部14で演算したオブジェクトの集合体等
の位置情報(X,Y,Z)及び方向情報(θ,φ,ρ)
に基づいて、平行移動、回転、反転、拡大、縮小等の3
次元座標変換を施し、各ポリゴンの位置情報をワールド
座標系(Xw,Yw,Zw)での位置座標に変換してい
る。
【0073】このときオブジェクトの集合体として構成
されている各オブジェクト及びそれを構成するポリゴン
の位置情報は、各オブジェクトの集合体の位置情報
(X,Y,Z)及び方向情報(θ,φ,ρ)とモーショ
ンデータ生成部50によって生成された該オジェクトの
モーションデータに基づき演算する。
【0074】次に、各オブジェクトについてそれを構成
するポリゴンを所与の視点を基準とした視点座標系(X
v,Yv,Zv)へ座標変換する処理を行う。その後、
クリッピング処理等を施し、スクリーン座標系(Xs,
Ys)への透視投影変換処理を行う。そして、こうして
得られたスクリーン座標系(Xs,Ys)での画像情報
に基づいて前記表示部90はゲーム空間の所定の範囲を
画像表示出力する。
【0075】次に、キーフレーム情報によるモーション
データの生成について具体的に説明する。
【0076】図2は、各フレームにおける人体オブジェ
クトの動きとモーションデータの関係を表した図であ
る。同図の人体オブジェクトは複数のオブジェクトを関
節K1〜K8によってリンクしたオブジェクトの集合体
として構成したものである。F(1)、F(2)、…、
F(n)は、人体オブジェクトのモーションを表した一
連のフレームである。この様なオブジェクトの集合体の
各オブジェクトの動きを規定するためのモーションデー
タを、例えば各K1〜K8における回転角K1θ〜K8
θとして規定することが出来る。なお、ここでは説明の
ため、1軸の回転のみについて取り出している。実際に
は3軸回転なので、この3倍の情報量になる。また、手
足の長さ自体が変わったり、体から外れたりすると、3
軸の平行移動も加わり、この6倍の情報量になる。
【0077】従って、この様な場合モーションデータを
ベタデータで持つと、図2に示すように各フレーム毎に
回転角K1θ〜K8θをメモリ300に記憶させておく
必要がある。
【0078】本実施の形態では、モーションに関するデ
ータ量を削減するために以下のような各種の構成を採用
している。
【0079】まず第一に、本実施の形態では、予め作成
したモーションデータをベタデータとしてメモリに記憶
させておくのではなく、モーション生成情報記憶部65
に、モーションデータを生成するための情報をモーショ
ン情報と、モデル情報として記憶させ、これらの情報に
基づき、その瞬間のモーションデータをリアルタイムに
生成するよう構成している。
【0080】すなわち、キーフレームのモーションデー
タと補間方法をキーフレーム情報として格納し、他のフ
レームのモーションデータは前記キーフレーム情報に基
づきモーションデータ生成部50でリアルタイムで生成
するよう構成している。
【0081】図3(A)(B)は、従来の方式及びキー
フレーム間のリアルタイム補間によるモーションに関す
るデータ量の削減の例を示した図である。
【0082】同図(A)は、従来の方式のメモリ上のモ
ーションデータ310と表示に使う各フレーム毎のモー
ションのデータ320の関係を示した図である。メモリ
上のモーションデータ310のデータ(311、312
…)は、所与のオブジェクトのモーションデータの値
を、フレーム毎に時系列に記憶したものである。すなわ
ち、例えば図2にしめすモーションデータの1つの要素
であるK1θについての一連のフレーム毎データK1θ
(1)〜K1θ(n)の値を表している。
【0083】また、表示に使う各フレーム毎のモーショ
ンデータ320のデータ(321、322…)は、所与
のオブジェクトを実際に表示する際に使うモーションデ
ータをフレーム毎に時系列に表したものである。
【0084】従来はモーションデータをベタデータでメ
モリに記憶させていたため、図3(A)に示すように、
実際に使用するモーションデータ321、322がその
ままメモリ上にモーションデータ311、312として
記憶されていた。
【0085】同図(B)は、本実施の形態におけるメモ
リ上のモーション生成情報310’と表示に使う各フレ
ーム毎のモーションデータ320’の関係を示した図で
ある。メモリ上のモーション生成情報310’のデータ
(311’、313’、314’、315’)は、所与
のオブジェクトのキーフレームにおけるモーションデー
タ(311’、313’)とその補間方法に関する情報
(314’、315’)である。すなわち、例えば図2
に示すモーションデータK1θに対してのキーフレーム
をF(1)とF(n)とすると、モーションデータ(3
11’、313’)には、前記キーフレームのモーショ
ンデータK1θ(1)とK1θ(n)の値のみが記憶さ
れておりその間の他のフレームのデータはメモリ上には
有しておらず、その補間方法に関する情報(314’、
315’)を記憶している。同図(B)ではベジェ曲線
を用いた補間方法の例を示しているので、補間方法に関
する情報(314’、315’)は、曲線330の傾き
と変曲点の位置関係によって定まる長さの情報を有して
いる。
【0086】なお、キーフレーム間の補間方法にもスプ
ライン曲線を用いるものやベジェ曲線を用いるもの、エ
ルミート補間等の様々な種類があるため、複数の補間方
法を用いる場合はその補間方法の種類を特定するための
情報も必要となり、これらの情報も含めてキーフレーム
情報という。
【0087】このように、モーション生成情報記憶部6
5は、キーフレーム情報を記憶しており、キーフレーム
情報記憶手段として機能する。そして、モーションデー
タ生成部50が前記キーフレーム情報に基づきキーフレ
ーム以外のモーションデータ(322’…)をリアルタ
イムに生成することにより、表示に使う各フレーム毎の
モーションデータ320’のデータ(321’、32
2’…)を得ることができる。
【0088】また本実施の形態のゲーム装置では、キー
フレーム情報からモーションデータをリアルタイムに生
成することにより、メモリ上のモーションに関する情報
を削減するために、以下のような種々の構成も有してい
る。
【0089】まず、図3において説明したキーフレーム
情報は、モーションを規定する個々の要素毎に必要に応
じて設定される。要素とは、例えば図2における、人体
オブジェクトの各関節K1〜K8の個々の関節のごと
く、1つのフレームの画像を合成するための複数のモー
ションデータの内の1つのモーションデータであり、所
与のオブジェクトの座標や回転角等の値、またこれらの
値が各座標軸等の成分値として表されている場合はその
成分値等を言う。
【0090】これらの各関節に対してキーフレームを設
定する場合、各関節毎のデータの変化に応じて、独自に
キーフレーム情報が設定される。すなわち、異なる要素
間で、異なるキーフレーム及び異なる補間方法を設定す
ることが可能である。
【0091】この様にすると、例えば一連のモーション
を通じて複雑な変化をする要素については、多くのキー
フレームを設定することにより、正確な動きを再現する
ことが出来る。また、一連のモーションを通じて変化し
ない要素については、キーフレームは一つだけでよい。
例えばある関節のρ方向の回転角の成分が常に一定の場
合等である。また、モデル情報の1つである各関節間の
長さ、すなわち例えば人体の肩から肘までの距離等は、
そのモデルに特有の情報であり、モデルのモーションを
通じて変化しない要素であるため、本実施の形態では、
これを個々のフレーム毎に持たず、モデル情報として1
つだけ記憶している。
【0092】なお、特殊な例として、リアルタイムに腕
の長さが変化するような表現も可能である。この様な場
合、リアルタイムにオブジェクトの形状の情報を変更す
るのと同時に、このモデル情報中の関節間の長さも変更
することによって実現している。
【0093】さらに、一連のモーションを通じて変化し
ない要素については(オブジェクト情報記憶部に記憶さ
れている状態を基準状態とすれば、該基準状態と等しい
場合等)、キーフレームすら設定する必要はない。
【0094】また、この様にキーフレームに対する補間
方法を指定することにより、他のフレームのモーション
データを生成する場合、補間方法をモーションの変化の
仕方を規定するための手続情報とみなすことができる。
従って異なる補間方法を用いたい場合、手続情報として
異なる補間方法を指定することにより容易に実現するこ
とが可能となる。
【0095】また、同じ補間方法であっても、パラメタ
を変更することにより、モーションの変化の仕方を変更
することができる。例えば図3(B)において、補間方
法に関する情報(314’、315’)をパラメタとみ
なすことが出来、該補間方法に関する情報(314’、
315’)の値を変更することで、同じベジェ曲線によ
る補間であっても、様々に異なる変化の仕方を実現する
ことが可能となる。
【0096】また、キーフレームのモーションデータ
(311’、313’)も、補間方法に関するパラメタ
では無いがパラメタであることには変わりなく、該値を
変更することによって、異なるモーションを実現するこ
とが可能となる。
【0097】さらに本実施の形態では、前記キーフレー
ム情報は前述したように、予め定められた所定の形式で
記述されたモーション生成用手続言語で記憶されてい
る。
【0098】前記モーション生成用手続言語とは、前記
インタプリタがキーフレーム情報を解釈して逐次実行出
来るような所定のフォーマットに従って手続、パラメ
タ、データを指定するための言語である。
【0099】例えば、図3(B)においてメモリ上のモ
ーション生成情報310’として記憶されているキーフ
レーム情報は、手続きとして補間方法がベジェ補間であ
る旨を指定するコード、パラメタとして、該補間方法に
関する情報(314’、315’)、そしてデータとし
て該補間方法で補間すべきモーションデータの識別とそ
の値、フレーム番号を指定した手続言語の形式で記憶さ
れている。
【0100】なお、本実施の形態では該モーション生成
用手続言語をインタプリタが解釈して逐次実行する際の
解釈時間を短縮出来るように、予めバイナリー形式に変
換してモーション生成情報記憶部65に記憶させてい
る。
【0101】次にモデル情報とモーション情報の独立管
理によるモーションデータの圧縮について説明する。
【0102】図4(A)(B)は、従来の方式と本発明
の方式によるモデル情報とモーション情報の独立管理に
よるモーションデータの圧縮の例を示した図である。
【0103】同図(A)は、従来の方式によるメモリ上
のモーションデータ410と出力される映像420の関
係を示している。例えば、巨人、子ども、足の長い人と
いう異なるモデルの映像出力を行う際、従来は同図に示
すようにそれぞれのモデルがそれぞれにモーションデー
タ620、630、640とを有している必要があっ
た。
【0104】ところが、本発明による方式では、モデル
に固有の情報はモデル情報記憶部70に、そして、各モ
デルを構成する各オブジェクトの位置関係に関する情報
のうち、モデルに固有の情報を含まないものは、モーシ
ョン情報としてモーション情報記憶部60に記憶されて
いる。この様にすると、例えば、巨人、子ども、足の長
い人という異なるモデルであっても、その関節による連
結構造が等しい場合には、同一のモーション情報を共通
して使用することが可能となる。
【0105】図9(A)(B)は、モーション情報とモ
デル情報の関係を示した図である。
【0106】同図(A)(B)には、2つのオブジェク
トが関節Kによって連結されているオブジェクトの集合
体OB、OB’が示されている。
【0107】オブジェクトの集合体OB、OB’をワー
ルド座標系に配置するためには、同図(A)の場合、点
A、Bの座標とM1、M2の回転角が与えられればよ
い。この様な場合、M1とM2は連結しているため、通
常、M1とM2の集合体としてのワールド座標系におけ
る位置情報として、点Aのワールド座標系における位置
座標(X、Y、Z)とM1の方向情報(θ1,φ1,ρ
1)を与え、M2の位置情報をモーションデータとして
与える。M2のモーションデータとしては、一般にAB
間の距離dと点Bを原点とするボディ座標系におけるM
2の方向情報(θ2,φ2,ρ2)を与える。すなわ
ち、ワールド座標系における位置情報とモーションデー
タを与えることにより、オブジェクトの集合体OBをワ
ールド座標系に配置する。
【0108】また、同図(B)の場合、オブジェクトの
集合体OBのワールド座標系に配置するために、点A’
のワールド座標系における位置座標(X’、Y’、
Z’)とM1の方向情報(θ1’,φ1’,ρ1’)
と、M2’のモーションデータを与える。M2’のモー
ションデータは、A’B’間の距離d’と点B’を原点
とするボディ座標系におけるM2’の方向情報(θ
2’,φ2’,ρ2’)である。
【0109】従って、従来の方式では、オブジェクトの
集合体OBのモーションデータとして、AB間の距離d
とM2の方向情報(θ2,φ2,ρ2)を、オブジェク
トの集合体OB’のモーションデータとして、A’B’
間の距離d’とM2’の方向情報(θ2’,φ2’,ρ
2’)を有していた。
【0110】しかし、オブジェクトの集合体OB、O
B’は関節による連結構造が等しいため、本発明の方式
の場合、オブジェクトの集合体OB、OB’に共通のモ
ーション情報として、M2、M2’の方向情報(θ2,
φ2,ρ2)を有している。そして、各オブジェクトの
集合体OB、OB’に固有の情報であるAB間の距離d
とA’B’間の距離d’をそれぞれ、各オブジェクトの
集合体OB、OB’のモデル情報として有している。
【0111】従って、図4(B)に示すように、モデル
情報記憶部70に記憶された巨人660、子ども67
0、足の長い人680という異なるモデルのモデル情報
に対して、人間と同様の関節構造を有するオブジェクト
の集合体に共通のモーション情報であるメモリ上のモー
ション情報650を共通して使用することにより、モー
ションデータ生成部50は、各モデル毎のその瞬間のモ
ーションデータをリアルタイムに生成している。
【0112】次に、キャラクタパーツによるプログラム
の構成及びキャラクタパーツの組み合わせ実行によるモ
ーションに関する情報の削減の具体例について説明す
る。
【0113】図5(A)(B)は、従来の方式及びキャ
ラクタパーツの実行によるムカデ表示のモーション生成
情報の削減の例を示した図である。
【0114】同図(A)は、従来の方式によるメモリ上
のモーションデータ410と出力される映像420の関
係を示している。同図の出力される映像420のムカデ
500は、頭部510と複数の一対の足つき胴体520
〜570のオブジェクトの集合体として構成されてい
る。そして、同図のメモリ上のモーションデータ410
に示すように、従来は、集合体を構成するオブジェクト
の全てのモーションデータをメモリ上に有していた。
【0115】すなわち従来の方式では、ムカデ全体を一
つのモーション単位として扱っていたためデータ量が膨
大になってしまうという欠点があった。そこで本実施の
形態では、目的とするモーションを実現するために、そ
れを構成する小さな処理単位に分割し、それら小さな処
理単位を組み合わせて実行することによりモーションの
コントロールを行っている。
【0116】同図(B)は、本発明の方式によるメモリ
上のモーション生成情報410’と出力される映像42
0’の関係を示している。同図(B)では、2体のムカ
デ500’及び505’を映像出力しているが、メモリ
上のモーション生成情報としては、頭部のモーション生
成情報414’と一対の足つき胴体のモーション生成情
報416’のみである。
【0117】すなわち、頭部510’、515’は、メ
モリ上のモーション生成情報414’を共通して使用し
て動かすよう構成されており、複数の一対の足つき胴体
520’〜570’、525’〜575’もメモリ上の
モーション生成情報416’を共通して使用して動かす
よう構成されている。
【0118】この様に、本実施の形態では出力映像の2
体のムカデ500’及び505’は、頭部510’、5
15’と複数の一対の足つき胴体520’〜570’、
525’〜575’のオブジェクトの集合体として構成
されていると考え、頭部414’と一対の足つき胴体4
16’のモーション情報を組み合わせて、2体のムカデ
500’及び505’のモーションデータを生成してい
る。
【0119】図6は、本発明の方式においてゲームプロ
グラム実行部14が、2匹のムカデのモーションデータ
を生成する際、実行するプログラムの構造の例を示して
いる。ここにおいて、キャラクタパーツとは実行すると
きの処理単位をさす。
【0120】コントロールキャラクタパーツ810は、
操作部からの入力に基づき、2匹のムカデコントロール
キャラクタパーツ820、830を起動する。そして各
ムカデコントロールキャラクタパーツ1(820)、各
ムカデコントロールキャラクタパーツ2(830)は、
それぞれ頭キャラクタパーツ1(840)、頭キャラク
タパーツ2(860)と、胴キャラクタパーツ11…
(850)、胴キャラクタパーツ21…(870)を複
数個起動する。しかしムカデコントロールキャラクタパ
ーツ1(820)とムカデコントロールキャラクタパー
ツ2(830)、頭キャラクタパーツ1(840)と頭
キャラクタパーツ2(860)、胴キャラクタパーツ1
1…(850)と胴キャラクタパーツ21…(870)
で行われる処理は、それぞれムカデ、胴、頭の構造が共
通しているためモーション生成情報を共通して使用する
ことが出来る。
【0121】例えば、頭の動きのモーションを規定する
複数のパターンのモーション生成情報を頭キャラクタパ
ーツ1(840)と頭キャラクタパーツ2(860)と
で共通して使用し、それぞれの実際の動きにあわせて、
初期値やパラメタを変更することで、独自の動きを生成
することが出来る。また、各足の動きのモーションを規
定する複数のパターンのモーション生成情報を胴キャラ
クタパーツ1…(850)、胴キャラクタパーツ2…
(870)とで共通して使用し、各足の繰り返し運動に
ついて、頭から順にその位相を少しずつずらして行くこ
とによりムカデ特有の波のような足の運びの表示を実現
することも容易である。このときもずらすべき位相のみ
各キャラクタパーツ毎に指定してやればよい。
【0122】前述したようにキャラクタパーツはプログ
ラムを実行する際の処理単位となるものであり、同時に
複数のキャラクタパーツがそれぞれのタイミングで独立
して、並列に動作しているように振る舞う。ここにおい
て並列に動作しているように振る舞うとは、実際に並列
実行されている場合のみならず、あるフレームからその
次のフレームまでの間に前記次のフレームの画像合成に
必要な複数のキャラクタパーツの実行を行うような場合
も含む。ゲームプログラム等においては、現実の実行が
狭義の意味での並列実行であるか否かよりも、あるフレ
ームからその次のフレームまでの間に必要な実行が全て
行われたかどうかが重要だからである。
【0123】各キャラクタパーツ810〜870はオブ
ジェクトであり、各ムカデコントロールキャラクタパー
ツ1(820)、ムカデコントロールキャラクタパーツ
2(830)は同一のムカデコントロールクラス880
に属するインスタンスとして構成することが出来る。同
様にそれぞれ頭キャラクタパーツ1(840)、頭キャ
ラクタパーツ2(860)は同一の頭クラス890に属
するインスタンスとして、胴キャラクタパーツ11…
(850)、胴キャラクタパーツ21…(870)も同
一の胴クラス900に属するインスタンスとして構成す
ることが出来る。
【0124】各キャラクタパーツで実行されるプロシジ
ャーは各クラスのメソッドとして定義し、各クラスのイ
ンスタンスであるキャラクタパーツは実行の際、自己の
属するクラスで定義されているメソッドを雛形として、
自己のインスタンスに固有の値、及びメッセージとして
受け取った引数に基づきプロシジャーの処理を行う。
【0125】例えば、頭キャラクタパーツ1(840)
がメソッド2を実行しろというメッセージ910を受け
取ると、頭キャラクタパーツ1(840)は、頭クラス
890に定義されているメソッド2を雛形として、自己
のインスタンスに固有の値、及びメッセージとして受け
取った引数に基づきプロシジャー2の処理を行うことに
なる。ムカデコントロールキャラクタパーツ1、2(8
20、830)で実行されるプロシジャー1とムカデコ
ントロールクラス880のメソッド1、及び胴キャラク
タパーツ11(850)、…、胴キャラクタパーツ21
(870)…で実行されるプロシジャー3と胴クラス9
00のメソッド3も同様の関係となる。
【0126】このようにすると、共通して使用可能なモ
ーションの生成に必要なプロシジャー、例えば手続情報
はクラスに定義される。また、各キャラクタパーツが独
自に持つデータ、例えば足の位置の初期値等は、他のキ
ャラクタパーツからメッセージで引数としてうけとる
か、自己の内部に保管していたデータを使用する。この
様にすることで、同一のクラスに属するインスタンスは
クラスで定義された情報を共通して使用することが出来
る。従って、モーション生成情報をクラスで定義するこ
とにより、モーション生成情報の削減を図ることが可能
となる。
【0127】次に本発明の方式による実行の例を説明す
る。
【0128】図7(A)(B)は、本発明の方式によ
り、犬バス、豚バス、フンのモーションプログラムのキ
ャラクタパーツコントロールの流れを示した図である。
【0129】同図(A)には、階層構造を有する各キャ
ラクタパーツ710〜750と、該キャラクタパーツで
実行されるプログラム”main.c”、”INUBU
S_MOSC2”、”BODY_MOSC1”、”LE
G_MOSC1”、”FUN_MOSC1”と、モデル
情報記憶部70に記憶された犬バスのモデル情報”IN
U_MDLG”760、フンのモデル情報”FUN_M
DLG”770、豚バスのモデル情報”BUTA_MD
LG”の関係が示されている。なお、プログラム”ma
in.c”はC言語で記述されており、プログラム”I
NUBUS_MOSC2”は、キャラクタパーツ管理の
ためにC言語を拡張した言語で記述されており、”BO
DY_MOSC1”、”LEG_MOSC1”、”FU
N_MOSC1”は、前述したモーション生成用手続言
語で記述されている。
【0130】図7(B)は、犬バス、豚バス、フンのイ
メージ図を示した図である。
【0131】犬バス、豚バス、フンを、画面上で動かす
ために、ゲームプログラム実行部14は、各キャラクタ
パーツ710〜750を実行する。各キャラクタパーツ
710〜750は、図7(A)に示すように階層構造に
なっており、キャラクタパーツ710で、犬バスと豚バ
スの各キャラクタパーツの起動制御するためのメインプ
ログラム”main.c”を実行することにより、犬バ
スに関する下位のキャラクタパーツ710と、豚バスに
関する図示しない下位のキャラクタパーツが起動され
る。
【0132】犬バスに関する下位のキャラクタパーツ7
20は、”INUBUS_MOSC2”を実行すること
により、さらに犬バスの下位のキャラクタパーツ73
0、740と独立のフンのキャラクタパーツ750が起
動される。
【0133】下位のキャラクタパーツ730では、”B
ODY_MOSC1”が実行され、犬バスの胴体の動き
が生成される。また、下位のキャラクタパーツ740で
は、”LEG_MOSC1”が実行され、犬バスの一本
の足の動きが生成される。
【0134】ところで、犬バスには足が12本あるた
め、これら12本の足の動きのモーションを生成するた
めのキャラクタパーツをさらに11個起動することが必
要となる。
【0135】このとき、該11個のキャラクタパーツ
は、前記キャラクタパーツ740で実行された”LEG
_MOSC1”を共通して使用する。すなわち”LEG
_MOSC1”を実行する際の初期値(例えば足の現在
位置等)等を動きにあわせてそれぞれ個別に設定するこ
とにより各足の動きのモーションを生成することが出来
る。なお、ここでは、上位のキャラクタパーツ720で
実行される”BODY_MOSC1”において各足の初
期値を設定するように構成されている。
【0136】この様にモーション生成情報として機能す
る”LEG_MOSC1”を複数のキャラクタパーツで
共通して使用することにより一本の足のモーション情報
で12本のモーションデータを生成することが出来る。
【0137】また、”LEG_MOSC1”を実行する
際のパラメタを変更することにより、歩く時の足の動
き、走る時の足の動き等、バライティに富んだ足の動き
を生成することができる。
【0138】また、独立のフンのキャラクタパーツ75
0は、”FUN_MOSC1”を実行して、犬バスのお
尻から排出されたフンのモーションを生成する。
【0139】ところで演算された動きを画面上に表示す
るためには各フレームについてのモーションデータが必
要となるため、前記各キャラクタパーツでは、その瞬間
のモーションデータを生成する際に、モーションデータ
生成部50に制御を渡す。モーションデータ生成部50
では、モデル情報とモーション情報からなるモーション
生成情報に基づきその瞬間のモーションデータを生成す
る。例えばキャラクタパーツ730では、犬のモデル情
報”INU_MDLG”760と、”BODY_MOS
C1”に記述されているモーション情報に基づき犬バス
のその瞬間のモーションデータが生成される。
【0140】また、図7(A)では省略してあるが、豚
バスも、犬バスと同じ階層構造でキャラクタパーツのコ
ントロールを行えばよいので、その動きもやはり犬バス
と同一のプログラムを実行して生成している。ただし、
モデル情報には豚バスのモデル情報である”BUTA_
MDLG”を使用する。犬バスと豚バスは関節による連
結構造が等しいため、モーション情報を共通して使用す
ることができるのである。
【0141】本発明は上記実施例に限定されるものでは
なく、各種の変更実施が可能である。
【0142】例えば、対象となるモーションデータはオ
ブジェクトの集合体毎に有しているローカル座標系にお
ける各オブジェクトの動きを表す狭義の意味でのモーシ
ョンデータに限らない。すなわち、オブジェクトの集合
体のワールド座標系における配置等も含んだ動きに関係
あるすべての情報を広義の意味でのモーションデータを
対象としてもよい。
【0143】また、モーションデータの規定の仕方が異
なってもよい。すなわち、例えば狭義のモーションデー
タの場合、位置関係の規定の方法の相違によるモーショ
ンデータの持ち方が相違してもよい。
【0144】また、キーフレーム間の補間の形態も問わ
ないし、必ずしも2点間を補間する場合に限らず、1点
の値から他のフレームの値を生成するような場合でもよ
い。
【0145】また、図7(A)において、プログラム”
BODY_MOSC1”、”LEG_MOSC1”、”
FUN_MOSC1”は、モーション生成用手続言語で
作成されている場合を説明したが、前記モーション生成
用手続言語のどの部分までインタプリタによる逐次実行
を行うのかは自由であり、処理速度、と逐次実行方式に
よる変更容易性とのかねあいで定めればよい。なお、更
なる高速化のために、インタプリタ機能の一部又は全部
をハードウエアで置き換えてしまう方法も有効である。
【0146】また、本実施の形態ではゲーム機に適用さ
れている場合について説明したが、ゲームの開発環境と
して使用されているワークステーション等での、画面の
モーション作成時においても有効である。
【0147】さらに、以上説明した本発明は家庭用、業
務用を問わずあらゆるハードウェアを用いて実施可能で
ある。図8は現在広く用いられているタイプのゲーム装
置のハードウェア構成の一例を示す図である。同図に示
すゲーム装置はCPU1000、ROM1002、RA
M1004、情報記憶媒体1006、音声合成IC10
08、画像合成IC1010、I/Oポート1012、
1014がシステムバス1016により相互にデータ送
受信可能に接続されている。そして前記画像合成IC1
010にはディスプレイ1018が接続され、前記音声
合成IC1008にはスピーカ1020が接続され、I
/Oポート1012にはコントロール装置1022が接
続され、I/Oポート1014には通信装置1024が
接続されている。
【0148】前記情報記憶媒体1006は、CD−RO
M、ゲームROM、メモリカード等のゲーム装置本体と
着脱可能に設けられる記憶手段を意味し、ゲーム内容に
応じた所定の情報を書き込み保存することのできるタイ
プも用いられる。また、前記ROM1002は、ゲーム
装置本体に固定して設けられる記憶手段である。これら
は、ゲームプログラムやゲームステージの空間情報等の
ゲームタイトルに関係する情報の他、ゲーム装置本体の
初期化情報等のゲームタイトルに関係しない情報を記憶
する手段である。
【0149】前記コントロール装置1022は、遊戯者
がゲーム進行に応じて行う判断の結果をゲーム装置本体
に入力するための装置であり、家庭用に広く用いられて
いるパッドタイプのものや、業務用ドライブゲームに用
いられるハンドル、アクセル等が挙げられる。
【0150】そして、前記情報記憶媒体1006やRO
M1002に格納されるゲームプログラムやシステムプ
ログラム又は前記コントロール装置1022によって入
力される信号等に従って、前記CPU1000はゲーム
装置全体の制御や各種データ処理を行う。前記RAM1
004はこのCPU1000の作業領域として用いられ
る記憶手段であり、前記情報記憶媒体1006や前記R
OM1002の所定の内容、あるいはCPU1000の
演算結果等が格納される。
【0151】さらに、この種のゲーム装置には音声合成
IC1008と画像合成IC1010とが設けられてい
て音声や画像の好適な出力が行えるようになっている。
前記音声合成IC1008は情報記憶媒体1006やR
OM1002に記憶される情報に基づいて効果音やゲー
ム音楽等を合成する回路であり、合成された音楽等はス
ピーカ1020によって出力される。また、前記画像合
成IC1010はRAM1004、ROM1002、情
報記憶媒体1006等から送られる画像情報に基づいて
ディスプレイ1018に出力するための画素情報を合成
する回路である。
【0152】また、前記通信装置1024はゲーム装置
内部で利用される各種の情報を外部とやりとりするもの
であり、他のゲーム装置と接続されてゲームプログラム
に応じた所定の情報を送受したり、通信回線を介してゲ
ームプログラム等の情報を送受することなどに利用され
る。
【0153】以上説明した一般的なゲーム装置を用いて
も本発明は容易に実施可能である。例えば、前記操作部
20はコントロール装置1022に対応し、前記ゲーム
プログラム実行部14、前記キャラクタパーツ管理部3
0はCPU1000及びROM1002又は情報記憶媒
体1006に格納されるソフトウェアによって実現され
る。また、モーション生成情報記憶部65、オブジェク
ト画像情報記憶部80は、RAM1004、ROM10
02、情報記憶媒体1006のいずれかに設けることが
可能である。更に、画像合成部40は画像合成IC10
10によって、あるいはCPU1000と所定のソフト
ウェアによって実現される。また、表示部90はディス
プレイ1018に対応する。
【0154】
【図面の簡単な説明】
【図1】本実施の形態のゲーム装置の構成を示す機能ブ
ロック図である。
【図2】同図は、各フレームにおける人体オブジェクト
の動きとモーションデータの関係を表した図である。
【図3】同図(A)(B)は、従来の方式及びキーフレ
ーム間のリアルタイム補間によるモーションデータの削
減の例を示した図である。
【図4】同図(A)(B)は、従来の方式と本発明の方
式によるモデルとモーションの独立管理によるモーショ
ンデータの圧縮の例を示した図である。
【図5】同図(A)(B)は、従来の方式及びキャラク
タパーツの実行によるムカデ表示のモーションデータの
削減の例を示した図である。
【図6】同図は、本発明の方式においてゲームプログラ
ム実行部が、2匹のムカデのモーションデータを生成す
る際、実行するプログラムの構造の例を示している。
【図7】同図(A)(B)は、本発明の方式により、犬
バス、豚バス、フンのモーションプログラムのキャラク
タパーツコントロールの流れを示した図である。
【図8】ゲーム装置のハードウェア構成の一例を示す図
である。
【図9】同図(A)(B)は、モーション情報とモデル
情報の関係を示した図である。
【符号の説明】
20 操作部 12 コンピュータ本体(システム基板) 14 ゲームプログラム実行部 30 キャラクタパーツ管理部 40 画像合成部 50 モーションデータ生成部 60 モーション情報記憶部 65 モーション生成情報記憶部 70 モデル情報記憶部 80 オブジェクト情報記憶部 82 ポリゴン情報記憶部 84 テクスチャ情報記憶部 90 表示部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 13/00 G06T 15/70

Claims (20)

    (57)【特許請求の範囲】
  1. 【請求項1】 時間軸にそって動くオブジェクトの画像
    を合成する画像合成装置であって、 当該オブジェクトのモーションを生成するための少なく
    とも2つのキーフレームのモーションデータである関節
    の回転角、関節間の長さ、関節の座標及びオブジェクト
    の相対的な位置関係の少なくとも一つと、2つのキーフ
    レーム間のモーションデータの補間情報を含むキーフレ
    ーム情報を記憶するキーフレーム情報記憶手段と、前記キーフレーム情報 に基づき2つのキーフレーム間の
    フレームの当該オブジェクトのモーションデータをリア
    ルタイムに生成するモーションデータ生成手段とを含む
    ことを特徴とする画像合成装置。
  2. 【請求項2】 請求項1において、 前記モーションデータの補間情報が、補間方法の種類を
    特定するための情報をを含むことを特徴とする画像合成
    装置。
  3. 【請求項3】 請求項1または2のいずれかにおいて、 少なくとも2つのキーフレームのモデルの各関節間の長
    さを規定する情報をキーフレーム情報として記憶し、 前記キーフレーム情報として記憶された少なくとも2つ
    のキーフレームのモデルの各関節間の長さを規定する情
    報に基づき、2つのキーフレーム間のフレームの当該オ
    ブジェクトのモデルの各関節間の長さを規定する情報を
    リアルタイムに生成することを特徴とする画像合成装
    置。
  4. 【請求項4】 請求項1〜3のいずれかにおいて、 前記キーフレーム情報記憶手段は、 モーションを規定する各モーションデータ及び各モーシ
    ョンデータの各成分の少なくとも1つである各要素の変
    化に基づき、各要素毎に独立して設定されたキーフレー
    ムに対するキーフレーム情報を記憶することを特徴とす
    る画像合成装置。
  5. 【請求項5】 請求項1〜4のいずれかにおいて、 前記キーフレーム情報記憶手段は、 キーフレーム情報として、時間軸にそって動くオブジェ
    クトのモーションの変化の仕方を規定するための手続情
    報を記憶し、 前記モーションデータ生成手段は、 前記手続情報に基づき他のフレームのオブジェクトのモ
    ーションデータをリアルタイムに生成することを特徴と
    する画像合成装置。
  6. 【請求項6】 請求項5において、 前記手続情報として、手続により規定されるモーション
    の変化の仕方を変更するためのパラメータを含むことを
    特徴とする画像合成装置。
  7. 【請求項7】 請求項1〜6のいずれかにおいて、 前記キーフレーム情報記憶手段は、 前記キーフレーム情報を、予め定められた所定の形式で
    記述されたモーション生成用手続言語として記憶し、 前記モーションデータ生成手段は、 前記手続言語をリアルタイムに解釈して実行するインタ
    プリタであることを特徴とする画像合成装置。
  8. 【請求項8】 請求項7において、 前記キーフレーム情報記憶手段は、 前記モーション生成用手続言語をバイナリー形式で記憶
    していることを特徴とする画像合成装置。
  9. 【請求項9】 請求項1〜8のいずれかにおいて、 オブジェクトのモーションを生成するためのモーション
    生成情報を記憶するモーション生成情報記憶手段と、 所与のオブジェクトの所与の期間内の一連のモーション
    を生成するための処理単位である複数のキャラクタパー
    ツを、前記モーション生成情報記憶手段に記憶されたモ
    ーション生成情報を読み出して実行するキャラクタパー
    ツ実行手段を含み、 前記キャラクタパーツ実行手段は、 1つのキャラクタパーツにおいて使用されるモーション
    生成情報が他のキャラクタパーツにおいて使用されるモ
    ーション生成情報と共通する場合、共通するモーション
    生成情報については、1つのキャラクタパーツの処理の
    実行と他のキャラクタパーツの処理の実行において共通
    して使用することを特徴とする画像合成装置。
  10. 【請求項10】 複数のオブジェクトを関節により連結
    して構成されたオブジェクトの集合体が時間軸にそって
    動く画像を合成する請求項1〜9のいずれかに記載の画
    像合成装置であって、前記キーフレーム情報として 、 オブジェクトの集合体が時間軸にそって動く際の前記キ
    ーフレーム情報のうち、各関節の回転角及び当該集合体
    を構成する各オブジェクトの相対的な位置関係を表す方
    向成分に関する情報の少なくとも1つを含んで記憶する
    モーション情報と、 オブジェクトの集合体で表現されるモデル毎に、各モデ
    ルに固有の情報及び各モデルの各関節間の長さを規定す
    る情報の少なくとも1つをモデル情報とを含み、 1つのモデルのオブジェクトの集合体の関節による連結
    構造と他のモデルのオブジェクトの集合体の関節による
    連結構造とが等しい場合には、それらのモデル間でモー
    ション情報を共通して使用してリアルタイムにモーショ
    ンデータを生成することを特徴とする画像合成装置。
  11. 【請求項11】 時間軸にそって動くオブジェクトの画
    像を合成する画像合成方法であって、 当該オブジェクトのモーションを生成するための少なく
    とも2つのキーフレームのモーションデータである関節
    の回転角、関節間の長さ、関節の座標及びオブジェクト
    の相対的な位置関係の少なくとも一つと、2つのキーフ
    レーム間のモーションデータの補間情報を含むキーフレ
    ーム情報を記憶し、 前記キーフレーム情報に基づき2つのキーフレーム間の
    フレームの当該オブジェクトのモーションデータをリア
    ルタイムに生成することを特徴とする画像合成方法。
  12. 【請求項12】 請求項11において、 前記モーションデータの補間情報が、補間方法の種類を
    特定するための情報を を含むことを特徴とする画像合成
    方法。
  13. 【請求項13】 請求項11または12のいずれかにお
    いて、 少なくとも2つのキーフレームのモデルの各関節間の長
    さを規定する情報をキーフレーム情報として記憶し、 前記キーフレーム情報として記憶された少なくとも2つ
    のキーフレームのモデルの各関節間の長さを規定する情
    報に基づき、2つのキーフレーム間のフレームの当該オ
    ブジェクトのモデルの各関節間の長さを規定する情報を
    リアルタイムに生成することを特徴とする画像合成方
    法。
  14. 【請求項14】 請求項11〜13のいずれかにおい
    て、 モーションを規定する各モーションデータ及び各モーシ
    ョンデータの各成分の少なくとも1つである各要素の変
    化に基づき、各要素毎に独立して設定されたキーフレー
    ムに対するキーフレーム情報を記憶することを特徴とす
    る画像合成方法。
  15. 【請求項15】 請求項11〜14のいずれかにおい
    て、 キーフレーム情報として、時間軸にそって動くオブジェ
    クトのモーションの変化の仕方を規定するための手続情
    報を記憶し、 前記手続情報に基づき他のフレームのオブジェクトのモ
    ーションデータをリアルタイムに生成することを特徴と
    する画像合成方法。
  16. 【請求項16】 請求項15において、 前記手続情報として、手続により規定されるモーション
    の変化の仕方を変更するためのパラメータを含むことを
    特徴とする画像合成方法。
  17. 【請求項17】 請求項11〜16のいずれかにおい
    て、 前記キーフレーム情報を、予め定められた所定の形式で
    記述されたモーション生成用手続言語として記憶し、 前記手続言語をリアルタイムに解釈して実行するインタ
    プリタであることを特徴とする画像合成方法。
  18. 【請求項18】 請求項17において、 前記モーション生成用手続言語をバイナリー形式で記憶
    していることを特徴とする画像合成方法。
  19. 【請求項19】 請求項11〜18のいずれかにおい
    て、 オブジェクトのモーションを生成するためのモーション
    生成情報を記憶させておき、 所与のオブジェクトの所与の期間内の一連のモーション
    を生成するための処理単位である複数のキャラクタパー
    ツを実行する際に、 1つのキャラクタパーツにおいて使用されるモーション
    生成情報が他のキャラクタパーツにおいて使用されるモ
    ーション生成情報と共通する場合、共通するモーション
    生成情報については、1つのキャラクタパーツの実行と
    他のキャラクタパーツの実行において共通して使用する
    ことを特徴とする画像合成方法。
  20. 【請求項20】 複数のオブジェクトを関節により連結
    して構成されたオブジェクトの集合体が時間軸にそって
    動く画像を合成する請求項11〜19のいずれかに記載
    の画像合成方法であって、 前記キーフレーム情報として、 オブジェクトの集合体が時間軸にそって動く際の前記キ
    ーフレーム情報のうち、各関節の回転角及び当該集合体
    を構成する各オブジェクトの相対的な位置関係を表す方
    向成分に関する情報の少なくとも1つを含んで記憶する
    モーション情報と、オブジェクトの集合体で表現される
    モデル毎に、各モデルに固有の情報及び各モデルの各関
    節間の長さを規定する情報の少なくとも1つをモデル情
    報と独立して記憶させておき、 1つのモデルのオブジェクトの集合体の関節による連結
    構造と他のモデルのオブジェクトの集合体の関節による
    連結構造とが等しい場合には、それらのモデル間でモー
    ション情報を共通して使用してモーションデータをリア
    ルタイムに生成することを特徴とする画像合成方法
JP19539796A 1996-07-05 1996-07-05 画像合成装置及び画像合成方法 Expired - Lifetime JP3212255B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19539796A JP3212255B2 (ja) 1996-07-05 1996-07-05 画像合成装置及び画像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19539796A JP3212255B2 (ja) 1996-07-05 1996-07-05 画像合成装置及び画像合成方法

Publications (2)

Publication Number Publication Date
JPH1021420A JPH1021420A (ja) 1998-01-23
JP3212255B2 true JP3212255B2 (ja) 2001-09-25

Family

ID=16340462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19539796A Expired - Lifetime JP3212255B2 (ja) 1996-07-05 1996-07-05 画像合成装置及び画像合成方法

Country Status (1)

Country Link
JP (1) JP3212255B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008693A (ja) * 2010-06-23 2012-01-12 Copcom Co Ltd プログラム、当該プログラムを記録した記録媒体、および、当該プログラムを記憶したプログラム記憶手段を備えた画像処理装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4301471B2 (ja) 1999-08-25 2009-07-22 株式会社バンダイナムコゲームス 画像生成システム及び情報記憶媒体
JP4011327B2 (ja) * 2000-11-15 2007-11-21 株式会社レクサー・リサーチ 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム
JP4997666B2 (ja) * 2001-04-10 2012-08-08 株式会社三洋物産 遊技機
JP4807692B2 (ja) 2001-09-26 2011-11-02 パイオニア株式会社 画像作成装置及びその方法、並びにコンピュータプログラム
JP4807691B2 (ja) * 2001-09-26 2011-11-02 パイオニア株式会社 画像作成装置及び方法、電子機器並びにコンピュータプログラム
JP2003109032A (ja) * 2001-09-26 2003-04-11 Pioneer Electronic Corp 画像作成装置及びコンピュータプログラム
JP4807693B2 (ja) * 2001-09-26 2011-11-02 パイオニア株式会社 画像作成装置及びその方法、電子機器並びにコンピュータプログラム
JP5002103B2 (ja) * 2001-09-28 2012-08-15 株式会社バンダイナムコゲームス 画像生成システム、画像生成方法及びプログラム
JP4642104B2 (ja) * 2008-11-10 2011-03-02 株式会社バンダイナムコゲームス 画像生成システム及び情報記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008693A (ja) * 2010-06-23 2012-01-12 Copcom Co Ltd プログラム、当該プログラムを記録した記録媒体、および、当該プログラムを記憶したプログラム記憶手段を備えた画像処理装置

Also Published As

Publication number Publication date
JPH1021420A (ja) 1998-01-23

Similar Documents

Publication Publication Date Title
US8830269B2 (en) Method and apparatus for deforming shape of three dimensional human body model
US8498849B1 (en) Wrinkle simulation on fabric based on three arm joint angles
JPH08212373A (ja) 多関節体の動きを生成するように複数の動きユニットを操作する方法及びそのシステム
JP3212255B2 (ja) 画像合成装置及び画像合成方法
CN111714880A (zh) 画面的显示方法和装置、存储介质、电子装置
JP5002103B2 (ja) 画像生成システム、画像生成方法及びプログラム
JP4380042B2 (ja) アニメーション生成方法および装置
Magnenat-Thalmann et al. Modeling of bodies and clothes for virtual environments
JP2007038010A (ja) ゲームキャラクターアニメーションの実現システム及び実現方法並びに製作方法
JP4047575B2 (ja) 情報処理装置における表示物体生成方法、これを実行制御するプログラム及びこのプログラムを格納した記録媒体
JP4053078B2 (ja) 3次元ゲーム装置及び情報記憶媒体
US7113189B2 (en) Recording medium storing 3D model deformation program, 3D model deformation program, 3D model deformation method and video game device
JP3957363B2 (ja) 3次元ゲーム装置及び情報記憶媒体
JP3822929B2 (ja) 画像合成方法及び画像合成装置
CN108198234B (zh) 可实时互动的虚拟角色生成系统及方法
JP3837479B2 (ja) 動作体の動作信号生成方法、その装置及び動作信号生成プログラム
JP4159060B2 (ja) 画像生成装置及び情報記憶媒体
JP4042927B2 (ja) 画像生成装置及び情報記憶媒体
JP4450047B2 (ja) 情報処理装置における表示物体生成方法、これを実行制御するプログラム及びこのプログラムを格納した記録媒体
KR20040049526A (ko) 가상 캐릭터 제어 방법 및 시스템과 기록 매체
JP3377488B2 (ja) ゲームシステム及び情報記憶媒体
JP4662260B2 (ja) プログラム、情報記憶媒体及び画像生成システム
JP2007272355A (ja) プログラム、情報記憶媒体及び画像生成システム
Rajendran Understanding the Desired Approach for Animating Procedurally
Huang et al. Features and Issues in 3D Facial Animation

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010703

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070719

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080719

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080719

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100719

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100719

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110719

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110719

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120719

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120719

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130719

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

EXPY Cancellation because of completion of term
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350