JP4345996B2 - 画像生成システム及び情報記憶媒体 - Google Patents

画像生成システム及び情報記憶媒体 Download PDF

Info

Publication number
JP4345996B2
JP4345996B2 JP29644199A JP29644199A JP4345996B2 JP 4345996 B2 JP4345996 B2 JP 4345996B2 JP 29644199 A JP29644199 A JP 29644199A JP 29644199 A JP29644199 A JP 29644199A JP 4345996 B2 JP4345996 B2 JP 4345996B2
Authority
JP
Japan
Prior art keywords
vertex
joint
motion
given
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29644199A
Other languages
English (en)
Other versions
JP2001118085A (ja
Inventor
洋一 岳
俊明 松野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namco Ltd
Bandai Namco Entertainment Inc
Original Assignee
Namco Ltd
Namco Bandai Games Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Ltd, Namco Bandai Games Inc filed Critical Namco Ltd
Priority to JP29644199A priority Critical patent/JP4345996B2/ja
Publication of JP2001118085A publication Critical patent/JP2001118085A/ja
Application granted granted Critical
Publication of JP4345996B2 publication Critical patent/JP4345996B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像生成システム及び情報記憶媒体に関する。
【0002】
【背景技術及び発明が解決しようとする課題】
従来より、仮想的な3次元空間であるオブジェクト空間内の所与の視点から見える画像を生成する画像生成システムが知られており、いわゆる仮想現実を体験できるものとして人気が高い。
【0003】
このような画像生成システムでは、プレーヤの仮想現実感の向上のために、よりリアルな画像を生成することが重要な技術的課題になっている。
【0004】
例えば格闘技ゲーム等では、プレーヤキャラクタの首や手足の動きを表現するために、首、頭、上腕、下腕、胴体、上脚、下脚等の各パーツオブジェクトを関節により接続して多関節の人体モデルを形成し、各パーツオブジェクトを所与のモーションデータにしたがって配置することにより、人体の動きを表現することが行われる。
【0005】
一般にかかるモーションデータは各関節のローカル座標系における回転情報として与えられる。この回転情報にしたがって各関節に接続されたパーツオブジェクトを配置することにより、人体モデルにモーション画像を生成することができる。
【0006】
このような多関節モデルにおいて、所与の頂点が複数の関節から影響を受けるよう構成されたエンベロブモデル(又はスキンモデル)を用い、人体の動きをよりリアルかつ精緻に表現することが行われている。
【0007】
ところがエンベロブモデル(又はスキンモデル)を採用する場合、複数の関節から影響を受ける頂点については、同一の頂点について影響を受ける関節の数だけ頂点データを有するモデル情報を用いて画像生成が行われていた。
【0008】
そして複数の頂点データそれぞれについて、対応する関節に対して与えられたモーションデータによる変換処理を行い、新たな頂点位置を求めていた。このように同一の頂点について複数の頂点データを有しているため、メモリからレジスタへのアクセス量の増大し、処理時間の増大の原因となっていた。
【0009】
特にゲーム画像のようにリアルタイムにモーションアニメーション処理が必要な画像を生成する場合には、高品質な画像を如何に高速に生成するかが重要な課題となる。
【0010】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、所与の頂点が複数の関節から影響を受けるよう構成された多関節モデルのモーションアニメーション画像をより高速に生成可能な画像生成システム及び情報記憶媒体を提供することにある。
【0011】
【課題を解決するための手段】
本発明は、画像を生成するための画像生成システムであって、所与の頂点が複数の関節から影響を受ける多関節モデルのオブジェクトの頂点情報を前記オブジェクト毎に設定された基準座標系の座標値として記憶する手段と、前記基準座標系の座標値で与えられた頂点座標を読み出し、モーション後の頂点位置を演算する手段と、前記移動後の頂点位置に基づき前記オブジェクトの画像を生成する画像生成手段と、を含むことを特徴とする。
【0012】
また本発明に係る情報記憶媒体は、コンピュータにより使用可能な情報記憶媒体であって、上記手段を実行するためのプログラムを含むことを特徴とする。また本発明に係るプログラムは、コンピュータにより使用可能なプログラム(搬送波に具現化されるプログラムを含む)であって、上記手段を実行するための処理ルーチンを含むことを特徴とする。
【0013】
本発明によれば、同一の頂点についてモデル情報として有する頂点データが1つだけでよいため、メモリからレジスタ等への頂点のアクセス回数がひとつの頂点について1回のみでよい。このため本発明によれば、所与の頂点が複数の関節から影響を受けるよう構成された多関節モデルのモーションアニメーション画像をより高速に生成可能な画像生成システム及び情報記憶媒体を提供することができる。
【0014】
なおアクセス回数を減らすためには、全頂点について基準座標系の座標値であらわすことが好ましい。
【0015】
また、同一の頂点について頂点データが1つだけでよいためメモリを効率よく使用することができるという効果もある。
【0016】
また本発明に係る画像生成システム、情報記憶媒体及びプログラムは、前記モーションデータは、関節単位のローカル座標系の値で与えられることを特徴とする。
【0017】
一般にモーションデータは各関節のローカル座標系における回転情報及び平行移動情報として与えられる。これらの情報にしたがって各関節に接続されたパーツオブジェクトを配置することにより、人体モデル等のモーションアニメーション画像を生成することができる。
【0018】
本発明によれば、モーションデータが前記関節単位のローカル座標系の値で与えられた場合にも、所与の頂点が複数の関節から影響を受けるよう構成された多関節モデルのモーションアニメーション画像をより高速に生成可能な画像生成システム及び情報記憶媒体を提供することができる。
【0019】
また本発明に係る画像生成システム、情報記憶媒体及びプログラムは、前記モーションデータ及び関節の接続状態に基づき、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を各関節毎に求める手段と、前記頂点位置演算行列を用いてモーション後の頂点位置を演算する手段とを含み、前記頂点位置演算行列を求める手段が、前記頂点位置演算行列の回転要素を、前記モーションデータとして与えられた回転移動行列の回転要素及び各関節の接続状態に基づき演算し、前記頂点位置演算行列の移動要素を、基準座標系における各関節位置に基づき演算することを特徴とする。
【0020】
一般にモーション後の頂点位置を演算するための頂点位置演算行列は、回転要素と移動要素を含む。回転要素は例えば3軸に対する回転動作を規定するもので、移動要素は例えば3軸に対する移動動作を規定するものである。
【0021】
なお、頂点位置演算行列は移動要素と回転要素の両方を含む1つの行列として設定されている必要はなく、例えば移動のみを行わせるための行列と、回転のみをおこなわせるための行列が別々に設定されている場合も本発明に含まれる。例えば、回転行列と移動行列を順次作用させる形式でモーションデータが与えられている場合でもよい。
【0022】
本願の発明者は、前記頂点位置演算行列の回転要素は前記モーションデータとして与えられた回転移動行列の回転要素及び各関節の接続状態に基づき演算できること、及び前記頂点位置演算行列の移動要素は基準座標系における各関節位置に基づき演算できることを見出した。そしてこの手法により頂点位置演算行列を求め、モーション後の頂点位置を演算するという簡単な構成で、モーションアニメーション画像をより高速に生成可能な画像生成システム及び情報記憶媒体を提供することができる。
【0023】
また本発明に係る画像生成システム、情報記憶媒体及びプログラムは、前記モーションデータ及び各関節の接続状態に基づき各関節の基準座標系におけるモーションを表す回転移動行列を演算する手段と、初期状態における各関節の基準座標系における位置座標を演算する手段と、前記各関節の基準座標系におけるモーションを表す回転移動行列を各関節の基準座標系における位置座標に作用させて移動補正値を求める手段と、前記移動補正値に基づき、前記各関節の基準座標系におけるモーションを表す回転移動行列の移動要素を補正して、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を求める手段と、前記頂点位置演算行列を用いてモーション後の頂点位置を演算する手段とを含むことを特徴とする。
【0024】
本発明によれば、上記演算処理を追加するだけで簡単に、モーションアニメーション画像をより高速に生成可能な画像生成システム及び情報記憶媒体を提供することができる。
【0025】
また本発明に係る画像生成システム、情報記憶媒体及びプログラムは、前記処理対象頂点の基準座標系の座標値を、処理対象頂点が影響を受ける複数の関節それぞれについて対応する前記頂点位置演算行列を用いてモーション後の頂点座標を演算し、影響を受ける複数の関節について演算されたモーション後の頂点座標にもとづき、処理対象頂点のモーション後の頂点位置を演算することを特徴とする。
【0026】
本発明では処理対象頂点が影響を受ける複数の関節について演算されたモーション後の頂点座標にもとづき、処理対象頂点のモーション後の頂点位置を演算しているため、影響関節のモーションを処理対象頂点に反映させることができる。
【0027】
したがって複数の関節から影響を受ける頂点に対しても、影響関節のモーションを反映した移動位置をより高速に演算可能な画像生成システム及び情報記憶媒体を提供することができる。
【0028】
また本発明に係る画像生成システム、情報記憶媒体及びプログラムは、処理対象頂点が影響を受ける複数の関節について所定のルールに従い重みづけを行い、前記重みに基づき処理対象頂点のモーション後の頂点座標の荷重平均をとり、モーション後の頂点位置を演算することを特徴とする。
【0029】
関節の影響度に応じて重みづけを行い、同一の頂点に対する複数の座標変換値に対して前記重みに基づき荷重平均をとることが好ましい。
【0030】
このようにすれば関節の影響度に応じて各関節のモーションを反映した頂点座標を演算することができる。
【0031】
【発明の実施の形態】
以下、本発明の好適な実施形態について図面を用いて説明する。なお以下では、本発明を、格闘ゲームに適用した場合を例にとり説明するが、本発明はこれに限定されず、種々のゲームに適用できる。
【0032】
1.構成
図1に、本実施形態のブロック図の一例を示す。なお同図において本実施形態は、少なくとも処理部100を含めばよく(或いは処理部100と記憶部170、或いは処理部100と記憶部170と情報記憶媒体180を含めばよく)、それ以外のブロック(例えば操作部160、表示部190、音出力部192、携帯型情報記憶装置194、通信部196)については、任意の構成要素とすることができる。
【0033】
ここで処理部100は、システム全体の制御、システム内の各ブロックへの命令の指示、ゲーム処理、画像処理、音処理などの各種の処理を行うものであり、その機能は、各種プロセッサ(CPU、DSP等)、或いはASIC(ゲートアレイ等)などのハードウェアや、所与のプログラム(ゲームプログラム)により実現できる。
【0034】
操作部160は、プレーヤが操作データを入力するためのものであり、その機能は、レバー、ボタン、筺体などのハードウェアにより実現できる。
【0035】
記憶部170は、処理部100や通信部196などのワーク領域となるもので、その機能はRAMなどのハードウェアにより実現できる。
【0036】
なお本実施の形態の処理実行時には、メインメモリには基準座標系で与えられた頂点座標が記憶されている。
【0037】
情報記憶媒体(コンピュータにより使用可能な記憶媒体)180は、プログラムやデータなどの情報を格納するものであり、その機能は、光ディスク(CD、DVD)、光磁気ディスク(MO)、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ(ROM)などのハードウェアにより実現できる。処理部100は、この情報記憶媒体180に格納される情報に基づいて本発明(本実施形態)の種々の処理を行う。即ち情報記憶媒体180には、本発明(本実施形態)の手段(特に処理部100に含まれるブロック)を実行するための情報(プログラム或いはプログラム及びデータ)が格納される。
【0038】
なお、情報記憶媒体180に格納される情報の一部又は全部は、システムへの電源投入時等に記憶部170に転送されることになる。また情報記憶媒体180に記憶される情報は、本発明の処理を行うためのプログラムコード、画像データ、音データ、表示物の形状データ、テーブルデータ、リストデータ、本発明の処理を指示するための情報、その指示に従って処理を行うための情報等の少なくとも1つを含むものである。
【0039】
表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、CRT、LCD、或いはHMD(ヘッドマウントディスプレイ)などのハードウェアにより実現できる。
【0040】
音出力部192は、本実施形態により生成された音を出力するものであり、その機能は、スピーカなどのハードウェアにより実現できる。
【0041】
携帯型情報記憶装置194は、プレーヤの個人データやセーブデータなどが記憶されるものであり、この携帯型情報記憶装置194としては、メモリカードや携帯型ゲーム装置などを考えることができる。
【0042】
通信部196は、外部(例えばホスト装置や他の画像生成システム)との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ、或いは通信用ASICなどのハードウェアや、プログラムなどにより実現できる。
【0043】
なお本発明(本実施形態)の手段を実行するためのプログラム或いはデータは、ホスト装置(サーバー)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180に配信するようにしてもよい。このようなホスト装置(サーバー)の情報記憶媒体の使用も本発明の範囲内に含まれる。
【0044】
処理部100は、ゲーム処理部110、画像処理部140、音処理部150を含む。
【0045】
ここでゲーム処理部110は、コイン(代価)の受け付け処理、各種モードの設定処理、ゲームの進行処理、選択画面の設定処理、オブジェクトの位置や回転角度(X、Y又はZ軸回り回転角度)を求める処理、オブジェクトを動作させる処理(モーション処理)、視点位置や視線角度(視線方向)を求める処理、マップオブジェクトなどのオブジェクトをオブジェクト空間へ配置する処理、ヒットチェック処理、ゲーム結果(成果、成績)を演算する処理、複数のプレーヤが共通のゲーム空間でプレイするための処理、或いはゲームオーバー処理などの種々のゲーム処理を、操作部160からの操作データや、携帯型情報記憶装置194からの個人データ、保存データや、ゲームプログラムなどに基づいて行う。
【0046】
画像処理部140は、ゲーム処理部110からの指示等にしたがって、各種の画像処理を行うものである。また、音処理部150は、ゲーム処理部110からの指示等にしたがって、各種の音処理を行うものである。
【0047】
なお画像処理部140、音処理部150の機能は、その全てをハードウェアにより実現してもよいし、その全てをプログラムにより実現してもよい。或いは、ハードウェアとプログラムの両方により実現してもよい。
【0048】
ゲーム処理部110は、移動・動作演算部114を含む。
【0049】
移動・動作演算部114は、ゲームキャラクタなどのオブジェクトの移動情報(位置データ、回転角度データ)や動作情報(オブジェクトの各パーツの位置データ、回転角度データ)を演算するものであり、例えば、操作部160によりプレーヤが入力した操作データやゲームプログラムなどに基づいて、オブジェクトを移動させたり動作させたりする処理を行う。
【0050】
より具体的には、移動・動作演算部114は、オブジェクトの位置や回転角度を例えば1フレーム(1/60秒)毎に求める処理を行う。例えば(k−1)フレームでのオブジェクトの位置をPMk-1、速度をVMk-1、加速度をAMk-1、1フレームの時間を△tとする。するとkフレームでのオブジェクトの位置PMk、速度VMkは例えば下式(1)、(2)のように求められる。
【0051】
PMk=PMk-1+VMk-1×△t (1)
VMk=VMk-1+AMk-1×△t (2)
画像処理部140は、ジオメトリ処理部(3次元座標演算部)142、テクスチャ情報変更部144、描画部(レンダリング部)146を含む。
【0052】
ここで、ジオメトリ処理部142は、座標変換、クリッピング処理、透視変換、或いは光源計算などの種々のジオメトリ処理(3次元座標演算)を行う。
【0053】
モーションアニメーション処理部144は、基準座標系の座標値で与えられた頂点座標を読み出し、関節単位のローカル座標系の値で与えられたモーションデータによる移動後の頂点位置を演算する処理をおこなう。
【0054】
前記モーションデータ及び関節の接続状態に基づき、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を各関節毎に求め、前記頂点位置演算行列を用いてモーション後の頂点位置を演算する処理を行うようにしてもよい。ここにおいて頂点位置演算行列の回転要素を、前記モーションデータとして与えられた回転移動行列の回転要素及び各関節の接続状態に基づき演算し、前記頂点位置演算行列の移動要素を、基準座標系における各関節位置に基づき演算するようにしてもよい。
【0055】
また、前記モーションデータ及び各関節の接続状態に基づき各関節の基準座標系におけるモーションを表す回転移動行列を演算し、初期状態における各関節の基準座標系における位置座標を演算し、各関節の基準座標系におけるモーションを表す回転移動行列を各関節の基準座標系における位置座標に作用させて移動補正値を求め、前記移動補正値に基づき、前記各関節の基準座標系におけるモーションを表す回転移動行列の移動要素を補正して、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を求め、前記頂点位置演算行列を用いてモーション後の頂点位置を演算するようにしてもよい。
【0056】
描画部146は、モーション後の頂点位置に基づきモーションアニメーション画像を生成し描画する処理を行う。
【0057】
なお、本実施形態の画像生成システムは、1人のプレーヤのみがプレイできるシングルプレーヤモード専用のシステムにしてもよいし、このようなシングルプレーヤモードのみならず、複数のプレーヤがプレイできるマルチプレーヤモードも備えるシステムにしてもよい。
【0058】
また複数のプレーヤがプレイする場合に、これらの複数のプレーヤに提供するゲーム画像やゲーム音を、1つの端末を用いて生成してもよいし、ネットワーク(伝送ライン、通信回線)などで接続された複数の端末を用いて生成してもよい。
【0059】
2.本実施形態の特徴
本実施の形態の特徴は、所与の頂点が複数の関節から影響を受ける多関節モデルのオブジェクトの頂点情報を前記オブジェクト毎に設定された基準座標系の座標値として記憶し、各関節単位のローカル座標系の値で与えれたモーションデータを用いてモーションアニメーション処理を行う点にある。
【0060】
まず多関節モデルのモーションアニメーション処理の他の処理例について説明し、本実施の形態の構成の特徴及び効果を明らかにする。
【0061】
図2(A)(B)は他の処理例における多関節モデルのモデル情報について説明するための図である。図2(A)の200は頭、首、頭、上腕、下腕、胴体、上脚、下脚等の各パーツオブジェクトが複数の関節K1〜K15で接続された多関節人体モデルである。従来かかる多関節人体モデルのモデル情報を作成する場合には、各パーツオブジェクト単位で頂点情報を作成していた。
【0062】
すなわち図2(B)に示すように上腕部210を構成する頂点V210−1、V210−2、V210−2、‥‥は上腕部210(または関節K2(図2(A)参照))のローカル座標系における座標値として有していた。また下腕部220を構成する頂点V220−1、V220−2、V220−2、‥‥は下腕部220(または関節K6(図2(A)参照))のローカル座標系における座標値として有していた。これはモデルを作成する際には各パーツ単位に作成するほうが作り勝手がよいためである。
【0063】
またパーツオブジェクトは一体となって動作するため動作時の演算が容易であるという点もあげられる。
【0064】
すなわち一般に多関節モデルが動作する画像を生成する際にはモーションデータを用いる。図3は、多関節モデルに与えられるモーションデータについて説明するための図である。例えば多関節人体モデル200において各パーツオブジェクトがK1〜K15の関節(点)で接続されているとする。各関節間の矢印で表されたベクトルM1〜M14は矢印のさす方向にある関節点の配置を特定するためのモーションデータを模式的に表したものである。このようにモーションデータは各関節(点)に接続される次の関節(点)の回転方向及び距離で与えられる。
【0065】
例えばモーションデータM5はK4とK6の距離及び関節K4のローカル座標系におけるベクトルM5の回転角で表される。
【0066】
多関節モデルが動作する画像はモーションデータM1〜M14にしたがって関節(点)K2〜K15を配置し、各関節に接続されたパーツオブジェクトの頂点位置を演算することで所与のモーションで動作する人体モデルの画像を生成することができる。
【0067】
このようにして関節で接続された頭、首、頭、上腕、下腕、胴体、上脚、下脚等の各パーツオブジェクトは各パーツオブジェクト毎に前記モーションデータM1〜M14にしたがって一体的に動作する。したがって各パーツオブジェクトを構成する頂点についての情報を各パーツオブジェクト単位のローカル座標系で待たせておけば、与えられた各関節に与えられたモーションにしたがって座標変換を行うことで移動後の頂点位置を演算することができる。
【0068】
多関節モデルのうちエンベローブモデル(またはスキンモデル)は複数の関節からの影響を考慮して皮膚などのよりリアルな動きを表現するのに適している。
【0069】
ところがこの構成においては複数の関節からの影響を反映させるために同一の頂点について複数の頂点データを必要とした。例えば図3の多関節人体モデル200の肩の部分の頂点V1が関節K2、K4から影響を受けるとすると、同一の頂点V1について関節K2のローカル座標系における座標値Vk2及び関節K4のローカル座標系における座標値Vk4と2つ必要とし、Vk2、Vk4のそれぞれについてモーションデータによる位置演算処理を行っていた。このため同一の頂点V1について、Vk2、Vk4の2つの頂点データをメモリ上に有し、それぞれについてメモリからレジスタへのアクセス処理が発生することになる。
【0070】
このように他の処理例では頂点データのメモリからレジスタへの読み込みが、同一の頂点について影響を受ける関節分だけ必要となるので処理時間の増大を招くという問題点があった。
【0071】
またかかるモデル情報は、同一の頂点について影響を受ける関節分の頂点データが必要となるのでメモリ上のデータ量の増大につながるという問題点があった。
【0072】
これに対し本実施の形態では、多関節モデルを構成する各頂点はすべて、各モデル毎に設けられた基準点Oを原点とする基準座標系における座標値として、同一の頂点についてひとつ与えられる構成を採用している。
【0073】
以下、本実施の形態におけるモーションアニメーション処理例について説明する。
【0074】
図4、図5は、本実施の形態において基準座標系における座標値で与えられた頂点座標を用いてモーション後の頂点位置を求める処理について説明するためのフローチャート図である。
【0075】
まず初期化時にOを原点とする基準座標系における各関節座標A(i)を求める(ステップS110)。
【0076】
図6は基準座標系における各関節(点)の座標の算出を説明するための概念図である。Oを基準点、K1〜K8を多関節人体モデル300の関節(点)であるとすると、基本姿勢におけるこれらの関節(点)の基準座標系における座標値を求めることになる。ここにおいて基本姿勢とは例えばモーションデータを作用させる前の初期状態等があげられる。
【0077】
次にステップS120〜S160で、与えられたモーションデータから、各関節の基準座標系における回転移動行列を演算する。
【0078】
まず関節数をカウントするカウンタiに初期値を設定する(ステップS120)。
【0079】
そしてステップS130〜S160で、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を求める処理を行う。
【0080】
まずモーションデータ及び各関節の接続状態に基づき、各関節の基準座標系における回転移動行列LW(i)を演算する(ステップS130)。基準座標系とはモデル単位に与えられるものであり、例えばボディ座標系等である。
【0081】
図7は各関節の基準座標系における回転移動行列LW(i)演算の概念について説明するための図である。図6の場合と同様にOを基準点、K1〜K8を多関節人体モデル300の関節(点)であるとすると、同図に示すように各関節K1〜K8の配置を決定するためのモーションデータM1〜M10が与えられる。
【0082】
ここにおいてモーションデータは各関節単位のローカル座標系におけるの回転移動行列として与えられる。例えば関節(点)K6のモーションデータは関節(点)K5に対する相対的な配置として与えられる。また関節(点)K5のモーションデータは関節(点)K4に対する相対的な配置として与えられる。また関節(点)K4のモーションデータは関節(点)K2に対する相対的な配置として与えられる。そして関節(点)K2のモーションデータは基準点Oに対する相対的な配置として与えられている。
【0083】
したがって関節(点)K6の基準点Oに対する配置を求める際には、これらの関節の接続状態に応じて基準座標系に対するモーションデータ、すなわち関節(点)K6の基準座標系における回転移動行列を演算することが必要となる。
【0084】
そして次に、基準座標系における関節座標A(i)に、対応する基準座標系の回転移動行列LW(i)を掛けてもとまった平行移動値XYZ値をLW(i)の平行移動値部でXYZそれぞれに対して引き算を行ってから代入し、その回転移動行列をR(i)とする(ステップS140)。このR(i)は、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列として機能する。
【0085】
そしてカウンタiのインクリメントを行い(ステップS150)、iの値によりすべての関節分のR(i)を求める処理が終了したかを判断し、終了していない場合にはステップS130に戻る(ステップS160)。
【0086】
次にモーション後のモデルの頂点データの演算を行い(ステップS170)、演算された頂点データに基づき描画処理を行う(ステップS180)。
【0087】
図5は図4のステップS170の頂点データの演算の詳細な処理例について説明するためのフローチャート図である。
【0088】
まず、1頂点データを読み込む(ステップS210)。
【0089】
本実施の形態では同一の頂点についての頂点データとして、基準座標系における頂点座標値を1つ有している。したがって各頂点について頂点座標値をメモリからレジスタに読み込む処理は一回のみでよい。
【0090】
次にステップS220からS230で、ステップS210で読み込んだ1つの頂点データについて影響を受けるすべての関節のR(i)による頂点位置演算を行う。
【0091】
すなわちまず影響関節R(i)を読み込んだ基準座標系における頂点座標にかける頂点位置演算を行う(ステップS220)。そして頂点が影響を受けるすべての関節についての頂点位置演算を行ったかを判断し、当該頂点が影響を受けるすべての関節について終了するまで、ステップS220の処理を行う(ステップS230)。
【0092】
例えば、読み込んだ頂点値をV(n)、V(n)に影響を与える関節をK(i)(i=a、b、c)、K(i)の回転移動行列R(i)とすれば以下のように3回の頂点位置演算を行うことになる。
【0093】
a '(n)=R(a)V(n)
b '(n)=R(b)V(n)
c '(n)=R(c)V(n)
したがって、1つの頂点についての1座標値から、3つの頂点位置座標が演算されることになる。
【0094】
1つの頂点について影響を受けるすべての関節についての頂点位置演算を行ったならば、影響関節分のすべての座標変換値より重み付けして、頂点座標を確定する(ステップS240)。
【0095】
例えばK(a)、K(b)、K(c)からa:b:cの割合で影響を受ける場合には、その影響に応じて以下のように重み付けして頂点座標をV’(n)に確定してもよい。
'(n)=(aVa '(n)+bVb '(n)+cVc '(n))/(a+b+c)
モデルすべての頂点データの座標値が確定するまでステップS210からS250の処理を繰り返す(ステップS250)。
【0096】
このように本実施の形態ではモデルを構成するすべての頂点について頂点データは1つなので、各頂点についてメモリからレジスタへの頂点データの読み込みは1回でよい。このため同一の頂点に対して影響を受ける関節の数だけ読み込みが発生する従来例に比べアクセス回数が減るため、処理時間を大幅に短縮することができる。
【0097】
3.ハードウェア構成
次に、本実施形態を実現できるハードウェアの構成の一例について図8を用いて説明する。
【0098】
メインプロセッサ900は、CD982(情報記憶媒体)に格納されたプログラム、通信インターフェース990を介して転送されたプログラム、或いはROM950(情報記憶媒体の1つ)に格納されたプログラムなどに基づき動作し、ゲーム処理、画像処理、音処理などの種々の処理を実行する。
【0099】
コプロセッサ902は、メインプロセッサ900の処理を補助するものであり、高速並列演算が可能な積和算器や除算器を有し、マトリクス演算(ベクトル演算)を高速に実行する。例えば、オブジェクトを移動させたり動作(モーション)させるための物理シミュレーションに、マトリクス演算などの処理が必要な場合には、メインプロセッサ900上で動作するプログラムが、その処理をコプロセッサ902に指示(依頼)する。
【0100】
ジオメトリプロセッサ904は、座標変換、透視変換、光源計算、曲面生成などのジオメトリ処理を行うものであり、高速並列演算が可能な積和算器や除算器を有し、マトリクス演算(ベクトル演算)を高速に実行する。例えば、座標変換、透視変換、光源計算などの処理を行う場合には、メインプロセッサ900で動作するプログラムが、その処理をジオメトリプロセッサ904に指示する。
【0101】
データ伸張プロセッサ906は、圧縮された画像データや音データを伸張するデコード処理を行ったり、メインプロセッサ900のデコード処理をアクセレートする処理を行う。これにより、オープニング画面、インターミッション画面、エンディング画面、或いはゲーム画面などにおいて、MPEG方式等で圧縮された動画像を表示できるようになる。なお、デコード処理の対象となる画像データや音データは、ROM950、CD982に格納されたり、或いは通信インターフェース990を介して外部から転送される。
【0102】
描画プロセッサ910は、ポリゴンや曲面などのプリミティブ面で構成されるオブジェクトの描画(レンダリング)処理を高速に実行するものである。オブジェクトの描画の際には、メインプロセッサ900は、DMAコントローラ970の機能を利用して、オブジェクトデータを描画プロセッサ910に渡すと共に、必要であればテクスチャ記憶部924にテクスチャを転送する。すると、描画プロセッサ910は、これらのオブジェクトデータやテクスチャに基づいて、Zバッファなどを利用した陰面消去を行いながら、オブジェクトをフレームバッファ922に高速に描画する。また、描画プロセッサ910は、αブレンディング(半透明処理)、ミップマッピング、フォグ処理、トライリニア・フィルタリング、アンチエリアシング、シェーディング処理なども行うことができる。そして、1フレーム分の画像がフレームバッファ922に書き込まれると、その画像はディスプレイ912に表示される。
【0103】
サウンドプロセッサ930は、多チャンネルのADPCM音源などを内蔵し、BGM、効果音、音声などの高品位のゲーム音を生成する。生成されたゲーム音は、スピーカ932から出力される。
【0104】
ゲームコントローラ942からの操作データや、メモリカード944からのセーブデータ、個人データは、シリアルインターフェース940を介してデータ転送される。
【0105】
ROM950にはシステムプログラムなどが格納される。なお、業務用ゲームシステムの場合には、ROM950が情報記憶媒体として機能し、ROM950に各種プログラムが格納されることになる。なお、ROM950の代わりにハードディスクを利用するようにしてもよい。
【0106】
RAM960は、各種プロセッサの作業領域として用いられる。
【0107】
DMAコントローラ970は、プロセッサ、メモリ(RAM、VRAM、ROM等)間でのDMA転送を制御するものである。
【0108】
CDドライブ980は、プログラム、画像データ、或いは音データなどが格納されるCD982(情報記憶媒体)を駆動し、これらのプログラム、データへのアクセスを可能にする。
【0109】
通信インターフェース990は、ネットワークを介して外部との間でデータ転送を行うためのインターフェースである。この場合に、通信インターフェース990に接続されるネットワークとしては、通信回線(アナログ電話回線、ISDN)、高速シリアルインターフェースのバスなどを考えることができる。そして、通信回線を利用することでインターネットを介したデータ転送が可能になる。また、高速シリアルインターフェースのバスを利用することで、他の画像生成システム、他のゲームシステム、或いは情報処理機器(パーソナルコンピュータ、プリンタ、マウス、キーボード)などとの間でのデータ転送が可能になる。
【0110】
なお、本発明の各手段は、その全てを、ハードウェアのみにより実行してもよいし、情報記憶媒体に格納されるプログラムや通信インターフェースを介して配信されるプログラムのみにより実行してもよい。或いは、ハードウェアとプログラムの両方により実行してもよい。
【0111】
そして、本発明の各手段をハードウェアとプログラムの両方により実行する場合には、情報記憶媒体には、本発明の各手段をハードウェアを利用して実行するためのプログラム(プログラム及びデータ)が格納されることになる。より具体的には、上記プログラムが、ハードウェアである各プロセッサ902、904、906、910、930等に処理を指示すると共に、必要であればデータを渡す。そして、各プロセッサ902、904、906、910、930等は、その指示と渡されたデータとに基づいて、本発明の各手段を実行することになる。
【0112】
図9(A)に、本実施形態を業務用ゲームシステムに適用した場合の例を示す。プレーヤは、ディスプレイ1100上に映し出されたゲーム画像を見ながら、レバー1102、ボタン1104等を操作してゲームを楽しむ。内蔵されるシステムボード(サーキットボード)1106には、各種プロセッサ、各種メモリなどが実装される。そして、本発明の各手段を実行するためのプログラム(或いはプログラム及びデータ)は、システムボード1106上の情報記憶媒体であるメモリ1108に格納される。以下、この情報を格納情報と呼ぶ。
【0113】
図9(B)に、本実施形態を家庭用のゲームシステムに適用した場合の例を示す。プレーヤはディスプレイ1200に映し出されたゲーム画像を見ながら、ゲームコントローラ1202、1204を操作してゲームを楽しむ。この場合、上記格納情報は、本体システムに着脱自在な情報記憶媒体であるCD1206、或いはメモリカード1208、1209等に格納されている。
【0114】
図9(C)に、ホスト装置1300と、このホスト装置1300とネットワーク1302(LANのような小規模ネットワークや、インターネットのような広域ネットワーク)を介して接続される端末1304-1〜1304-nとを含むシステムに本実施形態を適用した場合の例を示す。この場合、上記格納情報は、例えばホスト装置1300が制御可能な磁気ディスク装置、磁気テープ装置、メモリ等の情報記憶媒体1306に格納されている。端末1304-1〜1304-nが、スタンドアロンでゲーム画像、ゲーム音を生成できるものである場合には、ホスト装置1300からは、ゲーム画像、ゲーム音を生成するためのゲームプログラム等が端末1304-1〜1304-nに配送される。一方、スタンドアロンで生成できない場合には、ホスト装置1300がゲーム画像、ゲーム音を生成し、これを端末1304-1〜1304-nに伝送し端末において出力することになる。
【0115】
なお、図9(C)の構成の場合に、本発明の各手段を、ホスト装置(サーバー)と端末とで分散して実行するようにしてもよい。また、本発明の各手段を実行するための上記格納情報を、ホスト装置(サーバー)の情報記憶媒体と端末の情報記憶媒体に分散して格納するようにしてもよい。
【0116】
またネットワークに接続する端末は、家庭用ゲームシステムであってもよいし業務用ゲームシステムであってもよい。そして、業務用ゲームシステムをネットワークに接続する場合には、業務用ゲームシステムとの間で情報のやり取りが可能であると共に家庭用ゲームシステムとの間でも情報のやり取りが可能な携帯型情報記憶装置(メモリカード、携帯型ゲーム装置)を用いることが望ましい。
【0117】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
【0118】
例えば、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【0119】
また、本実施形態では、ジオメトリ処理として座標変換や透視変換を例に挙げたが、本発明のジオメトリ処理はこれらに限定されない。
【0120】
また本実施の形態ではモデル毎に設けられる基準点が、例えば図6のO点である場合を例にとり説明したがこれに限られない。例えばモデルオブジェクト外の所与の点でもよい。
【0121】
また本実施の形態では、所与の頂点が複数の関節から影響を受ける多関節モデルのとして人体モデルを例にとり説明したがこれに限られない。
【0122】
なお本実施の形態では関節が影響を与えるモーション後の頂点位置を演算するための頂点位置演算行列を求める場合を例にとり説明したが、これに限られない。すなわち、頂点位置演算行列自体を求めなくても、結果的に頂点位置演算行列が行うのと同様な演算を行う場合も含む。
【0123】
また本発明はレーシングゲーム以外にも種々のゲーム(格闘ゲーム、シューティングゲーム、ロボット対戦ゲーム、スポーツゲーム、競争ゲーム、ロールプレイングゲーム、音楽演奏ゲーム、ダンスゲーム等)に適用できる。
【0124】
また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、画像生成システム、ゲーム画像を生成するシステムボード等の種々の画像生成システムに適用できる。
【図面の簡単な説明】
【図1】本実施の形態のブロック図の一例である。
【図2】図2(A)(B)は多関節モデルのモデル情報の構成について説明するための図である。
【図3】多関節モデルに与えられるモーションデータについて説明するための図である。
【図4】本実施の形態において基準座標系における座標値で与えられた頂点座標を用いてモーション後の頂点位置を求める処理について説明するためのフローチャート図である。
【図5】本実施の形態において基準座標系における座標値で与えられた頂点座標を用いてモーション後の頂点位置を求める処理について説明するためのフローチャート図である。
【図6】基準座標系における各関節(点)の座標の算出を説明するための概念図である。
【図7】各関節の基準座標系における回転移動行列LW(i)演算の概念について説明するための図である。
【図8】本実施形態を実現できるハードウェアの構成の一例を示す図である。
【図9】図9(A)、(B)、(C)は、本実施形態が適用される種々の形態のシステムの例を示す図である。
【符号の説明】
100 処理部
110 ゲーム処理部
112 編集画面表示部
114 移動・動作演算部
140 画像処理部
142 ジオメトリ処理部
144 モーションアニメーション処理部
146 描画部
150 音処理部
160 操作部
170 記憶部
172 メインメモリ
174 フレームバッファ
176 テクスチャ記憶部
180 情報記憶媒体
190 表示部
192 音出力部
194 携帯型情報記憶装置
196 通信部

Claims (10)

  1. 画像を生成するための画像生成システムであって、
    所与の頂点が複数の関節から影響を受ける多関節モデルのオブジェクトの頂点情報を前記オブジェクト毎に設定された基準座標系の座標値として記憶する手段と、
    前記基準座標系の座標値で与えられた所与の頂点の頂点座標を読み出し、読み出した所与の頂点の頂点座標と前記関節単位のローカル座標系の値で与えられたモーションデータ及び関節の接続状態に基いて、当該所与の頂点が影響を受ける複数の関節についてモーション後の頂点位置演算を行い複数の頂点座標を求め、求めた複数の頂点座標に基づいて、モーション後の所与の頂点の頂点位置を演算する手段と、
    演算した所与の頂点位置に基づき前記オブジェクトの画像を生成する画像生成手段と、
    を含むことを特徴とする画像生成システム。
  2. 請求項1において、
    前記モーションデータ及び関節の接続状態に基づき、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を各関節毎に求める手段と、
    前記頂点位置演算行列を用いてモーション後の頂点位置を演算する手段とを含み、
    前記頂点位置演算行列を求める手段が、
    前記頂点位置演算行列の回転要素を、前記モーションデータとして与えられた回転移動行列の回転要素及び各関節の接続状態に基づき演算し、
    前記頂点位置演算行列の移動要素を、基準座標系における各関節位置に基づき演算することを特徴とする画像生成システム。
  3. 請求項1又は2のいずれかにおいて、
    前記モーションデータ及び各関節の接続状態に基づき各関節の基準座標系におけるモーションを表す回転移動行列を演算する手段と、
    初期状態における各関節の基準座標系における位置座標を演算する手段と、
    前記各関節の基準座標系におけるモーションを表す回転移動行列を各関節の基準座標系における位置座標に作用させて移動補正値を求める手段と、
    前記移動補正値に基づき、前記各関節の基準座標系におけるモーションを表す回転移動行列の移動要素を補正して、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を求める手段と、
    前記頂点位置演算行列を用いてモーション後の頂点位置を演算する手段とを含むことを特徴とする画像生成システム。
  4. 請求項1乃至3のいずれかにおいて、
    前記多関節モデルのオブジェクトはスキンモデルのオブジェクトであることを特徴とする画像生成システム。
  5. 請求項1乃至4のいずれかにおいて、
    所与の頂点が影響を受ける複数の関節について所定のルールに従い重みづけを行い、前記重みに基づき処理対象頂点のモーション後の頂点座標の荷重平均をとり、モーション後の頂点位置を演算することを特徴とする画像生成システム。
  6. コンピュータが読み取り可能な情報記憶媒体であって、
    所与の頂点が複数の関節から影響を受ける多関節モデルのオブジェクトの頂点情報を前記オブジェクト毎に設定された基準座標系の座標値として記憶する手段と、
    前記基準座標系の座標値で与えられた所与の頂点の頂点座標を読み出し、読み出した所与の頂点の頂点座標と前記関節単位のローカル座標系の値で与えられたモーションデータ及び関節の接続状態に基いて、当該所与の頂点が影響を受ける複数の関節についてモーション後の頂点位置演算を行い複数の頂点座標を求め、求めた複数の頂点座標に基づいて、モーション後の所与の頂点の頂点位置を演算する手段と、
    演算した所与の頂点位置に基づき前記オブジェクトの画像を生成する画像生成手段としてコンピュータを機能させるためのプログラムを含むことを特徴とする情報記憶媒体。
  7. 請求項6において、
    前記モーションデータ及び関節の接続状態に基づき、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を各関節毎に求める手段と、
    前記頂点位置演算行列を用いてモーション後の頂点位置を演算する手段としてコンピュータを機能させるためのプログラム含み、
    前記頂点位置演算行列を求める手段が、
    前記頂点位置演算行列の回転要素を、前記モーションデータとして与えられた回転移動行列の回転要素及び各関節の接続状態に基づき演算し、
    前記頂点位置演算行列の移動要素を、基準座標系における各関節位置に基づき演算することを特徴とする情報記憶媒体。
  8. 請求項6又は7のいずれかにおいて、
    前記モーションデータ及び各関節の接続状態に基づき各関節の基準座標系におけるモーションを表す回転移動行列を演算する手段と、
    初期状態における各関節の基準座標系における位置座標を演算する手段と、
    前記各関節の基準座標系におけるモーションを表す回転移動行列を各関節の基準座標系における位置座標に作用させて移動補正値を求める手段と、
    前記移動補正値に基づき、前記各関節の基準座標系におけるモーションを表す回転移動行列の移動要素を補正して、関節が影響を与える頂点のモーション後の頂点位置を演算するための頂点位置演算行列を求める手段と、
    前記頂点位置演算行列を用いてモーション後の頂点位置を演算する手段としてコンピュータを機能させるためのプログラムを含むことを特徴とする情報記憶媒体。
  9. 請求項6乃至8のいずれかにおいて、
    前記多関節モデルのオブジェクトはスキンモデルのオブジェクトであることを特徴とする情報記憶媒体。
  10. 請求項6乃至9のいずれかにおいて、
    所与の頂点が影響を受ける複数の関節について所定のルールに従い重みづけを行い、前記重みに基づき処理対象頂点のモーション後の頂点座標の荷重平均をとり、モーション後の頂点位置を演算することを特徴とする情報記憶媒体。
JP29644199A 1999-10-19 1999-10-19 画像生成システム及び情報記憶媒体 Expired - Fee Related JP4345996B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29644199A JP4345996B2 (ja) 1999-10-19 1999-10-19 画像生成システム及び情報記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29644199A JP4345996B2 (ja) 1999-10-19 1999-10-19 画像生成システム及び情報記憶媒体

Publications (2)

Publication Number Publication Date
JP2001118085A JP2001118085A (ja) 2001-04-27
JP4345996B2 true JP4345996B2 (ja) 2009-10-14

Family

ID=17833589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29644199A Expired - Fee Related JP4345996B2 (ja) 1999-10-19 1999-10-19 画像生成システム及び情報記憶媒体

Country Status (1)

Country Link
JP (1) JP4345996B2 (ja)

Also Published As

Publication number Publication date
JP2001118085A (ja) 2001-04-27

Similar Documents

Publication Publication Date Title
JP4704622B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
JP3249955B2 (ja) 画像生成システム及び情報記憶媒体
JP3350654B2 (ja) 画像生成システム及び情報記憶媒体
JP3656012B2 (ja) ゲームシステム及び情報記憶媒体
JP4167358B2 (ja) 画像生成システム及び情報記憶媒体
JP3442344B2 (ja) ゲームシステム及び情報記憶媒体
JP4367804B2 (ja) 画像生成システム及び情報記憶媒体
JP3297410B2 (ja) 画像生成システム及び情報記憶媒体
JP4656622B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
JP4245356B2 (ja) ゲームシステム及び情報記憶媒体
JP2001229403A (ja) ゲームシステム及び情報記憶媒体
JP4497690B2 (ja) ゲームシステム及び情報記憶媒体
JP2003051024A (ja) 画像生成システム及び情報記憶媒体
JP4345996B2 (ja) 画像生成システム及び情報記憶媒体
JP4641602B2 (ja) ゲームシステム及び情報記憶媒体
JP3614340B2 (ja) ゲームシステム及び情報記憶媒体
JP4610729B2 (ja) ゲームシステム、プログラム及び情報記憶媒体
JP4394211B2 (ja) 画像生成システム及び情報記憶媒体
JP2003162734A (ja) ゲームシステム及び情報記憶媒体
JP4391633B2 (ja) 画像生成システム及び情報記憶媒体
JP2004329791A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP4480322B2 (ja) ゲームシステム及び情報記憶媒体
JP4475763B2 (ja) ゲームシステム及び情報記憶媒体
JP4535607B2 (ja) ゲームシステム及び情報記憶媒体
JP4530326B2 (ja) 画像生成システム及び情報記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090710

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4345996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees