JP3880603B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP3880603B2
JP3880603B2 JP2005046143A JP2005046143A JP3880603B2 JP 3880603 B2 JP3880603 B2 JP 3880603B2 JP 2005046143 A JP2005046143 A JP 2005046143A JP 2005046143 A JP2005046143 A JP 2005046143A JP 3880603 B2 JP3880603 B2 JP 3880603B2
Authority
JP
Japan
Prior art keywords
display
virtual
dimensional space
objects
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005046143A
Other languages
English (en)
Other versions
JP2006235748A (ja
Inventor
修一 廣原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005046143A priority Critical patent/JP3880603B2/ja
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to US11/816,809 priority patent/US7932903B2/en
Priority to PCT/JP2005/023528 priority patent/WO2006090526A1/ja
Priority to KR1020077016757A priority patent/KR100892902B1/ko
Priority to DE602005017672T priority patent/DE602005017672D1/de
Priority to EP05820348A priority patent/EP1852829B1/en
Priority to CN2005800484225A priority patent/CN101124614B/zh
Priority to TW095103872A priority patent/TWI303574B/zh
Publication of JP2006235748A publication Critical patent/JP2006235748A/ja
Application granted granted Critical
Publication of JP3880603B2 publication Critical patent/JP3880603B2/ja
Priority to HK07112813A priority patent/HK1104644A1/xx
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images

Description

本発明は画像処理装置、画像処理方法及びプログラムに関し、特に仮想3次元空間に配置されたオブジェクトに関する画像を表示する技術に関する。
コンピュータの記憶手段に3次元空間を仮想的に構築して、この仮想3次元空間にオブジェクトを配置するとともに、その様子を可視化する画像処理装置が広く知られている。この装置では、仮想3次元空間に配置されたオブジェクトの位置や姿勢等の状態を所定の時間間隔で(例えば1/60秒や1/30秒)で更新するようになっている。これによって、仮想3次元空間を示す画像をリアルタイムに変化させることができる。この際、1/60秒内の限られた時間で多数のオブジェクトの状態を更新するのは困難であり、下記特許文献1に記載された装置では、予め定めた一部の目立たないオブジェクトを順に表示対象から除外することにより、そうした困難を解消している。
特開平10−307905号公報(図2及び図3参照)
しかしながら、上記従来技術では予め定めた一部の目立たないオブジェクトを順に表示対象から除外するものであり、仮想3次元空間において視点位置や視線方向が随時変化する場合には適用が困難であった。
本発明は上記課題に鑑みてなされたものであって、その目的は、仮想3次元空間において視点位置や視線方向が随時変化する場合であっても、表示画像の滑らかさの低下を目立たせることなく、定期的に位置や姿勢更新を行うことができるオブジェクトの数を増やすことができる画像処理装置、画像処理方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る画像処理装置は、視点及び複数の表示対象オブジェクトが配置された仮想3次元空間を前記視点から見た様子を示す表示画像を生成し、表示する画像処理装置であって、前記表示画像における前記複数の表示対象オブジェクトの各表示サイズを算出する表示サイズ算出手段と、前記表示サイズ算出手段により算出される前記複数の表示対象オブジェクトの各表示サイズに基づいて、前記複数の表示対象オブジェクトのうち一部を選択するオブジェクト選択手段と、前記オブジェクト選択手段により選択されるオブジェクトの前記仮想3次元空間における各状態を、他のオブジェクトの前記仮想3次元空間における各状態とは異なる時間間隔で更新する状態更新手段と、を含むことを特徴とする。
また、本発明に係る画像処理方法は、視点及び複数の表示対象オブジェクトが配置された仮想3次元空間を前記視点から見た様子を示す表示画像を生成し、表示する画像処理方法であって、前記表示画像における前記複数の表示対象オブジェクトの各表示サイズを算出する表示サイズ算出ステップと、前記表示サイズ算出ステップで算出される前記複数の表示対象オブジェクトの各表示サイズに基づいて、前記複数の表示対象オブジェクトのうち一部を選択するオブジェクト選択ステップと、前記オブジェクト選択ステップで選択されるオブジェクトの前記仮想3次元空間における各状態を、他のオブジェクトの前記仮想3次元空間における各状態とは異なる時間間隔で更新する状態更新ステップと、を含むことを特徴とする。
さらに、本発明に係るプログラムは、視点及び複数の表示対象オブジェクトが配置された仮想3次元空間を前記視点から見た様子を示す表示画像を生成し、表示する画像表示手段、前記表示画像における前記複数の表示対象オブジェクトの各表示サイズを算出する表示サイズ算出手段、前記表示サイズ算出手段により算出される前記複数の表示対象オブジェクトの各表示サイズに基づいて、前記複数の表示対象オブジェクトのうち一部を選択するオブジェクト選択手段、及び前記オブジェクト選択手段により選択されるオブジェクトの前記仮想3次元空間における各状態を、他のオブジェクトの前記仮想3次元空間における各状態とは異なる時間間隔で更新する状態更新手段としてコンピュータを機能させるためのプログラムである。
ここでコンピュータは、例えば家庭用ゲーム機、業務用ゲーム機、携帯用ゲーム機、パーソナルコンピュータ、携帯情報端末、携帯電話機等である。また、プログラムは、CD−ROM、DVD−ROM、ROMカートリッジ等のあらゆるコンピュータ読み取り可能な情報記憶媒体に格納されてよい。
本発明では、仮想3次元空間に視点及び複数の表示対象オブジェクトが配置される。そして、視点から仮想3次元空間を見た様子を示す表示画像が生成され、それが家庭用テレビ受像器やコンピュータ用モニタ等の表示手段により表示される。このとき、複数の表示対象オブジェクトのうち一部が選択される。そして、それら一部のオブジェクトについては、ある時間間隔で位置や姿勢等の仮想3次元空間における状態が更新され、他のオブジェクトについては、それとは異なる時間間隔で位置や姿勢等の仮想3次元空間における状態が更新される。本発明によれば、全体として定期的に状態更新することができる表示対象オブジェクトの数を増やすことができる。また、状態を更新する時間間隔が長めとなるオブジェクトを一部に限ることができるので、表示画像の滑らかさの低下を目立たなくすることができる。
特に、本発明では、表示画像における複数の表示対象オブジェクトの各表示サイズを算出し、各表示サイズに基づいて、複数の表示対象オブジェクトのうち一部を選択するようにしているので、表示画像において目立たない表示対象オブジェクトについては長い時間間隔で、目立つ表示対象オブジェクトについてはそれより短い時間間隔で、仮想3次元空間における状態を更新することが可能となり、表示画像の滑らかさの低下をさらに効果的に目立たなくすることができる。
なお、本発明の一態様として、前記仮想3次元空間に、前記複数の表示対象オブジェクトのそれぞれに応じた形状を有するとともに、該表示対象オブジェクトに従動する複数の不可視オブジェクトをさらに配置し、前記オブジェクト選択手段は、前記表示画像に投影された前記複数の不可視オブジェクトの前記表示画像における表示面積を、前記複数の表示対象オブジェクトの前記各表示サイズとして算出するようにしてもよい。こうすれば、比較的簡易な処理により表示対象オブジェクトの表示サイズを得ることができる。
また、本発明の他の態様として、前記仮想3次元空間に、前記複数の表示対象オブジェクトのそれぞれに応じた形状を有するとともに、該表示対象オブジェクトに従動する複数の不可視オブジェクトをさらに配置し、前記オブジェクト選択手段は、前記表示画像に前記複数の不可視オブジェクトの一部又は全部の頂点を投影し、投影された前記頂点の前記表示画像における位置に基づいて、前記複数の表示対象オブジェクトの前記各表示サイズとして、前記複数の不可視オブジェクトの大きさを算出するようにしてもよい。こうすれば、さらに簡易な処理により表示対象オブジェクトの表示サイズを得ることができる。
以下、本発明の一実施形態について図面に基づき詳細に説明する。
図1は、本発明の実施形態に係るゲーム装置のハードウェア構成を示す図である。同図に示すゲーム装置10は、本発明に係る画像処理装置の一実施形態であり、モニタ18及びスピーカ22に接続された家庭用ゲーム機11に、情報記憶媒体たるDVD−ROM25及びメモリカード28が装着され、さらにモニタ18及びスピーカ22が接続されることによって構成されている。モニタ18には家庭用テレビ受像器が用いられ、スピーカ22にはその内蔵スピーカが用いられる。また、ここではプログラムを家庭用ゲーム機11に供給するためにDVD−ROM25を用いるが、CD−ROMやROMカートリッジ等、他のコンピュータ読み取り可能なあらゆる情報記憶媒体を用いるようにしてもよい。また、インターネット等のデータ通信網を介して遠隔地からプログラムを家庭用ゲーム機11に供給するようにしてもよい。
家庭用ゲーム機11は、マイクロプロセッサ14、画像処理部16、主記憶26、入出力処理部30、音声処理部20、コントローラ32及びDVD−ROM再生部24を含んで構成される公知のコンピュータゲームシステムである。マイクロプロセッサ14、画像処理部16、主記憶26及び入出力処理部30は、バス12によって相互データ通信可能に接続されており、入出力処理部30には、コントローラ32、音声処理部20、DVD−ROM再生部24及びメモリカード28が接続されている。コントローラ32以外の家庭用ゲーム機11の各構成要素は筐体内に収容されている。
マイクロプロセッサ14は、図示しないROMに格納されるオペレーティングシステム、DVD−ROM25から読み出されるプログラム、及びメモリカード28から読み出されるセーブデータに基づいて、家庭用ゲーム機11の各部を制御し、プレイヤにゲームを提供する。バス12はアドレス及びデータを家庭用ゲーム機11の各部でやり取りするためのものである。また、主記憶26は、例えばRAMを含んで構成されるものであり、DVD−ROM25から読み出されたプログラムやメモリカード28から読み出されたセーブデータが必要に応じて書き込まれる。また、主記憶26は、マイクロプロセッサ14の作業用としても用いられる。画像処理部16はVRAMを含んで構成されており、マイクロプロセッサ14から送られる画像データを受け取って、それに基づいてVRAM上に表示画像を描画するとともに、その内容をビデオ信号に変換して所定のタイミングで(ここでは1/60秒毎)モニタ18に出力する。
入出力処理部30は、マイクロプロセッサ14が、コントローラ32、音声処理部20、DVD−ROM再生部24及びメモリカード28にアクセスするためのインタフェースである。音声処理部20はサウンドバッファを含んで構成されており、DVD−ROM25から読み出され、該サウンドバッファに記憶されたゲーム音楽、ゲーム効果音、メッセージ等の各種音声データを再生してスピーカ22から出力する。DVD−ROM再生部24は、マイクロプロセッサ14からの指示に従ってDVD−ROM25に記録されたプログラムを読み取る。コントローラ32は、プレイヤが各種ゲーム操作の入力をするための汎用操作入力手段である。また、メモリカード28は、不揮発性メモリ(例えばEEPROM等)を含んでおり、家庭用ゲーム機11に対して脱着可能に構成されている。このメモリカード28には、各種ゲームのセーブデータ等が記憶される。
図2は、コントローラ32の一例を示す図である。同図に示すコントローラ32は汎用ゲームコントローラであり、同図(a)に示すように、表面に方向キー34、スタートキー36、セレクトキー37、ボタン38X,38Y,38A,38Bを備えており、同図(b)に示すように、奥側側面に、さらにボタン39L,39R,41L,41Rを備えている。すなわち、コントローラ32の奥側側面には、表面側左右にボタン41L,41Rがそれぞれ備えられており、裏面側左右にボタン39L,39Rがそれぞれ備えられている。方向キー34は十字形状を有しており、通常はキャラクタやカーソルの移動方向を設定するのに用いられる。スタートキー36は三角形状を有する小型の押しボタンであり、通常はゲームのスタートやゲームの強制終了などに用いられる。セレクトキー37は、主としてメニュー選択に用いられる。ボタン38X,38Y,38A,38B,39L,39R,41L,41Rは、その他のゲーム操作に用いられる。コントローラ32を操作すると、その内容を示す操作データが家庭用ゲーム機11に入力されるようになっている。
また、このコントローラ32には振動子35が内蔵されている。振動子35は、例えば圧電素子、或いは偏心重り付きのモータ等によって構成されるものであり、マイクロプロセッサ14からコントローラ32に供給される振動オン命令に応じて動作し、コントローラ32を振動させるようになっている。また、マイクロプロセッサ14からコントローラ32に供給される振動オフ命令に応じて動作を停止し、コントローラ32の振動を停止させるようになっている。
以下、以上のハードウェア構成を有するゲーム装置10を用いて、複数のオブジェクトが配置された仮想3次元空間を主記憶26上に構築するとともに、その様子を示す画像を所定時間毎に更新し、それを都度モニタ18により表示する技術について説明する。特に本実施形態では、仮想3次元空間に配置されたオブジェクトのうち、一部(後述する表示サイズが大きいもの)については前記モニタ18の表示が更新される毎に、すなわちモニタ18の表示の更新時間間隔と同じ時間間隔(ここでは1/60秒毎である)で位置や姿勢等の状態が更新されるものの、残り(表示サイズが小さいもの)についてはその2倍の時間間隔(ここでは1/30秒毎である)で位置や姿勢等の状態が更新されるようになっている。
図3は、主記憶26上に構築される仮想3次元空間の一例を示す図である。同図に示すように主記憶26に構築される仮想3次元空間(オブジェクト空間)50内には、例えば人間の形状のオブジェクトP0,P1,P2,P3が配置されている。オブジェクトP0については、特にコントローラ32から入力される操作信号に基づき、その状態(位置、姿勢、AI処理、当たり判定、アニメーション処理等のゲーム更新のために必要なオブジェクトの各種情報)が更新されるようになっている。その他のオブジェクトP1,P2,P3については、公知技術を適用したアルゴリズムに従って、仮想3次元空間50で位置や姿勢等の状態を変化させるようになっている。
仮想3次元空間50には、プレイヤの操作対象であるオブジェクトP0に従動する視点VPが配置されている。この視点VPには視線方向VDが設定されており、視点VPから視線方向VDを見る方向に視野範囲52が設定され、この視野範囲52内に位置するオブジェクトが視点VPの前方に配置されたスクリーン面に投影され、これにより表示画像が生成される。この表示画像は画像処理部16に備えられたVRAMに描画されるようになっている。そして、このVRAMに描画された表示画像がモニタ18に出力され、仮想3次元空間50の様子が可視化されるようになっている。具体的には、この表示画像は視点VPから視線方向VDを仮想的に見た場合に、視認される仮想3次元空間50の様子を示すものであり、その可視化の範囲は視野範囲52により区画されている。なお、図3では、オブジェクトP0,P2が視野範囲52内に位置し、オブジェクトP1,P3は視野範囲52外に位置している。このため、VRAMに描画され、モニタ18により出力される表示画像には、図4に示すように、オブジェクトP0及びオブジェクトP2をそれぞれ表す画像PI0及びPI2が含まれるものの、オブジェクトP1及びP3を表す画像が含まれていない。
上述のように、このゲーム装置10では、仮想3次元空間50に配置されたオブジェクトの一部は1/60秒毎に位置や姿勢等の状態が更新される。一方、残りのオブジェクトについては1/30秒毎に位置や姿勢等の状態が更新される。図5は、この様子を示している。同図において、縦軸は時間の経過を示しており、図中上側から下側に向かって時間が進行する様子が示されている。1/60秒の単位をフレームと呼ぶことにすると、ここでは連続する4つのフレームn−1〜フレームn+2が示されている。そして、最初のフレームn−1ではA群に属するオブジェクトとB1群に属するオブジェクトの位置や姿勢等の状態が更新されることが示されている。また、次のフレームnではA群に属するオブジェクトとB2群に属するオブジェクトの位置や姿勢等の状態が更新されることが示されている。また、さらに次のフレームn+1ではA群に属するオブジェクトとB1群に属するオブジェクトの位置や姿勢等の状態が更新されることが示されている。さらにフレームn+2ではA群に属するオブジェクトとB2群に属するオブジェクトの位置や姿勢等の状態が更新されることが示されている。ここで、A群に属するオブジェクトは、図4に示される表示画像での表示サイズが所定の基準値よりも大きいオブジェクトである。また、B1群及びB2群に属するオブジェクトは、図4に示される表示画面での表示サイズが該所定の基準値以下のオブジェクトである。各オブジェクトがB1群に属するか、それともB2群に属するかは、例えばB1群及びB2群のそれぞれに属するオブジェクトの数等により決定される。
同図に示されるように、A群に属するオブジェクトについては、毎フレームその位置や姿勢等の状態が更新されている。一方、B1群及びB2群に属するオブジェクトについては、毎フレーム交互にその位置や姿勢等の状態が更新され、いずれも2フレームに1回、その位置や姿勢等の状態が更新されている。このため、A群に属するオブジェクトについては、1/60秒毎に位置や姿勢等の状態が更新され、B1群及びB2群に属するオブジェクトについては、1/30秒毎に位置や姿勢等の状態が更新される。
以上のようにしてオブジェクトの一部について1/60秒毎に位置や姿勢等の状態を更新し、残りについて1/30秒毎に位置や姿勢等の状態を更新することにすれば、各フレームで位置や姿勢等の状態を算出しなければならないオブジェクトの数を削減することができる。この結果、位置や姿勢等の状態の更新を定期的に行うことができるオブジェクトの数を増やすことができる。
ここで、ゲーム装置10の機能について説明する。図6は、ゲーム装置10の機能ブロック図である。同図にはゲーム装置10で実現される機能のうち、本発明に関連するものが中心として示されている。これらの機能は、DVD−ROM25に格納されたプログラムを家庭用ゲーム機11で実行することにより実現されるものである。
同図に示すように、ゲーム装置10は、機能的にはオブジェクト更新タイミング管理テーブル記憶部60、オブジェクト情報記憶部62、表示画像生成部64を含んで構成されている。表示画像生成部64はオブジェクト選択部66、状態更新部68及び描画部70を含んで構成されている。オブジェクト更新タイミング管理テーブル記憶部60は、例えば主記憶26を中心として構成されており、オブジェクト更新タイミング管理テーブルを記憶するものである。図7は、このオブジェクト更新タイミング管理テーブルの一例を示している。オブジェクト更新タイミング管理テーブルは、同図に示すようにオブジェクトID、更新時間間隔及び更新グループを対応づけて記憶するものである。オブジェクトIDは仮想3次元空間50に配置された各オブジェクトを識別する情報である。更新時間間隔は、対応するオブジェクトIDにより識別されるオブジェクトの仮想3次元空間50における位置や姿勢等の状態を更新すべき時間間隔である。本実施形態では、1/60秒又は1/30秒のいずれかが記憶されている。また、更新グループは、同じ長さの時間間隔で位置や姿勢等の状態が更新されるオブジェクトのグループを識別する情報である。上記のように、1/30秒毎に位置や姿勢等の状態が更新されるオブジェクトのグループは2つ存在しており、順次到来するフレームを交互に使用して、各グループに属するオブジェクトの位置や姿勢等の状態を算出するようにしている。更新グループは、対応するオブジェクトIDにより識別されるオブジェクトが1/30秒毎に位置や姿勢等の状態を更新すべきものである場合に、それらを奇数番目のフレームで更新すべきか、或いは偶数番目のフレームで更新すべきかを示している。更新グループは、更新時間間隔が1/60秒のオブジェクトについては記録されない。
図6に戻り、オブジェクト情報記憶部62は例えば主記憶26やDVD−ROM25を中心として構成されるものであり、仮想3次元空間50に配置された全てのオブジェクトの現在の位置や姿勢等の状態を記憶するものである。
また、表示画像生成部64はマイクロプロセッサ14を中心として構成されており、オブジェクト更新タイミング管理テーブル60やオブジェクト情報記憶部62の記憶内容、さらにDVD−ROM25に格納されたその他の情報、コントローラ32から入力される操作信号に基づいて、ゲーム画面を表す画像、すなわち表示画像を生成し、それを画像処理部16に備えられたVRAMに描画するものである。
特に、オブジェクト選択部66は、仮想3次元空間50に配置された複数のオブジェクトのうち一部を選択する。具体的には、オブジェクト選択部66は、各オブジェクトの表示サイズを算出して、その値に従ってオブジェクト更新タイミング管理テーブルを更新するようになっている。すなわち、オブジェクト選択部66は毎フレーム、各オブジェクトの表示画像における表示サイズを算出し、その値が所定の基準値以下の場合には、そのオブジェクトに係る更新時間間隔を1/30秒に設定し、その値をオブジェクト更新タイミング管理テーブルに記録するようになっている。このとき、既に更新時間間隔が1/30秒に設定されているオブジェクトであれば、更新グループは現状のままに維持する。また、更新時間間隔が1/60秒から1/30秒に変更になるのであれば、新たに更新グループを割り当てる。新たに更新グループを設定する場合、現在の各更新グループに属するオブジェクトの数を取得し、その数が少ない方の更新グループを割り当てるのが望ましい。また、表示サイズの値が所定の基準値よりも大きければ、更新時間間隔を1/60秒に設定し、その値をオブジェクト更新タイミング管理テーブルに記録する。こうして、表示サイズに基づいて、オブジェクトの一部を選択し、その結果を更新時間間隔としてオブジェクト更新タイミング管理テーブルに記憶するようにしている。
状態更新部68は、オブジェクト選択部66により選択されるオブジェクトの仮想3次元空間50における各位置や姿勢等の状態を、他のオブジェクトの仮想3次元空間50における各位置や姿勢等の状態とは異なる時間間隔で更新する。具体的には、状態更新部68は次のようにして各オブジェクトの位置や姿勢等の状態を演算している。
まず、オブジェクト更新タイミング管理テーブル記憶部60に記憶されたオブジェクト更新タイミング管理テーブルを各フレームの開始タイミングが到来する毎に読み出し、そこから今回のフレームで位置や姿勢等の状態を更新すべきオブジェクトのオブジェクトIDを読み出している。さらに具体的には、状態更新部68では、今回のフレームで位置や姿勢等の状態を更新すべきオブジェクトの更新グループ(すなわち今回のフレームが奇数番目のフレームであって更新グループ1のオブジェクトの位置や姿勢等の状態を更新すべきか、偶数番目のフレームであって更新グループ2のオブジェクトの位置や姿勢等の状態を更新すべきか)を管理している。つまり、今回のフレームの更新グループが1であれば次フレームでは2に、逆に今回のフレームの更新グループが2であれば次フレームでは1に更新している。そして、状態更新部68では、今回のフレームの更新グループと一致する情報(1又は2)が、オブジェクト更新タイミング管理テーブルの更新グループの欄に記録されているレコード(行)を検索して、その更新グループに対応づけて記憶されたオブジェクトIDを今回のフレームで位置や姿勢等の状態を更新すべきオブジェクトを識別するオブジェクトIDとして読み出す。
さらに、状態更新部68では、オブジェクト更新タイミング管理テーブルの更新時間間隔の欄に1/60が記録されたレコードを検索し、その更新時間間隔に対応づけて記憶されたオブジェクトIDも、今回のフレームで位置や姿勢等の状態を更新すべきオブジェクトを識別するオブジェクトIDとして読み出す。
状態更新部68は、オブジェクト更新タイミング管理テーブルから選択的にオブジェクトIDを読み出すと、それらにより識別されるオブジェクトについて位置や姿勢等の状態を算出する。そして、その結果をオブジェクト情報記憶部62に記憶する。こうすれば、オブジェクト選択部66により選択されるオブジェクトの仮想3次元空間50における各位置や姿勢等の状態を他のオブジェクトの仮想3次元空間50における各位置や姿勢等の状態とは異なる時間間隔で更新することができる。
描画部70は、所定時間(ここでは1/60秒)毎に、オブジェクト情報記憶部62に記憶された各オブジェクトの最新の位置や姿勢等の状態に基づき、表示画像を画像処理部16のVRAMに描画する。この表示画像は1/60秒毎に読み出され、モニタ18により表示される。
ここで、ゲーム装置10の表示画像生成処理について説明する。図8は、ゲーム装置10で実行される表示画像生成処理を示すフロー図である。この処理はゲーム装置10において、DVD−ROM25に格納されたプログラムに基づいてフレーム毎(所定時間(1/60秒)毎)に実行されるものである。
同図に示すように、ゲーム装置10ではマイクロプロセッサ14(オブジェクト選択部66及び状態更新部68)がDVD−ROM25から読み出されるゲームプログラム、ゲームデータ、オブジェクト更新タイミング管理テーブル記憶部60及びオブジェクト情報記憶部62の記憶内容に基づき、まず各オブジェクトのワールド座標系での位置や姿勢等のオブジェクトの各種状態を算出する(S101)。S101では、視点VP、視線方向VD、視野範囲52も算出される。S101の処理は後に図9及び図10に従って詳細に説明する。
ゲーム画面生成処理では、次にマイクロプロセッサ14(描画部70)がオブジェクト情報記憶部62の記憶内容に基づき、ジオメトリ処理を行う(S102)。ジオメトリ処理ではワールド座標系から視点座標系への座標変換を行う。また、オブジェクトを構成する各ポリゴンの頂点の色情報が光源情報(光源の色及び位置)に基づいて修正される。さらに、クリッピング処理も行われる。
その後、マイクロプロセッサ14(描画部70)はレンダリング処理を行う(S103)。この処理では、マイクロプロセッサ14は視野範囲52に属する各ポリゴンの頂点座標、頂点色情報、テクスチャ座標及びアルファ値を画像処理部16に送出し、画像処理部16ではそれらの情報に基づいてVRAM上に表示画像を形成する。画像処理部16のVRAMに形成された表示画像は所定タイミングで読み出されて、モニタ18により表示される。
図9は、オブジェクト状態算出ルーチンを示すフロー図である。このフロー図は、図8のS101の処理を詳細に示すものである。まず、オブジェクト状態算出ルーチンでは、状態更新部68が、今回のフレームの更新グループを読み出す(S201)。そして、オブジェクト更新タイミング管理テーブル記憶部60から、更新時間間隔が1/60秒に設定されたオブジェクトのオブジェクトIDを読み出すとともに、そのオブジェクトIDにより識別されるオブジェクトの位置や姿勢等の状態を算出し、それをオブジェクト情報記憶部62に格納する(S202)。さらに、オブジェクト更新タイミング管理テーブル記憶部60から、更新時間間隔が1/30秒に設定され、且つ更新グループとしてS201で読み出した情報が設定されているオブジェクトのオブジェクトIDを読み出すとともに、そのオブジェクトIDにより識別されるオブジェクトの位置や姿勢等の状態を算出し、それをオブジェクト情報記憶部62に格納する(S203)。
その後、オブジェクト選択部66は、オブジェクト更新タイミング管理テーブル記憶部60の記憶内容を更新する。すなわち、現在視野範囲52内に位置するオブジェクトについて、オブジェクト更新タイミング管理テーブルに記憶されている更新時間間隔及び更新グループを更新する(S204)。この処理は図10に従って後に詳述する。
その後、状態更新部68はS201で読み出した更新グループを更新する(S205)。具体的には、更新グループが1であれば2に変更し、更新グループが2であれば1に変更する。こうして、1/30秒の更新時間間隔が設定されたオブジェクトのうち、更新グループ1に属するものと、更新グループ2に属するものとが、交互に位置や姿勢等の状態演算の対象とされるようになっている。
図10は、更新時間間隔及び更新グループ更新ルーチンを示すフロー図である。このフロー図は、図9のS204の処理を詳細に示すものである。この処理では、まず視野範囲52内に位置するオブジェクトのうち1つについて、表示サイズを算出する(S301)。具体的には、図11に示すように、そのオブジェクト(ここではオブジェクトP0)を取り囲む不可視の(モニタ18により表示されない)オブジェクト71を仮想3次元空間50に配置し、このオブジェクト71を視点VPの前方に配置された投影面72に投影して投影画像を生成する。投影面72は、仮想3次元空間50の様子を示す表示画像を生成するのに用いる前記スクリーン面とは別に用意され、前記スクリーン面と同一位置、又は前記スクリーン面と平行する位置に配置される。
図12は、こうして得られる投影画像の一例を示している。同図に示す投影画像では、不可視のオブジェクト71が投影された領域が着色され、その他は着色されていない。そして、この着色されている領域を構成する画素数を計数することにより、オブジェクト71の面積を得ることができる。本発明の一実施形態では、この面積を表示対象のオブジェクト(図11ではオブジェクトP0)の表示サイズとする。
また、他の実施形態では、オブジェクト71の頂点74を投影面72に投影し、投影面72における各頂点74の位置座標を得る。そして、これら投影後の頂点74のうち、所定方向(例えば上下方向)に最も離れた2つを選出し、その距離(L1とする)を算出する。さらに、前記所定方向と垂直な方向に最も離れた2つを選出し、その距離(L2とする)を算出する。そして、この距離L1と距離L2を乗じて頂点74群の外接矩形76の面積を算出する。本発明の一実施形態として、こうして算出される外接矩形76の面積を表示対象のオブジェクトの表示サイズとしてもよい。
図10に戻り、次に、こうして算出される表示サイズが基準値よりも大きいか否かを判断する(S302)。そして、基準値以下であれば、そのオブジェクトの更新時間間隔を1/30秒に設定し、更新グループは上述したようにして維持又は新規設定する(S303)。この内容はオブジェクト更新タイミング管理テーブルに書き込まれる。一方、基準値よりも大きければ、そのオブジェクトの更新時間間隔を1/60に設定する(S304)。この内容もオブジェクト更新タイミング管理テーブルに書き込まれる。そして、視野範囲52内に位置する全てのオブジェクトについて、S301乃至S304の処理を繰り返す(S305)。
以上説明した本実施形態に係るゲーム装置10によれば、モニタ18での表示対象となるオブジェクトのモニタ18(表示画像)における表示サイズを算出し、この表示サイズが基準値よりも大きければ1/60秒毎に位置や姿勢等の状態が更新され、表示サイズが基準値以下であれば1/30秒毎に位置や姿勢等の状態が更新されるようになっている。このため、全体として定期的に位置や姿勢等の状態を更新することができるオブジェクトの数を増やすことができる。また、位置や姿勢等の状態を更新する時間間隔が長めとなるオブジェクトを一部に限ることができるので、表示画像の滑らかさの低下を目立たなくすることができる。特に、位置や姿勢等の状態を更新する時間間隔が長めとなるオブジェクトを、表示画像において目立ちにくいオブジェクトから選択することによって、表示画像の滑らかさの低下を効果的に目立たなくすることができる。
なお、本発明は上記実施形態に限定されるものではなく、例えば、本発明はアクションゲームのみならず、対戦ゲーム、ガンシューティングゲーム等のシューティングゲーム等、あらゆるジャンルのゲームの画像処理に適用可能である。
本発明の一実施形態に係るゲーム装置(画像処理装置)のハードウェア構成を示す図である。 コントローラの外観を示す図である。 ゲーム装置において構築され、管理される仮想3次元空間の一例を示す図である。 ゲーム装置のモニタに表示される画像の一例を示す図である。 連続する複数フレームにおいて位置や姿勢等の状態が更新されるオブジェクトのグループを示す図である。 本発明の一実施形態に係るゲーム装置の機能ブロック図である。 オブジェクト更新タイミング管理テーブルの一例を示す図である。 表示画像生成処理を示すフロー図である。 オブジェクト状態算出ルーチンを示すフロー図である。 更新時間間隔及び更新グループ更新ルーチンを示すフロー図である。 表示対象オブジェクトの表示サイズを算出する処理を説明する図である。 表示対象オブジェクトの表示サイズを算出するために用いる投影面の画像を示す図である。 表示対象オブジェクトの表示サイズを算出するために用いる投影面の画像を示す図である。
符号の説明
10 ゲーム装置、11 家庭用ゲーム機、12 バス、14 マイクロプロセッサ、16 画像処理部、18 モニタ、20 音声処理部、22 スピーカ、24 DVD−ROM再生部、25 DVD−ROM、26 主記憶、28 メモリカード、30 入出力処理部、32 コントローラ、34 方向キー、35 振動子、36 スタートキー、37 セレクトキー、38A,38B,38X,38Y,39L,39R,41L,41R ボタン、50 仮想3次元空間(オブジェクト空間)、52 視野範囲、60 オブジェクト更新タイミング管理テーブル記憶部、62 オブジェクト情報記憶部、64 表示画像生成部、66 オブジェクト選択部、68 状態更新部、70 描画部、71 オブジェクト、72 投影面、74 頂点、 76 外接矩形。

Claims (5)

  1. 視点及び複数の表示対象オブジェクトが配置された仮想3次元空間を前記視点から見た様子を示す表示画像を生成し、表示する画像処理装置であって、
    前記表示画像における前記複数の表示対象オブジェクトの各表示サイズを算出する表示サイズ算出手段と、
    前記表示サイズ算出手段により算出される前記複数の表示対象オブジェクトの各表示サイズに基づいて、前記複数の表示対象オブジェクトのうち一部を選択するオブジェクト選択手段と、
    前記オブジェクト選択手段により選択されるオブジェクトの前記仮想3次元空間における各状態を、他のオブジェクトの前記仮想3次元空間における各状態とは異なる時間間隔で更新する状態更新手段と、
    を含むことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記仮想3次元空間には、前記複数の表示対象オブジェクトのそれぞれに応じた形状を有するとともに、該表示対象オブジェクトに従動する複数の不可視オブジェクトがさらに配置され、
    前記オブジェクト選択手段は、
    前記表示画像に投影された前記複数の不可視オブジェクトの前記表示画像における表示面積を、前記複数の表示対象オブジェクトの前記各表示サイズとして算出する、
    ことを特徴とする画像処理装置。
  3. 請求項1に記載の画像処理装置において、
    前記仮想3次元空間には、前記複数の表示対象オブジェクトのそれぞれに応じた形状を有するとともに、該表示対象オブジェクトに従動する複数の不可視オブジェクトがさらに配置され、
    前記オブジェクト選択手段は、
    前記表示画像に前記複数の不可視オブジェクトの一部又は全部の頂点を投影し、投影された前記頂点の前記表示画像における位置に基づいて、前記複数の表示対象オブジェクトの前記各表示サイズとして、前記複数の不可視オブジェクトの大きさを算出する、
    ことを特徴とする画像処理装置。
  4. 視点及び複数の表示対象オブジェクトが配置された仮想3次元空間を前記視点から見た様子を示す表示画像を生成し、表示する画像処理方法であって、
    表示サイズ算出手段が、前記表示画像における前記複数の表示対象オブジェクトの各表示サイズを算出する表示サイズ算出ステップと、
    オブジェクト選択手段が、前記表示サイズ算出ステップで算出される前記複数の表示対象オブジェクトの各表示サイズに基づいて、前記複数の表示対象オブジェクトのうち一部を選択するオブジェクト選択ステップと、
    状態更新手段が、前記オブジェクト選択ステップで選択されるオブジェクトの前記仮想3次元空間における各状態を、他のオブジェクトの前記仮想3次元空間における各状態とは異なる時間間隔で更新する状態更新ステップと、
    を含むことを特徴とする画像処理方法。
  5. 視点及び複数の表示対象オブジェクトが配置された仮想3次元空間を前記視点から見た様子を示す表示画像を生成し、表示する画像表示手段、
    前記表示画像における前記複数の表示対象オブジェクトの各表示サイズを算出する表示サイズ算出手段、
    前記表示サイズ算出手段により算出される前記複数の表示対象オブジェクトの各表示サイズに基づいて、前記複数の表示対象オブジェクトのうち一部を選択するオブジェクト選択手段、及び
    前記オブジェクト選択手段により選択されるオブジェクトの前記仮想3次元空間における各状態を、他のオブジェクトの前記仮想3次元空間における各状態とは異なる時間間隔で更新する状態更新手段
    としてコンピュータを機能させるためのプログラム。
JP2005046143A 2005-02-22 2005-02-22 画像処理装置、画像処理方法及びプログラム Active JP3880603B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2005046143A JP3880603B2 (ja) 2005-02-22 2005-02-22 画像処理装置、画像処理方法及びプログラム
PCT/JP2005/023528 WO2006090526A1 (ja) 2005-02-22 2005-12-21 画像処理装置、画像処理方法及び情報記憶媒体
KR1020077016757A KR100892902B1 (ko) 2005-02-22 2005-12-21 화상 처리 장치, 화상 처리 방법 및 정보 기억 매체
DE602005017672T DE602005017672D1 (de) 2005-02-22 2005-12-21 Bildprozessor, bildverarbeitungsverfahren und informationsspeichermedium
US11/816,809 US7932903B2 (en) 2005-02-22 2005-12-21 Image processor, image processing method and information storage medium
EP05820348A EP1852829B1 (en) 2005-02-22 2005-12-21 Image processor, image processing method and information storage medium
CN2005800484225A CN101124614B (zh) 2005-02-22 2005-12-21 图像处理装置、图像处理方法
TW095103872A TWI303574B (en) 2005-02-22 2006-02-06 Image processing device, image processing method, and information recording medium
HK07112813A HK1104644A1 (en) 2005-02-22 2007-11-23 Image processor, image processing method and information storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005046143A JP3880603B2 (ja) 2005-02-22 2005-02-22 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2006235748A JP2006235748A (ja) 2006-09-07
JP3880603B2 true JP3880603B2 (ja) 2007-02-14

Family

ID=36927174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005046143A Active JP3880603B2 (ja) 2005-02-22 2005-02-22 画像処理装置、画像処理方法及びプログラム

Country Status (9)

Country Link
US (1) US7932903B2 (ja)
EP (1) EP1852829B1 (ja)
JP (1) JP3880603B2 (ja)
KR (1) KR100892902B1 (ja)
CN (1) CN101124614B (ja)
DE (1) DE602005017672D1 (ja)
HK (1) HK1104644A1 (ja)
TW (1) TWI303574B (ja)
WO (1) WO2006090526A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945802B2 (en) * 2007-09-17 2011-05-17 International Business Machines Corporation Modifying time progression rates in a virtual universe
US8127235B2 (en) 2007-11-30 2012-02-28 International Business Machines Corporation Automatic increasing of capacity of a virtual space in a virtual world
US20090164919A1 (en) 2007-12-24 2009-06-25 Cary Lee Bates Generating data for managing encounters in a virtual world environment
US9167134B2 (en) * 2010-03-30 2015-10-20 Panasonic Intellectual Property Managment Co., Ltd. Imaging control device, immersion position information generation device, imaging control method, immersion position information generation method
JP5250604B2 (ja) * 2010-10-26 2013-07-31 富士フイルム株式会社 立体画像表示装置、立体画像表示方法およびプログラム
CN112927332B (zh) * 2021-04-02 2023-06-09 腾讯科技(深圳)有限公司 骨骼动画更新方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2180899A1 (en) * 1995-07-12 1997-01-13 Yasuaki Honda Synchronous updating of sub objects in a three dimensional virtual reality space sharing system and method therefore
US5675721A (en) * 1996-08-08 1997-10-07 Freedman; Aaron S. Computer network data distribution and selective retrieval system
JP2941230B2 (ja) 1997-05-06 1999-08-25 コナミ株式会社 画像表示処理装置,画像表示処理方法,及びコンピュータプログラムを記録した機械読取り可能な記録媒体
JP3315363B2 (ja) 1998-03-18 2002-08-19 松下電器産業株式会社 動画像再生品質制御装置およびその制御方法
US6118456A (en) * 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
JP2000107447A (ja) * 1998-10-08 2000-04-18 Konami Co Ltd ビデオゲーム装置、ゲーム画像表示方法、及び記録媒体
US6674437B1 (en) * 1998-12-24 2004-01-06 B3D, Inc. Key reduction system and method with variable threshold
JP4032574B2 (ja) 1999-09-01 2008-01-16 株式会社三洋物産 遊技機
US6684255B1 (en) * 1999-10-26 2004-01-27 International Business Machines Corporation Methods and apparatus for transmission and rendering of complex 3D models over networks using mixed representations
US6400372B1 (en) * 1999-11-29 2002-06-04 Xerox Corporation Methods and apparatuses for selecting levels of detail for objects having multi-resolution models in graphics displays
JP4655333B2 (ja) * 2000-06-08 2011-03-23 株式会社三洋物産 遊技機
JP2003167659A (ja) 2001-11-28 2003-06-13 Fujitsu Ltd 情報処理装置および情報オブジェクトの表示方法
JP4355512B2 (ja) 2003-04-17 2009-11-04 任天堂株式会社 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
DE602005017672D1 (de) 2009-12-24
US20090015581A1 (en) 2009-01-15
TWI303574B (en) 2008-12-01
WO2006090526A1 (ja) 2006-08-31
EP1852829A4 (en) 2008-08-06
HK1104644A1 (en) 2008-01-18
TW200638974A (en) 2006-11-16
KR100892902B1 (ko) 2009-04-15
EP1852829A1 (en) 2007-11-07
CN101124614A (zh) 2008-02-13
US7932903B2 (en) 2011-04-26
CN101124614B (zh) 2010-05-12
EP1852829B1 (en) 2009-11-11
JP2006235748A (ja) 2006-09-07
KR20070088807A (ko) 2007-08-29

Similar Documents

Publication Publication Date Title
JP4833674B2 (ja) ゲーム装置、ゲーム装置の制御方法及びプログラム
JP4205747B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2007260157A (ja) ゲーム装置、ゲーム装置の制御方法及びプログラム
JP3880603B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006247281A (ja) メッセージ画像表示装置、メッセージ画像表示装置の制御方法及びプログラム
JP2005049913A (ja) 画像処理装置、画像処理方法及びプログラム
JP3926828B1 (ja) ゲーム装置、ゲーム装置の制御方法及びプログラム
JP3881363B1 (ja) ゲーム装置、ゲーム装置の制御方法及びプログラム
JP2008077372A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US8485898B2 (en) Game device, method for controlling game device, program, and information storage medium
JP3639286B2 (ja) ゲームプログラム、及びゲーム装置
JP4054016B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR100959051B1 (ko) 화상 처리 장치, 화상 처리 방법 및 정보 기억 매체
KR100977692B1 (ko) 게임 장치, 게임용 화상 처리 방법 및 정보 기억 매체
JP2001283244A (ja) 3次元画像合成装置及び方法、情報記憶媒体、プログラム配信装置及び方法
JP4226426B2 (ja) 3次元画像処理装置、3次元画像処理方法及びプログラム
JP4791514B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP4447417B2 (ja) ゲーム装置、プログラム及びコンピュータの制御方法
JP3967720B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP4838067B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP3967719B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP2002358538A (ja) 3次元画像合成装置及び方法、情報記憶媒体、プログラム配信装置及び方法
JP2005100181A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061107

R150 Certificate of patent or registration of utility model

Ref document number: 3880603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250