JPH09231405A - 画像処理装置、およびその方法 - Google Patents

画像処理装置、およびその方法

Info

Publication number
JPH09231405A
JPH09231405A JP8032441A JP3244196A JPH09231405A JP H09231405 A JPH09231405 A JP H09231405A JP 8032441 A JP8032441 A JP 8032441A JP 3244196 A JP3244196 A JP 3244196A JP H09231405 A JPH09231405 A JP H09231405A
Authority
JP
Japan
Prior art keywords
shading
light source
polygon
vector
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8032441A
Other languages
English (en)
Other versions
JP3039357B2 (ja
Inventor
Takashi Fujimura
隆史 藤村
Makoto Yamamoto
信 山本
Kenji Fujima
健二 藤間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sega Corp
Original Assignee
Sega Enterprises Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sega Enterprises Ltd filed Critical Sega Enterprises Ltd
Priority to JP8032441A priority Critical patent/JP3039357B2/ja
Publication of JPH09231405A publication Critical patent/JPH09231405A/ja
Application granted granted Critical
Publication of JP3039357B2 publication Critical patent/JP3039357B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6646Methods for processing data by generating or executing the game program for rendering three dimensional images for the computation and display of the shadow of an object or character

Landscapes

  • Image Generation (AREA)

Abstract

(57)【要約】 【課題】 不自然さのないシェーディングを実現する。 【解決手段】 ポリゴン毎の幾何学的重心Gを求め、こ
のポリゴンの重心Gにおける法線ベクトルnGを、この
ポリゴンの各頂点C1〜C4における法線ベクトルn1
4に基づく配分により求め、各ポリゴンの重心からこ
の仮想空間に存在する点光源Lへ向かう光線の方向を示
す光源ベクトルnLを各々求め、各重心Gにおける法線
ベクトルnGと光源ベクトルnLとに基づいて、このポリ
ゴンのシェーディングを施す。さらに、重心Gから視点
へ向かう視点ベクトルnIPと光源ベクトルnLとの内積
を求めて、逆光状態であるか否かを判定し、逆光状態で
ある場合に散乱光の強度を所定の特性に対応させて増減
する。順光であっても逆光であっても、室内のような環
境であっても、自然なシェーディングが行える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、いわゆるビデオゲ
ーム装置に用いる画像処理技術に係り、特に、シェーデ
ィング技術の改良に関する。
【0002】
【従来の技術】コンピュータ・グラフィックス(CG)
技術の発達により、仮想的に設定した世界(仮想空間と
いう。)の画像を現実感豊かに表現できるようになっ
た。このコンピュータ・グラフィックスの技術を高速に
かつ経済的に利用しているのが、ビデオゲーム装置の技
術分野である。
【0003】ビデオゲーム装置では、仮想空間の中の建
物や静物等の物体や人物等のキャラクタを、ポリゴンの
集合により表示する。仮想空間におけるポリゴンの位置
が定まり、この仮想空間を観察する視野変換のための視
点の位置が定まると、次に各物体の色を計算して画素に
色彩を付ける必要がある。このとき、光源からの光(直
接光という。)が当たっている部分を明るく表示し、影
になっている部分を暗い色に表示するいわゆるシェーデ
ィング(shading)という処理を行う。シェーディング
とは、物体を表示する画素の色彩を、各ポリゴンの法線
ベクトル、光源の位置や光源の色、視点の位置と視線の
方向、各物体間に相互に作用する環境光、反射光等を考
慮して、画素に色彩を付けるアルゴリズムをいう。な
お、本明細書でいう「色彩」は色相、彩度の他に輝度も
含めた意味に用いるものとする。また、「環境光(ambi
ent light)」とは、周囲の環境による散乱光、周囲の
物体の相互反射によって生ずる間接光をいい、「反射光
(reflection)」とは直接光の反射による光をいう。
【0004】従来のビデオゲーム機では、光源は無限遠
方にあるもの、すなわち平行光線が入射するという条件
の下でシェーディングを行っていた。各物体を構成する
ポリゴンには、ポリゴンの面の向いている方向を示す法
線ベクトルが設定されている。この法線ベクトルと平行
光線の方向を示すベクトルとの内積をとると、このポリ
ゴンに与えるべき光の量が計算できる。したがって、内
積の計算により取得できた光の量に基づいて、各ポリゴ
ンを構成する画素の色彩を決定していけばよかった。
【0005】また、直接光が当たらない部分では内積が
負になり、直接光のみを用いてシェーディングを施すと
影となる部分が真っ暗になる。このため、従来のビデオ
ゲーム装置では、視点と光源との関係を監視し、逆光状
態となる位置には視点が回り込むのを禁止していた。さ
らに、視点が逆光状態となることを許容する場合には、
物体の影となる部分に対して、別途環境光の強度を強く
していた。
【0006】以上のシェーディング処理により、日中の
野外の事物をモデルとして仮想空間を構成した場合に
は、一応の現実感のある視覚的効果を演出することがで
きていた。
【0007】
【発明が解決しようとする課題】しかしながら、従来の
ビデオゲーム装置等で用いられていたシェーディングで
は、今日、ゲームプレイの種類が多岐に及ぶようになっ
た現状では以下に述べるような問題点が生じていた。
【0008】その第一点として、従来の逆光による弊害
防止策では、観察者からみて表示が不自然、あるいは単
調になるという欠点があった。例えば、市街地をキャラ
クタが縦横に動き回るという舞台設定のゲーム装置の場
合、視点をキャラクタの動きに合わせて動かすと、光源
の方向が固定されているため、逆光状態が頻繁に生じる
ことになる。影となる部分に対し何の処理も施さない
と、図10(A)に示すように、暗くなった部分が潰れ
てメリハリのない画像になってしまう。これを防止すべ
く、完全な逆光になる度に反射光や環境光の強度を上げ
たとすると、突然ライトを照射したかのように急に明る
くなるため、その変化が不自然に感じられる。それだか
らといって、視点の移動する範囲を逆光にならない範囲
に制限すれば、画像の内容が変化に乏しい平面的な画像
となり、単調な感じを与えかねない。また、視点の動き
が拘束されるために、ゲームプレイのスピード感を殺し
てしまうおそれもある。
【0009】その第二点として、仮想空間として、室内
や洞窟等の閉空間をモデルとして用いている場合に、従
来の平行光線を基準として行ったシェーディングでは、
不自然な陰影が形成されてしまう点が挙げられる。例え
ば、洞窟の内部でろうそくを囲むキャラクタを表示する
ようなモデルの場合、本来ならば、各物体やキャラクタ
はろうそくからの光に照らし出されるべきところであ
る。ところが、所定の平行光線を基準にシェーディング
を施すため、図10(B)に示すように、一方向のみか
ら光が照射されたような陰影が物体に付加されてしま
う。
【0010】この問題を解決するためには、単に各ポリ
ゴンの法線ベクトルと点光源からの光のベクトルとに基
づいてシェーディングを行えばよいとも考えられる。し
かし、近年のゲーム装置に用いられるポリゴンは、滑ら
かな濃淡づけ(スムーズシェーディング;smooth shadi
ng)の一方法として実用化されているフォン(Phong)
のシェーディングを用いている。フォンのシェーディン
グは、ポリゴンの各頂点毎に法線ベクトルを設けるもの
であるため、もしも、頂点毎に設けられたすべての法線
ベクトルに対し、点光源からの内積を演算するものとす
れば、処理時間がかかり、CPUの処理能力の多くを占
有してしまう。よって、実用的な性能を持ったシェーデ
ィングを低コストで実現することが難しい。
【0011】そこで、本発明は、上記問題点に鑑み、自
然なシェーディングを実現する画像処理装置およびその
方法を提供することを課題とする。
【0012】
【課題を解決するための手段】請求項1に記載の画像処
理装置は、少なくとも一つのポリゴンの各頂点に法線ベ
クトルを設定し、このポリゴンを構成する画素の色彩を
各法線ベクトルの配分(比例配分等の補間処理)により
求めるシェーディングを施す画像処理装置において、
(a) 各ポリゴン(三角形、四角形等の多角形)を代表
する代表点(例えば、幾何学的重心、任意の対角線の中
間点等)を求める代表点計算手段と、(b) 各ポリゴン
の代表点からこの仮想空間に存在する点光源から向かう
光線の方向を示す光源ベクトルを各々求める光源ベクト
ル計算手段と、(c) 光源ベクトル計算手段により計算
された各ポリゴンについての光源ベクトルに基づいて、
このポリゴンのシェーディングを施すシェーディング手
段とを備えて構成される。
【0013】なお、滑らかな濃淡づけを行うスムーズシ
ェーディングと呼ばれる各種のシェーディングアルゴリ
ズムのうち、一つのポリゴンについて複数の法線ベクト
ルを設けるもの(例えば、フォンのシェーディング)で
あれば本発明を適用できる。
【0014】請求項2に記載の画像処理装置は、代表点
が、各ポリゴンの幾何学的な重心である請求項1に記載
の画像処理装置である。
【0015】請求項3に記載の画像処理装置は、仮想的
に設定した仮想空間を所定の視点(視野変換するための
基準点)から観察した画像を生成するために、少なくと
も一つのポリゴンに対しシェーディングを施す画像処理
装置において、(a) 各ポリゴンからの視点の方向を示
す視点ベクトルを算出する視点ベクトル算出手段と、
(b) 直接光の方向を示す光源ベクトルを算出する光源
ベクトル算出手段と、(c) 視点ベクトル算出手段が算
出した視点ベクトルと光源ベクトル算出手段が算出した
光源ベクトルとが所定の条件(両ベクトルの角度が90
度であること、内積が正値でないこと、内積値が予め定
めた値以下であること等)に合致したか否かを比較する
比較手段と、(d) 比較手段による比較結果に基づい
て、この仮想空間を表現するシェーディングの状態(逆
光になる部分のポリゴンの色を変更する等、一定の視覚
的効果を奏するシェーディング処理)を変更するシェー
ディング変更手段と、を備えて構成される。
【0016】請求項4に記載の画像処理装置は、比較手
段が、視点ベクトルと光源ベクトルとの内積が負値であ
ることを条件とする請求項3に記載の画像処理装置であ
る。
【0017】請求項5に記載の画像処理装置は、シェー
ディング変更手段が、条件に合致した場合に、光源から
の直接光が照射されないポリゴンに対するシェーディン
グの状態を変更(例えば、かかるポリゴンの輝度を下げ
る等)する請求項3に記載の画像処理装置である。
【0018】請求項6に記載の画像処理装置は、シェー
ディング変更手段が、条件に合致した場合に、仮想空間
の背景のシェーディングの状態を変更(背景画の輝度を
上げる、あるいは逆に下げる等)することこと請求項3
に記載の画像処理装置である。
【0019】請求項7に記載の画像処理装置は、シェー
ディング変更手段が、条件に合致した場合に、予め定め
た特定のポリゴンの集合体(キャラクタ等)に対するシ
ェーディングの状態を変更する(集合体の輝度のみを上
げる等)こと請求項3に記載の画像処理装置である。
【0020】請求項8に記載の画像処理装置は、シェー
ディング変更手段が、条件に合致した場合に、この仮想
空間全体にわたるシェーディングの状態を一様に変更す
る(例えば、サングラスをかけた如く全体の輝度を一様
に下げる)こと請求項3に記載の画像処理装置である。
【0021】請求項9に記載の画像処理装置は、シェー
ディング変更手段が、輝度を変更することによりシェー
ディングの状態を変更する(輝度を上げるまたは下げ
る)こと請求項3乃至請求項8のいずれかに記載の画像
処理装置である。
【0022】請求項10に記載の画像処理装置は、シェ
ーディング変更手段が、色調(色相と彩度等)を変更す
ることによりシェーディングの状態を変更する(例え
ば、逆光時に色を変更し、カメラが色温度の変化の影響
を受けたような色に画素を変更する等)こと請求項3乃
至請求項8のいずれかに記載の画像処理装置である。
【0023】請求項11に記載の画像処理方法は、少な
くとも一つのポリゴンの各頂点に法線ベクトルを設定
し、このポリゴンを構成する画素の色彩を各法線ベクト
ルの配分により求めるシェーディングを施す画像処理方
法において、(a) ポリゴン毎の幾何学的重心を求める
重心計算工程と、(b) 重心計算手段により求めたポリ
ゴンの重心における法線ベクトルを、このポリゴンの各
頂点における法線ベクトルに基づく配分により求める重
心ベクトル計算工程と、(c) 各ポリゴンの重心からこ
の仮想空間に存在する点光源へ向かう光線の方向を示す
光源ベクトルを各々求める光源ベクトル計算工程と、
(d) 各重心における法線ベクトルと光源ベクトル計算
手段により計算された光源ベクトルとに基づいて、この
ポリゴンのシェーディングを施すシェーディング工程と
を備えて構成される。
【0024】請求項12に記載の画像処理装置は、仮想
的に設定した仮想空間を所定の視点から観察した画像を
生成するために、少なくとも一つのポリゴンに対しシェ
ーディングを施す画像処理方法において、(a) 各ポリ
ゴンからの視点の方向を示す視点ベクトルを算出する視
点ベクトル算出工程と、(b) 直接光の方向を示す光源
ベクトルを算出する光源ベクトル算出工程と、(c) 視
点ベクトル算出手段が算出した視点ベクトルと光源ベク
トル算出手段が算出した光源ベクトルとの関係が所定の
条件に合致したか否かを比較する比較工程と、(d) 比
較工程による比較結果に基づいて、この仮想空間を表現
するシェーディングの状態を変更するシェーディング変
更工程とを備えて構成される。
【0025】
【発明の実施の形態】以下、本発明の好適な実施の形態
を図面を参照して説明する。
【0026】本実施の形態は、本発明の画像処理装置を
組み込んだビデオゲーム装置に関するものである。
【0027】(I)構成の説明 図1に、本実施の形態のビデオゲーム装置のブロック図
を示す。本ビデオゲーム装置は、装置全体の制御を行う
CPUブロック10、ゲーム画面の表示制御を行うビデ
オブロック11、効果音等を生成するサウンドブロック
12、CD−ROMの読出しを行うサブシステム13等
により構成される。
【0028】CPUブロックは、SCU(System Contr
ol Unit)100、メインCPU101、RAM10
2、ROM103、サブCPU104、CPUバス10
5等により構成される。このブロックが本発明の画像処
理の主体を担う。
【0029】<CPUブロックの構成>CPUブロック
10は、本発明の各種ベクトル計算手段およびシェーデ
ィング手段の一部として動作する。CPUブロック10
は、SCU(System Control Unit)100、メインC
PU101、RAM102、ROM103、サブCPU
104、CPUバス105等により構成される。
【0030】メインCPU101は、内部にDSP(Di
gital Signal Processor)を備え、コンピュータプログ
ラムを高速に実行できる。RAM102には、CD−R
OMを読出すサブシステム13から転送された各種ポリ
ゴンの法線ベクトル情報が記憶される他、メインCPU
101のワークエリアとして使用される。ROM103
には、装置の初期状態において行う初期化処理のための
イニシャルプログラムを格納される。SCU100は、
バス105、106、107を介して行われるデータの
転送を統括する。また、SCU100は、内部にDMA
コントローラを備え、ゲームの実行中に必要になる画像
データをビデオブロック11内のVRAMへ転送する。
【0031】パッド2bは、ユーザの情報入力手段とし
て作用し、操作に必要な各種ボタンが備えられている。
サブCPU104は、SMPC(System Manager & Per
ipheral Control)と呼ばれ、メインCPU101から
の要求に応じ、パッド2bからコネクタ2aを介してデ
ータ(周辺データ)を収集する。メインCPU101
は、サブCPU104から転送された周辺データに基づ
いて、ディスプレイに表示する画像の移動等の処理を行
う。サブCPU104は、コネクタ2a(本体側端子)
に接続した周辺機器の種類を判定し、判定した周辺機器
の種類に応じた通信方式に従って、周辺データを収集す
る。
【0032】<ビデオブロックの構成>ビデオブロック
11は、本発明のシェーディング手段の一部として動作
し、ポリゴンにより表示する画像を生成するためのVD
P(Video Display Processo
r)120、背景画のための画像の合成、陰面処理、ク
リッピングを行うVDP130を備える。VDP120
は、VRAM121およびフレームバッファ122、1
23へ接続される。
【0033】ディスプレイへ表示する仮想空間の画像
(以下「仮想画像」という。)を生成する際、表示に必
要なポリゴンデータがメインCPU101からSCU1
00を介してVDP120へ転送され、VRAM121
に書込まれる。VRAM121に書込まれたポリゴンデ
ータは、1画素あたり16ビットまたは8ビットの色情
報を含む描画用データとして、描画用のフレームバッフ
ァ122または123へ格納される。格納された描画用
データは、VDP130へ転送される。メインCPU1
01は、SCU100を介して、描画を制御する制御情
報をVDP130へ供給する。VDP130は、この制
御情報に従って描画用データを処理する。
【0034】VDP130はVRAM131に接続さ
れ、表示画面全体を上下左右に移動させたり、回転させ
たりするスクロール機能と、多数の表示画面の表示順序
を決定するプライオリティ機能を備える。VDP130
は、描画用データをメモリ132を介してエンコーダ1
60へ出力する。エンコーダ160は、この描画用デー
タをビデオ信号のフォーマットに変換し、D/A変換を
行ってビデオ信号として出力する。モニタ装置5は、ビ
デオ信号に基づいて画像を表示する。
【0035】特に、本ビデオブロック11は、CPU1
00が指定し転送したポリゴンデータに対し、CPUが
指定したシェーディングアルゴリズムに基づいてシェー
ディングを施す。シェーディングには、光源からの直接
光、物体の表面で散乱射されて生ずる散乱光および影の
部分を明るく見せるための環境光等の光の要素が必要で
ある。CPU100は、本発明の逆光判定に基づいて、
ポリゴンの各々に直接光、散乱光および環境光の光量が
いくら必要かを指定する。ビデオブロック11は、この
光量情報に基づいて、本発明の重心計算によるシェーデ
ィングを施す。
【0036】<その他のブロックの構成>サウンドブロ
ック12は、PCM方式またはFM方式による音声合成
を行うDSP140と、DSP140を制御等するCP
U141とにより構成される。DSP140によって生
成された音声データは、D/A変換器170により2チ
ャンネルの信号に変換された後にスピーカ5aおよび5
bへ出力される。
【0037】サブシステム13は、CD−ROMドライ
ブ等を搭載し、CD−ROM等の記録媒体によって供給
されるアプリケーションソフトの読み込み、動画の再生
等を行う機能を備える。
【0038】<機能ブロックの構成>図2に、本ビデオ
ゲーム装置の機能ブロック図を示す。メモリ102は、
各種ポリゴンデータを格納する。重心計算回路1001
は、ポリゴンの各々について、頂点座標を基にポリゴン
の重心座標を計算する。光源ベクトル計算回路1002
は、重心計算回路1001の計算した重心座標およびメ
モリ102に格納された点光源の座標に基づいて、光源
ベクトルを計算する。視点ベクトル計算回路1003
は、重心計算回路1001の計算した重心座標とメモリ
102に格納された視点の座標に基づいて、視点ベクト
ルを計算する。比較回路1004は、光源ベクトルと視
点ベクトルとの内積を計算し、その内積値を出力する。
シェーディング変更回路1005は、内積値の正負等に
基づいて、予め割り当てられた補正特性で、散乱光等の
光量の増減を行う。シェーディング回路1006は、光
源ベクトル計算回路1002の計算した光源ベクトルと
シェーディング変更回路1005の計算した散乱光等の
強度に基づいて、ポリゴンにシェーディングを施す。本
機能ブロックは、モニタ装置5を除いて、CPUブロッ
ク10およびビデオブロック11の動作により実現す
る。
【0039】(II)動作の説明 <シェーディング処理>次に、本発明の第1のポイント
に関する動作原理を図4を参照して説明する。図4は、
四角形のポリゴンを例にシェーディングの方法を説明す
るものである。
【0040】画像を構成する際に、その基礎となるのが
同図に示すようなポリゴンであり、ポリゴンを複数集め
て適当な位置に表示すると、キャラクタや建物等の任意
の形状の画像を生成することができる。通常のキャラク
タや建物等の物体は、複数のポリゴンを集めて部品を作
り、更にこの部品を複数組み合わせて作り出す。このと
き、各ポリゴンに一つの法線ベクトルのみ設けてシェー
ディングを施すと、ポリゴンの境界が目立ち、質感を損
ねる。そこで、小さい平面(ポリゴン)の集合を曲面へ
近似させて表示するのがスムーズシェーディングといわ
れる方法である。スムーズシェーディングには種々の手
法が存在する。従来はグーロー(Gouraud)シェ
ーディングという手法が用いられていた。グーローシェ
ーディングは、ポリゴンの頂点の輝度を線形補間して、
ポリゴン内の面に滑らかな質感を与える。しかし、グー
ローシェーディングでは、二つのポリゴンが急な角度を
なしている部分に境界が目立つという欠点がる。そのた
め、用いられているのが解決すべき課題で述べたフォン
のシェーディングである。フォンのシェーディングは、
前述したように、輝度の補間をする代わりに、各頂点の
法線ベクトルを用いて、走査線上の各点の法線ベクトル
を求め、その後に各点の光の強さを求める方法である。
本形態では、フォンのシェーディングをさらに応用した
ものである。
【0041】図4では、破線でポリゴンの形状を示し、
実線で近似すべき曲面を示す。
【0042】一のポリゴンを表示するために、ポリゴン
データを用いる。ポリゴンデータは、このポリゴンの各
頂点の相対座標(X1、X2、X3、X4) を備える。さら
にスムーズシェーディングを行うためには、頂点の相対
座標の他に法線ベクトル(n1、n2、n3、n4)を設定
する必要がある。法線ベクトルとは、ある物体の画像を
複数のポリゴンにより表示した場合に、各頂点を基点す
る曲面の法線に平行なベクトルである。フォンのシェー
ディングは、ポリゴン内部の画素を表示する際に、各頂
点の法線ベクトルを比例配分して画素上の法線ベクトル
を計算し、その法線ベクトルと光の放射方向を示す光源
ベクトルに基づいて、画素の色彩を決定するものであ
る。例えば、同図の点Pにおける法線ベクトルを求める
には、画像の走査線平面とポリゴンの辺との交点を求め
(XAとXB)、A点およびB点における法線ベクトルn
A、nBおよび重心Gの座標を以下の比例配分の計算で求
める。
【0043】 nA=〔n2×(X4−XA)+n4×(XA−X2)〕/(X4−X2) …(1) nB=〔n3×(XB−X4)+n4×(X3−XB)〕/(X3−X4) …(2) XG=(X1+X2+X3+X4)/頂点数(四角形ポリゴンでは4) …(3) 一方、光源Lの位置XLはプログラム自体から与えられ
ているので、重心Gから光源Lへ向かう光源ベクトルn
Lは容易に求められる。したがって、点Pにおける直接
光の光量を求めたければ、光源ベクトルnLと法線ベク
トルnPとの内積を計算すればよい。
【0044】 光量=nP・nL=|nP|×|nL|×cosθ このことは、このポリゴンの重心からの光源ベクトルと
平行な光線が、このポリゴンへ一様に照射されているも
のと仮定しシェーディングを施すことを意味する。ポリ
ゴンは微小な面積の多角形であるため、この仮定は妥当
であり、また、この仮定により光源ベクトルが定まりさ
えすれば、従来と同様に光源ベクトルを固定させて計算
すればよい。以上の処理により、例えば、図5に示すよ
うに、仮想空間に設けられた点光源Lからの光の向き
は、ポリゴンの重心各々に対して指向することになるの
で、全体として観察すれば、極めて自然な光線状態が設
定できる。
【0045】<シェーディング状態の変更>さらに本発
明のもう一つのポイントに関する動作原理を、図6を参
照して説明する。として、ポリゴンが逆光状態であるか
否かを判定し、光源ベクトルの示す光量や、散乱光およ
び環境光の光量を変える点が挙げられる。
【0046】まず、仮想画像の視点はプログラムから与
えられるので、物体OBを構成するポリゴンの重心から
視点へ向かう視点ベクトルnIPが上記の方法によって求
められる。ポリゴンが逆光であるか否かは、この視点ベ
クトルnIPと光源ベクトルnLとの内積を計算し、正値
となるか負値となるかにより判定する。視点の位置
A、PBおよびPCの変化に応じ(同図(A)参照)、
光源ベクトルnLと視点ベクトルnIPとの内積、すなわ
ち両ベクトルのなす角度の余弦が変化する(同図(B)
参照)。両ベクトルのなす角度が90度であるとき(視
点PB)内積は0になる。それよりも角度が狭くなると
(視点PA)内積が正値になり、それよりも角度が広く
なると(視点PC)内積が負値になる。例えば90度以
内であれば順光状態、90度より大きければ逆光状態と
定めれば、内積の正負のみで正逆光の判定が行える。
【0047】同図(C)は、内積による逆光判定の結果
に応じて、ポリゴンに与える散乱光の光量を調整する最
も標準的な特性の例である。この同図(C)は、内積値
の減少に伴い、光量をサインカーブに従って増加させて
いる。この特性によれば、内積値をそのまま反転して散
乱光の増量に使えるメリットがある。
【0048】<処理の流れ>図3に、本発明のシェーデ
ィングを説明するフローチャートを示す。同図のフロー
チャートは、ポリゴン単位のシェーディングアルゴリズ
ムを示している。この処理は同期期間毎に視野に入るす
べてのポリゴンについて行われることになる。
【0049】本ビデオゲーム装置は、CD−ROMから
読出され、RAM102に格納されたプログラムに従っ
て動作する。仮想画像は、毎回の垂直同期期間にCPU
ブロック10およびビデオブロック11の相互作用によ
って、ポリゴンの画素データを書き換えることで生成さ
れる。以下説明するのは、毎回の垂直同期期間の度に行
われる処理のうち、一つのポリゴンのシェーディングを
説明したものである。
【0050】まず最初のポリゴンデータを入力し(ステ
ップS1)、このポリゴンについての重心Gの座標を計
算する(ステップS2)。重心Gの座標XGが算出され
ると、この重心Gの座標XGと点光源Lの座標XLとに基
づいて光源ベクトルnLを計算する(ステップS3)。
また、視点の座標と重心Gの座標XGとに基づいて、視
線ベクトルnIPを計算する(ステップS4)。
【0051】ステップS5において、前記したように、
光源ベクトルnLと視線ベクトルnIPとの内積を計算
し、正負を判定する(ステップS5)。内積が正値、す
なわち順光状態のとき(ステップS5;順光)、散乱光
の強度を通常のレベルに設定してフォンのシェーディン
グを行う(ステップS6)。
【0052】内積が負値、すなわち逆光状態のとき(ス
テップS5;逆光)、さらに最逆光状態であるか否かを
検査する(ステップS7)。最逆光とは、光源ベクトル
と視線ベクトルとの角度がほぼ180度の完全な逆光状
態となることをいう。シェーディング変更のモードによ
っては、この状態のときに特別に散乱光の強度の変更を
行う。これについては、後述の変更例の中で説明する。
【0053】さて、最逆光状態でない場合(ステップS
7;NO)、例えば、図6(C)の散乱光の強度の増加
特性に対応して散乱光の増減を行う逆光シェーディング
を施す(ステップS8)。最逆光状態である場合(ステ
ップS7;YES)であっても最逆光処理を行わないモ
ードであるとき(ステップS9;NO)は、逆光シェー
ディングを行う(ステップS8)。最逆光処理を行うモ
ードであるとき(ステップS9;YES)は最逆光シェ
ーディングを行う(ステップS10)。
【0054】ステップS11において、他にシェーディ
ングすべきポリゴンが存在するか否かを検査し、存在す
る場合は(ステップS11;YES)次のポリゴンデー
タを入力する(ステップS12)。すべてのポリゴンの
シェーディングが終了したら(ステップS11;NO)
この同期期間におけるシェーディング処理を終了する。
【0055】以上のフローチャートに従って、仮想空間
内の物体であって視野に入る物体のポリゴンのシェーデ
ィングを行えば、好適なシェーディングを施した物体の
画像が得られる。図7(A)は、建物のような方形の物
体に本発明のシェーディングを施した場合の例示であ
る。面の向く方向に応じ散乱光の強度を調整するので、
影となる部分は、逆光状態でありながら程よい陰影を維
持する。また、洞窟内でろうそくを灯す場合には、ろう
そくを点光源として光源ベクトルが正しく計算されるの
で、同図(B)に示すように、自然な陰影を有する画像
が生成できる。
【0056】なお、視点ベクトルや光源ベクトルはポリ
ゴン側を基点として計算したが、これと反対方向を向く
ものでもよい。但し、内積の符号が反転するので注意を
要する。
【0057】(III)本実施の形態の利点 本実施の形態によれば、以下の利点を有する。
【0058】i) 重心と点光源との間の光源ベクトルを
求め、これに基づきシェーディングを施すので、シェー
ディングに必要な演算時間を少なくし、かつ自然な光の
状態でシェーディングが行える。
【0059】ii) 視点ベクトルと光源ベクトルとのなす
角度の内積値により、逆光状態を簡単に判定できる。
【0060】iii)逆光状態における散乱光の増加も内積
値に比例して行うので、処理手順が少なく、処理の高速
化に適する。
【0061】(IV)その他の変形例 本発明は、上記各形態に拘らず種々に変形できる。
【0062】<シェーディングについて> i) 上記形態では、四角形のポリゴンを用いていたが、
これにこだわるものではない。すなわち、他の多角形の
ポリゴンであっても、式(3) に正しい頂点数と座標を入
力すれば、ポリゴンの重心を求めることができる。重心
が求められれば、その重心から点光源へ向かうベクトル
を計算するのみで、このポリゴンにシェーディングを施
すのに適した光線状態を計算できる。
【0063】ii) 上記形態では、ポリゴンのすべての頂
点の座標を用いて幾何学的重心を求めていたが、必ずし
も重心を求めなければならないものでもない。すなわ
ち、本発明で重心を求めた目的は、各ポリゴンを代表す
る一点を求めることにある。他の方法で代表する一点を
求めることができれば、式(3) にいう重心の計算は必ず
しも必要ない。例えば、ポリゴンの任意の対角線につい
てその中間点を求めるだけでもよい。ポリゴンを代表す
る一点として不自然でない点を、簡単な計算で求めるこ
とができれば、処理の高速化を望めるというメリットも
ある。
【0064】<シェーディング状態の変更について>上
記形態では、内積が負値になった時点からサインカーブ
で散乱光の光量を強めていたが、他の方法で散乱光の光
量を変化させてもよい。
【0065】i) 例えば、図6(D)は直線的に散乱光
の光量を増加させる特性例である。同図(E)は二次曲
線等の非線形曲線で増加させる特性例である。ゲームプ
ログラムの内容に応じて、視覚的に最も自然な印象を与
え得る特性を選択すればよい。
【0066】ii) 同図(F)は内積値0とは異なる条件
を設定して散乱光の調整を行う特性例である。内積値
は、単調減少(または単調増加)をするのみなので、予
め所定の内積値を被比較値として設定しておけば、内積
値の正負によらずシェーディング状態を変更するタイミ
ングを調整できる。
【0067】iii)さらに同図(G)では一切の内積の判
定を行わず、余弦特性を反転させた特性で、徐々に散乱
光の光量を増加する例である。この例では判定を行わな
い点と、散乱光の増加特性に不連続点が生じないため自
然であるというメリットがある。
【0068】iv) 以上の各特性を用いた場合には、逆光
時に影となる部分が完全に黒くなることがない(図8
(A)参照)。しかし、ゲームプログラムの内容によっ
ては、特定の物体の散乱光の状態を他の物体の散乱光の
状態と異ならせた方が、好ましい視覚的効果を奏する場
合もある。例えば、図8(B)に示すように、逆光時
に、キャラクタCのみの散乱光を上げ、他の物体の散乱
光の強度を下げることが考えられる。このように調整す
れば、キャラクタCについてはその表情を認識すること
ができる一方、他の物体の影となる部分を黒くして、逆
光をさらに逆光らしく演出することもできる。
【0069】v) さらに、図6(H)に示すような散乱
光の増加特性を用いると、別の視覚的効果を奏する。こ
の特性によれば、逆光状態が徐々に強まると(両ベクト
ルの角度が広くなるに連れ)散乱光が増加する(準逆
光)が、完全なる逆光状態(両ベクトルのなす角度が1
80度付近)となる場合には、急に散乱光を減ずる特性
を示す。このような特性では、例えば、図9(A)に示
すように、準逆光状態では、船の影となる部分が黒くな
ることなく認識できるが、太陽が視野に入って船が完全
に逆光となると、影となる部分が完全に黒くなる。この
ため、船をシルエットとして浮かび上がらせるという演
出効果が期待できる。すなわち、影の部分を認識する必
要があるか、また視覚的効果をどのように演出するかに
応じて、散乱光の増加特性を調整すればよい。
【0070】vi) さらに、上記各形態では、散乱光の光
量を変化させていたが、環境光の強度を変えてもよい。
また、逆光時に散乱光の光量を変化させるのではなく、
背景となる空の光量を上げてもよい。空の光量を上げる
ことによっても、相対的に逆光となる影の部分の黒さを
際立たせることができる。
【0071】vii)また、影となる部分または背景の部分
のポリゴンの色調(色相、彩度)を変化させてもよい。
通常のビデオカメラ等では、逆光になった場合に色温度
が上昇するので、画像の色彩のバランスが崩れることが
ある。そこで、この減少を積極的に利用し、逆光となっ
た場合の色調を変更することで、逆光状態を演出するこ
とができる。
【0072】viii)物体毎のポリゴンの光量等を変化さ
せる代わりに、画像全体の光量を一律に下げてもよい。
逆光時に人が眩しいと感ずるときサングラスを掛ける。
このことを画像に再現すべく、逆光時に画像全体の光量
を落とすことで、サングラスを掛けたかのような効果を
奏することもできる。
【0073】
【発明の効果】請求項1、請求項2および請求項11に
記載の発明によれば、仮想空間内の光源が点光源であ
り、シェーディングアルゴリズムがフォンのシェーディ
ング等のポリゴン当たり複数の法線ベクトルを設けたも
のであっても、光源の位置から発せられた光に基づく正
しいシェーディングが高速に行える。
【0074】請求項3乃至請求項請求項10、および請
求項12に記載の発明によれば、逆光状態であるか否か
を簡単に判定し、光源ベクトルと視点ベクトルとの角度
に対応したシェーディングが行える。したがって、逆光
であっても影の部分の立体感を損ねることなく表示でき
る。
【0075】特に、請求項4に記載の発明によれば、視
点ベクトルと光源ベクトルとの内積の正負により逆光を
判定するので、判定が高速に行える他、計算した内積値
を逆光状態のための散乱光の強度の増加量とすることが
できる。
【0076】特に、請求項5に記載の発明では、逆光状
態により陰影を作る物体等を構成するポリゴンに対して
シェーディング状態を変更するので、影となる部分を自
然に明るくすることができる。
【0077】請求項6に記載の発明によれば、逆光によ
り背景のシェーディング状態を変更するので、逆光であ
ることを強調した演出が行える。
【0078】請求項7に記載の発明によれば、逆光によ
りキャラクタ等特定のポリゴンの集合体のシェーディン
グを変更するので、特定のキャラクタ等のみの逆光状態
を強調できる。
【0079】請求項8に記載の発明によれば、仮想空間
全体のシェーディング状態が一様に変更するので、サン
グラスをかけたかのような映像効果を奏することができ
る。
【0080】請求項9に記載の発明によれば、逆光によ
り、輝度、すなわち、光の強度を調節できるので、光量
が欲しい場合は明るくし、逆光らしく見せたい場合は暗
くすることができる。
【0081】請求項10に記載の発明によれば、逆光に
より、色調を変更するので、色温度が変わったかのよう
な映像効果を奏することができる。
【図面の簡単な説明】
【図1】本発明の好適な実施の形態であるビデオゲーム
装置のブロック図である。
【図2】本発明の実施の形態における機能ブロック図で
ある。
【図3】本発明のシェーディング処理を説明するフロー
チャートである。
【図4】本発明のシェーディングを説明する図である。
【図5】本発明の複数のポリゴンに対する光源ベクトル
を示す図である。
【図6】逆光状態における内積値と散乱光の光量の補正
特性を示す図である。
【図7】本発明の実施の形態においてシェーディングを
施した画像の例である。
【図8】本発明のシェーディングを施した他の画像の例
である。
【図9】完全な逆光状態において施したシェーディング
の画像の例である。
【図10】従来のシェーディングに起因する不都合を説
明する図である。
【符号の説明】
1…CD、2a…コネクタ、2b…パッド、2c…ケー
ブル、5…ディスプレイ、5a、5b…スピーカ、10
…CPUブロック、11…ビデオブロック、12…サウ
ンドブロック、13…サブシステム、100…SCU、
101…メインCPU、102…RAM、103…RO
M、104…サブCPU、120、130…VDP、1
21、131…VRAM、122、123…フレームバ
ッファ、132…メモリ、140…DSP、141…C
PU、160…エンコーダ、170…D/A変換器、1
001…重心計算回路、1002…光源ベクトル計算回
路、1003…視点ベクトル計算回路、1004…比較
回路、1005…シェーディング変更回路、1006…
シェーディング回路

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも一つのポリゴンの各頂点に法
    線ベクトルを設定し、このポリゴンを構成する画素の色
    彩を各法線ベクトルの配分により求めるシェーディング
    を施す画像処理装置において、 各前記ポリゴンを代表する代表点を求める代表点計算手
    段と、 各前記ポリゴンの前記代表点からこの仮想空間に存在す
    る点光源へ向かう光線の方向を示す光源ベクトルを各々
    求める光源ベクトル計算手段と、 前記光源ベクトル計算手段により計算された各前記ポリ
    ゴンについての光源ベクトルに基づいて、当該ポリゴン
    のシェーディングを施すシェーディング手段とを備えた
    ことを特徴とする画像処理装置。
  2. 【請求項2】 前記代表点は、各前記ポリゴンの幾何学
    的な重心であることを特徴とする請求項1に記載の画像
    処理装置。
  3. 【請求項3】 仮想的に設定した仮想空間を所定の視点
    から観察した画像を生成するために、少なくとも一つの
    ポリゴンに対しシェーディングを施す画像処理装置にお
    いて、 各前記ポリゴンからの前記視点の方向を示す視点ベクト
    ルを算出する視点ベクトル算出手段と、 直接光の方向を示す光源ベクトルを算出する光源ベクト
    ル算出手段と、 前記視点ベクトル算出手段が算出した前記視点ベクトル
    と前記光源ベクトル算出手段が算出した前記光源ベクト
    ルとが所定の条件に合致したか否かを比較する比較手段
    と、 前記比較手段による比較結果に基づいて、この仮想空間
    を表現するシェーディングの状態を変更するシェーディ
    ング変更手段とを備えたことを特徴とする画像処理装
    置。
  4. 【請求項4】 前記比較手段は、前記視点ベクトルと前
    記光源ベクトルとの内積が負値であることを前記条件と
    する請求項3に記載の画像処理装置。
  5. 【請求項5】 前記シェーディング変更手段は、前記条
    件に合致した場合に、前記光源からの直接光が照射され
    ないポリゴンに対するシェーディングの状態を変更する
    ことを特徴とする請求項3に記載の画像処理装置。
  6. 【請求項6】 前記シェーディング変更手段は、前記条
    件に合致した場合に、前記仮想空間の背景のシェーディ
    ングの状態を変更することを特徴とすることを特徴とす
    る請求項3に記載の画像処理装置。
  7. 【請求項7】 前記シェーディング変更手段は、前記条
    件に合致した場合に、予め定めた特定のポリゴンの集合
    体に対するシェーディングの状態を変更することを特徴
    とする請求項3に記載の画像処理装置。
  8. 【請求項8】 前記シェーディング変更手段は、前記条
    件に合致した場合に、この仮想空間全体にわたるシェー
    ディングの状態を一様に変更することを特徴とする請求
    項3に記載の画像処理装置。
  9. 【請求項9】 前記シェーディング変更手段は、輝度を
    変更することにより前記シェーディングの状態を変更す
    ることを特徴とする請求項3乃至請求項8のいずれかに
    記載の画像処理装置。
  10. 【請求項10】 前記シェーディング変更手段は、色調
    を変更することにより前記シェーディングの状態を変更
    することを特徴とする請求項3乃至請求項8のいずれか
    に記載の画像処理装置。
  11. 【請求項11】 少なくとも一つのポリゴンの各頂点に
    法線ベクトルを設定し、このポリゴンを構成する画素の
    色彩を各法線ベクトルの配分により求めるシェーディン
    グを施す画像処理方法において、 前記ポリゴン毎の幾何学的重心を求める重心計算工程
    と、 前記重心計算手段により求めた前記ポリゴンの重心にお
    ける法線ベクトルを、このポリゴンの各頂点における法
    線ベクトルに基づく配分により求める重心ベクトル計算
    工程と、 各前記ポリゴンの重心からこの仮想空間に存在する点光
    源へ向かう光線の方向を示す光源ベクトルを各々求める
    光源ベクトル計算工程と、 各前記重心における法線ベクトルと前記光源ベクトル計
    算手段により計算された光源ベクトルとに基づいて、当
    該ポリゴンのシェーディングを施すシェーディング工程
    とを備えたことを特徴とする画像処理方法。
  12. 【請求項12】 仮想的に設定した仮想空間を所定の視
    点から観察した画像を生成するために、少なくとも一つ
    のポリゴンに対しシェーディングを施す画像処理方法に
    おいて、 各前記ポリゴンからの前記視線の方向を示す視点ベクト
    ルを算出する視点ベクトル算出工程と、 直接光の方向を示す光源ベクトルを算出する光源ベクト
    ル算出工程と、 前記視点ベクトル算出手段が算出した前記視点ベクトル
    と前記光源ベクトル算出手段が算出した前記光源ベクト
    ルとの関係が所定の条件に合致した場合に、この仮想空
    間を表現するシェーディングの状態を変更するシェーデ
    ィング変更工程とを備えたことを特徴とする画像処理方
    法。
JP8032441A 1996-02-20 1996-02-20 画像処理装置、およびその方法 Expired - Fee Related JP3039357B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8032441A JP3039357B2 (ja) 1996-02-20 1996-02-20 画像処理装置、およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8032441A JP3039357B2 (ja) 1996-02-20 1996-02-20 画像処理装置、およびその方法

Publications (2)

Publication Number Publication Date
JPH09231405A true JPH09231405A (ja) 1997-09-05
JP3039357B2 JP3039357B2 (ja) 2000-05-08

Family

ID=12359057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8032441A Expired - Fee Related JP3039357B2 (ja) 1996-02-20 1996-02-20 画像処理装置、およびその方法

Country Status (1)

Country Link
JP (1) JP3039357B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251625A (ja) * 2001-02-22 2002-09-06 Sega Corp 画像処理装置、画像処理方法、及びコンピュータ上で動作する画像処理プログラムを記録した記録媒体
KR100606653B1 (ko) * 2001-02-06 2006-08-01 가부시키가이샤 소니 컴퓨터 엔터테인먼트 투명 대상의 실시간 음영을 생성하는 시스템 및 방법
KR100614739B1 (ko) * 2003-12-23 2006-08-22 인스티튜트 포 인포메이션 인더스트리 쌍방향 3차원 공간 광 조명 방법 및 시스템
JP2006310936A (ja) * 2005-04-26 2006-11-09 Sharp Corp 任意視点映像生成システム
JP2007226576A (ja) * 2006-02-23 2007-09-06 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007292566A (ja) * 2006-04-24 2007-11-08 Onepass:Kk 天気予報表示システム
JP2010033297A (ja) * 2008-07-28 2010-02-12 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
JP2012515938A (ja) * 2009-01-23 2012-07-12 ローデンストック.ゲゼルシャフト.ミット.ベシュレンクテル.ハフツング 多角形デザインを使用するデザイン制御

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100606653B1 (ko) * 2001-02-06 2006-08-01 가부시키가이샤 소니 컴퓨터 엔터테인먼트 투명 대상의 실시간 음영을 생성하는 시스템 및 방법
JP2002251625A (ja) * 2001-02-22 2002-09-06 Sega Corp 画像処理装置、画像処理方法、及びコンピュータ上で動作する画像処理プログラムを記録した記録媒体
KR100614739B1 (ko) * 2003-12-23 2006-08-22 인스티튜트 포 인포메이션 인더스트리 쌍방향 3차원 공간 광 조명 방법 및 시스템
JP2006310936A (ja) * 2005-04-26 2006-11-09 Sharp Corp 任意視点映像生成システム
JP2007226576A (ja) * 2006-02-23 2007-09-06 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007292566A (ja) * 2006-04-24 2007-11-08 Onepass:Kk 天気予報表示システム
JP2010033297A (ja) * 2008-07-28 2010-02-12 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
JP2012515938A (ja) * 2009-01-23 2012-07-12 ローデンストック.ゲゼルシャフト.ミット.ベシュレンクテル.ハフツング 多角形デザインを使用するデザイン制御
US9354455B2 (en) 2009-01-23 2016-05-31 Rodenstock Gmbh Controlling designs using a polygonal design

Also Published As

Publication number Publication date
JP3039357B2 (ja) 2000-05-08

Similar Documents

Publication Publication Date Title
US6580430B1 (en) Method and apparatus for providing improved fog effects in a graphics system
US5856829A (en) Inverse Z-buffer and video display system having list-based control mechanism for time-deferred instructing of 3D rendering engine that also responds to supervisory immediate commands
US6151026A (en) Image processing apparatus and image processing method
US6246414B1 (en) Image processing in which polygon is divided
US5828378A (en) Three dimensional graphics processing apparatus processing ordinary and special objects
US20070139408A1 (en) Reflective image objects
JP5002742B2 (ja) パラメトリックテクスチャマップを使用して3dオブジェクトをレンダリングするための装置および方法
JPH10222694A (ja) 画像処理装置およびその方法
JP3549871B2 (ja) 描画処理装置及び方法、描画処理プログラムを記録した記録媒体、描画処理プログラム
JP3777149B2 (ja) プログラム、情報記憶媒体及び画像生成装置
JP3748545B2 (ja) プログラム、情報記憶媒体及び画像生成装置
US20030193496A1 (en) Image processing system, image processing method, semiconductor device, computer program, and recording medium
US7479961B2 (en) Program, information storage medium, and image generation system
JP3039357B2 (ja) 画像処理装置、およびその方法
JP3453119B2 (ja) 情報記憶媒体及びゲーム装置
JP3035571B2 (ja) 画像処理装置
EP1477935B1 (en) Image generation method, program and information storage medium therefor
JP4827250B2 (ja) プログラム、情報記憶媒体及び画像生成システム
US7710419B2 (en) Program, information storage medium, and image generation system
JP2001143100A (ja) 三次元ビデオグラフィックスシステムにおける深度ぼかし効果提供方法および装置
JP3586253B2 (ja) テクスチャマッピングプログラム
US7724255B2 (en) Program, information storage medium, and image generation system
JP3453410B2 (ja) 画像処理装置及びその方法
JP2003022453A (ja) 描画処理方法及び装置、描画処理プログラムを記録した記録媒体、描画処理プログラム
JP2002352265A (ja) 画像処理方法及び画像処理用プログラム

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000201

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080303

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090303

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140303

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees