JP3961525B2 - 画像処理装置、画像処理方法、ならびに、プログラム - Google Patents

画像処理装置、画像処理方法、ならびに、プログラム Download PDF

Info

Publication number
JP3961525B2
JP3961525B2 JP2004275722A JP2004275722A JP3961525B2 JP 3961525 B2 JP3961525 B2 JP 3961525B2 JP 2004275722 A JP2004275722 A JP 2004275722A JP 2004275722 A JP2004275722 A JP 2004275722A JP 3961525 B2 JP3961525 B2 JP 3961525B2
Authority
JP
Japan
Prior art keywords
image processing
polyhedron
virtual
polygons
approximate polyhedron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004275722A
Other languages
English (en)
Other versions
JP2006092177A (ja
Inventor
秀紀 柳原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004275722A priority Critical patent/JP3961525B2/ja
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to EP05782027A priority patent/EP1796046A4/en
Priority to KR1020077006386A priority patent/KR100898671B1/ko
Priority to US11/575,652 priority patent/US20080094391A1/en
Priority to CNB2005800319162A priority patent/CN100550060C/zh
Priority to PCT/JP2005/016779 priority patent/WO2006033261A1/ja
Priority to TW094132591A priority patent/TWI278789B/zh
Publication of JP2006092177A publication Critical patent/JP2006092177A/ja
Application granted granted Critical
Publication of JP3961525B2 publication Critical patent/JP3961525B2/ja
Priority to HK07114264.3A priority patent/HK1106052A1/xx
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/95Storage media specially adapted for storing game information, e.g. video game cartridges
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/206Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、仮想3次元空間内に配置されポリゴンによって形成されるオブジェクトを、処理すべきポリゴンの数を減らして描画するのに好適な画像処理装置、画像処理方法、ならびに、これらをコンピュータにて実現するプログラムに関する。
従来から、コンピュータグラフィックスの分野や各種のゲーム装置における処理においては、3次元グラフィックスの技術が利用されている。このような3次元グラフィックスの技術では、仮想的な3次元空間の中に描画対象となるオブジェクトを配置する。オブジェクトの表面は多面体で表現されており、多面体の角面は多角形(ポリゴン)となっている。このような3次元グラフィックスの技術については、以下の文献に開示がある。
特許第3490983号
一般に、当該3次元空間の中に配置されたオブジェクトを当該3次元空間の中に配置された視点から、与えられた視線方向に見た様子を3次元グラフィックス表示する場合には、以下のような処理を行っている。すなわち、各ポリゴンのそれぞれについて、その外向き法線と視線方向を表す視線ベクトルとのなす角を対比する。そして、その角が90度〜180度であるようなポリゴンを視点から遠い順にソートする。さらに、ポリゴンを遠い順に画像バッファに投影変換(視点から視線方向に見た場合の透視変換を用いるのが一般的である。)して、当該ポリゴンに割り当てられたテクスチャを投影変換された領域に貼り込む。このような処理を、Zバッファ法と呼ぶ。
しかしながら、3次元グラフィックスの処理は多大な計算を要するため、処理の対象となるポリゴンの数を簡易に(用途によっては近似的に)減らして、処理に要する時間を短くしたい、との要望は強い。
本発明は、上記のような課題を解決するためになされたもので、仮想3次元空間内に配置されポリゴンによって形成されるオブジェクトを、処理すべきポリゴンの数を減らして描画するのに好適な画像処理装置、画像処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することを目的とする。
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。
本発明の第1の観点に係る画像処理装置は、記憶部、判断部、生成部を備え、以下のように構成する。
まず、記憶部は、仮想3次元空間に配置されるオブジェクトの形状を近似する近似多面体の面のいずれかに、当該オブジェクトの表面を形成する複数の多角形のそれぞれを、対応付けて記憶する。
たとえば、仮想3次元空間にビルディングやタワーのような建造物のオブジェクトが配置されている場合、当該建造物の表面のコンクリート面、窓ガラス面、鉄筋面等の各面が、多角形(ポリゴン)に分割されて表現される。
このような建造物に対する近似多面体としては、たとえば直方体や四角錐を採用することができる。ビルディングの大まかな形状は直方体であることが多く、タワーの大まかな形状は四角錐であることが多いからである。
そして、各多角形(ポリゴン)を、当該直方体や当該四角錐のいずれかの面に対応付けて記憶するのである。
一方、判断部は、当該仮想3次元空間内を所定の視点から所定の視線方向に見た場合に、記憶された近似多面体の面のそれぞれが見えるか否かを判断する。
すなわち、本発明では、各多角形について外向き法線ベクトルを視線方向ベクトルとをなす角を計算して対比するのではなく、近似多面体の各面について外向き法線ベクトルが視線方向ベクトルとなす角を計算して対比するのである。上記のように、近似多面体はオブジェクトの大まかな形状を表すものであるから、オブジェクトの外形を構成するポリゴンの数と、近似多面体の面の数とを比較すれば、前者は後者に比べて圧倒的に多いのが一般的である。
さらに、生成部は、対応付けて記憶された複数の多角形のうち、判断工程にて見えると判断された近似多面体の面に対応付けられるものについて、当該所定の視点から当該所定の視線方向に見た画像を生成する。
すなわち、近似多面体の各面のうち、現在の視点から現在の視線方向に見た場合に見える面に対応付けられているポリゴンのみを3次元グラフィックス処理し、近似多面体の各面のうち見えない面に対応付けられているポリゴンについては、各種の処理を省略するのである。
本発明によれば、仮想3次元空間内に配置されポリゴンによって形成されるオブジェクトを、処理すべきポリゴンの数を減らして描画することができ、描画に要する計算時間を短縮することができる。
また、本発明の画像処理装置は、当該複数の多角形のそれぞれについて、当該多角形は、その外向き法線ベクトルと当該近似多面体の面の外向き法線ベクトルとがなす角が最小の近似多面体の面に対応付けて記憶されるように構成することができる。
本発明は、上記発明における近似多面体の各面とオブジェクト表面の各多面体との対応関係を定めるものである。
もっとも単純には、オブジェクト表面の各多面体について、当該多面体に最も近接する近似多面体の面を対応付けることが可能である。このような対応付けによっても、オブジェクトの形状や3次元グラフィックスの適用分野においては、十分な品質の映像が得られることも多い。
一方、本発明では、あらかじめ近似多面体の面のうち、多面体の外向き法線ベクトルとその外向き法線ベクトルとのなす角が最小となるような面に対応付ける。本発明では、多角形が見えるか見えないかの判定はある種の近似を採用していることとなるが、本発明のような対応関係を採用することによって、できるだけ正確にこの判定を行うのである。
本発明によれば、ポリゴンと近似多面体の各面との対応付けを決める指針の一つが提供されるとともに、一旦そのような対応付けをしてしまえば、3次元グラフィックス処理に要する手間は上記発明と同様なので、高速な処理が可能となる。
また、本発明の画像処理装置において、当該近似多面体は、当該オブジェクトに外接する多角柱であり、その面の一つは、当該仮想3次元空間の地面に接し、当該複数の多角形は、当該地面に接する面以外の面に対応付けられて記憶され、判断部は、当該地面に接する面以外の面について、見えるか否かを判断するように構成することができる。
上記の例のように、3次元空間内に配置される建物について描画処理を行う場合には、地面に接している面を描画の対象とすることがないのは明らかである。そこで本発明では、そのような処理を省略する。
本発明によれば、近似多面体の地面に接している面にはポリゴンを対応付けないこととし、地面に接している面についての判断処理を省略して、3次元グラフィックス処理に要する計算量を減らし、高速な処理を行うことができる。
また、本発明の画像処理装置において、当該近似多面体は、当該オブジェクトに外接する多角錐であり、その底面は、当該仮想3次元空間の地面に接し、当該複数の多角形は、当該底面以外の面に対応付けられて記憶され、判断部は、当該底面以外の面について、見えるか否かを判断するように構成することができる。
上記発明では、近似多面体として多角柱(典型的には直方体)を採用したが、本発明では、近似多面体として多角錐を採用し、その底面を地面に接する面とするものである。
本発明によれば、上記発明と同様に、近似多面体の地面に接している面にはポリゴンを対応付けないこととし、地面に接している面についての判断処理を省略して、3次元グラフィックス処理に要する計算量を減らし、高速な処理を行うことができる。
本発明の第2の観点に係る画像処理方法は、記憶部、判断部、生成部を備える画像処理装置にて実行され、記憶部には、仮想3次元空間に配置されるオブジェクトの形状を近似する近似多面体の面のいずれかに、当該オブジェクトの表面を形成する複数の多角形のそれぞれが、対応付けて記憶され、判断工程、生成工程を備え、以下のように構成する。
すなわち、判断工程では、判断部が、当該仮想3次元空間内を所定の視点から所定の視線方向に見た場合に、記憶された近似多面体の面のそれぞれが見えるか否かを判断する。
一方、生成工程では、生成部が、対応付けて記憶された複数の多角形のうち、判断部により見えると判断された近似多面体の面に対応付けられるものについて、当該所定の視点から当該所定の視線方向に見た画像を生成する。
本発明のその他の観点に係るプログラムは、コンピュータを上記画像処理装置として機能させ、または、コンピュータに上記画像処理方法を実行させるように構成する。
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
本発明によれば、仮想3次元空間内に配置されポリゴンによって形成されるオブジェクトを、処理すべきポリゴンの数を減らして描画するのに好適な画像処理装置、画像処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、三次元グラフィックス表示がされるゲーム装置に本発明が適用される実施形態を説明するが、各種のコンピュータ、PDA(Personal Data Assistants)、携帯電話などの情報処理装置においても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
図1は、本発明の画像処理装置が実現される典型的なゲーム装置の概要構成を示す説明図である。以下、本図を参照して説明する。
ゲーム装置100は、CPU(Central Processing Unit)101と、ROM 102と、RAM 103と、インターフェイス104と、コントローラ105と、外部メモリ106と、画像処理部107と、DVD−ROMドライブ108と、NIC(Network Interface Card)109と、音声処理部110と、を備える。
画像処理用のプログラムおよびデータを記憶したDVD−ROMをDVD−ROMドライブ108に装着して、ゲーム装置100の電源を投入することにより、当該プログラムが実行され、本実施形態の画像処理装置が実現される。
CPU 101は、ゲーム装置100全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、CPU 101は、レジスタ(図示せず)という高速アクセスが可能な記憶域に対してALU(Arithmetic Logic Unit)(図示せず)を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、CPU 101自身が構成されているものや、コプロセッサを備えて実現するものがある。
ROM 102には、電源投入直後に実行されるIPL(Initial Program Loader)が記録され、これが実行されることにより、DVD−ROMに記録されたプログラムをRAM 103に読み出してCPU 101による実行が開始される。また、ROM 102には、ゲーム装置100全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
RAM 103は、データやプログラムを一時的に記憶するためのもので、DVD−ROMから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、CPU 101は、RAM 103に変数領域を設け、当該変数に格納された値に対して直接ALUを作用させて演算を行ったり、RAM 103に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。
インターフェイス104を介して接続されたコントローラ105は、ユーザがレーシングゲームなどのゲーム実行の際に行う操作入力を受け付ける。
インターフェイス104を介して着脱自在に接続された外部メモリ106には、レーシングゲーム等のプレイ状況(過去の成績等)を示すデータ、ゲームの進行状態を示すデータ、チャット通信のログ(記録)のデータなどが書き換え可能に記憶される。ユーザは、コントローラ105を介して指示入力を行うことにより、これらのデータを適宜外部メモリ106に記録することができる。
DVD−ROMドライブ108に装着されるDVD−ROMには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。CPU 101の制御によって、DVD−ROMドライブ108は、これに装着されたDVD−ROMに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはRAM 103等に一時的に記憶される。
画像処理部107は、DVD−ROMから読み出されたデータをCPU 101や画像処理部107が備える画像演算プロセッサ(図示せず)によって加工処理した後、これを画像処理部107が備えるフレームメモリ(図示せず)に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部107に接続されるモニタ(図示せず)へ出力される。これにより、各種の画像表示が可能となる。
画像演算プロセッサは、2次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
また、仮想三次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Zバッファ法によりレンダリングして、所定の視点位置から仮想三次元空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。
さらに、CPU 101と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を2次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画することが可能である。
また、画像演算プロセッサは、三角形や四角形のビットマップ画像(テクスチャ画像)を他の三角形や四角形の領域に適宜変形して投影するレンダリング機能を有するのが一般的である。
NIC 109は、ゲーム装置100をインターネット等のコンピュータ通信網(図示せず)に接続するためのものであり、LAN(Local Area Network)を構成する際に用いられる10BASE−T/100BASE−T規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ISDN(Integrated Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとCPU 101との仲立ちを行うインターフェース(図示せず)により構成される。
音声処理部110は、DVD−ROMから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ(図示せず)から出力させる。また、CPU 101の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
音声処理部110では、DVD−ROMに記録された音声データがMIDIデータである場合には、これが有する音源データを参照して、MIDIデータをPCMデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してPCMデータに変換する。PCMデータは、そのサンプリング周波数に応じたタイミングでD/A(Digital/Analog)変換を行って、スピーカに出力することにより、音声出力が可能となる。
このほか、ゲーム装置100は、ハードディスク等の大容量外部記憶装置を用いて、ROM 102、RAM 103、外部メモリ106、DVD−ROMドライブ108に装着されるDVD−ROM等と同じ機能を果たすように構成してもよい。
図2は、本発明の実施形態の一つに係る画像処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。本実施形態に係る画像処理装置201は、記憶部202、判断部203、生成部204を備える。
ここで、記憶部202は、仮想3次元空間に配置されるオブジェクトの形状を近似する近似多面体の面のいずれかに、当該オブジェクトの表面を形成する複数の多角形のそれぞれを、対応付けて記憶する。
図3は、仮想3次元空間に配置されるオブジェクトの形状の例と、それに対応する近似多面体の例とを示す説明図である。以下、本図を参照して説明する。なお、本図では、オブジェクトの輪郭は実線で、近似多面体の輪郭は点線で、それぞれ示すものとする。
図3(a)は、仮想3次元空間内に配置されるビルディングのオブジェクト301と、その仮想多面体302との関係を示すものである。
ビルディングの大まかな形状は、典型的には直方体であることが多く、場合によっては多角柱のような形状をとることもあるが、本例のオブジェクト301の形状は略直方体となっている。オブジェクト301を構成するポリゴンには、コンクリート面や窓ガラス面などのテクスチャが貼り込まれており、仮想3次元空間内のビルディングを表現している。
そこで、仮想多面体302として、当該ビルディングのオブジェクト301の主要構造物(壁面および天井)を面として持つ直方体(四角柱)を採用している。
図3(b)は、仮想3次元空間内に配置されるタワーのオブジェクト301と、その仮想多面体302との関係を示すものである。
タワーの大まかな形状は、典型的には多角柱や多角錐、多角錐台(多角錐の頂点付近を切断した残り)をとることが多く、本例のオブジェクト301の形状は略四角錐となっている。オブジェクト301を構成するポリゴンには、鉄筋を表す網目状のテクスチャのほか、上記オブジェクト301同様、コンクリート面や窓ガラス面などのテクスチャが貼り込まれており、仮想3次元空間内のタワーを表現している。
そこで、仮想多面体302として、当該タワーのオブジェクト301の主要構造物(壁面)を面とし、頂上を頂点として持つ四角錐を採用している。
仮想多面体302としては、典型的には、当該オブジェクト301に外接する(オブジェクト301のポリゴンを内包もしくはオブジェクト301のポリゴンと重なる。)、もしくは、オブジェクト301の概形を表す(したがってオブジェクト301のポリゴンと交差する面が存在することもありうる。)多面体、特に多角柱や多角錐を採用することが望ましい。オブジェクト301を構成するポリゴン数に比べて、これらの多面体の面の数は極めて小さいからである。後述するように、この仮想多面体302の面によってポリゴン処理の刈り込みを行い、計算量を減少させるのである。
記憶部202は、このような仮想多面体のいずれかの面に、オブジェクトのポリゴンのそれぞれを対応付けて記憶する。以下では、このような対応付けをどのように定めるか、について説明する。図4は、視点、視線方向、仮想多面体の1つの面、1つのポリゴンの位置関係を示す説明図である。以下、本図を参照して説明する。
3次元グラフィックスでは、仮想3次元空間内に配置されるポリゴン401を当該空間内に配置される視点402から視線403の方向へ見た様子を描画する。視点402を原点とするポリゴン401の位置ベクトルr 411と、視点402を出発点とする視線403の方向ベクトルs 412と、ポリゴン401の外向き法線ベクトルn 413と、を考える。
ポリゴン401の位置ベクトルr 411の指す先は、ポリゴン401内のいずれかの代表点であり、典型的には、ポリゴン401の頂点のいずれか、もしくは、ポリゴン401の重心である。
当該ポリゴン401のテクスチャを描画すべきか否かの判断には、厳密には、位置ベクトルr 411と、外向き法線ベクトルn 413とのなす角の範囲によって判定することになるが、所定の距離以上離れているオブジェクトの場合には、位置ベクトルr 411にかえて視線方向ベクトルs 412を用いて、近似計算を行うこととしても良い。すなわち、厳密には、
-1 ≦ (r・n)/(|r||n|) ≦ 0
近似的には、
-1 ≦ (s・n)/(|s||n|) ≦ 0
が成立するとき(両ベクトルのなす角が90度以上180度以下のとき)に、当該ポリゴン401の表面が、当該視点403から見えることになる。もちろんさらにarccos(・)を用いて角度そのものを得て、判断を行うこととしても良い。
したがって、本来であれば、ポリゴン401ごとに、上記の内積の計算(ベクトル同士がなす角を求める計算)を行う必要がある。
本実施形態では、これを、ポリゴン401に対応付けられる仮想多面体302の面404を用いて、判断する。面404には、複数のポリゴン401が対応付けられており、面404が見えるか否かの判断で、これに対応付けられた複数のポリゴンが見えるか否かをまとめて(近似的に)判断するのである。
本図に示すように、視点402を原点とする面404の位置ベクトルr' 421と、面404の外向き法線ベクトルn' 423と、を考える。位置ベクトルr' 421の指す先は、面404内の代表点であり、典型的には面404の重心もしくはいずれかの頂点である。
さて、仮想多面体302の面404が見えるか否かは、ポリゴン401の場合の判断と同様に、
-1 ≦ (r'・n')/(|r'||n'|) ≦ 0
もしくは、
-1 ≦ (s・n')/(|s||n'|) ≦ 0
によって判断できる。
そこで、ポリゴン401が見えるか否かの判断を、面404が見えるか否かの判断で近似するためには、ポリゴン401の外向き法線ベクトルn 413と、面404の外向き法線ベクトルn' 423と、のなす角が、近いことが必要とされる。複数のポリゴン401のそれぞれについて、当該ポリゴン401と、仮想多面体302の面404のそれぞれと、について、
(n・n')/(|n||n'|)
の値を求め、これが最大となる(1に近ければ近いほど、両者のなす角は小さくなる。)面404に対応付ければ良い。
記憶部202には、このようにして、ポリゴン401と、面404との対応付けを記憶するのである。
なお、ビルディングやタワーなどの建造物の場合には、その底面(建造物が地面に接する面)が見えることはありえない。そこで、本実施形態では、仮想多面体302の面404として、地面に接する面は採用しない。各ポリゴン401は、仮想多面体302の側面もしくは上面に配置される面404のいずれかに対応付けることになる。
また、仮想多面体302の面404が見えるか否かによってポリゴン401が見えるか否かを判断するのは、近似的手法であるが、本実施形態の適用分野によっては、これで十分な視覚的効果が得られることが多い。もっとも、計算量が増えない(見えないポリゴン401の処理をできるだけ省く)範囲で、この近似をできるだけ正確にすることも可能である。
すなわち、上記の説明では、2つのベクトルのなす角が90度以上180度以下であれば見える、と判断していたが、この下限を少し小さくするのである。たとえば、余裕角を10度として、2つのベクトルのなす角が80度以上180度以下であれば見える、と判断する。具体的には、この余裕角をθ (0°≦θ≦90°,すなわち 0≦θ≦π/2)としたとき、
-1 ≦ (r'・n')/(|r'||n'|) ≦ cosθ
もしくは、
-1 ≦ (s・n')/(|s||n'|) ≦ cosθ
によって判断できる。
これらは、ベクトル同士のなす角の関係で書けば、
π ≧ arccos((r'・n')/(|r'||n'|)) ≧ π/2-θ
もしくは、
π ≧ arccos((s・n')/(|s||n'|)) ≧ π/2-θ
として判断することもできる。いずれの判断を用いるか、は、計算機にどのようなハードウェアや基本ライブラリが備えられているかによって、適宜選択することができる。
なお、法線ベクトルや視線方向ベクトルは長さを1とするのが一般的である。すなわち、
|n| = |n'| = |s| = 1
この場合、上記の判断基準はそれぞれ、
-1 ≦ (r'・n')/|r'| ≦ cosθ;
-1 ≦ (s・n') ≦ cosθ;
π ≧ arccos((r'・n')/|r'|) ≧ π/2-θ;
π ≧ arccos(s・n') ≧ π/2-θ
のように簡単化することが可能である。これを見れば明らかな通り、位置ベクトルr' 421を利用するよりも視線方向ベクトルs 412を利用して判断を行った方が、計算時間が短くてすむと考えられる。
また、θを0°(=0)としたときには、余裕が一切ないことになり、θを90°(=π/2)としたときには、すべてのポリゴン401が見えるものとして処理を行うことになる。したがって、適用分野と計算機資源の能力に応じてθの値を適宜定めれば良い。
図5は、当該画像処理装置にて実行される画像処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
上記のように記憶部202には、すでにオブジェクト301のポリゴン401のそれぞれが、仮想多面体302の面404のいずれかに対応付けて記憶されているものとする。
そこで、まず、判断部203は、仮想多面体302の面404のそれぞれについて繰り返しの処理を行う。まず、面404のすべてについて処理を行ったかを判断し(ステップS501)、まだ処理していない面404があれば(ステップS501;No)、未処理の面404を1つ取得して(ステップS502)、その面404を、仮想3次元空間内に配置された視点402から視線方向ベクトルs 412の方向へ見たときに、当該面404の外面が見えるか否かを判断する(ステップS503)。この際には、上記のように、当該面404に割り当てられた外向き法線ベクトルn' 423や、必要に応じて視点402から当該面404への位置ベクトルr' 421を用いることになる。
面404の外面が見える場合(ステップS503;Yes)、当該面404に対応付けられて記憶部202に記憶されているポリゴン401をすべて、Zバッファに登録し(ステップS504)、ステップS501に戻る。ここで、Zバッファは、RAM 103内などに用意され、後述するように、ポリゴン同士の視点からの遠近関係を判断するために使われる配列状の記憶領域である。
一方、面404の外面が見えない場合(ステップS503;No)ステップS501に戻る。
このように、画像処理装置201がゲーム装置100上に実現される場合には、CPU 101がRAM 103と共働して判断部203として機能する。このほか、画像処理プロセッサが有するマルチメディア命令やベクトル演算命令、並列演算命令などが利用できる場合には、上記の繰返しを並列処理したり、ベクトル演算命令を利用したりして、判断部203の機能を果たすこととしても良い。
ついで、すべての面404について処理が終わると(ステップS501;Yes)、生成部204は、Zバッファに登録されたポリゴン401を、視点から遠い順にソートする(ステップS505)。そして、最も遠いポリゴン401から最も近いポリゴン401まで、以下の処理を繰り返す。
すなわち、ソート済みZバッファ内に登録されたポリゴン401のすべてについて処理をしたかを判断し(ステップS506)、未処理のポリゴン401があれば(ステップS506;No)、未処理のポリゴン401のうち、もっとも視点402から遠いポリゴン401を取得して(ステップS507)、仮想3次元空間における当該ポリゴン401の位置情報、姿勢情報と、視点の位置や視線方向に基づいて所定の透視変換を施し(ステップS508)、画面バッファ内に当該ポリゴン401が投影される領域を取得し(ステップS509)、さらに、当該領域内に当該ポリゴン401に割り当てられたテクスチャを貼り込んで(ステップS510)、ステップS506に戻る。
このように、CPU 101が、RAM 103や画像処理部107の画像処理プロセッサと共働して、生成部204として機能する。
ステップS501〜ステップS504の繰返し処理によって、視点402からそのテクスチャ面が見える(と推測される)ポリゴン401のみがZバッファ内に登録されることになる。
このため、すべてのポリゴン401をZバッファに登録した場合よりも、当然に計算量が少なくてすむ。すべてのポリゴン401について見えるか見えないかの前処理を行うよりも、本実施形態の近似法を用いた方が計算量を少なくすることができるのも、明らかである。
なお、かりに、実際には見えないはずのポリゴン401がZバッファに登録されてしまったとしても、オブジェクト301が閉多面体であるときは、実際には見えないはずのポリゴン401は、それよりも視点402に近い場所にあるポリゴン401によって上書きされることとなる(ことがほぼ確実である)ので、レーシングゲームなどのようにリアルタイムで(プレイヤーがかならずしも注目しない)背景画像の生成に適用するには、十分な性能を有すると考えられる。
さて、上記の繰り返しステップS506〜ステップS510によって画面バッファに描画がされた後は(ステップS506;Yes)、当該画面バッファの内容を垂直同期信号周期でディスプレイ装置に転送することによって、生成された画像を表示して(ステップS511)、本処理を終了する。
このように、本実施形態によれば、計算処理対象となるポリゴンの数を減らすことによってできるだけ高速に3次元グラフィックスを生成することができるようになる。
以上説明したように、仮想3次元空間内に配置されポリゴンによって形成されるオブジェクトを、処理すべきポリゴンの数を減らして描画するのに好適な画像処理装置、画像処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができ、高速な3次元グラフィックス処理を必要とするレーシングゲームやアクションゲームなどを実現する場合のほか、各種の仮想体験を提供するバーチャルリアリティ技術等に適用することができる。
本発明の実施形態の1つに係る画像処理装置が実現される典型的なゲーム装置の概要構成を示す説明図である。 本発明の実施形態の1つの画像処理装置の概要構成を示す模式図である。 オブジェクトと仮想多面体の関係を示す説明図である。 視点、視線の方向、仮想多面体の面、ポリゴンの関係を示す説明図である。 本実施形態の画像処理装置にて実行される画像処理の制御の流れを示すフローチャートである。
符号の説明
100 ゲーム装置
101 CPU
102 ROM
103 RAM
104 インターフェイス
105 コントローラ
106 外部メモリ
107 画像処理部
108 DVD−ROMドライブ
109 NIC
110 音声処理部
201 画像処理装置
202 記憶部
203 判断部
204 生成部
301 オブジェクト
302 仮想多面体
401 ポリゴン
402 視点
403 視線
404 仮想多面体の面
411 ポリゴンの位置ベクトル
412 視線方向ベクトル
413 ポリゴンの外向き法線ベクトル
421 仮想多面体の面の位置ベクトル
423 仮想多面体の面の外向き法線ベクトル

Claims (8)

  1. 仮想3次元空間に配置されるオブジェクトの形状を近似する近似多面体の面のいずれかに、当該オブジェクトの表面を形成する複数の多角形のそれぞれを、対応付けて記憶する記憶部、
    当該仮想3次元空間内を所定の視点から所定の視線方向に見た場合に、前記記憶された近似多面体の面のそれぞれが見えるか否かを判断する判断部、
    前記対応付けて記憶された複数の多角形のうち、前記判断部により見えると判断された近似多面体の面に対応付けられるものについて、当該所定の視点から当該所定の視線方向に見た画像を生成する生成部
    を備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    当該複数の多角形のそれぞれについて、当該多角形は、その外向き法線ベクトルと当該近似多面体の面の外向き法線ベクトルとがなす角が最小の近似多面体の面に対応付けて記憶される
    ことを特徴とする画像処理装置。
  3. 請求項1または2に記載の画像処理装置であって、
    前記判断部は、当該視線方向をあらわすベクトルと、当該近似多面体の面の外向き法線ベクトルと、のなす角が、90度以上180度以下である場合に、当該近似多面体の面が見えると判定する
    ことを特徴とする画像処理装置。
  4. 請求項1または2に記載の画像処理装置であって、
    前記判断部は、当該視点を原点としたときの当該近似多面体のそれぞれの面について、当該近似多面体の面の頂点もしくは重心である代表点の位置ベクトルと、当該近似多面体の面の外向き法線ベクトルと、のなす角が、90度以上180度以下である場合に、当該近似多面体の面が見えると判定する
    ことを特徴とする画像処理装置。
  5. 請求項1から4のいずれか1項に記載の画像処理装置であって、
    当該近似多面体は、当該オブジェクトに外接する多角柱であり、その面の一つは、当該仮想3次元空間の地面に接し、
    当該複数の多角形は、当該地面に接する面以外の面に対応付けられて記憶され、
    前記判断部は、当該地面に接する面以外の面について、見えるか否かを判断する
    ことを特徴とする画像処理装置。
  6. 請求項1から4のいずれか1項に記載の画像処理装置であって、
    当該近似多面体は、当該オブジェクトに外接する多角錐であり、その底面は、当該仮想3次元空間の地面に接し、
    当該複数の多角形は、当該底面以外の面に対応付けられて記憶され、
    前記判断部は、当該底面以外の面について、見えるか否かを判断する
    ことを特徴とする画像処理装置。
  7. 記憶部、判断部、生成部を備える画像処理装置にて実行される画像処理方法であって、
    前記記憶部には、仮想3次元空間に配置されるオブジェクトの形状を近似する近似多面体の面のいずれかに、当該オブジェクトの表面を形成する複数の多角形のそれぞれが、対応付けて記憶され、
    前記判断部が、当該仮想3次元空間内を所定の視点から所定の視線方向に見た場合に、前記記憶された近似多面体の面のそれぞれが見えるか否かを判断する判断工程、
    前記生成部が、前記対応付けて記憶された複数の多角形のうち、前記判断工程にて見えると判断された近似多面体の面に対応付けられるものについて、当該所定の視点から当該所定の視線方向に見た画像を生成する生成工程
    を備えることを特徴とする画像処理方法。
  8. コンピュータを、
    仮想3次元空間に配置されるオブジェクトの形状を近似する近似多面体の面のいずれかに、当該オブジェクトの表面を形成する複数の多角形のそれぞれを、対応付けて記憶する記憶部、
    当該仮想3次元空間内を所定の視点から所定の視線方向に見た場合に、前記記憶された近似多面体の面のそれぞれが見えるか否かを判断する判断部、
    前記対応付けて記憶された複数の多角形のうち、前記判断部により見えると判断された近似多面体の面に対応付けられるものについて、当該所定の視点から当該所定の視線方向に見た画像を生成する生成部
    として機能させることを特徴とするプログラム。
JP2004275722A 2004-09-22 2004-09-22 画像処理装置、画像処理方法、ならびに、プログラム Active JP3961525B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2004275722A JP3961525B2 (ja) 2004-09-22 2004-09-22 画像処理装置、画像処理方法、ならびに、プログラム
KR1020077006386A KR100898671B1 (ko) 2004-09-22 2005-09-12 화상처리장치, 화상처리방법, 및, 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체
US11/575,652 US20080094391A1 (en) 2004-09-22 2005-09-12 Image Processor, Image Processing Method, Information Recording Medium, and Program
CNB2005800319162A CN100550060C (zh) 2004-09-22 2005-09-12 图像处理装置及图像处理方法
EP05782027A EP1796046A4 (en) 2004-09-22 2005-09-12 IMAGE PROCESSOR, IMAGE PROCESSING METHOD, INFORMATION RECORDING MEDIUM, AND PROGRAM
PCT/JP2005/016779 WO2006033261A1 (ja) 2004-09-22 2005-09-12 画像処理装置、画像処理方法、情報記録媒体、ならびに、プログラム
TW094132591A TWI278789B (en) 2004-09-22 2005-09-21 Image processing apparatus, image processing method, and information recording medium
HK07114264.3A HK1106052A1 (en) 2004-09-22 2007-12-28 Image processor and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004275722A JP3961525B2 (ja) 2004-09-22 2004-09-22 画像処理装置、画像処理方法、ならびに、プログラム

Publications (2)

Publication Number Publication Date
JP2006092177A JP2006092177A (ja) 2006-04-06
JP3961525B2 true JP3961525B2 (ja) 2007-08-22

Family

ID=36090024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004275722A Active JP3961525B2 (ja) 2004-09-22 2004-09-22 画像処理装置、画像処理方法、ならびに、プログラム

Country Status (8)

Country Link
US (1) US20080094391A1 (ja)
EP (1) EP1796046A4 (ja)
JP (1) JP3961525B2 (ja)
KR (1) KR100898671B1 (ja)
CN (1) CN100550060C (ja)
HK (1) HK1106052A1 (ja)
TW (1) TWI278789B (ja)
WO (1) WO2006033261A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401208B2 (en) 2007-11-14 2013-03-19 Infineon Technologies Ag Anti-shock methods for processing capacitive sensor signals
JP5609336B2 (ja) 2010-07-07 2014-10-22 ソニー株式会社 画像データ送信装置、画像データ送信方法、画像データ受信装置、画像データ受信方法および画像データ送受信システム
TWI450215B (zh) * 2010-12-14 2014-08-21 Via Tech Inc 影像物件之隱藏面移除的預先揀選方法、系統以及電腦可記錄媒體
JP5899364B1 (ja) * 2015-09-17 2016-04-06 株式会社Cygames プレイヤの意図を予測してレンダリングするためのリソース配分を決定するプログラム、電子装置、システム及び方法
CN110073658B (zh) 2016-12-07 2022-04-22 京瓷株式会社 图像投影装置、图像显示装置以及移动体
US10923003B2 (en) * 2016-12-07 2021-02-16 Kyocera Corporation Light source apparatus, display apparatus, vehicle, three-dimensional projection apparatus, three-dimensional projection system, image projection apparatus, and image display apparatus
DE102017216821A1 (de) * 2017-09-22 2019-03-28 Siemens Aktiengesellschaft Verfahren zur Erkennung einer Objektinstanz und/oder Orientierung eines Objekts
GB2572996A (en) * 2018-04-19 2019-10-23 Nokia Technologies Oy Processing video patches for three-dimensional content
CN110232741B (zh) * 2019-06-17 2022-11-25 腾讯科技(深圳)有限公司 多层包围盒确定方法、碰撞检测及运动控制方法与设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3689271T2 (de) * 1985-02-26 1994-02-24 Sony Corp Verfahren zur Bildanzeige.
JPH05174156A (ja) * 1991-12-19 1993-07-13 Fujitsu Ltd 立体表示方法及び装置
JP2883514B2 (ja) * 1993-06-10 1999-04-19 株式会社ナムコ 画像合成装置およびこれを用いたゲーム装置
TW284870B (ja) * 1994-01-26 1996-09-01 Hitachi Ltd
US5949423A (en) * 1997-09-30 1999-09-07 Hewlett Packard Company Z buffer with degree of visibility test
JP3654616B2 (ja) * 1997-12-19 2005-06-02 富士通株式会社 階層化ポリゴンデータ生成装置及び方法及び当該階層化ポリゴンデータを用いる三次元リアルタイム映像生成装置及び方法
JP2941248B1 (ja) * 1998-03-09 1999-08-25 核燃料サイクル開発機構 オブジェクトをプリミティブに変換する装置
AU2002245076A1 (en) * 2000-12-06 2002-07-16 Sun Microsystems, Inc. Using ancillary geometry for visibility determination
JP3711273B2 (ja) * 2002-07-22 2005-11-02 富士通株式会社 オクルージョンカリングを行う3次元グラフィックス描画装置

Also Published As

Publication number Publication date
US20080094391A1 (en) 2008-04-24
EP1796046A4 (en) 2008-02-06
TW200617806A (en) 2006-06-01
JP2006092177A (ja) 2006-04-06
CN101027695A (zh) 2007-08-29
KR100898671B1 (ko) 2009-05-22
HK1106052A1 (en) 2008-02-29
KR20070041788A (ko) 2007-04-19
TWI278789B (en) 2007-04-11
CN100550060C (zh) 2009-10-14
WO2006033261A1 (ja) 2006-03-30
EP1796046A1 (en) 2007-06-13

Similar Documents

Publication Publication Date Title
KR100898671B1 (ko) 화상처리장치, 화상처리방법, 및, 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체
JP3853329B2 (ja) ゲームプログラム及びゲーム装置
US20090309872A1 (en) Object Selecting Device, Object Selecting Method, Information Recording Medium, And Program
EP1758061A1 (en) Display, displaying method, information recording medium, and program
US20090023498A1 (en) Voice output device, voice output method, information recording medium and program
JP4187748B2 (ja) 画像生成装置、画像生成方法、ならびに、プログラム
JP4193979B2 (ja) シャドウボリューム生成プログラム及びゲーム装置
JP4852555B2 (ja) 画像処理装置、画像処理方法、ならびに、プログラム
JP2004287504A (ja) 画像生成装置、画像処理方法、ならびに、プログラム
JP4244352B2 (ja) 画像生成装置、画像生成方法、ならびに、プログラム
JP4457099B2 (ja) 画像処理装置、画像処理方法、ならびに、プログラム
JP4815410B2 (ja) 表示装置、表示方法、ならびに、プログラム
JP4210293B2 (ja) シミュレーション装置、シミュレーション方法、ならびに、プログラム
JP2000279642A (ja) ゲーム装置、ゲーム方法、コンピュータ読取可能な記録媒体
JP5143805B2 (ja) 画像処理装置、処理方法、ならびに、プログラム
JP5043903B2 (ja) 画像処理装置、画像処理方法、ならびに、プログラム
JP4113179B2 (ja) シミュレーション装置、シミュレート方法、ならびに、プログラム
JP4750085B2 (ja) 画像表示装置、画像表示方法、ならびに、プログラム
JP4068093B2 (ja) シミュレーション装置、シミュレート方法、ならびに、プログラム
JP2002083315A (ja) 画像描画システム
JP5255610B2 (ja) ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム
JP2013050895A (ja) ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060427

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070516

R150 Certificate of patent or registration of utility model

Ref document number: 3961525

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130525

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130525

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140525

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250