JPH07200868A - 画像処理方法および装置 - Google Patents
画像処理方法および装置Info
- Publication number
- JPH07200868A JPH07200868A JP29488494A JP29488494A JPH07200868A JP H07200868 A JPH07200868 A JP H07200868A JP 29488494 A JP29488494 A JP 29488494A JP 29488494 A JP29488494 A JP 29488494A JP H07200868 A JPH07200868 A JP H07200868A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- value
- composition
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】
【目的】 適正な遠近法画像が得られるように構図の作
成あるいは画像の作図を行なう目的で、 【構成】 過剰計算を最小限にするために、画像（Ａ）
を画素毎の構図座標値（Ｕ，Ｖ）をそれぞれの画素の深
さ座標（Ｚ）の逆比例に基づいて取出す技術が記載され
ており、歪みを避けるために、垂直方向および水平方向
における構図の勾配値（ｄＵ／ｄＸ，ｄＵ／ｄＹ，ｄＶ
／ｄＸ，ｄＶ／ｄＹ）の決定によりその技術を拡大して
ある。
成あるいは画像の作図を行なう目的で、 【構成】 過剰計算を最小限にするために、画像（Ａ）
を画素毎の構図座標値（Ｕ，Ｖ）をそれぞれの画素の深
さ座標（Ｚ）の逆比例に基づいて取出す技術が記載され
ており、歪みを避けるために、垂直方向および水平方向
における構図の勾配値（ｄＵ／ｄＸ，ｄＵ／ｄＹ，ｄＶ
／ｄＸ，ｄＶ／ｄＹ）の決定によりその技術を拡大して
ある。
Description
【０００１】
【産業上の利用分野】本発明は、画像処理の方法および
画像処理装置に関するものである。
画像処理装置に関するものである。
【０００２】特に、本発明は、３次元空間で決まる多角
形を２次元空間に投影し、その投影２次元多角形内の画
素上に２次元画像からの画素値を描いて、３次元画像デ
ータを２次元画像に直す画像処理に関するものである。
形を２次元空間に投影し、その投影２次元多角形内の画
素上に２次元画像からの画素値を描いて、３次元画像デ
ータを２次元画像に直す画像処理に関するものである。
【０００３】
【従来の技術】２次元ビデオ像または２次元構図が固体
の３次元対象物を包んでいるように見えるコンピュータ
・グラフィック方式は知られている。３次元対象物は３
次元画像データとして表わされ、その画像データでは、
多面体の各頂点が、一般に世界空間と呼ぶ仮想の３次元
世界内における３次元座標位置として表わされる。その
対象物は、３次元データから２次元投影を形成して、２
次元静止画像もしくは一連の画像群を形成することによ
って観視され、それらの画像は写真フィルムもしくは映
像搬送媒体に記録することができる。
の３次元対象物を包んでいるように見えるコンピュータ
・グラフィック方式は知られている。３次元対象物は３
次元画像データとして表わされ、その画像データでは、
多面体の各頂点が、一般に世界空間と呼ぶ仮想の３次元
世界内における３次元座標位置として表わされる。その
対象物は、３次元データから２次元投影を形成して、２
次元静止画像もしくは一連の画像群を形成することによ
って観視され、それらの画像は写真フィルムもしくは映
像搬送媒体に記録することができる。
【０００４】対象物の位置は、観視の位置および方向に
沿って、３次元世界空間内で調整することができ、その
結果一連の投影が計算される。これらの投影は、フレー
ム順次に、なるべく実時間で計算することができ、その
結果、仮想の相互作用的環境の創造が容易となる。
沿って、３次元世界空間内で調整することができ、その
結果一連の投影が計算される。これらの投影は、フレー
ム順次に、なるべく実時間で計算することができ、その
結果、仮想の相互作用的環境の創造が容易となる。
【０００５】３次元対象物の変換を行なうためには、多
面体の各面を個々に考察するのが好適であり、その結
果、対象物を一連の多角形群に変換する。したがって、
順次の多角形毎に対象物を投影して各多角形につき照明
値を計算し、その結果、投影した多角形の境界内に存在
する画素位置について表示可能の画素値を決めることが
できる。
面体の各面を個々に考察するのが好適であり、その結
果、対象物を一連の多角形群に変換する。したがって、
順次の多角形毎に対象物を投影して各多角形につき照明
値を計算し、その結果、投影した多角形の境界内に存在
する画素位置について表示可能の画素値を決めることが
できる。
【０００６】各多角形表示毎の生地色の識別に加えて、
多角形表面上に実在するビデオフレームを作図し得るの
で、３次元対象物の周りを平坦な２次元画像で包んだよ
うに見える。ビデオフレームは、単一の画像からなり、
したがって、３次元対象物を構図で包む効果が生ずる。
一方、ビデオ画像は、ビデオ系列からなり、したがて、
中身の詰まった対象物の周りを動いているビデオ画像が
包む効果が生ずる。
多角形表面上に実在するビデオフレームを作図し得るの
で、３次元対象物の周りを平坦な２次元画像で包んだよ
うに見える。ビデオフレームは、単一の画像からなり、
したがって、３次元対象物を構図で包む効果が生ずる。
一方、ビデオ画像は、ビデオ系列からなり、したがて、
中身の詰まった対象物の周りを動いているビデオ画像が
包む効果が生ずる。
【０００７】３次元世界空間においては、多角形がＸ，
ＹおよびＺの次元における方向性を有している。しかし
ながら、２次元平面上に投影すると、多角形は、３次元
世界のＸ，ＹおよびＺの各次元から区別するためにＸお
よびＹの次元として識別する２次元のみによって決ま
る。したがって、ビデオフレーム内においては、ライン
は左上隅から走査され、ライン上の移動は座標値Ｘを増
すことによって達成され、次のラインへの歩進は座標値
Ｙを増すことによって達成される。
ＹおよびＺの次元における方向性を有している。しかし
ながら、２次元平面上に投影すると、多角形は、３次元
世界のＸ，ＹおよびＺの各次元から区別するためにＸお
よびＹの次元として識別する２次元のみによって決ま
る。したがって、ビデオフレーム内においては、ライン
は左上隅から走査され、ライン上の移動は座標値Ｘを増
すことによって達成され、次のラインへの歩進は座標値
Ｙを増すことによって達成される。
【０００８】観視している３次元対象物の概念像を作り
出すためには、３次元多角形群を２次元平面に投影する
際に、遠近法を考慮に入れる必要がある。これは、非線
形処理であり、その結果、計算上の要求となる。したが
って、３次元多角形群の各頂点を２次元平面内の位置に
投影し、その後、陰影や２次元多角形への変換などの他
の処理を行ない、３次元より２次元の計算のみが必要と
なるようにするのが好適である。
出すためには、３次元多角形群を２次元平面に投影する
際に、遠近法を考慮に入れる必要がある。これは、非線
形処理であり、その結果、計算上の要求となる。したが
って、３次元多角形群の各頂点を２次元平面内の位置に
投影し、その後、陰影や２次元多角形への変換などの他
の処理を行ない、３次元より２次元の計算のみが必要と
なるようにするのが好適である。
【０００９】また、線形補間の過程により２次元多角形
の処理を行なうのが通常であり、したがって、各多角形
表面に単一色を割当てて多角形境界を明確に識別し得る
ようにする場合に、各頂点毎に多角形の色彩を識別する
ことにより多角形群にゴーラウド（Gouraud ）陰影を施
すことが可能である。しかる後に、多角形の縁に沿った
画素位置がその縁に沿った線形補間によって計算され、
多角形内の画素値が水平走査線を横切る線形補間によっ
て割当てられた値となる。
の処理を行なうのが通常であり、したがって、各多角形
表面に単一色を割当てて多角形境界を明確に識別し得る
ようにする場合に、各頂点毎に多角形の色彩を識別する
ことにより多角形群にゴーラウド（Gouraud ）陰影を施
すことが可能である。しかる後に、多角形の縁に沿った
画素位置がその縁に沿った線形補間によって計算され、
多角形内の画素値が水平走査線を横切る線形補間によっ
て割当てられた値となる。
【００１０】対処物に中身の詰まった陰影を施した場合
にはかかる過程が適切に作用するが、構図もしくはビデ
オ作図を行なう場合には問題が生ずる。
にはかかる過程が適切に作用するが、構図もしくはビデ
オ作図を行なう場合には問題が生ずる。
【００１１】
【発明が解決しようとする課題】前述したように、構図
作成もしくはビデオ作図を行なう目的は、中身の詰まっ
た３次元対象物の周りを囲むビデオ画像の構図の概念を
創り出すことになる。したがって、３次元世界空間で計
算が行なわれれば、所望の結果が達成される。しかしな
がら、前述したように、これは計算上の要求であり、し
たがって、最も実際的な実施によって実現されるもので
はない。しかしながら、各頂点間の線形補間の過程によ
って２次元多角形表面に施す作用動作は、遠近法の非線
形の性質を考慮に入れておらず、その結果、特に、多角
形が深さ（Ｚ）の値の重要な領域に達した場合に、最終
出力画像における不適正な計算値および明瞭な誤差が生
ずる。
作成もしくはビデオ作図を行なう目的は、中身の詰まっ
た３次元対象物の周りを囲むビデオ画像の構図の概念を
創り出すことになる。したがって、３次元世界空間で計
算が行なわれれば、所望の結果が達成される。しかしな
がら、前述したように、これは計算上の要求であり、し
たがって、最も実際的な実施によって実現されるもので
はない。しかしながら、各頂点間の線形補間の過程によ
って２次元多角形表面に施す作用動作は、遠近法の非線
形の性質を考慮に入れておらず、その結果、特に、多角
形が深さ（Ｚ）の値の重要な領域に達した場合に、最終
出力画像における不適正な計算値および明瞭な誤差が生
ずる。
【００１２】
【課題を解決するための手段】本発明の第１面によれ
ば、３次元空間で決まる多角形を２次元空間に投影し、
その投影２次元多角形内の画素上に２次元画像からの画
素値を描いて、３次元画像データを２次元画像に直す画
像処理方法において、深さ値の逆数およびその逆数と２
次元画像の各頂点毎にそれぞれ作図する画像座標値との
積を決定する過程、並びに、画像の縁に沿った画素の値
および位置を補間して決定する過程を備えたことを特徴
とする画像処理方法が提供される。
ば、３次元空間で決まる多角形を２次元空間に投影し、
その投影２次元多角形内の画素上に２次元画像からの画
素値を描いて、３次元画像データを２次元画像に直す画
像処理方法において、深さ値の逆数およびその逆数と２
次元画像の各頂点毎にそれぞれ作図する画像座標値との
積を決定する過程、並びに、画像の縁に沿った画素の値
および位置を補間して決定する過程を備えたことを特徴
とする画像処理方法が提供される。
【００１３】したがって、本発明によれば、ハードウエ
アにより効率よく補間し得るようにして作図値を遠近法
に従って正確に計算することができる。
アにより効率よく補間し得るようにして作図値を遠近法
に従って正確に計算することができる。
【００１４】本発明の第２面によれば、３次元空間で決
まる多角形を２次元空間に投影し、その投影多角形内の
画素上に２次元画像からの画素値を描いて３次元画像デ
ータを２次元画像に直す画像処理装置において、２次元
空間に投影した前記多角形の頂点の座標を、それぞれ深
さおよび構図画像座標値とともに蓄積する第１蓄積手
段、深さ値の逆数およびその逆数と構図画像座標値との
積を前記頂点毎に取出すように構成した計算手段、当該
計算手段から取出した値を受入れて蓄積する第２蓄積手
段、並びに、第１および第２の蓄積手段に結合するとと
もに第２蓄積手段から取出した値を補間して画像の縁に
沿った画素の値および位置を決定するように構成した処
理手段を備えたことを特徴とする画像処理装置が提供さ
れる。
まる多角形を２次元空間に投影し、その投影多角形内の
画素上に２次元画像からの画素値を描いて３次元画像デ
ータを２次元画像に直す画像処理装置において、２次元
空間に投影した前記多角形の頂点の座標を、それぞれ深
さおよび構図画像座標値とともに蓄積する第１蓄積手
段、深さ値の逆数およびその逆数と構図画像座標値との
積を前記頂点毎に取出すように構成した計算手段、当該
計算手段から取出した値を受入れて蓄積する第２蓄積手
段、並びに、第１および第２の蓄積手段に結合するとと
もに第２蓄積手段から取出した値を補間して画像の縁に
沿った画素の値および位置を決定するように構成した処
理手段を備えたことを特徴とする画像処理装置が提供さ
れる。
【００１５】したがって、本発明によれば、遠近法上で
正確なビデオ構図の作成を、画素毎の計算上の要求を減
らして行ない得る、という利点が与えられる。
正確なビデオ構図の作成を、画素毎の計算上の要求を減
らして行ない得る、という利点が与えられる。
【００１６】
【実施例】以下に図面を参照して実施例につき本発明を
詳細に説明する。
詳細に説明する。
【００１７】図１には、処理ユニット１５を備えて、３
次元画像データを処理し、仮想の３次元世界を観視し得
るようにした２次元図面を作成するように構成配置した
画像処理装置を示す。３次元データおよびプロセサ１５
の動作を制御する指令は、磁気ディスク、光学ディス
ク、磁気光学ディスクその他の適切な蓄積媒体を含み得
る永久蓄積装置１６に蓄積される。これらのデータは、
例えば、従来のオーディオテープ、コンパクトディスク
（ＣＤ−ＲＯＭ）あるいは、所要の時間率でプロセサ１
５にデータを供給し得る他の任意の媒体に蓄積すること
ができる。
次元画像データを処理し、仮想の３次元世界を観視し得
るようにした２次元図面を作成するように構成配置した
画像処理装置を示す。３次元データおよびプロセサ１５
の動作を制御する指令は、磁気ディスク、光学ディス
ク、磁気光学ディスクその他の適切な蓄積媒体を含み得
る永久蓄積装置１６に蓄積される。これらのデータは、
例えば、従来のオーディオテープ、コンパクトディスク
（ＣＤ−ＲＯＭ）あるいは、所要の時間率でプロセサ１
５にデータを供給し得る他の任意の媒体に蓄積すること
ができる。
【００１８】ビデオ画像は、通常のテレビジョン受像機
の形態になし得るビデオ・モニタ１７に供給する。さら
に、相互作用的入力を、キーボード、トラッカーボー
ル、マウスあるいは献呈されたキーパッド等の形態にな
し得る制御器１８から受入れる。
の形態になし得るビデオ・モニタ１７に供給する。さら
に、相互作用的入力を、キーボード、トラッカーボー
ル、マウスあるいは献呈されたキーパッド等の形態にな
し得る制御器１８から受入れる。
【００１９】３次元データは、３次元座標空間におる多
面体頂点の位置を判定することによって蓄積される。３
次元データの２次元観視図は、それらの頂点を直線によ
って接続されていると考え、したがって、一連の多角形
群を規定することにより、順次のフレーム毎に形成され
る。考察中の特別の観視図では見えない多角形を除去す
るために、背面選り捨てなどを行なった後に、各多角形
を順次に考察することによって観視図を作成し、しかる
後に、多角形群のリストを作成して、多角形群が、確実
に適正な順序で形成されるようにする。図２および図３
は、３次元対象物、この場合は立方体２０を一連の平坦
な多角形群として観視する方法を説明している。
面体頂点の位置を判定することによって蓄積される。３
次元データの２次元観視図は、それらの頂点を直線によ
って接続されていると考え、したがって、一連の多角形
群を規定することにより、順次のフレーム毎に形成され
る。考察中の特別の観視図では見えない多角形を除去す
るために、背面選り捨てなどを行なった後に、各多角形
を順次に考察することによって観視図を作成し、しかる
後に、多角形群のリストを作成して、多角形群が、確実
に適正な順序で形成されるようにする。図２および図３
は、３次元対象物、この場合は立方体２０を一連の平坦
な多角形群として観視する方法を説明している。
【００２０】多角形群のそれぞれに中身の詰まった色彩
を割当て、あるいは、各頂点について色彩を識別した後
に、多角形境界内の各画素に対して線形補間の処理によ
り色彩値を割当てることができ、また、構図の作成もし
くはビデオ作図を行なう際にも、同様な過程を採ること
もできる。
を割当て、あるいは、各頂点について色彩を識別した後
に、多角形境界内の各画素に対して線形補間の処理によ
り色彩値を割当てることができ、また、構図の作成もし
くはビデオ作図を行なう際にも、同様な過程を採ること
もできる。
【００２１】図３においては、多角形２１（この場合は
立方体２０の一面の一部をなす三角形Ａ）を、各頂点２
２，２３および２４について３次元座標を処理すること
により、２次元観視平面に投影してある。このように、
これらの頂点は、座標Ｘ，ＹおよびＺを有する３次元空
間で予め決められており、２次元（Ｘ，Ｙ）平面上に投
影されている。
立方体２０の一面の一部をなす三角形Ａ）を、各頂点２
２，２３および２４について３次元座標を処理すること
により、２次元観視平面に投影してある。このように、
これらの頂点は、座標Ｘ，ＹおよびＺを有する３次元空
間で予め決められており、２次元（Ｘ，Ｙ）平面上に投
影されている。
【００２２】Ｘ座標から得た情報の観視者への伝達は、
多角形群が適正な順序で処理され、換言すれば、最大の
Ｚ座標値を有して背後に向かう多角形が、より少ないＺ
座標値を有する多角形より前に処理されることを確か
め、したがって、観視者に最も近い多角形が観視者から
離れた多角形を閉塞することを確かめることによって達
成することができる。さらに、Ｚ座標から得た情報も、
２次元平面への多角形群の遠近法上適正な投影を確保す
ることによって保持することができる。
多角形群が適正な順序で処理され、換言すれば、最大の
Ｚ座標値を有して背後に向かう多角形が、より少ないＺ
座標値を有する多角形より前に処理されることを確か
め、したがって、観視者に最も近い多角形が観視者から
離れた多角形を閉塞することを確かめることによって達
成することができる。さらに、Ｚ座標から得た情報も、
２次元平面への多角形群の遠近法上適正な投影を確保す
ることによって保持することができる。
【００２３】かかる投影の後に、各頂点２２，２３およ
び２４は、２次元表示画像フレーム内の遠近法上適正な
位置に配置される。各頂点は、３次元世界空間から２次
元表示画像平面への作用を反映する座標位置を、３次元
座標セットおよび２次元座標セットの形で含有してい
る。加うるに、各頂点は、多角形の表面の、色彩不透明
性もしくは反映性などの特性を表わす他の情報も含有し
ている。
び２４は、２次元表示画像フレーム内の遠近法上適正な
位置に配置される。各頂点は、３次元世界空間から２次
元表示画像平面への作用を反映する座標位置を、３次元
座標セットおよび２次元座標セットの形で含有してい
る。加うるに、各頂点は、多角形の表面の、色彩不透明
性もしくは反映性などの特性を表わす他の情報も含有し
ている。
【００２４】本実施例においては、プロセサは、３次元
対象物上に２次元画像を作図するものであり、その２次
元画像は、通常のビデオフレームであって、３次元対象
物上にビデオ構図を作図するものである。あるいは、そ
の替わりに、一連のビデオフレーム群を考え、その結
果、３次元対象物上に移動するビデオ系列を作図するよ
うにすることもできる。したがって、そのビデオフレー
ムは、ＲＧＢ値、輝度プラス色差値、あるいは、かかる
値の圧縮表現として規定し得る多色画素群の配列からな
っている。画像フレーム内における各画素の位置は、走
査ラインに沿った左上隅からの測定によりＵ座標を得る
とともに、フレームに沿った走査線数の測定によりＶ座
標を得ることにより識別する。したがって、もとの画像
内における座標位置の識別に記号ＵおよびＶを使用する
が、ＰＡＬ方式で用いる色差信号と混同すべきでないこ
とを強調すべきである。
対象物上に２次元画像を作図するものであり、その２次
元画像は、通常のビデオフレームであって、３次元対象
物上にビデオ構図を作図するものである。あるいは、そ
の替わりに、一連のビデオフレーム群を考え、その結
果、３次元対象物上に移動するビデオ系列を作図するよ
うにすることもできる。したがって、そのビデオフレー
ムは、ＲＧＢ値、輝度プラス色差値、あるいは、かかる
値の圧縮表現として規定し得る多色画素群の配列からな
っている。画像フレーム内における各画素の位置は、走
査ラインに沿った左上隅からの測定によりＵ座標を得る
とともに、フレームに沿った走査線数の測定によりＶ座
標を得ることにより識別する。したがって、もとの画像
内における座標位置の識別に記号ＵおよびＶを使用する
が、ＰＡＬ方式で用いる色差信号と混同すべきでないこ
とを強調すべきである。
【００２５】多角形２１に戻って、この多角形は、出力
画像の一領域と考えることができ、構図作成の目的は、
その領域について画素値を識別することにある。したが
って、画像フレームを蓄積装置内に築き上げ、一旦完全
に満たすと、すなわち、画像フレーム内の全画素につい
て画素値を一旦計算し終えると、観視可能のビデオ信号
を形成するために、その画像フレームをラスター走査す
る。
画像の一領域と考えることができ、構図作成の目的は、
その領域について画素値を識別することにある。したが
って、画像フレームを蓄積装置内に築き上げ、一旦完全
に満たすと、すなわち、画像フレーム内の全画素につい
て画素値を一旦計算し終えると、観視可能のビデオ信号
を形成するために、その画像フレームをラスター走査す
る。
【００２６】各頂点２２，２３および２４は、本来、３
次元空間で決まっており、それぞれ、座標位置（ｘ，
ｙ，ｚ）を有している。２次元平面への投影の結果、各
頂点は観視平面内に２次元座標を有することになり、し
たがって、各頂点２２，２３および２４は、出力ビデオ
フレーム内の三角形２１を境界とする画素群の領域を決
めることになる。
次元空間で決まっており、それぞれ、座標位置（ｘ，
ｙ，ｚ）を有している。２次元平面への投影の結果、各
頂点は観視平面内に２次元座標を有することになり、し
たがって、各頂点２２，２３および２４は、出力ビデオ
フレーム内の三角形２１を境界とする画素群の領域を決
めることになる。
【００２７】理論的には、三角形２１内の各画素を３次
元世界空間内で考えることが可能である。したがって、
入力２次元画像を３次元世界空間内で作図することがで
き、画素値をその空間内で計算することができ、しかる
後に、それらの画素群を２次元観視平面に投影すること
ができる。しかしながら、かかる処置は計算手法上経費
が嵩み、幾多の実際の場面で構図作成能力を発揮するこ
とは許さない。
元世界空間内で考えることが可能である。したがって、
入力２次元画像を３次元世界空間内で作図することがで
き、画素値をその空間内で計算することができ、しかる
後に、それらの画素群を２次元観視平面に投影すること
ができる。しかしながら、かかる処置は計算手法上経費
が嵩み、幾多の実際の場面で構図作成能力を発揮するこ
とは許さない。
【００２８】前述したように、頂点２２，２３，２４を
個々に考慮するとともにその間を補間することにより各
種の陰影を施すことは知られている。また、同様の過程
を構図作成の実施に採用することが期待されており、そ
の際には、各頂点について作図を行なった後に、多角形
によって囲んだ画素群のそれぞれに対する作図を、利用
可能の情報を補間することによって計算する。
個々に考慮するとともにその間を補間することにより各
種の陰影を施すことは知られている。また、同様の過程
を構図作成の実施に採用することが期待されており、そ
の際には、各頂点について作図を行なった後に、多角形
によって囲んだ画素群のそれぞれに対する作図を、利用
可能の情報を補間することによって計算する。
【００２９】入力画像フレーム内の特別の画素位置を識
別する頂点について作図を判定する。したがって、頂点
に対して（Ｘ，Ｙ）位置を規定するのに加えて、その頂
点に対し、（Ｕ，Ｖ）座標も規定する。入力画像フレー
ムから画素を作図して得た色彩値を有する頂点の位置
（Ｘ，Ｙ）で、出力画像フレーム内の画素を規定し、同
様にして、他の頂点における画素値を入力画像フレーム
内に作図する座標（Ｕ，Ｖ）によって判定する。
別する頂点について作図を判定する。したがって、頂点
に対して（Ｘ，Ｙ）位置を規定するのに加えて、その頂
点に対し、（Ｕ，Ｖ）座標も規定する。入力画像フレー
ムから画素を作図して得た色彩値を有する頂点の位置
（Ｘ，Ｙ）で、出力画像フレーム内の画素を規定し、同
様にして、他の頂点における画素値を入力画像フレーム
内に作図する座標（Ｕ，Ｖ）によって判定する。
【００３０】処理すべき三角形２１に関しては、入力画
像フレーム内の画素群の三角形状領域が三角形２１内の
画素群上に作図されることが明らかである。座標（Ｕ，
Ｖ）により規定される画素値は、その多角形領域内のす
べての画素位置（Ｘ，Ｙ）について、線形補間の過程に
より識別される。
像フレーム内の画素群の三角形状領域が三角形２１内の
画素群上に作図されることが明らかである。座標（Ｕ，
Ｖ）により規定される画素値は、その多角形領域内のす
べての画素位置（Ｘ，Ｙ）について、線形補間の過程に
より識別される。
【００３１】図２に描いてあるように、作図および変換
は三角形状多角形を参照して行なわれ、したがって、第
１段階は、対象物２０の平坦な各表面の変換可能な三角
形状多角形群への分割および２次元平面への投影からな
っている。しかる後に、各作図が多角形頂点群に対して
規定されるとともに、付加的位置が補間され、したがっ
て、多角形群内の個々の画素は、入力画像から出力画像
への直接の２次元作図によって識別される。
は三角形状多角形を参照して行なわれ、したがって、第
１段階は、対象物２０の平坦な各表面の変換可能な三角
形状多角形群への分割および２次元平面への投影からな
っている。しかる後に、各作図が多角形頂点群に対して
規定されるとともに、付加的位置が補間され、したがっ
て、多角形群内の個々の画素は、入力画像から出力画像
への直接の２次元作図によって識別される。
【００３２】かかる過程は、頂点２２，２３，２４のそ
れぞれにおける１／Ｚ，Ｕ／ＺおよびＶ／Ｚの値の計算
によって始まる。ついで、これらの値を、三角形の各縁
に沿い、水平走査線を横切って補間する。各画素位置に
おいては、１／（１／Ｚ）の除算により三角形のその位
置に対する適正なＺ値が得られ、そのＺ値とＵ／Ｚおよ
びＶ／Ｚとの各乗算によりＵおよびＶの適正値がそれぞ
れ得られる。
れぞれにおける１／Ｚ，Ｕ／ＺおよびＶ／Ｚの値の計算
によって始まる。ついで、これらの値を、三角形の各縁
に沿い、水平走査線を横切って補間する。各画素位置に
おいては、１／（１／Ｚ）の除算により三角形のその位
置に対する適正なＺ値が得られ、そのＺ値とＵ／Ｚおよ
びＶ／Ｚとの各乗算によりＵおよびＶの適正値がそれぞ
れ得られる。
【００３３】必要なハードウエアの準備が容易であるの
で、この実時間３次元画像合成方法の魅力が期待され
る。図４および図５を参照するに、三角形Ａは、上側も
しくは下側が平坦な二つの三角形ｐおよびｑに分離する
ことができ、それらの三角形についてＵ4 ，Ｖ4 および
Ｚ4 の適正値を計算する必要が生ずる。
で、この実時間３次元画像合成方法の魅力が期待され
る。図４および図５を参照するに、三角形Ａは、上側も
しくは下側が平坦な二つの三角形ｐおよびｑに分離する
ことができ、それらの三角形についてＵ4 ，Ｖ4 および
Ｚ4 の適正値を計算する必要が生ずる。
【００３４】三角形ｑについて考慮するに、各頂点は、
座標（Ｘ2 ，Ｙ2 ），（Ｘ3 ，Ｙ3）および（Ｘ4 ，Ｙ
4 ）を、それぞれ深さ座標値Ｚ2 ，Ｚ3 およびＺ4 とと
もに有している。まず、つぎの初期値を計算して、ハー
ドウエアの増分領域（メモリ３０の第１領域）に負荷す
る。
座標（Ｘ2 ，Ｙ2 ），（Ｘ3 ，Ｙ3）および（Ｘ4 ，Ｙ
4 ）を、それぞれ深さ座標値Ｚ2 ，Ｚ3 およびＺ4 とと
もに有している。まず、つぎの初期値を計算して、ハー
ドウエアの増分領域（メモリ３０の第１領域）に負荷す
る。
【数１】
【００３５】三角形を横切る画素順次の走査は、深さ座
標Ｚ4 をＹ4 における常数Ｙとともに有する点（Ｘ4 ，
Ｙ4 ）から始めて、深さＺ2 の点（Ｘ2 ，Ｙ2 ）に進
む。各画素においては、構図座標ＵおよびＶをつぎのよ
うに計算する。なお、つぎの式における添字ｆは直前の
画素における値を指すものである。
標Ｚ4 をＹ4 における常数Ｙとともに有する点（Ｘ4 ，
Ｙ4 ）から始めて、深さＺ2 の点（Ｘ2 ，Ｙ2 ）に進
む。各画素においては、構図座標ＵおよびＶをつぎのよ
うに計算する。なお、つぎの式における添字ｆは直前の
画素における値を指すものである。
【数２】
【００３６】引続く順次の走査線（Ｙ＜＝Ｙ3 ）につい
ては、つぎの境界条件のもとに、上述と同様にして構図
座標を計算する。
ては、つぎの境界条件のもとに、上述と同様にして構図
座標を計算する。
【数３】 上述の各式において添字「左スロープ」を付したＺ，Ｕ
およびＶの値については、添字「スタート」および「ス
タート（直前ライン）」を付したＺ，ＵおよびＶの値に
１／Ｚを乗算する。
およびＶの値については、添字「スタート」および「ス
タート（直前ライン）」を付したＺ，ＵおよびＶの値に
１／Ｚを乗算する。
【００３７】図５に模式的に示したように、これらの機
能を達成するように構成した装置は、第１領域に初期座
標値および勾配値を負荷するメモリ３０、そのメモリ３
０の第２領域に蓄積した１／Ｚ，Ｕ／ＺおよびＶ／Ｚの
各初期値を取出すように構成した計算ユニット３１、お
よび、各画素毎にＺ，ＵおよびＶの各値を取出すプロセ
サ３２を備えている。実際の構成例においては、計算お
よび処理の各機能が単一の処理装置によって管理される
ものと考えられる。
能を達成するように構成した装置は、第１領域に初期座
標値および勾配値を負荷するメモリ３０、そのメモリ３
０の第２領域に蓄積した１／Ｚ，Ｕ／ＺおよびＶ／Ｚの
各初期値を取出すように構成した計算ユニット３１、お
よび、各画素毎にＺ，ＵおよびＶの各値を取出すプロセ
サ３２を備えている。実際の構成例においては、計算お
よび処理の各機能が単一の処理装置によって管理される
ものと考えられる。
【００３８】歪みを伴わずに構図作成を達成するために
は、適正な構図の濾過を行なう必要がある。したがっ
て、各画素位置においては、単にそれぞれの画素位置に
組合わされた構図座標以上に多くの情報を提供するのが
好適である。しかして、
は、適正な構図の濾過を行なう必要がある。したがっ
て、各画素位置においては、単にそれぞれの画素位置に
組合わされた構図座標以上に多くの情報を提供するのが
好適である。しかして、
【数４】
【００３９】したがって、本発明画像処理方法によれ
ば、構図濾過に必要な情報信号の効率よい導出が可能と
なり、その信号導出はつぎのとおりである。
ば、構図濾過に必要な情報信号の効率よい導出が可能と
なり、その信号導出はつぎのとおりである。
【数５】
【００４０】なお、垂直スロープ変数は、水平スロープ
変数の計算について前述したのと同じ技術を用いて計算
する。
変数の計算について前述したのと同じ技術を用いて計算
する。
【００４１】前述したところから、必要な構図情報の導
出に経費を要する計算は、除算１、乗算１０および加算
４であることが判る。実時間の構図作成を達成するため
には、画素毎にプロセサ３２で必要とする構図計算を低
減させるのに多数の周知技術を用いることができる。あ
らゆる場合に、前述した画像処理方法によって導出する
勾配値（ｄＵ／ｄＸ，ｄＵ／ｄＹ，ｄＶ／ｄＸ，ｄＶ／
ｄＹ）を適正な濾過を行なうのに用いることができる。
出に経費を要する計算は、除算１、乗算１０および加算
４であることが判る。実時間の構図作成を達成するため
には、画素毎にプロセサ３２で必要とする構図計算を低
減させるのに多数の周知技術を用いることができる。あ
らゆる場合に、前述した画像処理方法によって導出する
勾配値（ｄＵ／ｄＸ，ｄＵ／ｄＹ，ｄＶ／ｄＸ，ｄＶ／
ｄＹ）を適正な濾過を行なうのに用いることができる。
【００４２】例として、Ｌ．ウイリアムソン著「ピラミ
ダル・パラメトリックス」コンピュータ・グラフィック
誌（プロシーディング・ＳＩＧＧＲＡＰＨ８３）第１７
巻、第３号、１９８３年７月に記載されているようなミ
ップーマップ濾過方法を用いる場合には、最も適切な分
解能レベルを選択するのに勾配値を用いることができ
る。あるいは、Ｆ．Ｃ．クロウ著「構図作成用総和領域
表」コンピュータ・グラフィック誌（プロシーディング
・ＳＩＧＧＲＡＰＨ８４）第１８巻、第３号、１９８４
年７月に記載されているような方法における総和領域表
の索引、もしくは、Ｎ．グリーン、Ｐ．ヘックバート共
著「楕円加重平均濾過を用いた複合斜視図からのラスタ
総合画像の作成」ＩＥＥＥ ＣＧ＆Ａ誌、第６巻、１９
８６年６月に記載されているような画素毎の楕円形状濾
過粒の導出にかかる勾配値を用いることができる。これ
らの文献の開示内容とこれらの文献に記載されている技
術への本発明方法の拡張とを参考までにここで合体させ
る。
ダル・パラメトリックス」コンピュータ・グラフィック
誌（プロシーディング・ＳＩＧＧＲＡＰＨ８３）第１７
巻、第３号、１９８３年７月に記載されているようなミ
ップーマップ濾過方法を用いる場合には、最も適切な分
解能レベルを選択するのに勾配値を用いることができ
る。あるいは、Ｆ．Ｃ．クロウ著「構図作成用総和領域
表」コンピュータ・グラフィック誌（プロシーディング
・ＳＩＧＧＲＡＰＨ８４）第１８巻、第３号、１９８４
年７月に記載されているような方法における総和領域表
の索引、もしくは、Ｎ．グリーン、Ｐ．ヘックバート共
著「楕円加重平均濾過を用いた複合斜視図からのラスタ
総合画像の作成」ＩＥＥＥ ＣＧ＆Ａ誌、第６巻、１９
８６年６月に記載されているような画素毎の楕円形状濾
過粒の導出にかかる勾配値を用いることができる。これ
らの文献の開示内容とこれらの文献に記載されている技
術への本発明方法の拡張とを参考までにここで合体させ
る。
【００４３】本発明の以上の開示を読めば、他の変形は
当業者には明らかであう。かかる変形には、画像処理装
置ならびに機器および部品の設計、製造および使用につ
き既に知られており、上述した特徴に替えて、もしく
は、加えて用い得る他の特徴を含め得る。特許請求の範
囲はかかる特徴の特別の組合わせについて作成してある
が、本発明の範囲には、明確にもしくは不明確に開示し
た他の新たな特徴およびその組合わせも、既述した技術
的問題を軽減すると否とに拘わりなく、含まれるものと
し、かかる特徴について新たな特許請求の範囲を作成し
得るものとする。
当業者には明らかであう。かかる変形には、画像処理装
置ならびに機器および部品の設計、製造および使用につ
き既に知られており、上述した特徴に替えて、もしく
は、加えて用い得る他の特徴を含め得る。特許請求の範
囲はかかる特徴の特別の組合わせについて作成してある
が、本発明の範囲には、明確にもしくは不明確に開示し
た他の新たな特徴およびその組合わせも、既述した技術
的問題を軽減すると否とに拘わりなく、含まれるものと
し、かかる特徴について新たな特許請求の範囲を作成し
得るものとする。
【図１】２次元構図作成用回路構成を有するプロセサを
含む画像処理装置を示すブロック線図である。
含む画像処理装置を示すブロック線図である。
【図２】２次元表示空間に構図した３次元物体を示す線
図である。
図である。
【図３】図２に構図した物体画像の一部を表わす多角形
を示す線図である。
を示す線図である。
【図４】図２に構図した物体画像の一部を表わす多角形
を示す線図である。
を示す線図である。
【図５】図１の処理ユニットの一部を説明するブロック
線図である。
線図である。
Claims (10)
- 【請求項１】 ３次元空間で決まる多角形を２次元空間
に投影し、その投影２次元多角形内の画素上に２次元画
像からの画素値を描いて、３次元画像データを２次元画
像に直す画像処理方法において、深さ値の逆数およびそ
の逆数と２次元画像の各頂点毎にそれぞれ作図する画像
座標値との積を決定する過程、並びに、画像の縁に沿っ
た画素の値および位置を補間して決定する過程を備えた
ことを特徴とする画像処理方法。 - 【請求項２】 投影２次元画像を複数の三角形に分割す
るとともに、値の決定および補間の各過程を各分割三角
形毎に行なうことを特徴とする請求項１記載の画像処理
方法。 - 【請求項３】 最大から最小までの深さ座標値の順に分
割三角形を処理することを特徴とする請求項２記載の画
像処理方法。 - 【請求項４】 前記複数の三角形がそれぞれ２次元空間
の軸に平行に延在する縁を有するようにして画像を分割
することを特徴とする請求項２記載の画像処理方法。 - 【請求項５】 画像内の２次元空間の少なくとも一方の
軸方向における少なくとも一つの構図座標の変化率とし
て構図の勾配値を取出す過程をさらに備えたことを特徴
とする請求項１記載の画像処理方法。 - 【請求項６】 取出した構図座標値の少なくとも一つに
依存して、使用可能の複数の解像度レベルの一つを選定
する過程を備えたことを特徴とする請求項５記載の画像
処理方法。 - 【請求項７】 補間の過程に線形補間を備えたことを特
徴とする請求項５記載の画像処理方法。 - 【請求項８】 ３次元空間で決まる多角形を２次元空間
に投影し、その投影多角形内の画素上に２次元画像から
の画素値を描いて３次元画像データを２次元画像に直す
画像処理装置において、２次元空間に投影した前記多角
形の頂点の座標を、それぞれ深さおよび構図画像座標値
とともに蓄積する第１蓄積手段、深さ値の逆数およびそ
の逆数と構図画像座標値との積を前記頂点毎に取出すよ
うに構成した計算手段、当該計算手段から取出した値を
受入れて蓄積する第２蓄積手段、並びに、第１および第
２の蓄積手段に結合するとともに第２蓄積手段から取出
した値を補間して画像の縁に沿った画素の値および位置
を決定するように構成した処理手段を備えたことを特徴
とする画像処理装置。 - 【請求項９】 複数の画像のうちのいずれが最大の深さ
座標値を有しているかを決定してその画像を最初に作図
する手段を備えて、複数の画像を連続的に作図し得るよ
うにしたことを特徴とする請求項８記載の画像処理装
置。 - 【請求項10】 前記処理手段が、各画素毎に第１および
第２の蓄積手段に蓄積した深さ座標値および情報に基づ
いて、構図勾配値を、当該画像内の２次元空間の軸方向
における構図座標の変化率として決定するように動作し
得ることを特徴とする請求項８記載の画像処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9324638:7 | 1993-12-01 | ||
| GB939324638A GB9324638D0 (en) | 1993-12-01 | 1993-12-01 | Image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07200868A true JPH07200868A (ja) | 1995-08-04 |
| JP3720864B2 JP3720864B2 (ja) | 2005-11-30 |
Family
ID=10745948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29488494A Expired - Lifetime JP3720864B2 (ja) | 1993-12-01 | 1994-11-29 | 画像処理方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP0656609B1 (ja) |
| JP (1) | JP3720864B2 (ja) |
| DE (1) | DE69420819T2 (ja) |
| GB (1) | GB9324638D0 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002527835A (ja) * | 1998-10-14 | 2002-08-27 | 株式会社日立製作所 | ３次元グラフィックプロセッサ |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5719599A (en) * | 1995-06-07 | 1998-02-17 | Seiko Epson Corporation | Method and apparatus for efficient digital modeling and texture mapping |
| GB9518695D0 (en) * | 1995-09-13 | 1995-11-15 | Philips Electronics Nv | Graphic image rendering |
| US6115047A (en) * | 1996-07-01 | 2000-09-05 | Sun Microsystems, Inc. | Method and apparatus for implementing efficient floating point Z-buffering |
| US6046746A (en) * | 1996-07-01 | 2000-04-04 | Sun Microsystems, Inc. | Method and apparatus implementing high resolution rendition of Z-buffered primitives |
| US6052127A (en) * | 1996-12-30 | 2000-04-18 | Cirrus Logic, Inc. | Circuit for determining non-homogenous second order perspective texture mapping coordinates using linear interpolation |
| GB9712684D0 (en) | 1997-06-18 | 1997-08-20 | Philips Electronics Nv | Fast processing of image primitives |
| GB9716251D0 (en) * | 1997-08-01 | 1997-10-08 | Philips Electronics Nv | Attribute interpolation in 3d graphics |
| CN101556700B (zh) * | 2009-05-15 | 2012-02-15 | 宁波大学 | 一种虚拟视点图像绘制方法 |
| KR20130126195A (ko) * | 2012-05-11 | 2013-11-20 | 삼성전자주식회사 | 계단 현상을 제거하기 위한 영상 처리 방법 및 이를 적용한 영상 처리 장치 |
| CN108961149B (zh) * | 2017-05-27 | 2022-01-07 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5224208A (en) * | 1990-03-16 | 1993-06-29 | Hewlett-Packard Company | Gradient calculation for texture mapping |
-
1993
- 1993-12-01 GB GB939324638A patent/GB9324638D0/en active Pending
-
1994
- 1994-11-28 EP EP19940203442 patent/EP0656609B1/en not_active Expired - Lifetime
- 1994-11-28 DE DE1994620819 patent/DE69420819T2/de not_active Expired - Lifetime
- 1994-11-29 JP JP29488494A patent/JP3720864B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002527835A (ja) * | 1998-10-14 | 2002-08-27 | 株式会社日立製作所 | ３次元グラフィックプロセッサ |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0656609A1 (en) | 1995-06-07 |
| DE69420819T2 (de) | 2000-04-27 |
| DE69420819D1 (de) | 1999-10-28 |
| JP3720864B2 (ja) | 2005-11-30 |
| EP0656609B1 (en) | 1999-09-22 |
| GB9324638D0 (en) | 1994-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1582074B1 (en) | Video filtering for stereo images | |
| US6424351B1 (en) | Methods and systems for producing three-dimensional images using relief textures | |
| US6205241B1 (en) | Compression of stereoscopic images | |
| RU2215326C2 (ru) | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта | |
| RU2431938C2 (ru) | Эффективное кодирование множества видов | |
| EP0637813B1 (en) | Image processing | |
| US20120182403A1 (en) | Stereoscopic imaging | |
| US20100085423A1 (en) | Stereoscopic imaging | |
| EP1679661A1 (en) | Depth image-based modeling method and apparatus | |
| EP3552183B1 (en) | Apparatus and method for generating a light intensity image | |
| JP3524147B2 (ja) | ３次元画像表示装置 | |
| EP0903695B1 (en) | Image processing apparatus | |
| JP3720864B2 (ja) | 画像処理方法および装置 | |
| EP1668919B1 (en) | Stereoscopic imaging | |
| US11528412B2 (en) | Apparatus and method for stitching together multiple images | |
| KR101163020B1 (ko) | ３차원 모델을 스케일링하는 방법 및 스케일링 유닛 | |
| Berretty et al. | High quality images from 2.5 D video. | |
| EP0791209B1 (en) | Image texture mapping using texel caches | |
| JP2000348196A (ja) | ３次元画像生成装置および環境マップの生成方法 | |
| JPH09128564A (ja) | 画像作成装置および方法 | |
| JPH10271535A (ja) | 画像変換方法及び画像変換装置 | |
| JPH07296165A (ja) | ３次元画像撮影用カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040915 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050418 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050909 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130916 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |