JPH07264473A - テクスチャー画像と特殊ビデオ効果を生成する方法及びその装置 - Google Patents

テクスチャー画像と特殊ビデオ効果を生成する方法及びその装置

Info

Publication number
JPH07264473A
JPH07264473A JP7017247A JP1724795A JPH07264473A JP H07264473 A JPH07264473 A JP H07264473A JP 7017247 A JP7017247 A JP 7017247A JP 1724795 A JP1724795 A JP 1724795A JP H07264473 A JPH07264473 A JP H07264473A
Authority
JP
Japan
Prior art keywords
function
spln
image
value
fractal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7017247A
Other languages
English (en)
Other versions
JP3798827B2 (ja
Inventor
Mohammed Rebiai
レビアイ モハメド
Hugues Pavie
パヴィ ユグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Broadcast SAS
Original Assignee
Thomson Broadcast SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Broadcast SAS filed Critical Thomson Broadcast SAS
Publication of JPH07264473A publication Critical patent/JPH07264473A/ja
Application granted granted Critical
Publication of JP3798827B2 publication Critical patent/JP3798827B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 本発明はテクスチャー画像と特殊なビデオ効
果を生成する方法の提供を目的とする。 【構成】 本発明の方法は、ユーザ定義パラメータによ
り定められ、僅少なブラウン運動形の信号を生成するフ
ラクタル補間関数に基づく微視的テクスチャーを生成す
る段階よりなる。上記方法はモティーフを生成し、再サ
ンプリングを行う段階を更に有する。本発明は、テクス
チャーテレビジョン画像と、標準的なテレビ又は高品位
テレビに特殊な効果の生成に適用し得る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はテクスチャービデオ画像
を生成する方法に係り、特に、ビデオ画像シーケンスに
特殊効果を含めるため実時間的でビデオにテクスチャー
を生成する方法に関する。更に、本発明は上記方法を実
現する装置に関する。
【0002】
【従来の技術】特殊効果と、殊にコンピュータで生成さ
れた画像は映画において周知である。テレビジョンにお
いて特殊効果は、一般的に、モザイク、画像の変形、又
は、巧妙な画像のつなぎに限定されている。しかし、テ
レビジョンの分野においても、多数のコンピュータで生
成された画像(或いはシーケンス)、殊にテクスチャー
画像を作成することが必要とされることがある。現在の
専門家用ビデオ装置は、他の画像が上に重ねられる背景
画像を作成する場合にだけ使用される粗雑な繰り返しの
モティーフ(motif) の形でテクスチャー画像を生成する
ことが可能である。
【0003】
【発明が解決しようとする課題】本発明は、ビデオ画像
に散りばめられ、或いは、例えば、芸術的又は公開的な
応用のためのシーケンスを生成するために一連の画像に
混合用鍵として使用することができるテクスチャーを非
常に広い範囲で選択し得るテクスチャービデオ画像を生
成する新規の方法を提案する。
【0004】その上、本発明は、唯一のテクスチャー生
成方法を使用して、ステージ又はスタジオの装飾用に織
物模様、大理石模様、及び、大気模様(雲模様、霧模
様)の如くのテクスチャーを生成し得るテクスチャービ
デオ画像を生成する新規の方法を提案する。提案するテ
クスチャービデオ画像の生成方法は、完全にパラメータ
で制御されるので、動画化したシーケンスを生成するた
めに外観の変更、或いは、テクスチャーの引伸しを容易
に行い得る。
【0005】最後に、本発明の主たる目的は、実時間
的、即ち、毎秒25画像、毎秒30画像等の周期でテク
スチャービデオ画像を生成し得る新規の方法を提供する
ことである。本発明の他の目的は上記の方法を実現する
装置を提供することである。
【0006】
【課題を解決するための手段】上記本発明の目的を実現
するために、本発明のテクスチャービデオ画像の生成方
法は、ユーザ定義パラメータにより定められ、fBm
(「僅少のブラウン運動」)形信号を発生するフラクタ
ル補間関数に基づく微視的なテクスチャーを生成する段
階よりなる。
【0007】好ましい一実施例において、上記フラクタ
ル関数は式:
【0008】
【数7】
【0009】により定められ、式中、rは欠損性(lacun
arity)又は不規則性因子(r>1)であり;H=(3−
D)であり、ここで、Dは必要とされるフラクタル次数
であり;Nは1画素或いは画像エレメント内に定義をす
るよう固定されたパラメータであり;Spln(x,
y)は整数の座標で生成された点の格子において実際の
点(x,y)のB−スプライン補間である。
【0010】本発明による方法は、フラクタル関数の画
像と、ユーザインタフェース(コンピュータ又は専用端
末)を介して入力されたユーザ定義パラメータとを受
け、微視的なテクスチャーを生成するモティーフ生成段
階を更に有する。上記の段階は、例えば、織物模様又は
大理石模様の如くのテクスチャーを生成するのに特に有
効である。「フラット」なテクスチャーの画像、即ち、
面に「マッピング」されていない画像がこの段の出力に
得られる。この段の出力において、テクスチャーの微視
的なモティーフの設計、或いは、テクスチャーの微視的
なモティーフの複製の何れかを得ることができる。その
上、フラクタル関数をモティーフ上の位相的ノイズとし
て利用し、或いは、フラクタル関数を画像上の付加的ノ
イズとして利用することが可能である。更に、この段階
により、二つの糸状のモティーフを織り合わせ、かつ、
色を付けることが可能になる。
【0011】好ましい一実施例において上記の段階は関
数: M1(x,y)=Spln1(r x x + dpx F(x,y), r y y + dpy F(x,
y)) M2(x,y)=Spln2(r x x + dpx F(x,y), r y y + dpy F(x,
y)) に基づき、式中、rx 及びry は夫々x及びyにおける
モティーフの複製係数であり;dpx 及びdpy は夫々
x及びyにおけるモティーフの位相ずれ係数であり;F
(x,y)は点(x,y)におけるフラクタル関数の値
であり;M1 (x,y)はxに関しrx 回、yに関しr
y 回複製され、xに関しdpx F(x,y)、yに関し
dpy F(x,y)で位相をずらされたモティーフP1
の点(x,y)における値であり;M2 (x,y)はx
に関しrx 回、yに関しry 回複製され、xに関しdp
x F(x,y)、yに関しdpy F(x,y)で位相を
ずらされたモティーフP2 の点(x,y)における値で
ある。
【0012】本発明の他の特徴は、上記方法はテクスチ
ャー画像を面にマッピングし得る再サンプリング段階を
更に有することである。好ましい一実施例において、上
記再サンプリング段階は出力−入力法を用いて行われ
る。本発明の他の特徴は、表示点に対する距離の関数と
して面の点の明度を減衰させることにより画像に奥行き
効果が付加されることである。
【0013】上記の方法を実現する本発明の装置はSp
ln()関数の計算用の特定な回路を含む。特定の例に
おいて、Spln()関数を計算する回路は、最初に、
マトリックス計算:
【0014】
【数8】
【0015】の実行を可能にし、次いで、第2の計算:
【0016】
【数9】
【0017】と、〔y0 y〕の掛算を行う。
【0018】
【実施例】本発明は添付図面を参照して以下の一層詳細
な説明によってより良く理解できるであろう。本発明に
よるテクスチャービデオ画像の生成は、ユーザ定義パラ
メータから微視的なテクスチャーを生成する第1の段階
を有する。実際上、シーンの画像には以下の二通りの情
報の形:画像の区域を画定する輪郭及び各区域に含まれ
る面の性質が含まれる。後者の情報の形はテクスチャー
と呼ばれ、画像の種々の部分を関連付ける関係を表わ
す。その上、テクスチャーは、一般的に、以下の二つの
クラス:巨視的なテクスチャー及び微視的なテクスチャ
ーに分類される。巨視的なテクスチャーは、周知の規則
に従って空間的に組織化された局部的プリミティブ又は
基本モティーフにより画定され、一方、微視的なテクス
チャーは確率の法則に従って画素の位置及び色を決定す
る確率論的な構造により画定される。
【0019】微視的なテクスチャーを生成するため多数
のアルゴリズムが使用されている。しかし、一般的に、
芸術の専門家に周知の上記アルゴリズムの生成し得るテ
クスチャーはある種の形に限定されている。例えば、強
い方向性又は規則性を示す縞模様の如くのテクスチャ
ー、或いは、紙又は織物を模倣するテクスチャーはマル
コフ場によりモデル化することができる。この方法の欠
点は、その繰り返し性構造に起因する複雑さである。例
えば、砂又は草を模倣する別のテクスチャーは自動回帰
法により得ることができる。上記の方法は常に安定であ
るとは限らないという欠点がある。
【0020】雲又は霧のような自然物のテクスチャーを
生成するため、フラクタル法が使用される。フラクタル
はすべてのサイズのレベルで同一のモティーフを示す構
造をなすので、その構造が拡大された場合に、サイズの
もっと小さい場合と同じモティーフが存在する。フラク
タルは位相的な次数と比較し得るフラクタル次数により
特徴付けられる。直線は位相的な次数1を有し、平面は
位相的な次数2を有する。これに対し、1−パラメータ
のフラクタル構造は、平面を占有する程度に依存して1
と2の間のフラクタル次数を有する。このことは、例え
ば、フラクタル構造の構成法を説明する図1に示されて
いる:セグメント1を長さが1/3である三つのセグメ
ントに切断し、中央のセグメントを長さが1/3である
別の二つのセグメントで置き換えると、構造2が得られ
る。新しいセグメントの各々に対しすべてのサイズのレ
ベルでこの処理を繰り返すことにより、構造3が得られ
る。かかる構成法によれば、上記の構造はすべてのサイ
ズのレベルで相似性を示し、次数は1.2である。
【0021】本発明によるテクスチャービデオ画像の生
成方法は、画質、殊に、高解像度画像の点を考慮すると
共に微視的なテクスチャーを実時間で生成する特定のフ
ラクタル補間関数を使用する。上記フラクタル関数は、
霧又は雲等の自然物のテクスチャー、織物、大理石等の
テクスチャー、及び、すべてのサイズのレベルで繰り返
された幾何学的モティーフから構成されるテクスチャー
のような数種類のテクスチャーの基本形を生成し得る。
【0022】使用されるフラクタル補間関数はFbm
(僅少なブラウン運動)関数であり、かつ、式:
【0023】
【数10】
【0024】により特定され、式中、rは欠損性又は不
規則性因子(r>1)であり;H=(3−D)であり、
ここで、Dは必要とされるフラクタル次数であり;Nは
1画素或いは画像エレメント内に定義をするよう固定さ
れたパラメータであり;Spln(x,y)は整数の座
標で生成された点の格子において実際の点(x,y)の
B−スプライン補間である。上記格子状の点の値は、求
めるフラクタルに依存して無作為的或いは決定論的な形
である。
【0025】本発明において、関数F()はサイズがW
×Lである画像を生成し得るよう定められ、Wはライン
毎の点の数であり、Lはスクリーン内の作動的なライン
の本数である。ビデオ画像の生成を含む本発明の基本構
造において、画像サイズは720×576から高解像度
1920×1250までとし得る。この種の高解像度を
実現するため、スクリーンはサイズがdl×dh画素で
あるNbc=Bl×Bh個のブロックに分割され、ここ
で、整数Bl及びBhは、図2に示す如く、夫々水平及
び垂直位置を表わす。かかる場合に、ブロックの隅は、
図2に示す如く、(0,0)から(Bl,Bh)までの
整数座標を有するNpt=(Bl+1)×(Bh+1)
個の点をなす。従って、xi が空間〔0,W−1〕に属
しyi が〔0,L−1〕に属する場合に、スクリーンの
点(xi ,yi )に対し以下の式によりF(x,y)を
計算する:
【0026】
【数11】
【0027】かくして、Npt個の整数座標(0,0)
乃至(Bl,Bh)において値が得られるので、Spl
n()関数を定めることができる。式(1)に従ってr
>1及びk<0の場合にSpln(rk x,rk y)を
計算する必要がある。即ち、〔0,Bl〕×〔0,B
h〕であるSpln()の定義域の外側を取り扱う。そ
のため、x及びy方向に周期性を与えることによりこの
領域を拡張し: i∈ 0,Bh であるすべてのiに対し、Spln(Bl,i)=Spln
(0,i) j∈ 0,Bl であるすべてのjに対し、Spln(j,Bl)=Spln
(j,0) 全てのk∈N及びl∈Nに対し、Spln(x,y)=Spln(x + k
*Bl, y + l*Bh)が得られる。
【0028】Spln(rk x,rk y)を計算するた
めには、組(rk x,rk y)の値を集合〔0,Bl〕
×〔0,Bh〕にマッピングすれば足りる。その上、殊
に霧模様又は雲模様の場合にできる限り均一な微視的テ
クスチャーを得るために、Spln()関数として三次
関数が選択される。この場合に、画像内のあらゆる不連
続性を回避するため16点に基づく補間関数を使用す
る。従って、点Pxyにおける値は式:
【0029】
【数12】
【0030】によって定められ、式中、
【0031】
【数13】
【0032】であり、MB は双三次多項式の係数の計算
を可能にするマトリックスである。好ましくは、M
B は:
【0033】
【数14】
【0034】で与えられる。 表記:
【0035】
【数15】
【0036】U=MB X V=MB Y を使用すると、式(3)は、 Spln(Px,y )=UT PV と表わされ、式中、Tは転置演算子である。
【0037】スクリーン上にNpt個の点の格子を作る
ことにより、次数NbcのテーブルP〔〕に格納し得る
Nbc個のマトリックスPの集合が得られる。上記の場
合において、スクリーンの点(xi ,yi )を選択する
ためのマトリックスのテーブルP〔〕のインデックスI
は、式: I = (xi div dl) + Bl×(yi div dh) により計算され、式中、div は整数除算演算子を表わ
す。
【0038】上記の如く定めることにより、P11とP21
の距離はdl画素であり、P11とP 12の距離はdh画素
である。ベクトルXはdl個の値だけを採り、ベクトル
Yはdh個の値だけを採る。点でのSpln()の計算
は、マトリックスPとベクトルUを先に乗算し、その結
果とベクトルVを乗算することだけが必要とされるよう
dl個のベクトルUとdh個のベクトルVを事前に計算
することが可能である。
【0039】関数(1)のパラメータN及びrを考慮す
ることにより、N+1は並行して実行し得るSpl
n()の計算の回数を定め、欠損性rは周波数空間にお
ける幾何学的な推移を定める。Spln()はBl×B
h個の点の格子のB−スプライン補間であるため、高周
波数域においてSpln()のサンプルは、スペクトル
上の問題を回避するためBl×Bh画素のサイズよりも
小さくできない。その上、Nはrに直接関連付けられ
る。
【0040】式(1)及び(2)の関係から、幅Blの
Spln()のサンプルは式: xi =lに対し、rN x=l
【0041】
【数16】
【0042】により特定され、これにより、
【0043】
【数17】
【0044】が得られる。従って、rの信頼性が高くな
るに従って、Nは大きくなる。周波数空間における推移
を確実に緩めるためrに対して小さい値を有し、並行し
て行なう演算を最小限に抑えるためNに対し小さい値を
有することが利点である。テクスチャー化した4/3ビ
デオ画像を生成する基本構成において、N=5及びr=
2とし得る。
【0045】以下に図3を参照してモティーフ生成段に
ついて説明する。この段において、微視的テクスチャー
生成フェーズの間に生成されたフラクタル関数F()は
入力として受けられ、その出力に「フラット」テクスチ
ャーの画像、即ち、面にマッピングされていない画像が
得られる。この段において、テクスチャーの微視的モテ
ィーフを複製し、モティーフの位相ノイズ及び画像の付
加的ノイズとしてフラクタル関数を取り込むことによ
り、テクスチャーの微視的モティーフが生成される。か
くして、二つの糸状のモティーフを織り合わせ、かつ、
色を付けることが可能になる。
【0046】上記の如く、テクスチャーは巨視的及び微
視的なレベルで想定することができる。巨視的テクスチ
ャーを生成するため、プリミティブが一般的に使用され
る。上記の段において、例えば、爬虫類の皮膚、又は、
織物の二本の糸を表わすことが可能であるP1 及びP2
と呼ぶ二つのプリミティブを組合せることができる。巨
視的テクスチャーを得るため、上記プリミティブは画像
内でx及びyに関し複製される。テクスチャーの微視的
構造及びプリミティブの見え方の変化は、前段のフラク
タル関数F()をプリミティブの位相の動きに相関した
ノイズ、或いは、画像に相関したノイズの形で取り入れ
ることにより実現される。二つのプリミティブP1 及び
2 は、単一のプリミティブを利用する場合には同じ値
を有してもよく、或いは、フラクタル側を優勢にするこ
とを望む場合には中間の値を有してもよい。
【0047】本発明の方法において、プリミティブP1
及びP2 を計算するために上述のスプライン関数を使用
する。図3に示す如く、各プリミティブはB−スプライ
ン関数による複製の関数として補間するNpt個の点によ
り特徴付けられる。かくして、同図の(A)はP1 を画
定するNpt個の点を表わし、同図の(B)はP2 を画定
するNpt個の点を表わし、同図の(C)はモティーフP
1 及びP2 を複製することにより得られる巨視的構造を
表わす。大凡、巨視的テクスチャーを生成するため以下
の関数を使用する。
【0048】Spln1 ()は点P1 のテーブルを有す
るSpln()であり、Spln2()は点P2 のテー
ブルを有するSpln()であると想定する。次いで、
関数M1 及びM2 : M1(x,y)=Spln1(r x x + dpx F(x,y), r y y + dpy F(x,
y)) M2(x,y)=Spln2(r x x + dpx F(x,y), r y y + dpy F(x,
y)) を定め、式中、rx 及びry は夫々x及びyにおけるモ
ティーフの複製係数であり;dpx 及びdpy は夫々x
及びyにおけるモティーフの位相ずれ係数であり;F
(x,y)は点(x,y)におけるフラクタル関数の値
であり;M1 (x,y)はxに関しrx 回、yに関しr
y 回複製され、xに関しdpx F(x,y)、yに関し
dpy F(x,y)で位相をずらされたモティーフP1
の点(x,y)における値であり;M2 (x,y)はx
に関しrx 回、yに関しry 回複製され、xに関しdp
x F(x,y)、yに関しdpy F(x,y)で位相を
ずらされたモティーフP2 の点(x,y)における値で
ある。
【0049】上記のモティーフ生成段から面に生成され
る微視的又は巨視的なテクスチャーのマッピングを行い
得る。かかるマッピングは再サンプリング段を有するこ
とにより実現され、この再サンプリングは「出力−入力
(output-to-input) 」法として周知の方法を使用して行
うことが好ましい。かかる方法により、二つの画像の画
素間の変換を計算する際にフィルタリングの欠点を回避
し得る。この例において、地面、天井、壁等の平面にテ
クスチャーをマッピングする際に使用される方法を以下
に図4の(A)乃至(C)を参照して説明する。かかる
例において、3次元空間(O,X,Y,Z)のテクスチ
ャー面のスクリーンの平面への透視投影が選択されてい
る。このため、以下の演算: ・フラットなテクスチャー面を空間に配置 ・表示スクリーンを空間に配置 ・コンバージェンス点として機能する表示点を空間に配
置 を行うことが必要である。
【0050】図4の(A)乃至(C)を参照し、その例
に限定されることのない表示点の座標の計算及びテクス
チャーの天井へのマッピングのための変換について説明
する。表示点に関し透視投影の対象物を配置する技術
は、コンピュータによる画像生成の分野で周知の「光線
追跡」と呼ばれる方法から得られる。他の面は、同様の
方法又はスクリーン面の中心に関し回転することにより
得ることができる。
【0051】同図の(A)に示す如く、以下の表記を使
用する:(Oi ,Xi ,Yi )は最初のテクスチャー面
の平面であり、画像の次数を有しモティーフ生成段で生
成され、即ち、点C0 、C1 、C2 及びC3 の座標は、
夫々、(0,0)、(0,L−1)、(W−1,L−
1)及び(W−1,0)であり;(Oe ,Xe ,Ye
はスクリーンの平面であり;(Xpv,Ypv)は表示点の
平面(Oe ,Xe ,Ye )に垂直な投影であり;dは表
示点と点(Xpv,Ypv)との距離であり;C1 ’(X
1’,Y1’)は表示点に関するスクリーン平面へのC
1 (X1,Y1)の透視投影であり、C0 ’、C1 ’、
2 ’、C3 ’は、夫々、C0 、C 1 、C2 、C3 の投
影である。
【0052】テクスチャー画像及びスクリーンは、スク
リーン平面が、例えば、スタジオを表わす立体の正面と
一致するよう配置される。次いで: C0 ’=C03 ’=C3 が得られ、C1 ’及びC2 ’はスクリーンを中央で垂直
方向に切断する軸に対し対称的である。
【0053】点(Xpv,Ypv)はスクリーンを中央で垂
直方向に切断する軸にあり、その軸に垂直な軸上で観察
する。次いで、Ypvと、dと、(Oe ,Xe ,Ye )に
投影された点と(Oi ,Xi,Yi )の点との関係とを
求めることが必要である。同図の(B)に示す平面図か
ら関係:
【0054】
【数18】
【0055】が導かれる。同様に同図の(C)に示す側
面図から関係:
【0056】
【数19】
【0057】が導かれる。台形状(C0 ’,C1 ’,C
2 ’,C3 ’)のスクリーン上の点(X’,Y’)に対
し、テクスチャー平面の元の点(X,Y)の座標を以下
の如く計算することができる:
【0058】
【数20】
【0059】テクスチャー画像の面へのマッピングの実
行に加えて、奥行き効果を付加することも可能である。
これは表示点からの距離の関数として面の点の明度を減
衰させることにより得られる。散漫反射の強度は次式に
より与えられることは周知であり: I=Ii .kd cosτ 式中、Ii は入射光度であり;kd は面の反射率であ
り;cosτは、入射光線ベクトルIと、点Pにおける
面に対する法線nとのスカラー積に一致する。
【0060】従って、散乱光の強度は、面と表示点との
距離Spvの平方に反比例して減少する。この距離は:
【0061】
【数21】
【0062】により表わされる。奥行きの効果が一層容
易に認められるよう面の奥行きに関し(換言すれば、Y
の項に関し)際立つ明度を横方向よりも減衰させること
が好ましい。このために、Yに関する項と比較してXに
関する項を無視することができる。distSPV に対する上
述の式に定義される如く、XをY’の関数として表わ
し、上述の簡略化を行うことにより、Y’の関数として
減衰(attenuation) :
【0063】
【数22】
【0064】に対する式が得られ、式中、Cは正規化定
数である。本発明の補足的な特徴は、再サンプリング段
で得られた要素を使用することにより雲模様にレリーフ
を加えることが可能であるという点であり、再サンプリ
ング段により、コンピュータで生成され、例えば、光の
吸収効果を有する雲模様の天井を表わす画像が得られ
る。再サンプリングレベルにおいて、フラクタル面の特
性を有しモティーフ生成段の出力で得られる画像を入力
として取り込む。かかる画像の各画素に対し画素の値に
比例する厚みを関連付ける。モティーフ生成段からのフ
ラクタル画像は、その表面がフラクタル的である立体を
生成するために使用される。この立体は次いで上述の天
井の如く空間(0,X,Y,Z)に置かれる。この例の
場合における計算法は、テクスチャー画像の面へのマッ
ピングに関し説明したのと同様に「光線追跡」により得
られる。図5の(A)及び(B)に上記の段を示す。
【0065】同図の(A)において、ngで示される濃
淡レベルは、雲模様を通過する光の吸収に実質的に比例
し、ngは式:
【0066】
【数23】
【0067】に比例するとして与えられ、式中、α及び
βは正規化定数である。上記の式を解く一つの方法は、
同図の(B)に示す如く、画素を走査するにつれて加算
が進行することが認められるよう積分を離散化して積分
を加算に変換することである。水平線の点から始めて、
スクリーンの上部の点に向かって列毎に、上記の如くス
クリーンの各画素C’に対しテクスチャー平面上の元の
点Cの座標を計算する。Cにおけるフラクタル画像の値
は雲模様の厚みhを与える。次いで、Cにおいて垂直方
向に透過する光の吸収による影響をうけるスクリーンの
画素数を知るため、スクリーン上の高さhの投影he
計算する。
【0068】
【数24】
【0069】スクリーンのセグメント〔(X’,
Y’),(X’,Y’−he )〕を考え、セグメントの
各ポイントC”(X’,Y”)(Y”はY”∈〔Y’,
Y’−he〕)に対し、項: Δng = exp( α.d1(Y',Y",h) + β.d2(Y',Y",h)) を計算する。
【0070】得られた項は画素C”の値に加算される。
スクリーンの水平線から上部に進むにつれて、幾つかの
項ΔngがC”において計算され、画素に与えられる。
このようにして、極めて充分な視覚的効果を有する指数
関数の近似が得られる。しかし、C”において計算され
た項Δngは、関数(exp)と、式:
【0071】
【数25】
【0072】により与えられる α.d1 +β.d2
計算を使用するので依然として複雑である。実際には関
数(exp)を実装するためにサイズが予め定められて
いるテーブル(exp〔〕)を作成することによって問
題を簡略化することが可能である。このテーブルは何ら
不利な影響を認めることなく1024個の値に制限する
ことができた。かかる場合に、上記のα.d1 +β.d
2 はテーブルexp〔〕のインデックスになり、正規化
係数α及びβは、α.d1 +β.d2 の値を〔0,10
23〕の範囲の整数にマッピングする。
【0073】明度が10又は12ビットで符号化される
画像を提供する上述の演算に加えて、モティーフ生成段
の出力において、画素がモティーフP1 或いはモティー
フP 2 の色を採用するかどうかを示すため画素毎に補足
的なデータビットを使用してもよい。かかる場合に、各
画素に対し1ビットが色のLUT(ルックアップテーブ
ル)を選択し、残りの10ビットは色を決める。
【0074】以下では、上述の種々の段を720×57
6又は4:2:2のTV(テレビジョン)画像の生成に
適用する例について説明する。720×576のフォー
マットのTV画像に対し、L=576、W=720と表
わされ: Bl=12, Bh=9; Dl=60, Dh=64; Npt=130, Nbc=108; を選定する。
【0075】r及びNの値に関しては、r=2及びN=
5を選択することが好ましい。r=2はSpln関数の
効果を認めるのに最適的なrの値である。電子回路にお
いてr2kによる乗算はビットシフトで実行することがで
きる。r=2の場合にはN=5である。この場合には、
各画素に対し関数F()を得るためSpln()を6回
計算することが必要であり、集積回路に実装するのには
依然として妥当である。
【0076】各パラメータHに対し、6個の乗算項rkH
を迅速に事前に計算し、テーブルC〔〕に格納すること
が可能である。以下に、上記の内容に基づいてF()を
計算し、モティーフを生成し、レリーフの影響をTVフ
ォーマットに与え、或いは、与えることなくモティーフ
を再サンプリングする種々のアルゴリズムを示す。
【0077】F()の計算アルゴリズム(4:2:2画
像):テーブルP〔〕は初期化され、U〔〕、V〔〕及
びC〔〕は計算されていると仮定する。 開始(BEGIN) 0 から575 のyi に対し終了3までを実行(FOR yi FROM 0 to 575 DO) 0 から719 のxi に対し終了2までを実行(FOR xi FROM 0 to 719 DO) F=0 0 から5 のkに対し終了1までを実行(FOR k FROM 0 to 5 DO) x = xi * 2k y = yi * 2k index _u = x mod 60 index _v = y mod 64 index _p = (y div 60) mod 12 + 12 * (y div 64) mod 9 Spln = U index_u * P index_p * V index_v F = F + C k * Spln 終了1(END_DO) F を表示(Display F) 終了2(END_DO) 終了3(END_DO) 終了(END) 尚、上記アルゴリズム中のModはモジュロー演算子で
あり、divは整数除算演算子を表わす。
【0078】 モティーフ生成アルゴリズム(4:2:2画像): 開始(BEGIN) 0 から575 のyi に対し終了2までを実行(FOR yi FROM 0 to 575 DO) 0 から719 のxi に対し終了1までを実行(FOR xi FROM 0 to 719 DO) X = rx*xi + dpx*F(xi,yi) Y = ry*yi + dpy*F'(xi,yi) M1 = Spln1(X,Y) M2 = Spln2(X,Y) もし(M1 > 閾値) かつ(M2 > 閾値) ならば IF終了3までを実行(IF (( M1 > threshold) and (M2 > threshold) THEN) もし(Odd_duplicate(X,Y)) が真ならば R = M1; COLOR = Color(1) を実行し(IF(Odd _duplicate(X,Y)) THEN R = M1; COLOR = Color(1 )) 真でないならば R = M2; COLOR = Color(2)を実行する(ELSE R = M2 ; COLOR = Color(2)) IF終了1(END_IF) もし(M1 > 閾値) かつ(M2 > 閾値) でないならば(ELSE) もし(M1 > M2) ならば R = M1; COLOR = Color(1) を実行し(IF (M1> M2) THEN R1 = M1; COLOR = Color(1)) もし(M1 > M2) でなければ R = M2; COLOR = Color(2) を実行する(E LSE R = M2; COLOR = Color(2)) IF終了2(END_IF) IF終了3(END_IF) R = R + a*F(xi,yi) 画素(xi,yi) におけるR を表示(Display R at pixel (xi,yi)) 終了1(END_DO) 終了2(END_DO) 終了 尚、上記アルゴリズム中、aは付加的な相関ノイズ係数
であり;Color()はモティーフ1又はモティーフ
2の何れの色であるかを定める数であり;Odd_du
plicate()はサンプルの織り合わせのテスト関
数である。再サンプリング計算アルゴリズム(4:2:2画像) テーブルY1〔〕、Y2〔〕、Xvp及びdは事前に計算されてい
ると仮定する。
【0079】 開始(BEGIN) 0 から575 のY'に対し終了2までを実行(FOR Y' FROM 0 to 575 DO) 0 から719 のX'に対し終了1までを実行(FOR X' FROM 0 to 719 DO) もし(Y'<Y1')ならば (IF(Y'<Y1') THEN) Y = Y1 Y' X = Y2 Y' * (X' - Xvp) + Xvp もし((X<720)かつ(X>0))ならば (IF (X<720)AND(X>0) THEN) テクスチャー平面に画素(X,Y) を配置し、スクリーン上の(X',Y') にそれを表示する。
【0080】 ((X<720)かつ(X>0))ではないならば 背景(X',Y') を表示する(ELSE display _background(X',Y')) ** (X',Y') は台形(C0',C1',C2',C 3') の左側或いは右側である。 IF終了(END_IF) (Y'<Y1')ではないならば 背景(X',Y') を表示する(ELSE display _ba ckground(X',Y')) ** (X',Y') は台形(C0',C1',C2',C3') の下側であ る。
【0081】 IF終了(END_IF) 終了1(END_DO) 終了2(END_DO) 終了(END) 再サンプリング計算アルゴリズム(4:2:2画像) テーブルY1〔〕、Y2〔〕、Y3〔〕、attenuation
〔〕、d3 〔〕、Xvp及びdは事前に計算されている
と仮定する。
【0082】 開始(BEGIN) 0 から575 のY'に対し終了3までを実行(FOR Y' FROM 0 to 575 DO) 0 から719 のX'に対し終了2までを実行(FOR X' FROM 0 to 719 DO) もし(Y'<Y1')ならば (IF(Y'<Y1') THEN) Y = Y1 Y' X = Y2 Y' * (X' - Xvp) + Xvp もし((X<720)かつ(X>0))ならば (IF (X<720)AND(X>0) THEN) h = pixel _value(テクスチャー画像,X,Y) (h = pixel_value(te xtured_image,X,Y)) もし(レリーフが必要)であれば (IF (relif-required) THEN) he = h * Y3 Y' (expo )のアドレス =(exp ) のアドレス+ bh (address(expo )=address(exp )+bh) Y'からY'-he のY"に対し終了1までを実行(FOR Y" FROM Y' to Y'-he DO) Dng = expo d3 Y',Y" ** Dng の計算 ng = pixel_value(スクリーン平面,X',Y") ng = ng + Dng ** 積分の離散化 display(スクリーン平面,X',Y",ng) 終了1(END_DO) (レリーフが必要)でなければ display( スクリーン平面,X',Y", h*attenuation Y' ) (ELSE display(screen _plane,X',Y",h*atte nuation Y' ) **レリーフは不要 IF終了(END_IF) ((X<720)かつ(X>0))でなければ display(スクリーン平面,X',Y', バ ックグラウンド値) (ELSE display(screen-plane,X',Y',back_grou nd_value) **(X',Y') は台形(C0',C1',C2',C 3')の左側又は右側である。
【0083】 IF終了(END_IF) (Y'<Y1')ではないならば display(スクリーン平面,X',Y', バックグラ ウンド値) (ELSE display(screen-plane,X',Y',back_ground_value) **(X',Y') は台形(C0',C1',C2',C 3')の下側である。
【0084】 IF終了(END_IF) 終了2(END_DO) 終了3(END_DO) 終了(END) 尚、上記アルゴリズム中、display(buffe
r,X’,Y’,val)は、バッファ平面buffe
rの画素pixel(X’,Y’)で値valを表示す
る。
【0085】pixel_value(buffer,
X,Y)は、点(X,Y)における値をバッファ平面b
ufferにマッピングする。以下に、特に、図6乃至
17を参照してr=2及びN=5の場合に関する上述の
処理を行う装置の実装モードを説明する。かかる例の場
合に、フラクタル関数F(x,y)は: F(x,y) = r0 Spln(x,y) + rH Spln(rx,ry) + (6) r2H Spln(r2x,r2y) + r3H Spln(r3x,r3y) + r4H Spln(r4x,r4y) + r5H Spln(r5x,r5y) と表わされる。
【0086】従って、Spln(rk x,rk y)を計
算するには、組(rk x,rk y)の値を集合〔0,B
l〕×〔0,Bh〕にマッピングすれば充分である。図
6は特に関数Spln()を計算し得る「FitMa
t」とラベルを付けられた特定の回路の結合を示す図で
ある。第1の回路は以下のマトリックスを乗算する第1
のマトリックス計算を実行する:
【0087】
【数26】
【0088】にベクトル
【0089】
【数27】
【0090】を乗算する。このため、係数P0001
0203及びP10111213はRAM(ラン
ダムアクセスメモリ)に格納され、一方、ベクトルX0
1 2 3 の値は回路の入力にそのまま供給してもよ
く、或いは、別のRAMに格納してもよい。
【0091】最初に、値X0 は乗算器においてP00で乗
算され、その結果はレジスタr0 に格納され;X1 はP
01で乗算され、その結果はレジスタr1 に格納され;X
2 はP02で乗算され、その結果はレジスタr2 に格納さ
れ;X3 はP03で乗算され、その結果はレジスタr3
格納される。同様に、X0 はP10で乗算され、その結果
はレジスタr’0 に格納され;X1 はP11で乗算され、
その結果はレジスタr’1 に格納され;X2 はP12で乗
算され、その結果はレジスタr’2 に格納され;X3
13で乗算され、その結果はレジスタr’3 に格納され
る。次いで、r 0 及びr1 に格納された値は加算され、
その結果はr”1 に格納され;r2 及びr3 に格納され
た値は加算され、その結果はr”0 に格納される。r”
0 とr” 1 からの二つの値は加算され、その結果R0
格納される。同様に、r’0 及びr’1 に格納された値
は加算され、その結果はr”3 に格納され;r’2 及び
r’3 に格納された値は加算され、その結果はr”2
格納される。r”2 とr” 3 からの値は加算され、値R
1 が得られる。かくして、値R0 及びR1 が得られ、次
いで乗算される。かかる例において、R0 は係数Y0
より乗算され、得られた値はレジスタs0 に格納され;
1 は係数Y1 により乗算され、得られた値はレジスタ
1 に格納される。s0 とs1 に格納された値は加算さ
れ値sが得られる。式(3)に与えられた関数Spln
()を実行するため、図6に示す如く配置された二つの
回路を使用する。かかる例において、回路FirMat
1は値R0 、R1 及びsを出力し、入力として回路Fi
rMat2から値R2 ×U2 +R3 ×U3 を受ける。回
路FirMat2は値R3 及びR2 を更に出力する。二
つの回路FirMat1及びFirMat2は入力とし
て、特に、ユーザ側プロセッサからアドレス及び係数V
0 ,V1 ,V2 ,V3 を受ける。かくして、図6に示す
如く縦続された二つのFirMat回路は、式(3)を
以下の式:
【0092】
【数28】
【0093】の如く分解することにより実行すべきマト
リックス計算を行い得る。以下に、図7乃至10を参照
してフラクタル関数の生成回路を説明する。フラクタル
関数は、図7において「カード」と呼ばれる「ハードウ
ェア」部品と、図7において「カード外」と呼ばれる部
分のプロセッサ1からのデータとによって生成される。
簡単に言うと、フラクタル関数を生成する回路は式
(4)により表わされる関数F(X,Y)を実行するた
めに使用される計算ブロック2を有する。かかる計算ブ
ロックは図7に示す如く6台のFirMat回路からな
る。
【0094】図7に示す生成器において、各画素に対
し、FirMat回路の対(FirMat1及びFir
Mat2;FirMat3及びFirMat4;Fir
Mat5及びFirMat6)の各々は、二つのSpl
n()の項を計算する。上記の対、夫々、FirMat
2、FirMat4及びFirMat6からの三つの出
力は、以下により詳細に説明する評価器(ponderator)3
の入力に供給される。その上、生成器の「ハードウェ
ア」部分は以下により詳細に説明するシーケンサ4を有
する。評価器及びSpln()計算ブロックからシーケ
ンサ4の入力に供給されたデータは、上述した如く、特
に、プロセッサ1と外部手段とから得られる。図7に示
す如く、評価器3の出力でフラクタル関数Fが得られ
る。
【0095】図8を参照してシーケンサ4の一実施例を
簡潔に説明する。シーケンサ4は、計算ブロック2のF
irMat回路の各対に画像の画素の関数としてパラメ
ータu、v及びpを供給する。図8のシーケンサは上述
の720×576フォーマットのTV画像の取扱いに適
合させられ、パラメータrの値は2に設定されている。
k の乗算はビットの左シフトにより行われる。従っ
て、図8のシーケンサはクロック周波数「H画素」で計
数する点カウンタ10と、ラインカウンタ11とを有す
る。点カウンタ10の出力は同一構造の三つの回路の入
力に供給され:その各回路は並列した2台のシフトレジ
スタ12及び13、12’及び13’、12”及び1
3”により構成される。レジスタ12は点カウンタ10
から値を受け、一方、レジスタ13は1ビットだけ左に
シフトされたその値を受け;レジスタ12’は2ビット
だけ左にシフトされたその値を受け;レジスタ13’は
3ビットだけ左にシフトされたその値を受け;レジスタ
12”は4ビットだけ左にシフトされたその値を受け;
レジスタ13”は5ビットだけ左にシフトされたその値
を受ける。レジスタ12及び13に格納された値はマル
チプレクサ14に供給される。同様に、レジスタ12’
及び13’からの値はマルチプレクサ14’に供給さ
れ、レジスタ12”及び13”からの値はマルチプレク
サ14”に供給される。上記マルチプレクサは周波数2
Hで動作する。マルチプレクサ14、14’及び14”
からの値は720による除算を行う除算器15,1
5’,15”に供給され、この除算の余りは60による
除算を行う除算器16,16’,16”に供給される。
60による除算の商はインデックスpの一部を形成する
ため除算器16,16’,16”からレジスタ17,1
7’,17”に供給され、一方、除算器16,16’,
16”による除算の余りは、夫々インデックスuを形成
するためレジスタ17,17’,17”に供給される。
1ラインのすべての点の計数終了後に、点カウンタはラ
インカウンタを増加させる。ラインカウンタ11の出力
は同一構造の三つの回路に供給され:その出力は二つの
レジスタ18及び19、18’及び19’、18”及び
19”よりなる三つの組に夫々供給される。これらのレ
ジスタはレジスタ12,13,12’,13,12”,
13”と同様に機能するシフトレジスタである。同様に
して、二つのシフトレジスタ18及び19の出力は周波
数2Hで動作するマルチプレクサ20に供給され、シフ
トレジスタ18’及び19’の出力はマルチプレクサ2
0’に供給され、シフトレジスタ18”及び19”の出
力はマルチプレクサ20”に供給される。マルチプレク
サ20,20’及び20”の出力は、夫々、576によ
る除算を行う除算器21,21’,21”に供給され
る。かかる除算の余りは64による除算を行う除算器2
2,22’,22”に供給される。除算器22,2
2’,22”による除算の商は、インデックスpの一部
として夫々レジスタ17,17’,17”に供給され、
一方、除算器22,22’,22”による除算の商は、
インデックスvの一部として夫々レジスタ17,1
7’,17”に供給される。実際上、項u、v及びp
は、図7の計算ブロック2においてFirMat回路の
対により使用されるべく22ビットアドレスに関連付け
られる。
【0096】以下に、図9を参照して、図7の評価器3
の一実施例を説明する。評価器は、計算ブロック2から
のSpln()の値に適用する必要がある係数C0 ,C
1 ,C2 ,C3 ,C4 ,C5 を夫々有するレジスタ3
0,30’,31,31’,32,32’を含む。より
具体的な例では、レジスタ30及び30’は周波数2H
で動作するマルチプレクサ33に接続され、マルチプレ
クサ33の出力は回路FirMat1及びFirMat
2からSpln()項を別の入力に受ける乗算器33’
に供給される。同様に、レジスタ31及び31’はマル
チプレクサ34に接続され、マルチプレクサ34の出力
は回路FirMat3及びFirMat4からSpln
()項を別の入力に受ける乗算器34’に供給される。
レジスタ32及び32’はマルチプレクサ35に接続さ
れ、マルチプレクサ35の出力は回路FirMat5及
びFirMat6からSpln()項を別の入力に受け
る乗算器35’に供給される。乗算器33’及び34’
の結果は、加算器36で加算され、その加算器36の出
力は加算器37において乗算器35’の出力に加算され
る。加算器37の出力に得られる結果は第1の順次の三
つのSpln()項に対し第1のレジスタ38に格納さ
れ、一方、第2の順次の三つのSpln()項に対し加
算器37の結果は第2のレジスタ39に格納される。上
記のレジスタ38及び39は周波数27MHzで動作す
る。レジスタ38及び39の出力は加算器40に供給さ
れ、加算器40の出力は、13.5MHzの周波数で動
作し、その出力に必要とされるフラクタル関数が得られ
るレジスタ41に格納される。
【0097】以下に、図10乃至12を参照して、上述
の方法を使用してモティーフを生成し得る装置を説明す
る。この装置は、図10において「カード」と呼ばれる
「ハードウェア」と、プロセッサ1からデータを得るこ
とが可能な「カード外」と呼ばれる部分とを含む。同図
に示す如く、上記装置は、シーケンサ50と、計算ブロ
ック60と、評価器70とを含む。シーケンサ50は、
その入力でプロセッサ1から得られるパラメータと、ラ
イン及び点カウンタから得られる点の座標と、フラクタ
ル関数生成回路から得られるその点におけるフラクタル
関数Fの値とを受ける。シーケンサ50は先に定められ
た関数M1及びM2を生成する計算ブロック60への2
2ビットアドレスを生成する。上記二つの関数の値は、
出力が再サンプリング回路に供給される評価器70の入
力に同時に供給される。同図に示す計算ブロック60
は、図6を参照して説明した如く2台毎に配置されFi
rMat7,FirMat8,FirMat9,Fir
Mat10とラベルを付けられた4台のFirMat回
路により構成される。かかる4台のFirMat回路に
より関数M1及びM2: M1(x,y)=Spln1(r x x + dpx F(x,y), r y y + dpy F(x,
y)) M2(x,y)=Spln2(r x x + dpx F(x,y), r y y + dpy F(x,
y)) を評価し得る。
【0098】次いで、図11を参照して、シーケンサ5
0の具体的な一実施例を説明する。図10のシーケンサ
50は、二つの項Spln1 及びSpln2 を評価する
ためFirMat回路に供給されるアドレスを計算する
必要がある。そのため、モティーフの複製用のパラメー
タrx ,ry と、モティーフの位相をずらすためのパラ
メータdpx ,dpy を取り扱う必要がある。シーケン
サ50は、係数ry 及びrx を夫々格納するレジスタ5
00及び500’と、dpy 及びdpx を格納するレジ
スタ501及び501’を含む。シーケンサは、乗算器
502,502’,503,503’を更に有する。乗
算器502はラインカウンタからの値を値ry で乗算
し;乗算器502’は点カウンタからの値を値rx で乗
算し;乗算器503はdpy をフラクタル関数F(x,
y)で乗算し;乗算器503’はdpx をフラクタル関
数F(x,y)で乗算する。乗算器502及び503の
出力は加算器504に供給され、乗算器502’及び5
03’の出力は加算器504’に供給される。加算器5
04の出力は加算器505に供給され、加算器505は
画像毎にテクスチャーを変位させ得るベクトル処理を構
成するレジスタ506に格納された値Mvty を別の入
力に受ける。同様にして、加算器504’からの値は加
算器505’においてレジスタ506’に格納された値
Mvtx に加算される。加算器505の出力における値
は64による除算を行う除算器507に供給され;加算
器505’からの値は60による除算を行う除算器50
7’に供給される。64による除算の余りによりインデ
ックスvが得られ、60による除算の余りによりインデ
ックスuが得られる。その上、除算器507の出力にお
ける商は、9による除算を行う除算器508に供給さ
れ、除算器507’の出力における商は、12による除
算を行う除算器508’に供給される。9による除算の
余りはインデックスpの第1の部分を形成し、一方、1
2による除算の余りはインデックスpの第2の部分を形
成する。インデックスp,v,uにより構成されるアド
レスは、回路FirMat7とFirMat8、及び、
FirMat9とFirMat10に供給される。9に
よる除算の商と、12による除算の商は、レジスタ51
0に格納され、odd-duplicate() 関数のブール代数値の
評価器回路70への供給を可能にするプログラムされた
レジスタに供給される。かかる場合に、格子の形の関数
としてプログラムされた4入力を有するルックアップテ
ーブルが使用され、その入力の値は00,01,10,
11であり、その出力は格子に依存する。
【0099】以下に、図12を参照して評価器70の一
実施例を説明する。評価器は、ユーザの選択する閾値
と、上記の方法に関する記載で説明したモティーフP1
及びP 2 と、場合によっては織り合わせの方法の関数と
してテクスチャーを画定する。図12に示す如く、評価
器は3台の比較器700,701,702を含む。比較
器700は計算ブロック60からの値M1 を閾値と比較
し;比較器701は計算ブロック60からの値M2 を閾
値と比較し;比較器702は値M1 とM2 を比較する。
より詳細には、比較器700の入力Aに値M1 が供給さ
れ、その入力Bに閾値が供給され;値M2 は比較器70
1の入力Aに供給され、閾値はその入力Bに供給され;
値M1 は比較器702の入力Aに供給され、閾値はその
入力Bに供給される。3台の比較器は比較A>Bを実行
する。比較器700及び701の出力はAND回路70
3に供給される。比較器702の出力はマルチプレクサ
704の入力に供給され、マルチプレクサ704は上述
の如くシーケンサ50の出力で得られるブール代数値の
odd-duplicate() 関数の情報をその別の入力に受ける。
マルチプレクサ704はAND回路703により与えら
れる周波数で切換えを行なう。マルチプレクサ704の
出力は、値M1 及びM2 をその入力に受けるマルチプレ
クサ705にクロック信号として供給される。フラクタ
ル関数F(x,y)は乗算器706において係数aで乗
算され;乗算器706の出力は、マルチプレクサ705
の出力をその別の入力に受ける加算器707の入力に供
給される。加算器707の結果はレジスタ708に格納
される。かかる結果は13.5MHzの周波数で再サン
プリング回路に供給される。レジスタ708はP1 の色
又はP2 の色の何れかを示すため使用される補足的なビ
ットを有する。
【0100】以下に、図13乃至17を参照して、再サ
ンプリング段の一実施例を説明する。上述の如く、再サ
ンプリング段は、モティーフ生成モジュールのテクスチ
ャーを平面に透視的にマッピングすることを意図してい
る。使用される方法は「出力−入力」法として周知の方
法である。その上、式(4)及び(5)により与えられ
るシステムにおいて、YはX”に依存的ではないことに
注意が必要である。従って、0と(Ypv−1)の間で変
化するY’に対するYpvの値をプロセッサで事前に計算
し、テーブルY1 〔〕に格納することが可能である。同
様に、台形(C 0 ’,C1 ’,C2 ’,C3 ’)の画素
(X’,Y’)の元の点(X,Y)が式: X = Y2〔Y’〕.(X’−Xpv)+Xpv Y = Y1〔Y’〕 として求められるよう、Ypvの取り得る値のYpv/Ypv
−Y’を事前に計算し、第2のテーブルY2 〔〕に格納
することが可能である。
【0101】ユーザが入力するパラメータに依存して、
再サンプリング段で利用されるテーブルY1 〔〕及びY
2 〔〕と、他のテーブルY3 〔〕及びd3 〔〕は、プロ
セッサで事前に計算され、フレームの抑制中にRAMに
格納される。従って、再サンプリング段において、最後
の画像(X’,Y’)の点の座標から始めて、元の画像
(X,Y)内の点の座標を計算する。
【0102】そのために、図13に示す再サンプリング
段は、入力としてクロック周波数Hを受け、最後の画像
の点の座標X’及びY’が出力に得られる点及びライン
カウンタ80を含む。上記座標は、以下により詳細に説
明する投影回路90に供給され、この回路は、元の画像
の点のX,Y座標を出力に生成し、かかる元の画像は回
路100に格納される。同図に示す如く、元の画像の画
素(x,y)の値は二通りの方法で使用できる。上記の
画素の値は、回路100から、「レリーフ要求」パルス
により制御され、その出力は奥行き減衰回路110と、
レリーフパラメータ計算回路120とに接続されている
マルチプレクサ101を介してデータhを送ることによ
り得られる。上記の回路は以下により詳細に説明する。
雲模様にレリーフの効果を与えることを望む場合には、
例えば、画素の値は点(X,Y)における雲模様の厚さ
になる。積分計算は、離散化ループに分割し、演算を並
列化することにより行われる。これは、スクリーン上に
投影されたhの高さhe を10という値に制限すること
により可能になる。かくして、図13に示す如く、10
台の積分計算用ブロック130を使用する。レリーフの
効果が必要ではない場合に、元の画像の画素(X,Y)
の値は奥行き減衰回路110に供給される。減衰回路1
10の出力は、10台の積分計算ブロック130の出力
を受けるマルチプレクサ102の入力に供給される。上
記マルチプレクサ102は「レリーフ要求」パルスによ
り制御され、最後の画像は一方を計算すると同時にもう
一方を表示する必要があるので、マルチプレクサの出力
は二つの画像格納回路103,104に供給される。平
面内の点の値は色を格納するテーブル105に送られ
る。次いで、テーブル105は最終的なテクスチャーの
色とブレークダウン鍵を定める。本発明によれば、上記
鍵は画素の明度に閾値化処理を行うことにより計算さ
れ:画素の明度がユーザの定義する閾値よりも小さい場
合には画素の鍵は64に一致し、閾値を越える場合には
939に一致する。
【0103】以下に投影回路90の一実施例をより詳細
に説明する。図14に示す如く、投影回路90は、上述
の如く事前に計算されたテーブルY1 及びY2 を夫々格
納する二つのRAM91及び92を含む。二つのメモリ
91及び92は、点の値Y’をアドレスとして受ける。
メモリ91は元の画像の画素の値Yを出力に与え、一
方、メモリ92の出力は、減算器93の出力を別の入力
に受ける乗算器94の入力に供給される。減算器93
は、最後の画像の点の値X’と、上述の再サンプリング
法の説明で示した如くの値Xvpをその入力に受ける。乗
算器94の出力は加算器95の入力に供給され値Xvp
加算され、その加算器の出力に元の画像の画素の座標が
得られる。
【0104】上述の如く、値Y’とX’は「画素H」の
周波数で動作するライン及び点カウンタにより与えられ
るので、X及びYは「画素H」の周波数で計算される。
図15を参照して、奥行き減衰回路の実施可能な一例を
説明する。かかる回路110は、減衰関数用のYpvの取
り得る値を格納するRAM111を本質的に含む。各ラ
インY’に対し、必要とされる減衰値はRAM111か
ら取り込まれ、乗算器112において、同図に「h」と
して示される元の画像の画素値により乗算される。これ
により、同図に「減衰したh」として示される減衰した
画素値が得られ、マルチプレクサ102に供給され、最
後の画像が得られる。
【0105】以下に、図16を参照して、上記の方法の
説明で示した如く、積分演算の離散化のパラメータ化を
可能にするレリーフパラメータを計算するブロック12
0を説明する。データhe 、βHτ及びY’τは、各ブ
ロックに共通であり、「画素H」の周波数で送られる。
実際上、各ブロックは、Y’とY’−he の間にある
Y”に対するパラメータngを並行して計算する。かか
る計算が最終的な画像において直接これ以上行われるこ
とはないが、図17においてΣで示されるバッファレジ
スタにおいて行われる。カウンタは各ブロックに点Y”
と点Y’の間の距離を通知する。ε voiei で示さ
れる上記の距離がheに一致する場合に、レジスタΣは
点(X’,Y’)における値ngを含むので、レジスタ
Σの値は結果用メモリに供給される。上記の距離ε v
oiei がheよりも大きい場合に、これはY”がY’
−he未満であることを意味するので、それ以上加算を
行い得ない。過大なアドレス値がRAM134(「RA
M d3」(図17))に供給され、これにより、RA
M136(「RAM expo」)の出力に零値が生ず
る。より詳細には、回路120は、アドレスとして値
Y’を受けY3 に対応する値を出力する値Y3 のテーブ
ルを格納するRAM121を含み、上記の出力は画像の
画素の座標hを別の入力に受け、減衰した値heが出力
に得られる乗算器122に供給される。その上、hで示
される値は、別の入力にパラメータβを受け、値βhが
出力に得られる乗算器123に供給され、上記の値βh
は、遅延した値βhτが出力に得られる遅延線124に
格納される。その上、値Y’は遅延した値Y’τが出力
に得られる遅延線125に供給される。更に、回路12
0は、直列に取り付けられたレジスタ1271 ,127
2 ,1273 ...12710にその出力が接続されたカ
ウンタ126を含む。各レジスタの出力には値ε vo
iei (iは0乃至9の範囲で変わる)が得られる。上
述の如く、かかる値は現在の点Y”と現在の点Y’の間
の距離に対応する。
【0106】以下に図17を参照して積分計算ブロック
130の一実施例を説明する。この回路130は、比較
A>Bを実行し、レリーフパラメータ計算回路120か
ら値heを入力Aに受ける比較器131を含む。上記回
路130は同じ回路120から値ε voiei をその
入力Bに受ける。回路130は、回路120から値εv
oiei を上位4ビットに受け、回路120から値Y’
τを下位10ビットに受ける14ビットレジスタ132
を更に有する。レジスタ132からの値及び値214は、
比較器131からの値により制御されるマルチプレクサ
133の入力に供給される。マルチプレクサ133の出
力の値は、値が事前に計算されているメモリRAM13
4(「RAM d3」)にアドレスとして供給される。
RAM134(「RAM d3」)の出力と、上記回路
からの値βhτは、加算器135の入力に供給され、こ
の加算器の出力はメモリRAM136(「RAM ex
po」)にアドレスとして供給される。RAM136
(「RAM expo」)の出力は、バッファレジスタ
Σ138の出力を別の入力に受ける加算器137に供給
され、バッファレジスタΣ138の入力は加算器137
の出力である。バッファレジスタ138の出力は、ε
voiei が0に一致する場合に、得られた値を最終的
な画像に送るようにして出力が制御されるレジスタ13
9にも供給される。
【0107】上記の回路は本発明による方法を直接に実
装し得る、その例に限定されることのない実施例であ
る。上記本発明の実施例を多様に変化させ得ることは当
業者にとって明らかである。
【図面の簡単な説明】
【図1】フラクタル法の説明図である。
【図2】フラクタル関数の実行用にテレビジョンスクリ
ーンのようなスクリーンを分割する方法を説明する図で
ある。
【図3】本発明による二つのプリミティブを使用するモ
ティーフ生成段を概略的に示す図である。
【図4】(A)乃至(C)は本発明によるテクスチャー
を面に「マッピング」する段階の説明図である。
【図5】(A)乃至(B)は雲模様のようなレリーフを
テクスチャーに付加する方法の説明図である。
【図6】Spln関数を計算する回路のブロック図であ
る。
【図7】フラクタル関数の生成段のブロック図である。
【図8】図7のシーケンサの回路図である。
【図9】図8の評価器の回路図である。
【図10】モティーフ生成段のブロック図である。
【図11】図10のシーケンサの回路図である。
【図12】図10の評価器の回路図である。
【図13】再サンプリング段の説明図である。
【図14】図13の「投影」回路の説明図である。
【図15】図13の「奥行き減衰」回路の説明図であ
る。
【図16】図13の「レリーフパラメータ計算」回路の
説明図である。
【図17】図13の「積分計算ブロック」回路の説明図
である。
【符号の説明】
1 プロセッサ 2,60 計算ブロック 3,70 評価器 4,50 シーケンサ 10 点カウンタ 11 ラインカウンタ 12,12’,12”,13,13’,13”,18,
18’,18”,19,19’,19” シフトレジ
スタ 14,14’,14”,20,20’,20”,33,
34,35,101,102,133,704,705
マルチプレクサ 15,15’,15”,16,16’,16”,21,
21’,21”,22,22’,22”,507,50
7’,508,508’ 除算器 17,17’,17”,30,30’,31,31’,
32,32’,41,1271 ,1272 ,...,1
2710,139,500,500’,501,50
1’,506,506’,510,708 レジスタ 33’,34’,35’,94,112,122,12
3,502,502’,503,503’,706 乗
算器 36,37,40,95,135,137,504,5
04’,505,505’,707 加算器 38 第1のレジスタ 39 第2のレジスタ 80 点及びラインカウンタ 90 投影回路 91,92,111,121,134,136 RA
M 93 減算器 100 画像源 103,104 画像格納回路 105 テーブル 110 奥行き減衰回路 120 レリーフパラメータ計算回路 124,125 遅延線 126 カウンタ 130 積分計算ブロック 131,700,701,702 比較器 132 14ビットレジスタ 138 バッファレジスタ 703 AND回路

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 ユーザ定義パラメータにより定められ、
    僅少なブラウン運動形の信号を発生するフラクタル補間
    関数に基づく微視的なテクスチャーを生成する段階より
    なるテクスチャービデオ画像の生成方法。
  2. 【請求項2】 前記ユーザ定義パラメータは無作為的又
    は決定論的である請求項1記載の方法。
  3. 【請求項3】 前記フラクタル関数は式: 【数1】 により定められ、式中、rは欠損性又は不規則性因子
    (r>1)であり;H=(3−D)であり、ここで、D
    は必要とされるフラクタル次数であり;Nは1画素或い
    は画像エレメント内に定義をするよう固定されたパラメ
    ータであり;Spln(x,y)は整数の座標で生成さ
    れた点の格子における実際の点(x,y)のB−スプラ
    イン補間である、請求項1記載の方法。
  4. 【請求項4】 サイズがL×Wである画像を生成し、L
    はスクリーン内の作動的なラインの本数であり、Wは上
    記ライン毎の点の数であり、上記画像はサイズがdl×
    dh画素のNbc=Bl×Bh個のブロックに分割さ
    れ、ここで、整数Bl及びBhは夫々水平及び垂直位置
    を表わし、上記関数Spln()の定義域は〔0,B
    l〕×〔0,Bh〕である請求項3記載の方法。
  5. 【請求項5】 前記関数Spln(rk x,rk y)は
    組(rk x,rk y)の値を集合〔0,Bl〕×〔0,
    Bh〕にマッピングすることにより計算される請求項3
    記載の方法。
  6. 【請求項6】 前記画像は720×576画素から19
    20×1250画素までのサイズを有する請求項4記載
    の方法。
  7. 【請求項7】 前記関数Spln()は三次B−スプラ
    イン関数である請求項4記載の方法。
  8. 【請求項8】 点Pxyにおける前記関数Spln()の
    計算は式: 【数2】 により定められ、式中、 【数3】 であり、MB は双三次多項式の係数の計算を可能にする
    マトリックスである、請求項7記載の方法。
  9. 【請求項9】 【数4】 である請求項3記載の方法。
  10. 【請求項10】 N=5である請求項9記載の方法。
  11. 【請求項11】 入力として前記フラクタル関数の画像
    及び前記ユーザ定義パラメータを受け、出力として微視
    的なテクスチャーを生ずるモティーフ生成段階を更に有
    する請求項1記載の方法。
  12. 【請求項12】 各々はB−スプライン関数により補間
    されたNpt個の点を特徴とする二つのプリミティブが
    使用される請求項11記載の方法。
  13. 【請求項13】 関数 M1(x,y)=Spln1(r x x + dpx F(x,y), r y y + dpy F(x,
    y)) M2(x,y)=Spln2(r x x + dpx F(x,y), r y y + dpy F(x,
    y)) が使用され、式中、rx 及びry は夫々x及びyにおけ
    るモティーフの複製係数であり;dpx 及びdpy は夫
    々x及びyにおけるモティーフの位相ずれ係数であり;
    F(x,y)は点(x,y)におけるフラクタル関数の
    値であり;M1 (x,y)はxに関しrx 回、yに関し
    y 回複製され、xに関しdpx F(x,y)、yに関
    しdpy F(x,y)で位相をずらされたモティーフP
    1 の点(x,y)における値であり;M2 (x,y)は
    xに関しrx 回、yに関しry 回複製され、xに関しd
    x F(x,y)、yに関しdpy F(x,y)で位相
    をずらされたモティーフP2 の点(x,y)における値
    である、請求項11記載の方法。
  14. 【請求項14】 上記テクスチャー画像を面にマッピン
    グさせ得る再サンプリング段階を更に有する請求項1記
    載の方法。
  15. 【請求項15】 上記再サンプリングは、出力−入力法
    を使用して行われる請求項14記載の方法。
  16. 【請求項16】 上記面の点の明度を表示点からの距離
    の関数として減衰させることにより奥行きの効果が上記
    画像に加えられる請求項14記載の方法。
  17. 【請求項17】 前記関数Spln()の計算用の特定
    の回路を含む請求項1記載の方法を行う装置。
  18. 【請求項18】 上記関数Spln()の計算用の回路
    は、最初に、マトリックス計算: 【数5】 の実行を可能にし、次いで、第2の計算: 【数6】 と、〔y0 y〕の掛算を行う請求項17記載の装置。
JP01724795A 1994-02-04 1995-02-03 テクスチャー画像と特殊ビデオ効果を生成する方法及びその装置 Expired - Lifetime JP3798827B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9401269A FR2716061B1 (fr) 1994-02-04 1994-02-04 Procédé de génération d'images texturées et d'effets spéciaux en vidéo et dispositif pour la mise en Óoeuvre du procédé.
FR9401269 1994-02-04

Publications (2)

Publication Number Publication Date
JPH07264473A true JPH07264473A (ja) 1995-10-13
JP3798827B2 JP3798827B2 (ja) 2006-07-19

Family

ID=9459786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01724795A Expired - Lifetime JP3798827B2 (ja) 1994-02-04 1995-02-03 テクスチャー画像と特殊ビデオ効果を生成する方法及びその装置

Country Status (5)

Country Link
US (1) US5796407A (ja)
EP (1) EP0667595B1 (ja)
JP (1) JP3798827B2 (ja)
DE (1) DE69534697T2 (ja)
FR (1) FR2716061B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998054905A1 (en) * 1997-05-30 1998-12-03 Sony Corporation Image mapping device and method, and image generating device and method
CN108510562A (zh) * 2018-02-11 2018-09-07 青岛九维华盾科技研究院有限公司 基于图像分形纹理的数码迷彩图案生成方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751293A (en) * 1994-08-24 1998-05-12 Nippon Telegraph And Telephone Corp. Pattern generation method and apparatus for automatic generation of continuous tile patterns along any arbitrary side
US6426779B1 (en) 1995-01-04 2002-07-30 Sony Electronics, Inc. Method and apparatus for providing favorite station and programming information in a multiple station broadcast system
JP3312560B2 (ja) * 1996-07-11 2002-08-12 ヤマハ株式会社 テクスチャマッピング装置
US6020930A (en) * 1997-08-28 2000-02-01 Sony Corporation Method and apparatus for generating and displaying a broadcast system program guide
US5973682A (en) * 1997-10-17 1999-10-26 Sony Corporation Method and apparatus for indicating functional areas of a graphical user interface
US6518986B1 (en) 1997-10-17 2003-02-11 Sony Corporation Method and apparatus for providing an on-screen guide for a multiple channel broadcasting system
US6954897B1 (en) * 1997-10-17 2005-10-11 Sony Corporation Method and apparatus for adjusting font size in an electronic program guide display
US6111614A (en) * 1997-10-17 2000-08-29 Sony Corporation Method and apparatus for displaying an electronic menu having components with differing levels of transparency
US6034677A (en) * 1997-10-17 2000-03-07 Sony Corporation Method and apparatus for displaying an electronic program guide
US6243142B1 (en) 1997-10-17 2001-06-05 Sony Corporation Method and apparatus for displaying time and program status in an electronic program guide
US6424791B1 (en) 1998-03-27 2002-07-23 Sony Corporation System and method for providing selection of timer recording
US6577350B1 (en) 1998-12-21 2003-06-10 Sony Corporation Method and apparatus for displaying an electronic program guide
US20030131356A1 (en) * 1998-12-21 2003-07-10 Andrew M. Proehl Method and apparatus for notification on a broadcast device
US6747660B1 (en) * 2000-05-12 2004-06-08 Microsoft Corporation Method and system for accelerating noise
US20020056104A1 (en) * 2000-06-30 2002-05-09 Tara Burnhouse Folder-style program guide with categories and sub-categories
US6791561B1 (en) * 2000-08-22 2004-09-14 Sony Corporation Method and apparatus for rendering video data
US7250945B1 (en) * 2001-09-07 2007-07-31 Scapeware3D, Llc Three dimensional weather forecast rendering
US20060268014A1 (en) * 2005-05-27 2006-11-30 Jiliang Song System and method for efficiently supporting image deformation procedures in an electronic device
US8208698B2 (en) * 2007-12-14 2012-06-26 Mela Sciences, Inc. Characterizing a texture of an image
US8637718B2 (en) * 2009-09-25 2014-01-28 Auburn University Biomass to biochar conversion in subcritical water
CN102800118A (zh) * 2012-05-31 2012-11-28 新奥特(北京)视频技术有限公司 一种实现材质板特技的方法
CN111243378B (zh) * 2020-03-17 2022-02-22 广东智媒云图科技股份有限公司 基于分形布朗运动模型的作画方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4694407A (en) * 1985-06-11 1987-09-15 Rca Corporation Fractal generation, as for video graphic displays
US4974176A (en) * 1987-12-18 1990-11-27 General Electric Company Microtexture for close-in detail
GB9012273D0 (en) * 1990-06-01 1990-07-18 Rediffusion Simulation Ltd Image generator
JP3063125B2 (ja) * 1990-08-28 2000-07-12 ソニー株式会社 地形データ作成装置
US5416848A (en) * 1992-06-08 1995-05-16 Chroma Graphics Method and apparatus for manipulating colors or patterns using fractal or geometric methods

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998054905A1 (en) * 1997-05-30 1998-12-03 Sony Corporation Image mapping device and method, and image generating device and method
US6526178B1 (en) 1997-05-30 2003-02-25 Sony Corporation Picture mapping apparatus and picture mapping method, and picture generation apparatus and picture generation method
CN108510562A (zh) * 2018-02-11 2018-09-07 青岛九维华盾科技研究院有限公司 基于图像分形纹理的数码迷彩图案生成方法
CN108510562B (zh) * 2018-02-11 2021-10-01 青岛九维华盾科技研究院有限公司 基于图像分形纹理的数码迷彩图案生成方法

Also Published As

Publication number Publication date
EP0667595A1 (fr) 1995-08-16
FR2716061B1 (fr) 1996-03-15
DE69534697T2 (de) 2006-07-20
JP3798827B2 (ja) 2006-07-19
US5796407A (en) 1998-08-18
FR2716061A1 (fr) 1995-08-11
EP0667595B1 (fr) 2005-12-21
DE69534697D1 (de) 2006-01-26

Similar Documents

Publication Publication Date Title
JP3798827B2 (ja) テクスチャー画像と特殊ビデオ効果を生成する方法及びその装置
US5333245A (en) Method and apparatus for mapping surface texture
EP1064619B1 (en) Stochastic level of detail in computer animation
Heckbert Discontinuity meshing for radiosity
Greene et al. Creating raster omnimax images from multiple perspective views using the elliptical weighted average filter
US7027050B1 (en) 3D computer graphics processing apparatus and method
EP1049049B1 (en) Curved surface reconstruction at plural resolution levels
US6466207B1 (en) Real-time image rendering with layered depth images
US5659671A (en) Method and apparatus for shading graphical images in a data processing system
JP3759971B2 (ja) 3次元像を陰影付けする方法
US7432936B2 (en) Texture data anti-aliasing method and apparatus
US7138999B2 (en) Refinement of a triangular mesh representing a three-dimensional object
US6532013B1 (en) System, method and article of manufacture for pixel shaders for programmable shading
JPS60501922A (ja) テクスチャ発生の方法および装置
JPH09231404A (ja) 物体を表示するための画像処理方法および装置
Frederick et al. Conformal image warping
EP1339023A2 (en) Method for producing shading effects
JPH06266852A (ja) 画像合成装置
JPS6346584A (ja) 高速ホングシェ−ジング装置及びその方法
JP4319308B2 (ja) ガス状物体表示回路
EP0725365B1 (en) Method and apparatus for shading three-dimensional images
US5696849A (en) Cascaded anti-aliasing filter control for sampled images
JPH11185052A (ja) 3次元コンピュータグラフィックスのテクスチャマッピング座標計算装置および方法
WO2013165621A1 (en) Image-generated system using beta distribution to provide accurate shadow mapping
Carnielli et al. Fast digital perspective shell rendering

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050308

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060421

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term