JP3300059B2 - イメージ処理システム - Google Patents
イメージ処理システムInfo
- Publication number
- JP3300059B2 JP3300059B2 JP28015692A JP28015692A JP3300059B2 JP 3300059 B2 JP3300059 B2 JP 3300059B2 JP 28015692 A JP28015692 A JP 28015692A JP 28015692 A JP28015692 A JP 28015692A JP 3300059 B2 JP3300059 B2 JP 3300059B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- memory
- frame
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/797—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal
- H04N9/7973—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal by dividing the luminance or colour component signal samples or frequency bands among a plurality of recording channels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
Description
るものである。
引用によってここに援用される我々の英国特許第2,089,
625 号および対応の米国特許第4,514,818 号に説明され
ている。このシステムはタッチタブレットに関するスタ
イラスの位置を指定する位置信号を発生するためのタッ
チタブレットおよびスタイラスの組合せを含む。ユーザ
またはオペレータは、予め規定された色および分布機能
の範囲から色およびいわゆるブラシ分布を選択すること
によって絵で描いたり、線で描いたりする(以下単に
「絵で描く」とする)。タッチタブレットに関するスタ
イラスの移動によって一連の位置信号が発生される。
と、画像を表わすピクセルのアレイを記憶することがで
きるフレーム記憶手段とを含む。異なる位置を指定する
ためにスタイラスが移動すると、指定された位置の各々
に関連するフレーム記憶手段内のピクセルのパッチが選
択された色および分布に応じて修正される。画像を表わ
すフレーム記憶手段内のすべてのピクセルがさらに繰返
し読出され、モニタに与えられて、オペレータによって
組立てられるように画像を表示することができる。
組立てを表示することが重要であり、このことは実際
に、少なくともその時間が2、3のフレーム機関にわた
って平均をとられるとき、1フレーム期間で位置信号に
よって識別されるすべてのピクセルのパッチの処理が完
了し、ピクセルも1フレーム期間内に(記憶装置からモ
ニタへの読出しを干渉せずに)画像記憶装置内に書込ま
れるべことを意味する。処理されるべきピクセルの数は
画像面積の1ユニット当りに必要とされる画像点の数に
よる、すなわちシステムの解像度による。もし解像度が
増加すれば、与えられたスタイラスの移動について、ま
たは与えられた時間間隔において発生される位置信号の
数も、与えられたブラシパッチにおけるピクセルの数の
ように増加される。実時間処理は通常、1秒当り50フ
ィールドで1フィールド当り1250の線、または11
25の線/60フィールドもの高い精細度基準を含むテ
レビジョン標準方式へ作動するシステムにおいて達成さ
れ得るが、解像度に関して困難が生じ、このために操作
されることが必要とされるデータの量が増加する。
描くか、または線で描く(以下単に「絵で描く」とす
る)ことが商業的に入手可能なTV型モニタの解像度で
行なわれるべきことが以前に提案されていた。
て、フレーム記憶装置および観察記憶装置を設けられた
システムが説明される。このフレーム記憶装置はスタイ
ラス/タッチタブレット装置のユーザ操作に応答してプ
ロセッサによって作り出された新しいイメージデータを
受けるように配置される。フレーム記憶装置および観察
記憶装置はいずれも高い精細度のイメージを記憶する能
力を有し、高精細度のモニタ上にイメージを表示するこ
とを容易にするために、フレーム記憶装置はフレーム期
間中にそのデータ内容の部分だけを観察記憶装置へ転送
するように配列される。転送された部分はフレーム期間
の最初にタッチタブレット上のスタイラスの位置によっ
て決定される。観察記憶装置内のデータはモニタ上に表
示するためにラスタシーケンスで出力される。
々の英国特許第2,089,625 号に従った装置において、シ
ステムが絵で描くことに加えて画像の合成を行なうよう
に構成されることを許容する追加の手段が設けられる。
その教示もここに引用によって援用される我々の英国特
許第2,113,950 号および対応の米国特許第4,602,286号
において合成を許容するいくつかの構成が説明されてい
る。このような構成において、この中で前景イメージお
よび背景イメージとそれぞれ呼ばれる2つの独立した画
像と、制御イメージ、またはステンシルと呼ばれるさら
なるイメージとを記憶する能力を有する記憶手段が設け
られる。前景および背景イメージのように、制御イメー
ジは絵で描くモードのシステムを使用して技術者によっ
て作り出されることができる。制御イメージは通常不透
明度を表わす最大値および透明度を表わす最小値を有す
るピクセルの範囲を含み、実際に前景イメージの選択さ
れた部分を、残りを露出する一方で、マスクするように
作り出される。制御イメージは8ビットによって規定さ
れ、作り出される間前景画像上に重畳されて単一色とし
て表示されることができる。第1のアドレス手段がさら
に設けられ、記憶手段のそれぞれの部分から並列に前景
イメージおよび制御イメージのピクセルを読出し、それ
らを線形補間回路へ与え、その回路はイメージプレビュ
ーモードおよびイメージ合成モードの間作動される。第
2のアドレス手段も前景イメージのピクセルおよび制御
イメージのピクセルの読出しと同時に2つの補間手段へ
背景イメージのピクセルを与える。
続され、これはスタイラス制御または他のユーザが操作
可能な手段の下で、背景に関して前景およびステンシル
の空間変形を行なうように、背景ピクセルに関して前景
ピクセルおよび制御ピクセルを読出す順序を変えること
ができる。このシステムはプレビューモードにあるが、
技術者はスタイラス、または他の制御手段を操作して、
ズーム、パン、スクロール、回転、および遠近感の変化
のような一連の所望の変形を行なうことができる。フレ
ーム期間の間、変形された順の前景イメージのピクセル
および背景イメージのピクセルとが第1の補間手段の入
力に与えられる一方、制御イメージは制御入力へ与えら
れ、ピクセル毎の補間係数として作用する。補間手段の
出力は画像モニタに与えられ、表示されるが、記憶され
るいかなる画像にも影響を与えない。補間はそれによっ
て表示装置が制御イメージが不透明な場合、前景イメー
ジを表わし、かつ制御イメージが透明な場合、背景イメ
ージを表わす効果を有し、背景上に前景イメージの部分
を貼合わせたり、かぶせたりしてシミュレートする。空
間変形を変化させるためのスタイラス、または制御手段
を使用して、技術者は所望の変形を知覚するまで、前景
イメージから背景イメージ上へ様々な位置で挿入を試み
ることができる。そこで技術者は予め定められた「焼付
け(stick )」指令を発生することによって、システム
を合成モードに切換える。前景イメージのピクセルおよ
び背景イメージのピクセルはその後第2の補間手段に読
出され、制御イメージのピクセルの制御下で補間され、
前景イメージおよび制御イメージのピクセルはプレビュ
ーモードの間の最後の試みで予め定められた変形順に読
出される。
よび設備は編集システムの形式のテレビジョンのポスト
プロダクションに与えられ、そこで第1の、または前景
映像クリップが第2の、または背景映像クリップに挿入
されることができる。このようなシステムの1つは「HA
RRY 」の商標の下で我々によって製造され、かつ販売さ
れている。我々のHARRY システムにおいて、映像クリッ
プを形成するフレームはデジタル的にエンコードされ、
ディスク記憶装置に記憶される。その教示がここに引用
によって援用される我々の米国特許第4,688,106 号にお
いて開示されるように、映像クリップはディスク記憶装
置から並列に読出され、このことがシステムの実時間動
作を許容する。
解像度は、テレビ画像を編集する際には十分満足のいく
ものであるが、大画面のスクリーン上に投写される際、
良質の表示を与えるために高い解像度のイメージが要求
される映画業界には満足されないものである。したがっ
て映画業界にとって魅力的な電子編集システムを作るた
めの解決法は、電子的に記憶されたイメージの解像度を
高めることである。しかし、すでに上に述べられてきた
ように、記憶されたイメージの解像度が高められると、
問題が生じる。
克服するか、少なくとも減ずることを目的とし、かつ一
見瞬時に多量のイメージデータを操作することが可能な
システムを提供することを目的とする。
つの与えられた解像度のイメージフレームを共に表わす
複数の画素を規定するデータがそれぞれ独立した記憶ユ
ニット間に分布されるデータ群に分割される、イメージ
処理システムが設けられ、各群を形成するデータはイメ
ージフレーム全体のより低い解像度の表現を規定する。
1つのイメージフレームを共に表わす複数の線における
複数の画素を規定するデータが複数の独立した記憶区
分、または装置を含む分布された記憶装置に記憶される
イメージ処理システムが提供され、このシステムは各線
から選択されたピクセルを切換えるための、かつそのフ
レーム、または各フレームから選択された線を前記記憶
区分、または装置のそれぞれのものへ切換えるための切
換手段を含み、それによってイメージデータが群に分割
され、その各々が実質的に全体のイメージフレームの表
現を規定する。
とも1つのイメージフレームを表わすデータを記憶する
ためのメモリと、少なくとも1つのイメージフレームを
一時的に記憶するためのフレーム記憶装置と、前記フレ
ーム記憶装置内の前記データを処理して、前記イメージ
のバージョンを表わす修正データを発生するためのプロ
セッサと、前記データを前記メモリ内に別々に記憶され
る群に分割するための、前記メモリに関連の手段とを含
み、各群は前記イメージの実質的に全体のより低い解像
度のバージョンを規定する。
利点とともに添付の図面を参照して与えられるこの発明
の例示的実施例の以下の詳細な説明を検討することから
より明瞭になるであろう。
すると、映像処理システムは共に1つまたはそれ以上の
映像シーケンスを形成する複数個の映像フレームを表わ
すデータを記憶するための対に配置された8つのバルク
(bulk)記憶装置1ないし8を含む。この実施例におい
て、バルク記憶装置はディスク記憶装置でありかつ各々
のディスク記憶装置対はデータの記憶装置へのかつそこ
からの転送を制御するためのそれぞれのバッファ9ない
し12を有する。ディスク記憶装置1ないし8はともに
典型的にフレームにつき2880ピクセル×2080の
線の解像度で、すなわちフレームにつき1440ピクセ
ル×1040の線の典型的な高品位テレビジョン(HD
TV)標準方式の解像度の4倍で映像の2230フレー
ムまでを表わすデータを記憶することができる。
ト、たとえばRGBまたはYUVにおいてディスク記憶
装置内に記憶され得る。この例において、データはYU
Vフォーマットにおいて記憶されると仮定する。各々の
フレームはディスクフォーマット内に分布される。各々
のフレームは以下により詳細に説明される態様でディス
ク記憶装置1ないし8の中で分布される。
を輝度(luma)スイッチ13に出力しかつ彩度(U、
V)データを彩度(chroma)スイッチ14に出力する。
動作の1つの状態において、輝度スイッチ13および彩
度スイッチ14は協働して各々が24ビットの深度(de
ep)である2つの個々のフレーム記憶装置を含む操作フ
レーム記憶装置15への供給のためにそれぞれの彩度お
よび輝度データを組合わせる。それぞれのキーまたは制
御イメージとともに8ビットの深度である各々が288
0ピクセル×2080の線を含む2つの完全なYUVイ
メージフレームを表わすデータを記憶するために操作フ
レーム記憶装置15は十分な記憶ロケーションを有す
る。個々のフレーム記憶装置の各々はさらに多重にポー
トされ(ported)それによってそれぞれの記憶装
置において起こり得るピクセルのいずれの操作にもかか
わらず、使用される記憶装置はプロセッサ16を介して
表示フレーム記憶装置17へと連続して読出される。シ
ステムはまた操作フレーム記憶装置15に保持される制
御イメージまたはキー信号の表示のために条件付けられ
得、それはそれぞれのカラーイメージのフレーム上で積
み重ねられるかまたは別個にモノクロの状態におかれる
かのいずれかにおいてそうである。表示フレーム記憶装
置17におけるイメージデータはより低いHDTV解像
度のものでありかつ現在使用される操作フレーム記憶装
置15から選択されたデータのみを選択的に転送するこ
とによって生み出される。
ラスタ(raster)シーケンスにおいてバッファ18へと
読出され、そのバッファはそれをHDTVモニタ19上
の映像の表示のためにアナログ信号に変換する。表示フ
レーム記憶装置17は特定の時間で操作される特定映像
フレーム(および/またはキーもしくは制御信号)で連
続して更新される。そのような操作が起こる前に、キー
または制御信号で、またはそれなしでそれぞれのフレー
ムはディスク1ないし8からフレーム記憶装置へとたと
えば54MHzの適切な速度でスイッチ13および14
を介して上で説明されたように転送される。操作がオペ
レータの満足のいくまで完成された後、カラーイメージ
および/またはキーもしくは制御イメージが操作フレー
ム記憶装置15から転送されディスク1ないし8によっ
て与えられたバルク記憶装置にもどされ、スイッチ13
および14はこの転送の間逆方向において働く。
ト装置20をさらに含み、それはスタイラスがタッチタ
ブレットに接近するときタッチタブレットに関するスタ
イラスの位置に関連する位置信号XYを出力する。スタ
イラスがタッチタブレットに接触すると、スタイラスに
よって与えられた圧力に関連する信号もまたスタイラス
/タッチタブレット装置20から出力される。位置信号
XYおよび圧力信号はそれぞれの記憶装置21および2
2を介してプロセッサ16へと伝えられる。
シーケンスにおいて1つまたはそれ以上のフレームに対
して変化を与えるために絵で描くシステムとして動作す
べく構成され得る。この絵で描くモードにおいて、オペ
レータはシステムにおいて予め規定される広い範囲の絵
で描くかつ他のイメージ修正機能から自由に選択する。
たとえば、オペレータはブラシ記憶装置23内で予め規
定された絵で描く器具の範囲からブラシを選択してもよ
くかつブラシを使って描くための色を選択してもよく、
すなわち選択された色を表わすデータは既知の態様でカ
ラー記憶装置内に保持される。選択されたブラシはそれ
から選択された色でフレームの部分に再び触れるように
使用され得る。このことはプロセッサ16をスタイラス
およびタッチタブレットに応答させ操作フレーム記憶装
置15内に保持された選択されたフレームデータ上での
読出−修正−書込動作を達成する。そのような修正の
間、表示フレーム記憶装置17はプロセッサ16の制御
の下操作フレーム記憶装置15からのデータで連続して
更新される。
24ビットのフレーム記憶装置はそれぞれの線15aお
よび15bを介してプロセッサ16に接続される。線の
うちの1つは操作フレーム記憶装置内で記憶ロケーショ
ンからのおよびそこへのランダムなアクセス読出および
書込を許容し、かつ上で説明された読出−修正−書込動
作を実行する際にプロセッサ16によって使用される。
配置もまた直列の表示順序においてデータの独立した読
出を許容しかつ表示フレーム記憶装置17を連続して更
新するためにプロセッサ16によって使用される。これ
らの機能を達成するために、実際プロセッサ16は2つ
の独立した処理ユニットを含み、一方は読出−修正−書
込の線で描く機能に与えられかつ他方は表示のためのピ
クセルの転送に与えられる。表示フレーム記憶装置17
が操作フレーム記憶装置15における個々のフレーム記
憶装置のうちの1つのものの4分の1の解像度を有する
ので、表示装置と相関のプロセッサ16の処理ユニット
はフレーム記憶装置15からのイメージにおいて1つの
ピクセルおきにおよびピクセルの1つおきの線に対して
透明であるように配置され、それによって実際水平およ
び垂直方向の双方における2つ毎のピクセルがに画像か
ら落とされ、それはHDTVモニタ19上に表示される
前にそうである。
の修正は実時間かまたはいくつかのフレーム期間を介し
て広がるときには実質的に実時間において行なわれる。
高い解像度画像(2880×2080)に必要とされる
速度でのそのような修正はプロセッサ16の読出−修正
−書込処理ユニットにおいて早い処理技法を使用するこ
とによって可能にされ、それはEP−A−040305
4として発行されたヨーロッパ特許出願第903041
16.8号にかつ対応する米国特許第510,162号
に開示され、その技法は引用により援用される。表示フ
レーム記憶装置17が操作フレーム記憶装置15からの
データで連続して更新されるので、モニタ19上に表示
されたイメージはオペレータがタッチタブレット上でス
タイラスを操作する時にその修正の効果を明らかにかつ
瞬時に理解し得るようなものである。オペレータに満足
のいく修正が一旦選択された画像に対してなされると、
修正されたピクセルデータはディスク記憶装置1ないし
8へと書込んで戻され、それは以下により詳細に説明さ
れるであろう態様においてそうである。
定されかつオペレータによる選択および使用のために利
用可能である。そのような絵で描く機能は既知でありか
つ我々自身の初期の特許および出願の多くにおいてかつ
他の発行された文書において最良に説明される。したが
って、そのような機能はここでいずれのさらなる詳細に
おいても説明されないであろう。
システムもまた用いられ得、それによって映像シーケン
スまたはクリップにおける連続する前景および背景イメ
ージのまたは単一の前景および背景イメージの組合せを
制御するために1つのステンシルまたはいくつかのステ
ンシルを生み出す。この機構は周知であり、したがって
ここでさらに詳細には説明されない。
ジフレームは5、990、400の画素を含み、かつこ
のレベルの解像度で画像データを処理することに際して
の問題は現在利用可能である技法を使用してデータをバ
ルク記憶装置へと記憶するかまたは実時間で編集または
他の目的のためにデータを処理することが困難であると
いうことである。これらのおよび相関の問題を考慮し
て、図1に示されたシステムはディスク記憶装置1ない
し8においてイメージフレームデータを組織化する独特
な態様を使用するために配置される。
の高解像度のイメージフレームは画素のアレイを含み、
それは頂部左手隅から始まりそこでは第1のピクセルが
第1の行にある画素11 の状態であり、2880番目の
ピクセルが2080番目の行にある画素28802080の
底部右手隅において終了する。
置1ないし8において記憶され得る1つの方法は添付の
図面の図3を参照して今説明されるであろう。説明のた
めに、データが操作フレーム記憶装置15からディスク
記憶装置に転送されることが仮定されるであろうが、デ
ータが外部バルク記憶装置のような異なる源からまたは
フィルムもしくは印刷された画像スキャナから生じ得る
ということが理解されるであろう。データがディスク記
憶装置から操作フレーム記憶装置15に転送されるとき
逆の手順が用いられるということもまた理解されるべき
である。
5からディスク記憶装置1ないし8への転送において、
フレームは一度に1つの線ずつ輝度および彩度スイッチ
13および14へと連続して読出される。スイッチ13
および14はバッファ9ないし12を介してピクセルを
ディスク記憶装置1ないし8の異なるものへとかつ記憶
装置におけるそれぞれの分割へと分布させる。こうし
て、イメージフレームデータが、一方が奇数番号の付さ
れた線を含みかつ他方が偶数番号が付された線を含む2
つの介在フィールドへと分離されるようにたとえば操作
フレーム記憶装置15からのデータの読出が配置され
る。同時に、線におけるピクセルは群の各々によって規
定されたイメージの水平の解像度を2等分するために2
つの群に分割される。ピクセルの1つの群は輝度スイッ
チ13の場合において、各々の線において奇数番号が付
されたピクセルのすべてを含みかつピクセルの他方の群
はすべての偶数番号が付されたピクセルを含む。彩度ス
イッチ14の場合において、一方の群は代替的な彩度ピ
クセル対(UV)を含みかつ他方の群は介在する彩度対
を含む。こうして、スイッチからのデータの出力は4つ
の介在の組のデータを含む。輝度ピクセルを考慮する
と、1つの組は奇数の線毎に交互のピクセルを含み、第
2の組は偶数線毎に交互のピクセルを含み、第3の組は
奇数線において介在するピクセルを含みかつ第4の組は
偶数線において介在するピクセルを含む。すべての群は
同じフレームに関する。彩度ピクセルは同様に分割さ
れ、それはピクセル対が個々のピクセルの代わりに必要
とされることを除いてそうである。したがって、各々の
組のデータはフレーム記憶装置15におけるデータのよ
り低い解像度バージョンであり、こうして、モニタ19
のものに類似の解像度のイメージを表わす。
ィスク記憶装置1ないし8に書込まれるときさらなるデ
ータの分割に参加する。バッファの各々とそれらのそれ
ぞれのディスク記憶装置との間のデータの転送はマルチ
プレクサまたはコミュテータ(commutator)のそれにた
とえられ得、たとえばバッファ11のようなバッファに
よって受取られたデータの各々の線に対して、第1のピ
クセルは第1のそれぞれのディスク、たとえばディスク
5における第1の領域に伝えられ、第2のものは第2の
それぞれのディスク、たとえばディスク6における第2
の領域へと、第3のものは第1のそれぞれのディスクに
おける第3の領域へとかつ第4のものは第2のそれぞれ
のディスクにおける第4の領域へと伝えられる。この整
流(commutating )手順はバッファ9ないし12の各々
で行なわれ、こうしてデータの16のサブフィールドが
ディスク記憶装置1ないし8におけるそれぞれの領域で
記憶される。こうして、添付の図面の図3に示されるよ
うに、ディスク記憶装置1はたとえば奇数のサブフィー
ルド27および偶数のサブフィールド28を受け、その
双方は各々の線において1、9、17、25などの番号
が付されたピクセルを含む。同様に、ディスク記憶装置
2はピクセル3、11、19、27などを含む奇数およ
び偶数のサブフィールド29および30を受ける。各々
のディスク対において、各々のピクセルに対する彩度信
号は一方のディスク、たとえばディスク1に記憶されか
つ輝度信号は他方のディスク、たとえばディスク2にお
いて記憶される。
方策を取り入れる利点は、それがデータを1つの形状に
位置付け、そこではサブフィールドを介在させることに
よってそれは容易に検索されかつより高度な解像度イメ
ージに一掃され、それによってフレーム記憶装置15に
おいてラスタ順序における書込に対してかつラスタ型表
示装置上のイメージの表示に対してデータを適当なもの
にさせる。画像を規定するいくつかの群の対の記憶され
たデータはさらなる変更なしにモニタ上に直接表示され
得、それはデータがすでに2つの介在されたフィールド
として規定されるからである。こうして、たとえば図3
におけるサブフィールド27および31からのデータが
一列おきに第4のピクセル毎を含むイメージのためのデ
ータを発生するために組合わされ得るかまたはサブフィ
ールド27、29、31および33が1行おきから1つ
おきのピクセルを含むイメージを発生するために組合わ
され得る。4つのサブフィールド、たとえばサブフィー
ルド27、29、31および33の各々の群におけるデ
ータがHDTVモニタ上の表示のために正確な解像度に
あるとき、すなわち1440ピクセル×1040の線で
あるとき、イメージの表示の前にいずれのデータの圧縮
または拡大も必要とされない。
ブフィールド、たとえば図3におけるサブフィールド2
7、29、31および33のためのディスク記憶装置か
らのイメージデータがディスク記憶装置1ないし8およ
びバッファ9ないし12のアドレス指定の適当な制御に
より表示フレーム記憶装置17に直接書込まれ得るよう
なシステムである。操作フレーム記憶装置15はバルク
記憶装置における多数の画像の減少された寸法の非重畳
のバージョンで負荷され得、それによって編集処理を容
易にするかまたはもくろむ。
置内に記憶され得る代替的な方法は添付の図面の図4を
参照して今説明されるであろう。再び、データがフレー
ム記憶装置15からディスク記憶装置へと転送されかつ
説明を簡素化するために、輝度ピクセルのみが考慮され
るということが仮定されるであろう。図4に示されるよ
うに、図2のイメージフレームは最初に2つのフィール
ド、すなわちフレームのすべての奇数番号が付された線
におけるすべてのピクセルを含む奇数フィールド35お
よびフレームのすべての偶数番号が付された線を含む偶
数フィールド36へと垂直に分割される。次に、各々の
フィールドはそれぞれが奇数および偶数番号が付された
ピクセルの線を含む2つの群に垂直に分割される。こう
して、奇数フィールド35は1つの群37に分割され、
それはすべての奇数番号が付された線上ですべての奇数
番号が付されたピクセルを含み、かつ別の群38はすべ
ての奇数番号が付された線上ですべての偶数番号が付さ
れたピクセルを含む。同様に、偶数フィールド36は1
つの群39へと分割され、それはすべての偶数番号が付
された線上ですべての奇数番号が付されたピクセルを含
みかつ別の群40はすべての偶数番号が付された線上で
すべての偶数番号が付されたピクセルを含む。
クセルを含み、それらは共に全体のイメージを表わす。
各々の群37ないし40における水平のかつ垂直のピク
セルの数は図2のイメージフレームのものの半分であ
り、こうして各々の群はイメージフレームにおける情報
の4分の1を含む。各々の群37ないし40はHDTV
モニタ19のすぐ上の表示に適当な大きさ(1440ピ
クセルの1040の線)である。データは再び水平に分
割され、1組の8つのサブフィールド41ないし48を
形成し、それによって各々のサブフィールドは交互の奇
数番号が付された線または交互の偶数番号が付された線
のいずれかを含み、したがってそれぞれの群37ないし
40においてデータによって規定された低い(HDT
V)精細度のイメージの奇数または偶数フィールドのう
ちのいずれかに対応する。
いくつかの段において8つのサブフィールド41ないし
48へと分割されているデータを示すが、データ分割の
大部分は順序を制御することによって単純に達成され、
ここでデータはバッファ9ないし12にアドレス指定さ
れる。データがフレーム記憶装置15から読出されるの
で、データのすべての奇数番号が付された線はバッファ
9および10に配達されかつデータのすべての偶数番号
が付された線はバッファ11および12へと配達され
る。バッファ9および11はそれらにそれぞれ配達され
たデータの線からすべての奇数番号が付されたピクセル
データを受取り、同様にバッファ10および12はすべ
ての偶数番号が付されたピクセルに対応するデータを受
取る。この方法において、データは図2において示され
るように完全なフレームから4つの群37ないし40へ
と直接分割される。8つのサブフィールド41ないし4
8への最終的な分割はバッファを配置することによって
達成され、それによってその2つの相関の記憶装置の間
でのデータの各々の受取られた線の書込を交互に行な
う。
スク対における記憶のためにそれぞれのバッファへと伝
えられるので、たとえばモニタ19上の表示のためにデ
ィスク記憶装置から1つの群を迅速に検索することが容
易である。
各々の群またはサブフィールドを形成する手順はデータ
の完全なフレームによって規定されたイメージの表示と
比較して全体のイメージのより低い解像度の表示を規定
する。各々の群またはサブフィールドを含むデータが選
択され、それによって群の2つもしくはそれ以上または
サブフィールドからのデータの水平または垂直な線が介
在され得、それによって単一の群またはサブフィールド
におけるデータによって示されるイメージのものよりも
高い解像度でのイメージの表示を行なう。
図1のシステムは第1のまたは前景の映像クリップを第
2のまたは背景映像クリップに組合せるべく使用され得
る。プロセッサ16はメニュージェネレータ(図示され
ず)を含み、それはユーザ制御の下で動作可能であり、
それによってモニタ19の下方部分においてユーザの選
択可能なオプションのメニューを表示する。編集モード
を選択することによって、ユーザはシステムがたとえば
我々の英国特許第2113950号に説明されるように
映像編集機構として動作するように条件付ける。映像の
2230のフレームまでの編集モードにおいて、データ
は個々に記憶されかつディスク記憶装置1ないし8から
検索され得る。上で説明されたデータ分布に加えて、2
230のフレームロケーションがユーザ制御の下でいく
つかのブロックまたはいくつかの群のロケーションへと
分割される。2つの映像クリップが組合わされるべき状
況において、映像の第1のクリップはフレームロケーシ
ョンの第1のブロックに記憶されかつ第2のクリップは
フレームロケーションの第2のブロックにおいて記憶さ
れる。第3のブロックは2つのクリップの組合せを制御
するために使用されるべくキーイングフレームのシーケ
ンスに与えられ、かつ第4のブロックは結果として生じ
る組合わされたビデオクリップを記憶するために保存さ
れる。
ば彩度キーのように自動的に造られ得るかまたは各々の
キーイングフレームが現在利用可能である多くの周知の
技法のいずれかを使用して第1および第2のクリップに
おいてフレームの各々に対して個々に組立てられ得る。
さらに、ユーザが2つのクリップが最終的に組合わされ
る前に組合わされたクリップを介するステップを経るこ
とができるようにシステムが配置され、それによって最
終の組合せが完了する前に組合せの結果をプレビューし
かつキーイング信号に変化を与える。動作のこのモード
において、ディスク記憶装置1ないし8からの前景フレ
ームおよび対応する背景フレームは操作フレーム記憶装
置15に転送される。その後、2つのイメージに対する
データは線15aおよび15bを介してプロセッサ16
に読出され、ここでそれは対応するキーイングフレーム
の制御の下で組合わせられる。結果として生じる組合わ
されたフレームはモニタ19上での結果の表示のために
表示フレーム記憶装置17に転送される。結果として組
合わされたシーケンスの各々のフレームはこの方法で表
示され得る。システムに組合せ回路(図示されず)を付
加することによって、組合わされたシーケンスがたとえ
ば1秒につき25のフレームのシーケンスのフルスピー
ドまでで表示され得る。このプレビューモードの間、デ
ータはモニタ19上での表示のためにHDTVの解像度
にあることが必要とされる。クリップの各々のフレーム
に対するデータがストアされる態様のために、各々のフ
レームに対して高い解像度のデータのすべてをディスク
記憶装置1ないし8から読出すことは必要でない。代わ
りに、クリップに対するデータは単一のフレームに関し
て以前に説明されたものと類似の態様で選択されたサブ
フィールドからのみ転送され、プレビューの間の組合せ
は減少された解像度イメージに制限される。システムが
プレビューモードにあるときにディスク記憶装置1およ
び2からデータを読出すこの方法はシステムのまわりを
移動することを必要とされる情報の量を実質的に削減す
る。結果として、個々の映像フレームおよび制御イメー
ジのフレームは記憶装置1ないし8のそれぞれのブロッ
クから読出され得、それはプロセッサ16によって修正
されかつ組合わされ、その結果はモニタ19上に表示さ
れる。
ーザはたとえば2つのクリップのキーイングでの実験を
行ない、そのまたは各々のキーイングフレームを修正し
かつ映像クリップの各々のフレームへのユーザの修正の
効果を理解し得る。ユーザがそのように実験を行なう一
方で、HDTVの解像度データのみがディスク記憶装置
から転送される。一旦ユーザが結果に満足すると、2つ
のクリップの最終の組合せが行なわれ、それは一度に1
つのフレーム毎に第1および第2のクリップを示すデー
タを記憶装置1ないし8におけるそれらのそれぞれのブ
ロックから操作記憶装置15へと読出すことによってそ
うである。同時に、対応するキーイングクリップを表わ
すデータはディスク記憶装置におけるそのブロックから
読出されかつプロセッサ16によって補間係数として使
用され、それによって一度に1フレーム毎に組合わされ
たシーケンスまたはクリップを造り出す。組合わされた
クリップの各々のフレームは記憶装置1ないし8におけ
る組合わされたクリップのための予め規定されたブロッ
クで記憶される。
してきたが、問題の実施例は例示的なものでありかつ当
業者に起こり得るであろうような修正および変形が前掲
の特許請求およびその均等物に述べられるようにこの発
明の真意および範囲を逸脱することなしになされ得ると
いうことが良好に理解されるであろう。たとえば、バル
ク記憶装置におけるピクセルの記憶は上で参照されたも
のとは異なる分割において組織化され得、一方でその分
割によって得られるべき利点を保持する。
である。
ある。
レームデータを示す図である。
に記憶される方法を示す図である。
Claims (21)
- 【請求項1】 イメージ処理装置であって、 少なくとも1つのイメージフレーム全体を示すデジタル
データを記憶するためのメモリを含み、メモリは複数個
の記憶装置を含み、各記憶装置は実質的にイメージフレ
ーム全体のそれぞれの介在可能な低減された解像度の表
示を規定するデータ群を記憶し、 実質的にイメージフレーム全体を示すデータを処理中に
記憶するための操作フレーム記憶装置と、 メモリと操作フレーム記憶装置との間のデータ転送を制
御するためのインターフェイスとを含み、インターフェ
イスは、データがメモリに転送されるときにはイメージ
フレームデータを前記データ群に分割し、データがメモ
リから転送されるときには記憶装置からのデータの群を
介在させ、 操作フレーム記憶装置内のデータを処理して、実質的に
イメージフレーム全体の操作されたバージョンを示す操
作されたデータを生成するためのプロセッサと、 表示のためのイメージの前記操作されたバージョンを示
すデータをプロセッサから受取るように接続される表示
記憶装置とを含む、装置。 - 【請求項2】 インターフェイスはプロセッサによって
制御される、請求項1に記載のイメージ処理装置。 - 【請求項3】 プロセッサは、インターフェイスが中間
の解像度で実質的にイメージフレーム全体を示す選択さ
れたデータ群を記憶装置から操作フレーム記憶装置に転
送するように制御される、プレビューモードで動作可能
である、請求項2に記載のイメージ処理装置。 - 【請求項4】 表示記憶装置に接続されて、前記中間の
解像度でイメージの操作されたバージョンを表示するた
めのモニタをさらに含む、請求項3に記載のイメージ処
理装置。 - 【請求項5】 メモリ内に記憶されたデータは映画フィ
ルム品質に対応する解像度でのイメージを示し、モニタ
は高品位テレビジョンディスプレイのそれに対応するよ
り低い解像度でイメージを表示することができる、請求
項4に記載のイメージ処理装置。 - 【請求項6】 インターフェイスは、奇数および偶数番
号が付された線をそれぞれ含む奇数フィールドおよび偶
数フィールドにイメージデータを分割し、かつ、偶数フ
ィールドに対応するデータがデータ群の一方の半分に寄
与し、奇数フィールドに対応するデータがデータ群の他
方の半分に寄与するようにメモリへのデータの転送を制
御するように配置される、請求項1から5のいずれかに
記載のイメージ処理装置。 - 【請求項7】 各線は複数個の画素を含み、インターフ
ェイスは、各線における偶数および奇数番号が付された
画素がそれぞれの異なるデータ群に寄与するように、メ
モリへのデータの前記転送を制御するよう配置される、
請求項6に記載のイメージ処理装置。 - 【請求項8】 インターフェイスは、交互の偶数番号が
付された画素がそれぞれの異なるデータ群に寄与するよ
うに、メモリへのデータの前記転送を制御するよう構成
される、請求項7に記載のイメージ処理装置。 - 【請求項9】 インターフェイスは、交互の奇数番号が
付された画素がそれぞれの異なるデータ群に寄与するよ
うに、メモリへのデータの前記転送を制御するよう構成
される、請求項7に記載のイメージ処理装置。 - 【請求項10】 制御データを入力するためのユーザの
動作可能な入力手段をさらに含み、前記プロセッサは制
御データに応答して操作されたデータの前記生成を行な
う、請求項1から9のいずれかに記載のイメージ処理装
置。 - 【請求項11】 前記メモリは少なくとも2つのイメー
ジを示すデータを記憶することができ、前記プロセッサ
は前記少なくとも2つのイメージを示すデータを組合せ
るように適合される、請求項1から10のいずれかに記
載のイメージ処理装置。 - 【請求項12】 前記メモリは2つの入力映像クリッ
プ、制御映像クリップおよび組合された映像クリップを
示すデータを記憶することができ、前記クリップの各々
は複数個のイメージフレーム全体を含み、前記プロセッ
サは、前記組合せられた映像クリップを作り出すため
に、前記制御映像クリップに応答して前記2つの入力映
像クリップを組合せるように適合される、請求項1から
11のいずれかに記載のイメージ処理装置。 - 【請求項13】 前記メモリは、前記2つの入力クリッ
プ、前記制御クリップおよび前記組合されたクリップの
各々に対してそれぞれのユーザ同定可能領域へと分割さ
れる、請求項12に記載のイメージ処理装置。 - 【請求項14】 実質的にイメージフレーム全体のそれ
ぞれの介在可能な低減された解像度の表示を各々規定す
る複数個のデータ群として少なくとも1つのイメージフ
レーム全体を示すデジタルデータをメモリ内に記憶する
ステップと、 実質的にイメージフレーム全体を示すデータを操作フレ
ーム記憶装置内に記憶するステップと、 データがメモリに転送されるときにはイメージフレーム
データを前記データ群へと分割することによって、デー
タがメモリから転送されるときにはメモリからのデータ
の群を介在させることによって、メモリと操作フレーム
記憶装置との間でデータを転送するステップと、 操作フレーム記憶装置内のデータを処理して、実質的に
イメージフレーム全体の操作されたバージョンを示す操
作されたデータを生成するステップと、 表示のためのイメージの前記操作されたバージョンを示
す処理されたデータを表示記憶装置に転送するステップ
とを含む、イメージ処理方法。 - 【請求項15】 プレビューモードにおいて、操作フレ
ーム記憶装置内のデータが中間の解像度で実質的にイメ
ージフレーム全体を示すように、選択されたデータ群が
操作フレーム記憶装置に転送される、請求項14に記載
のイメージ処理方法。 - 【請求項16】 前記中間の解像度でイメージの操作さ
れたバージョンを表示するステップをさらに含む、請求
項15に記載のイメージ処理方法。 - 【請求項17】 メモリ内に記憶されたデータは映画フ
ィルム品質に対応する解像度でのイメージを示し、イメ
ージは高品位テレビジョンディスプレイのそれに対応す
る解像度で表示される、請求項16に記載のイメージ処
理方法。 - 【請求項18】 偶数および奇数番号が付された線をそ
れぞれ含む奇数フィールドおよび偶数フィールドへとイ
メージフレームを分割し、かつ、偶数フィールドに対応
するデータがデータ群の一方の半分に寄与し、奇数フィ
ールドに対応するデータがデータ群の他方の半分に寄与
するようにメモリに前記データを転送するステップをさ
らに含む、請求項14から17のいずれかに記載のイメ
ージ処理方法。 - 【請求項19】 各線は複数個の画素を含み、この方法
は各線における偶数および奇数番号が付された画素がそ
れぞれの異なるデータ群に寄与するように前記データを
転送するステップをさらに含む、請求項18に記載のイ
メージ処理方法。 - 【請求項20】 交互の偶数番号が付された画素がそれ
ぞれの異なるデータ群に寄与するように前記データを入
力するステップをさらに含む、請求項19に記載のイメ
ージ処理方法。 - 【請求項21】 交互の奇数番号が付された画素がそれ
ぞれの異なるデータ群に寄与するように前記データを入
力するステップをさらに含む、請求項19または20に
記載のイメージ処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB9122215:8 | 1991-10-18 | ||
GB9122215A GB2261803B (en) | 1991-10-18 | 1991-10-18 | An image processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06314085A JPH06314085A (ja) | 1994-11-08 |
JP3300059B2 true JP3300059B2 (ja) | 2002-07-08 |
Family
ID=10703208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28015692A Expired - Lifetime JP3300059B2 (ja) | 1991-10-18 | 1992-10-19 | イメージ処理システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US5483296A (ja) |
EP (1) | EP0538056B1 (ja) |
JP (1) | JP3300059B2 (ja) |
DE (1) | DE69229033T2 (ja) |
GB (1) | GB2261803B (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2683648B1 (fr) * | 1991-11-12 | 1996-12-13 | Apple Computer | Procede de choix d'objets dans une sequence d'images mobiles et piste d'essai de reussite correspondante. |
GB2271035B (en) * | 1992-09-25 | 1996-11-13 | Quantel Ltd | An electronic image processing system and method |
JPH07220452A (ja) * | 1993-12-17 | 1995-08-18 | Imix Inc | ビデオ編集及び実時間処理のための方法及び装置 |
EP0673153B1 (en) * | 1994-03-18 | 2001-10-10 | Canon Kabushiki Kaisha | Method and Apparatus for forming an abstract image |
US5592237A (en) * | 1994-11-04 | 1997-01-07 | Infimed, Inc. | High resolution image processor with multiple bus architecture |
US5666475A (en) * | 1995-01-03 | 1997-09-09 | University Of Washington | Method and system for editing multiresolution images at fractional-levels of resolution using a wavelet representation |
JP4251675B2 (ja) * | 1997-07-30 | 2009-04-08 | ソニー株式会社 | 記憶装置およびアクセス方法 |
JP4236713B2 (ja) * | 1997-07-30 | 2009-03-11 | ソニー株式会社 | 記憶装置およびアクセス方法 |
JP3861957B2 (ja) * | 1998-02-03 | 2006-12-27 | ソニー株式会社 | 記憶装置、並びに書き込み方法および読み出し方法 |
DE29805046U1 (de) | 1998-03-19 | 1998-07-23 | Scm Microsystems Gmbh | Schnittstelleneinrichtung zwischen einem Halbleiter-Speichermedium für multimediale Inhalte und einem Standard-Videoanschluß |
JP3668135B2 (ja) * | 1998-09-23 | 2005-07-06 | マイクロナス ミューニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 画像中画像挿入方法及び回路装置 |
TWI224300B (en) * | 2003-03-07 | 2004-11-21 | Au Optronics Corp | Data driver and related method used in a display device for saving space |
US7463816B2 (en) * | 2003-09-18 | 2008-12-09 | Cyberlink Corp. | Method of encoding and decoding pictured data for enhancing image resolution |
JP4855915B2 (ja) * | 2006-12-05 | 2012-01-18 | 株式会社リコー | 画像処理装置、画像形成装置およびプログラム |
JP4525692B2 (ja) * | 2007-03-27 | 2010-08-18 | 株式会社日立製作所 | 画像処理装置、画像処理方法、画像表示装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58187996A (ja) * | 1982-04-28 | 1983-11-02 | 株式会社日立製作所 | 表示メモリ回路 |
US4672369A (en) * | 1983-11-07 | 1987-06-09 | Tektronix, Inc. | System and method for smoothing the lines and edges of an image on a raster-scan display |
JPS60245034A (ja) * | 1984-05-18 | 1985-12-04 | Ascii Corp | デイスプレイコントロ−ラ |
GB2164518B (en) * | 1984-09-14 | 1987-12-02 | Philips Electronic Associated | Rotating television pictures |
US4672444A (en) * | 1985-11-14 | 1987-06-09 | Rca Corporation | Method for transmitting a high-resolution image over a narrow-band communication channel |
EP0255280A3 (en) * | 1986-07-24 | 1990-10-24 | Gec Avionics Limited | Data storage |
EP0280932B1 (en) * | 1987-03-04 | 1992-11-19 | Hitachi, Ltd. | Video system for displaying lower resolution video signals on higher resolution video monitors |
GB8908612D0 (en) * | 1989-04-17 | 1989-06-01 | Quantel Ltd | Video graphics system |
JPH0771189B2 (ja) * | 1989-05-16 | 1995-07-31 | 富士ゼロックス株式会社 | 画像データの変倍処理装置 |
GB8913638D0 (en) * | 1989-06-14 | 1989-08-02 | Quantel Ltd | Electronic image composition systems |
GB2235856B (en) * | 1989-09-01 | 1993-11-17 | Quantel Ltd | Improvements in or relating to electronic graphic systems |
US5124692A (en) * | 1990-04-13 | 1992-06-23 | Eastman Kodak Company | Method and apparatus for providing rotation of digital image data |
US5179639A (en) * | 1990-06-13 | 1993-01-12 | Massachusetts General Hospital | Computer display apparatus for simultaneous display of data of differing resolution |
-
1991
- 1991-10-18 GB GB9122215A patent/GB2261803B/en not_active Expired - Lifetime
-
1992
- 1992-10-16 DE DE69229033T patent/DE69229033T2/de not_active Expired - Lifetime
- 1992-10-16 EP EP92309476A patent/EP0538056B1/en not_active Expired - Lifetime
- 1992-10-19 JP JP28015692A patent/JP3300059B2/ja not_active Expired - Lifetime
-
1995
- 1995-04-24 US US08/427,492 patent/US5483296A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0538056B1 (en) | 1999-04-28 |
DE69229033T2 (de) | 1999-08-19 |
GB2261803B (en) | 1995-10-11 |
JPH06314085A (ja) | 1994-11-08 |
GB9122215D0 (en) | 1991-11-27 |
DE69229033D1 (de) | 1999-06-02 |
GB2261803A (en) | 1993-05-26 |
US5483296A (en) | 1996-01-09 |
EP0538056A3 (en) | 1994-06-22 |
EP0538056A2 (en) | 1993-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6191772B1 (en) | Resolution enhancement for video display using multi-line interpolation | |
US5107252A (en) | Video processing system | |
JP3300059B2 (ja) | イメージ処理システム | |
JP2594424B2 (ja) | ビデオ画像作成方法および装置 | |
JPH087567B2 (ja) | 画像表示装置 | |
JP3101580B2 (ja) | 画像記録再生装置 | |
JPH05324821A (ja) | 高解像度映像及び図形表示装置 | |
US20080106506A1 (en) | Method and Apparatus for Processing Video Image Signals | |
JPS6191777A (ja) | ビデオ画像形成装置 | |
EP0969443A1 (en) | Image data processing apparatus and methods for image resolution change | |
JPH03289276A (ja) | ビデオシステム | |
CA1257719A (en) | Graphics display system | |
US5253062A (en) | Image displaying apparatus for reading and writing graphic data at substantially the same time | |
EP0589724B1 (en) | An electronic image processing system and method | |
JP2001136412A (ja) | 複数映像表示装置のガンマ補正回路 | |
EP0595556A1 (en) | A high resolution image processing system using low resolution subimages | |
US5959618A (en) | Image display apparatus | |
JP3643416B2 (ja) | 画像データ入出力装置および方法 | |
JP2989376B2 (ja) | 画像処理装置 | |
JPH08328519A (ja) | マルチディスプレイ用画像出力装置 | |
JPH03136480A (ja) | 静止画用映像演出装置 | |
JPH0764524A (ja) | 画像表示装置 | |
WO1994010679A1 (en) | Resolution enhancement for video display using multi-line interpolation | |
JPH0816808A (ja) | 画像表示装置および画像表示方法 | |
JPH0830254A (ja) | 表示効果発生回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020312 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090419 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090419 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100419 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110419 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120419 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120419 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130419 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130419 Year of fee payment: 11 |