JP3731212B2 - 画像特殊効果装置 - Google Patents

画像特殊効果装置 Download PDF

Info

Publication number
JP3731212B2
JP3731212B2 JP09154394A JP9154394A JP3731212B2 JP 3731212 B2 JP3731212 B2 JP 3731212B2 JP 09154394 A JP09154394 A JP 09154394A JP 9154394 A JP9154394 A JP 9154394A JP 3731212 B2 JP3731212 B2 JP 3731212B2
Authority
JP
Japan
Prior art keywords
image
signal
key signal
output
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP09154394A
Other languages
English (en)
Other versions
JPH07298136A (ja
Inventor
哲郎 中田
哲也 原田
求 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP09154394A priority Critical patent/JP3731212B2/ja
Priority to US08/429,546 priority patent/US5625420A/en
Priority to GB9508607A priority patent/GB2288944B/en
Publication of JPH07298136A publication Critical patent/JPH07298136A/ja
Priority to US08/824,498 priority patent/US5877818A/en
Application granted granted Critical
Publication of JP3731212B2 publication Critical patent/JP3731212B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、原画像に関する情報を用いて該原画像に対して非線形な変形画像を形成する画像特殊効果装置に関する。
【0002】
【従来の技術】
バッファメモリを用いて画像信号に特殊効果処理を施すことが行われている。例えば、画像信号をフレームバッファメモリに取り込む際の書き込みアドレスを操作したり、画像信号をフレームバッファメモリから読み出す際の読み出しアドレスを操作して特殊効果処理が施された変形画像を得ることができる。
【0003】
特殊効果処理としては、例えば、縮小、拡大、移動、回転等の線形な変形から画像を波紋状にするリップル効果、変形を受けた画像が自らの画像に重なり合うような効果の一例であり本のページをめくるようなページターン効果等の非線形効果がある。そして、このような特殊効果処理は、画像特殊効果装置により行われる。
【0004】
上記画像特殊効果装置が行う特殊効果処理は、基本的に、画像信号(以下、ビデオ信号という。)の合成であり、例えば、図9の(A)に示すビデオ信号V1と図9の(B)に示すキー信号Kの2種類の信号と、その他の信号であるバックグランド信号V2とをスイッチャにより合成処理し、図9の(C)に示す合成処理信号Oを出力する。
【0005】
具体的に、上記画像特殊効果装置は、図10に示すような手法によって合成処理信号Oを出力する。先ず、図9の(A)に示す入力ビデオ信号V1と図9の(B)に示すキー信号Kは、乗算器70で乗算されV1Kとなる。また、減算器71にて“1”からキー信号Kを減算して得られた(1−K)とバックグランド信号V2は乗算器72にて乗算され、V2(1−K)となる。この乗算器72の乗算出力V2(1−K)と乗算器70の乗算出力V1Kは、加算器73にて加算される。したがって、合成処理信号Oは、
O=V1K+V2(1ーK) ・・・(1)
となる。この(1)式において、入力ビデオ信号V1とバックグランド信号V2の境界は、キー信号Kの傾斜によって決まる。
【0006】
ここで、上記画像特殊効果装置が行うページターン効果を図11を参照しながら以下に説明する。
【0007】
ページターン効果は、入力画像Vをある折り返し線の位置で折り返すような効果である。その折り返し部分の曲線は側面から観測した場合円筒である。折り返す場合その方向と折り返す位置Mを表現するための座標が必要である。図11にはこの座標T=(X:Y:L)も示す。T軸は、折り返す方向を表す。また、この座標において、X軸及びY軸上のXL及びYLは縮小、拡大、移動、回転等のリニア変形処理の演算を行ったアドレスであるリニアアドレスを示す。すると、上記T軸は、
T=XL*Cosθ+YL*Sinθ ・・・(2)
で与えられる。ここで、θは折り返し方向を示す角度である。
【0008】
図11に実線で示す、画面上で裏面側を表示する裏面側画像(下側画像)bは、ある折り返し線の位置Mで折り返すと視覚状円筒に巻き付き手前側に出る。これは下側画像のリニアアドレスをT軸方向に圧縮するように移動する変形が生じたと考えればよい。この下側画像の移動を表す移動関数fD(T)は、rを円筒の半径、pを円筒の中心位置とするとき、
D(T)=−T+p−r*arcSin((−T+p)/r) ・・・(3)
で与えられる。
【0009】
この(3)式と上記(2)式によれば、上記(2)式で示したリニアアドレス(XL、YL)のそれぞれの成分に対しては、Cosθ、Sinθをかけた分の移動量が加算される。したがって、ページターン効果の下側画像のX軸読み出しアドレスXDLと、Y軸読み出しアドレスYDLは、
DL=XL+fD(T)*Cosθ ・・・(4)
DL=YL+fD(T)*Sinθ ・・・(5)
となる。
【0010】
また、画面上で表面側を表示する表面側画像(上側画像)の読み出しアドレスは、上側画像の移動を表す移動関数をf(T)とすると、そのX軸読み出しアドレスXULとY軸読み出しアドレスYULを、
UL=X+f(T)*Cosθ・・・(6)
UL=Y+f(T)*Sinθ・・・(7)
とする。
【0011】
上記下側画像の移動を表す移動関数fD(T)及び上記上側画像の移動を表す移動関数fU(T)の特性を図12の(B)及び図12の(C)に示す。この下側画像移動関数fD(T)及び上側画像移動関数fU(T)は、中央演算処理ユニットであるCPUの制御により予めルックアップテーブルとして用いるスタティックRAMに書き込まれており、Tの値をアドレスとして該ルックアップテーブルから参照することができる。ここで、図12の(A)は、上記図11の折り返し部分の曲線を側面から観測した場合を示す図である。
【0012】
図13は、上記(4)乃至(7)式に示した上記下側画像の読み出しアドレス及び上記上側画像の読み出しアドレスを得るための後述するページターンアドレス生成回路の具体的な回路図である。
【0013】
この図13において、乗算器80には、リニアアドレスXLとCosθが与えられる。また、乗算器82には、リニアアドレスYLとSinθが与えられる。加算器81は、乗算器80の出力XL*Cosθと、乗算器82の出力YL*Sinθを加算し、加算出力XL*Cosθ+YL*Sinθを出力する。この加算出力XL*Cosθ+YL*Sinθは、上記(2)式に示したTである。ここで、Cosθ、Sinθは、効果として希望する回転角CPUを使い設定する。上述したルックアップテーブルである上側画像移動関数用テーブル83及び下側画像移動関数用テーブル84は、Tの値をアドレスとして、上記上側画像移動関数fU(T)及び下側画像移動関数fD(T)を出力する。
【0014】
上側画像移動関数(以下、fU(T)という。)用テーブル83から出力された上側画像移動関数fU(T)は、乗算器86及び87に供給される。下側画像移動関数(以下、fd(T)という。)用テーブル84から出力された下側画像移動関数fD(T)は、乗算器90及び91に供給される。
【0015】
乗算器86は、上側画像移動関数fU(T)とCosθを乗算し、その乗算出力fU(T)*Cosθを加算器85に出力する。加算器85は、リニアアドレスXLと乗算出力fU(T)*Cosθとを加算し、加算出力XL+fU(T)*Cosθを上記(6)式に示すように、上側画像のX軸読み出しアドレスXULとして出力する。
【0016】
乗算器87は、上側画像移動関数fU(T)とSinθを乗算し、その乗算出力fU(T)*Sinθを加算器88に出力する。加算器88は、リニアアドレスYLと乗算出力fU(T)*Sinθとを加算し、加算出力YL+fU(T)*Sinθを上記(7)式に示すように、上側画像のY軸読み出しアドレスYULとして出力する。
【0017】
乗算器90は、下側画像移動関数fD(T)とCosθを乗算し、その乗算出力fD(T)*Cosθを加算器89に出力する。加算器89は、リニアアドレスXLと乗算出力fD(T)*Cosθとを加算し、加算出力XL+fD(T)*Cosθを上記(4)式に示すように、下側画像のX軸読み出しアドレスXDLとして出力する。
【0018】
乗算器91は、下側画像移動関数fD(T)とSinθを乗算し、その乗算出力fD(T)*Sinθを加算器92に出力する。加算器92は、リニアアドレスYLと乗算出力fD(T)*Sinθとを加算し、加算出力YL+fD(T)*Sinθを上記(5)式に示すように、下側画像のY軸読み出しアドレスYDLとして出力する。
【0019】
また、上記加算器81から出力されたTは、後述するFc用テーブル93に供給され、後述する有効領域検出フラグFcを参照する際のアドレスとなる。
【0020】
以上、図13に示した回路は、ページターン効果を発生するための各種アドレスを生成する部分であり、ページターンアドレス生成回路と呼ばれる。
【0021】
次に、上記図13に示したページターンアドレス生成回路を含めた従来の画像特殊効果装置について、図14を参照しながら説明する。
【0022】
この従来の画像特殊効果装置は、図14に示すような構成とされる。
ビデオ入力データは、フレームバッファメモリであるビデオメモリ101に格納される。キー信号は、キーメモリ102に格納される。ここで、キー信号としては、通常2種類がある。一方は、画枠キー信号生成部103から供給される画像の画枠に相当する画枠キー信号である。他方は任意の形状を受け付ける場合に用いられる外部キー信号であり、例えばテロップ用の文字信号であったり、クロマキー装置で発生したキー信号等である。これら2種類のキー信号は、切換スイッチ104で切り換え選択される。すなわち、切換スイッチ104の被選択端子aには外部キー信号が、被選択端子bには画枠キー信号生成回路103からの画枠キー信号が供給され、選択端子cの切り換えによりキーメモリ102には、上記2種類の内の一のキー信号が供給される。
【0023】
リニアアドレス生成回路105は、ビデオ出力、キー出力の角サンプリング点の位置を表す2次元のアドレスである基本アドレスH、Vに縮小、拡大、移動、回転の効果を加えたリニアアドレスXL、YLを生成し、非線形アドレス生成部である上記ページターンアドレス生成回路106に供給する。
【0024】
ページターンアドレス生成回路106は、上記図13を用いて説明したように、上記(4)式と(5)式に示したページターン効果の下側画像のX軸読み出しアドレスXDLとY軸読み出しアドレスYDLとを有効領域検出器107aと切換スイッチ108の被選択端子aとに、また、上記(6)式と(7)式に示したページターン効果の上側画像のX軸読み出しアドレスXULとY軸読み出しアドレスYULとを有効領域検出器107bと切換スイッチ108の被選択端子bとに供給している。
【0025】
有効領域検出器107a及び107bは、上記下側画像の読み出しアドレスXDLとYDL及び上記上側画像の読み出しアドレスXULとYULの値を評価し、それらのアドレスが画像の存在するアドレスである有効アドレスであるときに、ハイレベルの信号“H”を有効領域検出フラグFa及びFbとして出力する。ここで、読み出しアドレスは、出力のサンプリング点の全てに定義されているので、フレームバッファメモリであるビデオメモリ101の有効アドレスの範囲を超える読み出しアドレスも演算上発生してしまうことになる。このビデオメモリ101の有効アドレスの範囲を超える読み出しアドレスで読み出された画像データは、不確定な画像データとなってしまう。また、ページターンのように上面(上側)と下面(下側)の画像が重ね合わされる場合は、上面の出力される領域を限定し、上面の画像が無効データの場合は下面データに切り換える必要がある。このため、上記下側画像の読み出しアドレスXDLとYDL及び上記上側画像の読み出しアドレスXULとYULに対応するように、二つの有効領域検出器107a及び107bを設け、該読み出しアドレスが有効アドレスである場合には、有効領域検出フラグFa及びFbを出力する。
【0026】
なお、ページターンアドレス生成回路106は、リニアアドレス生成回路105から供給されたリニアアドレスXL及びYLに応じて、X:Y:L座標のL軸方向での有効領域を示す有効領域フラグFcを出力している。ページターンでは画像が折り返される効果のためT軸上のある点以降の範囲は画像が無くなる。そのため下側画像移動関数fD(T)及び上側画像移動関数fU(T)を出力するfD(T)用テーブル84及びfU(T)用テーブル83も、Tの値が所定の範囲内では、fD(T)及びfU(T)であるテーブルデータを定義することができず、上記(4)式乃至(7)式で演算される各読み出しアドレスも結果的に無効アドレスを含むことになる。この無効なアドレスの発生していない領域を示すものが有効領域検出フラグFcである。
【0027】
この有効領域検出フラグFcは、図13に示すFc用テーブル93から読み出すことができる。すなわち、この有効領域検出フラグFcは、CPUの制御により予め1ビットのルックアップテーブルに書き込まれており、Tの値をアドレスとして該ルックアップテーブルであるFc用テーブル93から参照することができる。
【0028】
図14に戻る。切換スイッチ108は、ページターンアドレス生成回路106から供給される上側画像読み出しアドレス(XUL、YUL)と、下側画像読み出しアドレス(XDL、YDL)を切り換えるスイッチであり、後述するANDゲート109により切り換えが制御される。
【0029】
切換スイッチ112は、ビデオメモリ101から読み出されたデータが無効である場合にその領域を黒レベルに置き換えるためのスイッチであり、後述するANDゲート111により切り換えが制御される。
【0030】
切換スイッチ113は、キーメモリ102から読み出されたデータが無効である場合にその領域をデータ“0”に置き換えるためのスイッチであり、切換スイッチ112と同様にANDゲート111により切り換えが制御される。
【0031】
上記有効領域検出器107aの有効領域フラグFaはORゲート110に、上記有効領域検出器107bの有効領域フラグFbはORゲート110とANDゲート109に、上記ページターンアドレス生成回路106の有効領域フラグFcはANDゲート111及び109に供給されている。また、ORゲート110の出力はANDゲート111に供給されている。
【0032】
このためANDゲート109は、有効領域検出フラグFbと有効領域検出フラグFcとがいずれも“H”のとき、すなわち上側画像の読み出しアドレス(XUL、YUL)が有効アドレスであり、かつリニアアドレス(XL、YL)が有効アドレスである場合に、切換スイッチ108の選択端子cを被選択端子a又は被選択端子bの内の被選択端子bに接続して、上側画像の読み出しアドレス(XUL、YUL)を選択させる。
【0033】
また、ANDゲート111は、有効領域検出フラグFaと有効領域検出フラグFbが供給されるORゲート110の出力と、有効領域検出フラグFcとが供給されているので、有効領域検出フラグFa、Fb及びFcがすべて“H”のとき、すなわち上側画像の読み出しアドレス(XUL、YUL)、下側画像の読み出しアドレス(XDL、YDL)及びリニアアドレス(XL、YL)が有効アドレスである場合に、切換スイッチ112の選択端子cを被選択端子a又は被選択端子bの内の被選択端子bに接続して、ビデオメモリ101の出力データを選択させ、それ以外の領域のときには被選択端子cから供給される黒レベルを選択させる。
【0034】
同様に、ANDゲート111は、有効領域検出フラグFa、Fb及びFcがすべて“H”のとき、すなわち上側画像の読み出しアドレス(XUL、YUL)、下側画像の読み出しアドレス(XDL、YDL)及びリニアアドレス(XL、YL)が有効アドレスである場合に、切換スイッチ113の選択端子cを被選択端子a又は被選択端子bの内の被選択端子bに接続して、キーメモリ102の出力データを選択させ、それ以外の領域のときには被選択端子cから供給されるデータ“0”を選択させる。
【0035】
【発明が解決しようとする課題】
ところで、上記従来の画像特殊効果装置では、画面上で表面側を表示する表面側画像(上側画像)の読み出しアドレスと、画面上で裏面側を表示する裏面側画像(下側画像)の読み出しアドレスがスイッチされるため、詳細を後述する図15の領域124bの部分に上下画像がサンプリング点で切り換わるエッジギザが発生する。また、図15の領域124aの部分ではキー信号は切換スイッチ113で“0”に切り換えられる処理が行われるためキー信号Kに傾斜がなくなりスイッチャで合成した場合にエッジギザが発生する。
【0036】
すなわち、上記(1)式において、キー信号Kに傾斜が無い場合はある点で急に画像が切り替わることになる。入力ビデオ信号V1、バックグランド信号V2及びキー信号KのいずれもA/D変換してディジタル信号処理を行うと、あるサンプリング点で急に画像が切り替わりサンプリング点をエッジとするエッジギザが発生する。
【0037】
上述したようなページターン効果に現れるエッジギザの位置とその形状について図15を用いて説明する。図15はモニタ装置の画面121上に表示されたページターンの画像を表している。紙122の表側(紙122の右側)は画面121上で表面側にあるので表面側画像(上側画像)と呼ぶ。この上側画像が示す紙122の表側の左端部をめくることにより、画面上で裏面側にある裏面側画像が表面側画像を裏返したような画像として、境界領域124aを通っている折り返し線の位置から境界領域124bを通る左端部123を示す線まで現れている。このようなページターン画像において、従来、バックグランド信号V2と入力ビデオ信号V1との境界領域124a及び124bには、エッジギザが拡大領域124の中に示すように発生してしまっている。このエッジギザは、特殊効果画像の精度を下げてしまう。
【0038】
本発明は、上記実情に鑑みてなされたものであり、変形を受けた画像を自らに重なり合わせるような効果を出すような際に、エッジギザの発生を抑え、特殊効果画像の精度を上げることのできる画像特殊効果装置の提供を目的とする。
【0039】
【課題を解決するための手段】
本発明に係る画像特殊効果装置は、上記課題を解決するために、原画像に関するビデオ信号を記憶するビデオ信号用記憶手段と、原画像に関するキー信号を記憶するキー信号用記憶手段と、上記原画像の基本アドレスから上記原画像を線形に変形するための線形アドレスを生成する線形アドレス生成手段と、画面上で表面側になるように表示される表面側画像と、画面上で裏面側になるように表示される裏面側画像とを折り返し線で交差することにより、上記原画像をある位置で折り返したような非線形な特殊効果画像を得るために、上記線形アドレス生成手段が生成した線形アドレスから上記表面側画像に関する読み出しアドレスと上記裏面側画像に関する読み出しアドレスを生成するとともに、上記表面側画像と裏面側画像が交差する位置を示す折り返し線で、ある値をとり、折り返し線を基準にめくれる方向に直線状に増加するデータZを生成する読み出しアドレス生成手段と、上記読み出しアドレス生成手段からの上記表面側画像の読み出しアドレスと上記裏面側画像の読み出しアドレスとに応じて上記ビデオ信号用記憶手段から読み出したビデオ信号を表面側ビデオ信号及び裏面側ビデオ信号に分割し、また上記キー信号用記憶手段から読みだしたキー信号を上記表面側ビデオ信号及び裏面側ビデオ信号に対応する表面側キー信号及び裏面側キー信号に分割する分割手段と、上記分割手段で分割された表面側ビデオ信号及び裏面側ビデオ信号と、上記表面側ビデオ信号及び裏面側ビデオ信号に対応する上記表面側キー信号及び裏面側キー信号と、上記データZを受信し、上記データZに基づいて表面側キー信号裏面側キー信号のプライオリティを決める第1のプライオリティ決定信号を生成し、上記表面側キー信号と上記裏面側キー信号を合成して出力キー信号を生成し、上記表面側キー信号と上記裏面側キー信号と上記第1のプライオリティ決定信号と上記出力キー信号とを合成して第1の合成キー信号を生成し、上記第1の合成キー信号に基づいて上記表面側ビデオ信号と上記裏面側ビデオ信号を合成して合成ビデオ信号を生成し、かつ上記第1のプライオリティ決定信号に基づいて上記合成ビデオ信号から不要な部分を除去した合成ビデオ信号を出力する画像合成手段とを備える。
【0040】
上記画像合成手段は、上記データZに基づいて表面側キー信号と裏面側キー信号のプライオリティを決める、上記第1のプライオリティ決定信号とは異なる第2のプライオリティ決定信号を生成し、上記第2のプライオリティ決定信号と上記出力キー信号とを合成して上記第1の合成キー信号とは異なって不要部分のキー信号を零にしている第2の合成キー信号を生成して、上記不要な部分を除去した合成ビデオ信号と共に出力する。
【0043】
【作用】
画像合成手段は、分割手段で分割された表面側ビデオ信号及び裏面側ビデオ信号と、表面側キー信号及び裏面側キー信号と、データZを受信し、データZに基づいて表面側キー信号裏面側キー信号のプライオリティを決める第1のプライオリティ決定信号を生成し、表面側キー信号と裏面側キー信号を合成して出力キー信号を生成し、表面側キー信号と裏面側キー信号と第1のプライオリティ決定信号と出力キー信号とを合成して第1の合成キー信号を生成し、第1の合成キー信号に基づいて表面側ビデオ信号と裏面側ビデオ信号を合成して合成ビデオ信号を生成し、かつ第1のプライオリティ決定信号に基づいて合成ビデオ信号から不要な部分を除去した合成ビデオ信号を出力する。
【0044】
【実施例】
以下、本発明に係る画像特殊効果装置の実施例を図面を参照しながら説明する。この実施例は、変形を受けた画像を自らに重なり合わせるような効果の一例であり本のページをめくるようなページターン効果を行うことのできる画像特殊効果装置である。特に、この実施例の画像特殊効果装置は、入力画像をフレームバッファメモリに格納し読み出しアドレスを非線形にすることで変形画像を形成するいわゆる読み出し方式を採用した画像特殊効果装置である。
【0045】
この実施例の画像特殊効果装置は、図1に示すような構成とされる。
原画像に関するビデオ入力データは、フレームバッファメモリであるビデオメモリ1に格納される。原画像に関するキー信号は、キーメモリ2に格納される。ここで、キー信号としては、通常2種類がある。一方は、画像の画枠に相当する画枠キー信号であり、画枠キー信号生成回路3から供給される。また他方は、任意の形状を受け付ける場合に用いられる外部キー信号であり、例えばテロップ用の文字信号であったり、クロマキー装置で発生したキー信号等である。これら2種類のキー信号は、切換スイッチ4で切り換え選択される。すなわち、切換スイッチ4の被選択端子aには外部キー信号が、被選択端子bには画枠キー信号生成回路3からの画枠キー信号が供給され、選択端子cの切り換えによりキーメモリ2には、上記2種類の内の一のキー信号が供給される。
【0046】
リニアアドレス生成回路5は、ビデオ出力、キー出力の各サンプリング点の位置を表す2次元のアドレスである基本アドレス(H、V)に、縮小、拡大、移動、回転の効果を加えたリニアアドレス(XL、YL)を生成し、非線形アドレス生成部であるページターンアドレス生成回路6に供給する。ここで、ページターン効果は、入力画像をある位置で折り返す効果である。折り返す場合その方向と折り返す位置を表現するための座標X:Y:Lが必要となる。T軸は折り返す方向を表すものとする。すると、T軸は、θを折り返し方向を示す角度とすると、
T=XL*Cosθ+YL*Sinθ ・・・(8)
で与えられる。この(8)式に示すTは、ページターンアドレス生成回路6の中で得られる。
【0047】
ページターンアドレス生成回路6は、図2に示すような構成とされる。
この図2において、乗算器10には、リニアアドレスXLとCosθが与えられる。また、乗算器12には、リニアアドレスYLとSinθが与えられる。加算器11は、乗算器10の出力XL*Cosθと、乗算器12の出力YL*Sinθ加算し、加算出力XL*Cosθ+YL*Sinθを出力する。この加算出力XL*Cosθ+YL*Sinθは、上記(8)式に示したTである。ここで、θは、上述したように折り返し方向を示す角度であり、中央演算処理ユニット(以下、CPUという。)を使い設定することができる。ルックアップテーブルである上側画像移動関数(以下、fu(T)という。)用テーブル13及び下側画像移動関数(以下、fd(T)という。)用テーブル14は、Tの値をアドレスとして、後述する上側画像移動関数fu(T)及び下側画像移動関数fd(T)を出力する。
【0048】
u(T)用テーブル13及びfd(T)用テーブル14には、図3に示すようなS字展開をする画像移動関数が予め書き込まれている。このS字展開をする画像移動関数について以下に説明する。
【0049】
本実施例の画像特殊効果装置は、後述するようにコンバイナ処理回路9に2つの画像を合成させて、この合成画像からページターン効果を得るような処理をしている。すなわち、コンバイナ処理による2つの画像合成では、画面上で表面側となる表面側画像(上側画像)から画面上で裏面側となる裏面側画像(下側画像)に移行する画像のエッジ部分はキー信号のエッジ傾斜に従って滑らかになり、本実施例の画像特殊効果装置は、この原理を適用してページターン効果を作り出している。詳細は後述するが、ページターンアドレス生成回路6が生成した表面側画像(上側画像)読み出しアドレス(XUL、YUL)と、裏面側画像(下側画像)読み出しアドレス(XDL、YDL)をそれぞれ時分割多重した時分割多重読み出しアドレス(XGL、YGL)をビデオメモリ1及びキーメモリ2に供給し、該ビデオメモリ1及びキーメモリ2からビデオ信号及びキー信号を読み出し、該読み出しビデオ信号及びキー信号を表面側画像用のビデオ信号及びキー信号と、裏面側画像のビデオ信号及びキー信号に分割し、これら各信号を用いて図4に示すような画像を作り出し、該画像から不要な部分を除去することによって、ページターン効果の画像を得ている。
【0050】
図4に示す画像は、ページターンの画像を破線で示す折り返し線Lで、本来の方向Mへ巻かずに折り返し線Lを基準に丁度逆方向Nに巻き付けるようにする。
【0051】
このような一連の操作を上側画像の読み出しアドレス(XUL、YUL)と、下側画像の読み出しアドレス(XDL、YDL)のいずれに対しても行う。このとき、この操作で読みだされる画像を横から観測した場合、S字形が形成される。このため、ここでは、上側画像の読み出しアドレス(XUL、YUL)と、下側画像の読み出しアドレス(XDL、YDL)を用いて行う一連の操作を読み出しアドレスのS字展開呼ぶことにする。このS字展開を行う関数を上側画像移動関数fu(T)及び下側画像移動関数fd(T)とする。
【0052】
ここで、図3の(A)は、図4に示す画像を横から観測した図である。図3の(B)は、下側画像移動関数fd(T)を示す図である。また、図3の(C)は、上側画像移動関数fu(T)を示す図である。
【0053】
図2に戻る。fu(T)用テーブル13から出力された上側画像移動関数fu(T)は、乗算器16及び17に供給される。また、fd(T)用テーブル14から出力された下側画像移動関数fd(T)は、乗算器20及び21に供給される。
【0054】
乗算器16は、上側画像移動関数fu(T)とCosθを乗算し、その乗算出力fu(T)*Cosθを加算器15に出力する。加算器15は、リニアアドレスXLと乗算出力fu(T)*Cosθとを加算し、加算出力XL+fu(T)*Cosθを上側画像のX軸読み出しアドレスXULとして出力する。
【0055】
乗算器17は、上側画像移動関数fu(T)とSinθを乗算し、その乗算出力fu(T)*Sinθを加算器18に出力する。加算器18は、リニアアドレスYLと乗算出力fu(T)*Sinθとを加算し、加算出力YL+fu(T)*Sinθを上側画像のY軸読み出しアドレスYULとして出力する。
【0056】
乗算器20は、下側画像移動関数fd(T)とCosθを乗算し、その乗算出力fd(T)*Cosθを加算器19に出力する。加算器19は、リニアアドレスXLと乗算出力fd(T)*Cosθとを加算し、加算出力XL+fd(T)*Cosθを下側画像のX軸読み出しアドレスXDLとして出力する。
【0057】
乗算器21は、下側画像移動関数fd(T)とSinθを乗算し、その乗算出力fd(T)*Sinθを加算器22に出力する。加算器22は、リニアアドレスYLと乗算出力fd(T)*Sinθとを加算し、加算出力YL+fd(T)*Sinθを下側画像のY軸読み出しアドレスYDLとして出力する。
【0058】
また、上記加算器11から出力されたTは、オフセット加算器24に供給され、偽データZを出力するのに用いられる。この偽データZは、図4に示した画像から不要な画像を除去する際に用いられる奥行き情報である。この偽データZは、表面側画像(上側画像)と裏面側画像(下側画像)が交差する位置(折り返し線L)で、ある値(例えば0とする)をとり、折り返し線Lを基準にめくれる方向に直線状に増加するデータである。ページターン効果の場合、T軸データにオフセットを加算し折り返し線Lの位置で0となるようにする。
【0059】
ここで、図1に戻る。ページターンアドレス生成回路6で生成された2つのアドレス、すなわち上側画像読み出しアドレス(XUL、YUL)と下側画像読み出しアドレス(XDL、YDL)は、マルチプレクサ7に供給される。このマルチプレクサ7は、上記2つのアドレスを時分割多重し、時分割多重読み出しアドレス(XGL、YGL)を作り出し、ビデオメモリ1及びキーメモリ2に供給する。この時分割多重読み出しアドレス(XGL、YGL)は、サンプリング周期の2倍のレートになっている。
【0060】
ビデオメモリ1及びキーメモリ2は、時分割多重読み出しアドレス(XGL、YGL)にしたがって、非線形効果画像をそれぞれ出力する。ビデオメモリ1から出力された非線形効果画像は、デマルチプレクサ8aに供給されて、上側ビデオ信号Vaと下側ビデオ信号Vbに分割される。また、キーメモリ2から出力された非線形効果画像は、デマルチプレクサ8bに供給されて、上側キー信号Kaと下側キー信号Kbとに分割される。このデマルチプレクサ8a及び8bで分割された上側ビデオ信号Vaと下側ビデオ信号Vb及び上側キー信号Kaと下側キー信号Kbは、コンバイナ処理回路9に供給される。
【0061】
コンバイナ処理回路9は、上述したように2つの画面を合成する際に、上側画像から下側画像に移行する画像のエッジ部分をキー信号のエッジの傾斜に従い滑らかにするものであり、図5に示すような構成である。各構成部での演算を図6の各信号の波形図を参照しながら説明する。
【0062】
図1のデマルチプレクサ8aから出力された上側ビデオ信号Va及び下側ビデオ信号Vbは、乗算器32及び乗算器33に供給される。また、デマルチプレクサ8bから出力された上側キー信号Kaは、“1”が与えられる減算器34、乗算器35及び乗算器36に供給される。また、同様にデマルチプレクサ8bから出力された下側キー信号Kbは、“1”が与えられる減算器37に供給される。
【0063】
減算器34の減算出力(1−Ka)と、減算器37の減算出力(1−Kb)は、乗算器38に供給される。乗算器38の乗算出力(1−Ka)*(1−Kb)は、“1”が与えらえる減算器39に供給される。減算器39の減算出力{1−((1−Ka)*(1−Kb))}は、キー信号KOUTとして乗算器40と除算器41に供給される。除算器41には、分母側の値として供給される。また、減算器37の減算出力(1−Kb)は、乗算器42にも供給されている。
【0064】
また、図1のページパターンアドレス生成回路6から出力された偽データZは、ゲイン量Goが与えられている乗算器43及びゲイン量Go’が与えらえている乗算器44に供給される。
【0065】
したがって、乗算器43の乗算出力は、Z*G o となる。この乗算器43の乗算出力Z*G o を偽データZから成形した、表面側(上側)キー信号K 、裏面側(下側)キー信号K のプライオリティを決めるプライオリティ信号Gzとする。そして、このプライオリティ信号Gzはリミッタ45により、0以上1以下の値に制限される。すなわち、0≦Gz≦1とされる。したがって、データZから決められたプライオリティ信号Gzは、
z*Go
ただし、0≦Gz ≦1
・・・(9)
となる。
【0066】
また、乗算器44の乗算出力は、(Za−Zb)*Go’となる。この乗算器44の乗算出力(Za−Zb)*Go’をもう一つのプライオリティ信号Gz’とする。そして、このGz’はリミッタ46により、0以上1以下の値に制限される。すなわち、0≦Gz’≦1とされる。したがって、このもう一つのプライオリティ信号Gz’は、
Figure 0003731212
となる。この(10)式において、Go’には適当な係数を選び、Gz’に適度な傾斜を持たせている。
【0067】
リミッタ45から出力されたプライオリティ信号Gzは、乗算器35、減算器47及び1ビット化処理部48に供給される。乗算器35は上記上側キー信号Kaとプライオリティ信号Gzを乗算し、乗算出力Ka*Gzを加算器49に供給する。減算器47には“1”が与えられており、減算出力(1−Gz)を乗算器36に供給する。1ビット化処理部48は、プライオリティ信号Gzが0であるとき(Gz=0)には2値信号“0”を、プライオリティ信号Gzが0より大きいとき(Gz>0)には2値信号“1”を切り換えスイッチ50に出力する。
【0068】
リミッタ46から出力されたもう一つのプライオリティ信号Gz’は、乗算器40に供給される。乗算器40は減算器39から出力された減算出力であるキー信号KOUT(=1−((1−Ka)*(1−Kb)))にプライオリティ信号Gz’を乗算し、乗算出力KOUT*Gz’をもう一つの乗算出力KOUT’として出力する。すなわち、もう一つの乗算出力KOUT’は、
OUT’=KOUT*Gz’ ・・・(11)
となる。この(11)式で示されるもう一つの乗算出力KOUT’は、上記乗算出力KOUTが2つのキー信号を交差して合成し、ページターン効果として不要な部分を持っているのに対し、不要部分のキー信号を零にしている。
【0069】
乗算器36は、減算器47の減算出力(1−Gz)と上記上側キー信号Kaとを乗算し、乗算出力Ka*(1−Gz)を乗算器42に供給する。乗算器42は、この乗算出力Ka*(1−Gz)と、減算器37の減算出力(1−Kb)を乗算し、乗算出力(Ka*(1−Gz))*(1−Kb)を加算器49に供給する。加算器49は、乗算器35の乗算出力Ka*Gzと、乗算器42の乗算出力(Ka*(1−Gz))*(1−Kb)を加算し、加算出力Ka*Gz+(Ka*(1−Gz))*(1−Kb)を除算器41に分子として供給する。除算器41には減算器39の減算出力であるKOUTが分母として供給されており、除算出力Kabを、
ab={Ka*Gz+(Ka*(1−Gz))*(1−Kb)}/KOUT・・・(12)
として出力する。この(12)式に示した除算出力Kabは、上側ビデオ信号Vaと下側ビデオ信号Vbを合成するキー信号であり、乗算器32及び減算器51に供給される。
【0070】
乗算器32は、上記(12)式に示したキー信号Kabと、上記上側ビデオ信号Vaを乗算し、乗算出力Va*Kabを加算器52に供給する。減算器51には“1”が与えらえており、減算出力(1−Kab)を乗算器33に供給する。乗算器33は、減算器51の減算出力(1−Kab)と、上記下側ビデオ信号Vbを乗算し、乗算出力Vb*(1−Kab)を加算器52に出力する。加算器52は、乗算器32の乗算出力Va*Kabと、乗算器33の乗算出力Vb*(1−Kab)とを加算し、加算出力VOUTを、
OUT=Va*Kab+Vb*(1−Kab) ・・・(13)
として出力する。この(13)式に示した加算出力VOUTは、コンバイン処理されたビデオ信号であり、切換スイッチ50の被選択端子aに供給される。
【0071】
切換スイッチ50の被選択端子bには黒レベル信号が供給されており、選択端子cによる切換選択は、1ビット化処理部48から供給される2値信号“1”又は“0”により制御されている。すなわち、1ビット化処理部48に供給された上記プライオリティ信号Gzが0であるときには、切換スイッチ50には“0”が供給されるので、選択端子cは被選択端子bに接続され、黒レベル信号をビデオ信号VOUT’として出力する。一方、1ビット化処理部48に供給された上記プライオリティ信号Gzが0より大きいときには、切換スイッチ50には“1”が供給されるので、選択端子cは被選択端子aに接続され、該切換スイッチ50は加算器52から上記(13)式に示されるVOUT信号をビデオ信号VOUT’として出力する。すなわち、キー信号と同様にページターン効果として不要な部分については、
z=0ならVOUT’=黒レベル
z>0ならVOUT’=VOUT*Gz
なる演算で削除する。
【0072】
ここで、KOUT’はページターン効果のいずれのエッジも傾斜を持ったものになっている。VOUT’はVaとVbが切り替わるエッジはKabにより既に滑らかに混合されている。それ以外のエッジは急峻にブラックレベルと切り換えられているが、KOUT’の傾斜によりスイッチャで合成を行った場合エッジキザは生じない。
【0073】
なお、この実施例では、上記コンバイナ処理回路9を図5に示すような構成としたが、上記プライオリティ信号Gzは、“0”か“1”しかとらない関係上Gzを掛ける演算部分はスイッチに置き換えることが可能である。また、偽ZデータからGzを得る部分も偽データZの符号を判定して、Gzを“0”か“1”とすることが可能である。図7には、Gzを掛ける演算部分を省略し、上記符号判定回路60を設けたコンバイナ処理回路の詳細な回路図を示す。符号判定回路60は、偽データZの符号が正であるか負であるかを判定し、正である場合にはGzを“1”とし、負である場合にはGzを“0”として、該2値信号を切換スイッチ50に供給している。この図7における他のブロックの内、上記図5に示したブロックと同様であるものについては同符号を付し説明を省略する。
【0074】
この図7に示したコンバイナ処理回路は、除算器41からの除算出力であり上側ビデオ信号Vaと下側ビデオ信号Vbを合成するキー信号Kabと、加算器52からの加算出力でありコンバインされたビデオ信号であるVOUTとを図8に示すような波形の信号にしている。他の各波形信号は、上記図6に示したのと同様である。
【0075】
また、この実施例の画像特殊効果装置は、ページターン効果の他、円筒効果、球効果等の特殊効果も行うことができる。
【0076】
また、上記各アドレスをS字展開する場合、画像が最終的に削除される領域に相当する部分のルックアップテーブルの関数は必ずしも格納せずとも良い。
【0077】
また、ビデオ入力、キー入力それぞれにフレームバッファを2つ用意し、同じ画像データを格納し2つの読み出しアドレスで読み出しても良い。この場合はアドレスをマルチプレクサで時分割多重する必要はない。また読み出されデータのデマルチプレクサも不要となる。
【0078】
また、上記実施例では、Gz’は、Za=0のとき効果に食い込むように成形されている。しかし、Za=0のときGz’=0.5となるように成形してもよい。この場合は食い込みが軽減される。GzはGz’=0の点で変化するよう成形方法を変える必要がある。
【0079】
【発明の効果】
本発明によれば、エッジギザの発生を抑えることができる。したがって、この画像特殊効果装置は、精度の良い特殊効果画像を形成することができる。
【図面の簡単な説明】
【図1】本発明の実施例の画像特殊効果装置の構成を示すブロック回路図である。
【図2】図1に示した画像特殊効果装置のページターンアドレス生成回路の構成を示す回路図である。
【図3】S字展開される画像移動関数を示す特性図である。
【図4】コンバイナ処理回路が合成する画像を示す図である。
【図5】コンバイナ処理回路の具体的な構成例を示すブロック回路図である。
【図6】図5のコンバイナ処理回路を有する画像特殊効果装置の動作を説明するための信号波形図である。
【図7】コンバイナ処理回路の具体的な他の構成例を示すブロック回路図である。
【図8】図7のコンバイナ処理回路を有する画像特殊効果装置の動作を説明するための信号波形図である。
【図9】画像特殊効果装置が行うビデオ信号の合成を説明するための図である。
【図10】ビデオ信号の合成を行うための回路図である。
【図11】従来の画像特殊効果装置で行うページターン効果を説明するための図である。
【図12】従来の画像特殊効果装置でページターン効果を実行する場合に用いる画像移動関数を示す特性図である。
【図13】従来の画像特殊効果装置のページターンアドレス生成回路の具体的な回路図である。
【図14】従来の画像特殊効果装置の構成を示すブロック回路図である。
【図15】従来の画像特殊効果装置が発生するエッジギザを説明するための図である。
【符号の説明】
1 ビデオメモリ
2 キーメモリ
3 画枠キー信号生成回路
4 切換スイッチ
5 リニアアドレス生成回路
6 ページターンアドレス生成回路
7 マルチプレクサ
8a、8b デマルチプレクサ
9 コンバイナ処理回路

Claims (2)

  1. 原画像に関するビデオ信号を記憶するビデオ信号用記憶手段と、
    原画像に関するキー信号を記憶するキー信号用記憶手段と、
    上記原画像の基本アドレスから上記原画像を線形に変形するための線形アドレスを生成する線形アドレス生成手段と、
    画面上で表面側になるように表示される表面側画像と、画面上で裏面側になるように表示される裏面側画像とを折り返し線で交差することにより、上記原画像をある位置で折り返したような非線形な特殊効果画像を得るために、上記線形アドレス生成手段が生成した線形アドレスから上記表面側画像に関する読み出しアドレスと上記裏面側画像に関する読み出しアドレスを生成するとともに、上記表面側画像と裏面側画像が交差する位置を示す折り返し線で、ある値をとり、折り返し線を基準にめくれる方向に直線状に増加するデータZを生成する読み出しアドレス生成手段と、
    上記読み出しアドレス生成手段からの上記表面側画像の読み出しアドレスと上記裏面側画像の読み出しアドレスとに応じて上記ビデオ信号用記憶手段から読み出したビデオ信号を表面側ビデオ信号及び裏面側ビデオ信号に分割し、また上記キー信号用記憶手段から読みだしたキー信号を上記表面側ビデオ信号及び裏面側ビデオ信号に対応する表面側キー信号及び裏面側キー信号に分割する分割手段と、
    上記分割手段で分割された表面側ビデオ信号及び裏面側ビデオ信号と、上記表面側ビデオ信号及び裏面側ビデオ信号に対応する上記表面側キー信号及び裏面側キー信号と、上記データZを受信し、上記データZに基づいて表面側キー信号裏面側キー信号のプライオリティを決める第1のプライオリティ決定信号を生成し、上記表面側キー信号と上記裏面側キー信号を合成して出力キー信号を生成し、上記表面側キー信号と上記裏面側キー信号と上記第1のプライオリティ決定信号と上記出力キー信号とを合成して第1の合成キー信号を生成し、上記第1の合成キー信号に基づいて上記表面側ビデオ信号と上記裏面側ビデオ信号を合成して合成ビデオ信号を生成し、かつ上記第1のプライオリティ決定信号に基づいて上記合成ビデオ信号から不要な部分を除去した合成ビデオ信号を出力する画像合成手段と
    を備えることを特徴とする画像特殊効果装置。
  2. 上記画像合成手段は、上記データZに基づいて表面側キー信号と裏面側キー信号のプライオリティを決める、上記第1のプライオリティ決定信号とは異なる第2のプライオリティ決定信号を生成し、上記第2のプライオリティ決定信号と上記出力キー信号とを合成して上記第1の合成キー信号とは異なって上記不要部分のキー信号を零にしている第2の合成キー信号を生成して、上記不要な部分を除去した合成ビデオ信号と共に出力することを特徴とする請求項1記載の画像特殊効果装置。
JP09154394A 1994-04-28 1994-04-28 画像特殊効果装置 Expired - Fee Related JP3731212B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP09154394A JP3731212B2 (ja) 1994-04-28 1994-04-28 画像特殊効果装置
US08/429,546 US5625420A (en) 1994-04-28 1995-04-27 Special effect picture device
GB9508607A GB2288944B (en) 1994-04-28 1995-04-27 Special effect apparatus and methods for transforming video signals
US08/824,498 US5877818A (en) 1994-04-28 1997-03-26 Special effect picture device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09154394A JP3731212B2 (ja) 1994-04-28 1994-04-28 画像特殊効果装置

Publications (2)

Publication Number Publication Date
JPH07298136A JPH07298136A (ja) 1995-11-10
JP3731212B2 true JP3731212B2 (ja) 2006-01-05

Family

ID=14029397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09154394A Expired - Fee Related JP3731212B2 (ja) 1994-04-28 1994-04-28 画像特殊効果装置

Country Status (3)

Country Link
US (2) US5625420A (ja)
JP (1) JP3731212B2 (ja)
GB (1) GB2288944B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3731212B2 (ja) * 1994-04-28 2006-01-05 ソニー株式会社 画像特殊効果装置
US6243143B1 (en) * 1999-09-21 2001-06-05 Media 100 Inc. Effecting video transitions between video streams
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP2012169869A (ja) * 2011-02-14 2012-09-06 For-A Co Ltd ステレオ3d映像特殊効果装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2526857B2 (ja) * 1984-12-27 1996-08-21 ソニー株式会社 画像信号変換方法
US4851912A (en) * 1986-03-06 1989-07-25 The Grass Valley Group, Inc. Apparatus for combining video signals
JPH07121084B2 (ja) * 1987-11-06 1995-12-20 日本電気株式会社 テレビジョン映像信号特殊効果装置
GB8812891D0 (en) * 1988-05-31 1988-07-06 Crosfield Electronics Ltd Image generating apparatus
US5053762A (en) * 1989-04-28 1991-10-01 Microtime, Inc. Page turn simulator
JPH03205976A (ja) * 1989-10-27 1991-09-09 Nec Corp 特殊効果装置を用いた画面合成システム
JP2773354B2 (ja) * 1990-02-16 1998-07-09 ソニー株式会社 特殊効果装置及び特殊効果発生方法
US5214511A (en) * 1990-11-30 1993-05-25 Sony Corporation Image transforming apparatus
US5327177A (en) * 1992-05-26 1994-07-05 The Grass Valley Group, Inc. Method of and apparatus for processing a shaped video signal to add a simulated shadow
US5280357A (en) * 1992-10-13 1994-01-18 The Grass Valley Group, Inc. Depth-based recursive video effects
US5408272A (en) * 1993-12-13 1995-04-18 The Grass Valley Group, Inc. Method of producing a composited video image based on depth
JP3731212B2 (ja) * 1994-04-28 2006-01-05 ソニー株式会社 画像特殊効果装置

Also Published As

Publication number Publication date
US5625420A (en) 1997-04-29
GB2288944A (en) 1995-11-01
GB9508607D0 (en) 1995-06-14
GB2288944B (en) 1998-09-16
US5877818A (en) 1999-03-02
JPH07298136A (ja) 1995-11-10

Similar Documents

Publication Publication Date Title
JP3890177B2 (ja) 解像度変換装置及びこれを用いた装置
JP2773354B2 (ja) 特殊効果装置及び特殊効果発生方法
US4240113A (en) Picture manipulation in video systems
EP0264961A2 (en) Television special effects system
US5083208A (en) Electronic zoom apparatus
JPH01870A (ja) テレビジヨン特殊効果装置
US5325446A (en) Apparatus for image transformation
JP3731212B2 (ja) 画像特殊効果装置
JPH06245056A (ja) 画像データの拡大・平滑化処理装置
JP4215423B2 (ja) 画像データ出力装置
JPH06261238A (ja) 撮像装置
JP2005189663A (ja) マルチレイヤ画像合成装置
EP0264963A2 (en) Method and apparatus for carrying out television special effects
JP3113090B2 (ja) 映像信号処理装置
JP3022721B2 (ja) 色信号処理方法
JP3327961B2 (ja) 画像処理装置
US7697817B2 (en) Image processing apparatus and method, and recorded medium
JP2985865B2 (ja) 特殊効果装置
JP2595746B2 (ja) 走査線補間回路
JP2910137B2 (ja) 映像信号合成装置
JP3420151B2 (ja) 画像処理装置
JPH0759004A (ja) 多画面表示装置
US20010012057A1 (en) Film scanner with variable image resolution
JP3587595B2 (ja) 画像変換装置
JPH07107415A (ja) テレビジョン信号処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050328

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051003

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131021

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees