JPH1175054A - 画像合成方法及び装置、並びに情報処理システム - Google Patents
画像合成方法及び装置、並びに情報処理システムInfo
- Publication number
- JPH1175054A JPH1175054A JP10144517A JP14451798A JPH1175054A JP H1175054 A JPH1175054 A JP H1175054A JP 10144517 A JP10144517 A JP 10144517A JP 14451798 A JP14451798 A JP 14451798A JP H1175054 A JPH1175054 A JP H1175054A
- Authority
- JP
- Japan
- Prior art keywords
- image
- key information
- information
- processing
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
(57)【要約】
【課題】 アルファ情報などを用いる必要がなく、原画
像に画像処理を施しても合成画像の画質が劣化しない画
像合成方法および画像合成装置を提供する。 【解決手段】 特定色判定回路１０１は、第１の原画像
９１の特定色の部分を判定してキー信号９３を生成す
る。画像処理回路１０２は、キー信号９３と第１の原画
像９１とに対して同様の画像処理を施す。ここで第１の
原画像９１は第１の処理画像９１ａとされ、同様にキー
信号９３は処理キー信号（アルファ情報）９３ａとされ
る。画像混合回路１０３は、処理キー信号９３ａを用い
て、第１の処理画像９１ａと第２の画像（原画像）９２
とを混合して合成する。このように、画像処理の施され
たキー信号９３ａに基づいて画像処理の施された第１の
画像９１ａと第２の原画像９２とが混合されることによ
り、画質の劣化が効果的に防止される。
像に画像処理を施しても合成画像の画質が劣化しない画
像合成方法および画像合成装置を提供する。 【解決手段】 特定色判定回路１０１は、第１の原画像
９１の特定色の部分を判定してキー信号９３を生成す
る。画像処理回路１０２は、キー信号９３と第１の原画
像９１とに対して同様の画像処理を施す。ここで第１の
原画像９１は第１の処理画像９１ａとされ、同様にキー
信号９３は処理キー信号（アルファ情報）９３ａとされ
る。画像混合回路１０３は、処理キー信号９３ａを用い
て、第１の処理画像９１ａと第２の画像（原画像）９２
とを混合して合成する。このように、画像処理の施され
たキー信号９３ａに基づいて画像処理の施された第１の
画像９１ａと第２の原画像９２とが混合されることによ
り、画質の劣化が効果的に防止される。
Description
【０００１】
【発明の属する技術分野】本発明は、複数の画像を混合
して新しい画像を合成する画像合成方法及び装置、並び
に情報処理システムに関する。
して新しい画像を合成する画像合成方法及び装置、並び
に情報処理システムに関する。
【０００２】
【従来の技術】グラフィックコンピュータ、ゲーム機、
ビデオ機器などにおいて、ある混ぜ合わせ率情報を用い
て複数の画像を混合して、新しい画像を合成することが
行われている。
ビデオ機器などにおいて、ある混ぜ合わせ率情報を用い
て複数の画像を混合して、新しい画像を合成することが
行われている。
【０００３】この画像生成方法には、画像とは別に供給
されるアルファ情報と呼ばれる情報を用いてキー信号を
生成する方法と、画像に含まれる特定の画素値をキー信
号として用いる方法がある。
されるアルファ情報と呼ばれる情報を用いてキー信号を
生成する方法と、画像に含まれる特定の画素値をキー信
号として用いる方法がある。
【０００４】アルファ情報は、画像と同じ解像度をも
ち、０から１の間の値をとる２次元の情報である。例え
ば、画像の解像度が６４０×４８０であるときには、ア
ルファ情報の解像度も６４０×４８０とされる。また、
アルファ情報を表すビット数が、例えば２ビットであれ
ば、アルファ情報の値は０，０．３３，０．６６，１．
０の４通りの値をとることができる。
ち、０から１の間の値をとる２次元の情報である。例え
ば、画像の解像度が６４０×４８０であるときには、ア
ルファ情報の解像度も６４０×４８０とされる。また、
アルファ情報を表すビット数が、例えば２ビットであれ
ば、アルファ情報の値は０，０．３３，０．６６，１．
０の４通りの値をとることができる。
【０００５】いま、第１の画像のある画素値が（Ｒ1 ，
Ｇ1 ，Ｂ1 ）であり、この画素に対応する第２の画像の
対応する画素値が（Ｒ2 ，Ｇ2 ，Ｂ2 ）であるとする。
また、これらの画像に対応するアルファ情報の値をＡと
すると、上記の第１の画像と第２の画像とから合成され
る画像の画素値は、以下の（１）〜（３）の式を用いて
計算される。
Ｇ1 ，Ｂ1 ）であり、この画素に対応する第２の画像の
対応する画素値が（Ｒ2 ，Ｇ2 ，Ｂ2 ）であるとする。
また、これらの画像に対応するアルファ情報の値をＡと
すると、上記の第１の画像と第２の画像とから合成され
る画像の画素値は、以下の（１）〜（３）の式を用いて
計算される。
【０００６】 Ａ*（Ｒ1 ，Ｇ1 ，Ｂ1 ）＋（１−Ａ）*（Ｒ2 ，Ｇ2 ，Ｂ2 ） ＝ ｛（Ａ*Ｒ1＋(１−Ａ)*Ｒ2），（Ａ*Ｇ1＋(１−Ａ)*Ｇ2）， （Ａ*Ｂ1＋(１−Ａ)*Ｂ2）｝ （１） Ａ*（Ｒ1 ，Ｇ1 ，Ｂ1 ）＋（Ｒ2 ，Ｇ2 ，Ｂ2 ） ＝ ｛（Ａ*Ｒ1＋Ｒ2 ），（Ａ*Ｇ1＋Ｇ2 ），（Ａ*Ｂ1＋Ｂ2 ）｝ （２） （Ｒ1，Ｇ1，Ｂ1）＋（１−Ａ）*（Ｒ2，Ｇ2，Ｂ2） ＝ ｛（Ｒ1＋(１−Ａ)*Ｒ2 ），（Ｇ1＋(１−Ａ)*Ｇ2 ）， （Ｂ1＋(１−Ａ)*Ｂ2 ）｝ （３） 次に、上述したアルファ情報を用いて２つの画像を合成
する方法について説明する。
する方法について説明する。
【０００７】図５は、第１の画像１１と第２の画像１２
とを、これらの画像とは別に供給されるアルファ情報１
３を用いて混合することにより、合成画像１４が生成さ
れる様子を示している。
とを、これらの画像とは別に供給されるアルファ情報１
３を用いて混合することにより、合成画像１４が生成さ
れる様子を示している。
【０００８】この例では、アルファ情報１３の左半分１
３ａの値は０．０であり、右半分１３ｂの値は１．０で
ある。従って、このアルファ情報１３をキー信号として
第１の画像と第２の画像とを混合して得られる合成画像
１４は、その左半分１４ａが第１の画像の左半分であ
り、その右半分１４ｂが第２の画像の右半分になる。
３ａの値は０．０であり、右半分１３ｂの値は１．０で
ある。従って、このアルファ情報１３をキー信号として
第１の画像と第２の画像とを混合して得られる合成画像
１４は、その左半分１４ａが第１の画像の左半分であ
り、その右半分１４ｂが第２の画像の右半分になる。
【０００９】この合成画像１４の画素値は（１）式を用
いて計算され、その左半分１４ａが（４ａ）式で表さ
れ、その右半分１４ｂが（４ｂ）式で表される。 １*（Ｒ1，Ｇ1，Ｂ1）＋０*（Ｒ2，Ｇ2，Ｂ2） ＝ （Ｒ1，Ｇ1，Ｂ1） （４ａ） ０*（Ｒ1，Ｇ1，Ｂ1）＋１*（Ｒ2，Ｇ2，Ｂ2） ＝ （Ｒ2，Ｇ2，Ｂ2） （４ｂ） 図６は、第１の画像２１と第２の画像２２とを、上記の
例におけるアルファ値１３とは別のアルファ情報２３を
用いて混合することにより、合成画像２４が生成される
様子を示している。
いて計算され、その左半分１４ａが（４ａ）式で表さ
れ、その右半分１４ｂが（４ｂ）式で表される。 １*（Ｒ1，Ｇ1，Ｂ1）＋０*（Ｒ2，Ｇ2，Ｂ2） ＝ （Ｒ1，Ｇ1，Ｂ1） （４ａ） ０*（Ｒ1，Ｇ1，Ｂ1）＋１*（Ｒ2，Ｇ2，Ｂ2） ＝ （Ｒ2，Ｇ2，Ｂ2） （４ｂ） 図６は、第１の画像２１と第２の画像２２とを、上記の
例におけるアルファ値１３とは別のアルファ情報２３を
用いて混合することにより、合成画像２４が生成される
様子を示している。
【００１０】この例では、アルファ情報２３は、その左
側の１／３の部分２３ａの値が０．０であり、右側の１
／３の部分２３ｂの値が１であり、中央の１／３の部分
２３ｃの値が０．５である。
側の１／３の部分２３ａの値が０．０であり、右側の１
／３の部分２３ｂの値が１であり、中央の１／３の部分
２３ｃの値が０．５である。
【００１１】このアルファ情報２４をキー信号として第
１の画像２１と第２の画像２２を混合した合成画像２４
は、その左側の１／３の部分２４ａが第１の画像の左側
の１／３の部分であり、右側の１／３の部分２４ｂが第
２の画像の右側の１／３の部分になる。そして、合成画
像２４の中央の１／３の部分２４ｃは、第１の画像の中
央の１／３の部分と第２の画像の中央の１／３の部分と
が重ね合わされた画像になる。
１の画像２１と第２の画像２２を混合した合成画像２４
は、その左側の１／３の部分２４ａが第１の画像の左側
の１／３の部分であり、右側の１／３の部分２４ｂが第
２の画像の右側の１／３の部分になる。そして、合成画
像２４の中央の１／３の部分２４ｃは、第１の画像の中
央の１／３の部分と第２の画像の中央の１／３の部分と
が重ね合わされた画像になる。
【００１２】この合成画像２４の画素値は前述の（１）
式を用いて計算され、左側の１／３の部分２４ａの画素
値が（５ａ）式で表され、右側の１／３の部分２４ｂが
（５ｂ）式で表され、その中央の１／３の部分２４ｃが
（５ｃ）式で表される。
式を用いて計算され、左側の１／３の部分２４ａの画素
値が（５ａ）式で表され、右側の１／３の部分２４ｂが
（５ｂ）式で表され、その中央の１／３の部分２４ｃが
（５ｃ）式で表される。
【００１３】 １*（Ｒ1，Ｇ1，Ｂ1）＋０*（Ｒ2，Ｇ2，Ｂ2） ＝ （Ｒ1，Ｇ1，Ｂ1） （５ａ） ０*（Ｒ1，Ｇ1，Ｂ1）＋１*（Ｒ2，Ｇ2，Ｂ2） ＝ （Ｒ2，Ｇ2，Ｂ2） （５ｂ） 0.5*（Ｒ1，Ｇ1，Ｂ1）＋0.5*（Ｒ2，Ｇ2，Ｂ2） （５ｃ） 図７は、アルファ情報を用いて２つの画像を混合して新
たな画像を合成するための画像混合回路の構成例を示し
ている。この画像混合回路３１には、第１の画像と第２
の画像、およびこれらの画像の混合される部分や割合を
与えるキー信号となるアルファ情報が入力される。そし
て、上記のアルファ情報に従って、第１の画像と第２の
画像とが混合されて、合成画像として出力される。
たな画像を合成するための画像混合回路の構成例を示し
ている。この画像混合回路３１には、第１の画像と第２
の画像、およびこれらの画像の混合される部分や割合を
与えるキー信号となるアルファ情報が入力される。そし
て、上記のアルファ情報に従って、第１の画像と第２の
画像とが混合されて、合成画像として出力される。
【００１４】なお、このような画像混合回路において、
アルファ情報を用いて２つの画像を混合する方法につい
ては、具体的に後述する。
アルファ情報を用いて２つの画像を混合する方法につい
ては、具体的に後述する。
【００１５】次に、画像の特定の色の部分からキー信号
を作成して、２つの画像を合成する方法について説明す
る。
を作成して、２つの画像を合成する方法について説明す
る。
【００１６】図８は、第１の画像４１に含まれる特定色
からキー信号４３を生成し、そのキー信号４３を用い
て、上記の第１の画像４１と第２の画像４２とを合成す
る様子を示している。
からキー信号４３を生成し、そのキー信号４３を用い
て、上記の第１の画像４１と第２の画像４２とを合成す
る様子を示している。
【００１７】ここで、第１の画像４１は、合成画像４４
の前景となる画像であり、ある色の三角形状の部分４１
ａと、その周囲の特定色の部分４１ｂとからなる。第２
の画像４２は、合成画像４４の背景となる画像であり、
ある色の四角形状の部分４２ｂを含んでいる。また、キ
ー信号４３は、第１の画像４１から画素値が特定色であ
る部分４１ｂのみを抽出して得た信号である。
の前景となる画像であり、ある色の三角形状の部分４１
ａと、その周囲の特定色の部分４１ｂとからなる。第２
の画像４２は、合成画像４４の背景となる画像であり、
ある色の四角形状の部分４２ｂを含んでいる。また、キ
ー信号４３は、第１の画像４１から画素値が特定色であ
る部分４１ｂのみを抽出して得た信号である。
【００１８】上記の第１の画像４１と第２の画像４２と
を、キー信号４３を用いて合成した画像である合成画像
４４は、第２の画像４２に第１の画像４１の三角形状の
部分４１ａを重ね合わせた画像である。
を、キー信号４３を用いて合成した画像である合成画像
４４は、第２の画像４２に第１の画像４１の三角形状の
部分４１ａを重ね合わせた画像である。
【００１９】図９は、上記のように、第１の画像４１に
含まれる特定色からキー信号４３を作成し、そのキー信
号４３を用いて第１の画像４１と第２の画像４２とを合
成するための画像混合回路の構成例を示している。
含まれる特定色からキー信号４３を作成し、そのキー信
号４３を用いて第１の画像４１と第２の画像４２とを合
成するための画像混合回路の構成例を示している。
【００２０】特定色判定回路５１では、第１の画像（原
画像）４１の画素が特定色であるかどうかを判定し、画
素が特定色である部分のみを抽出してキー信号４３を生
成する。この生成されたキー信号４３は、上記の原画像
４１と共に画像混合回路５３に入力される。
画像）４１の画素が特定色であるかどうかを判定し、画
素が特定色である部分のみを抽出してキー信号４３を生
成する。この生成されたキー信号４３は、上記の原画像
４１と共に画像混合回路５３に入力される。
【００２１】画像混合回路５３では、特定色判定回路５
１からのキー信号４３により、第１の画像（原画像）４
１と第２の画像４２の混合される部分や割合が決めら
れ、合成画像４４が作成されて出力される。
１からのキー信号４３により、第１の画像（原画像）４
１と第２の画像４２の混合される部分や割合が決めら
れ、合成画像４４が作成されて出力される。
【００２２】
【発明が解決しようとする課題】以上説明した画像合成
方法によれば、いずれの方法によっても、原画像の一部
を透明色として２つの画像を重ね合わせる、いわゆる
「透明抜き画像」をつくることができる。
方法によれば、いずれの方法によっても、原画像の一部
を透明色として２つの画像を重ね合わせる、いわゆる
「透明抜き画像」をつくることができる。
【００２３】しかし、アルファ情報を用いる方法は、原
画像とは別に情報を付加しなければならないため不便で
ある。また、透明色を特定色として画像からキー信号を
生成する方法は、原画像にローパスフィルタリングなど
の画像処理を施すと、合成画像の画質が低下することが
ある。
画像とは別に情報を付加しなければならないため不便で
ある。また、透明色を特定色として画像からキー信号を
生成する方法は、原画像にローパスフィルタリングなど
の画像処理を施すと、合成画像の画質が低下することが
ある。
【００２４】本発明は、このような問題を解決するため
に行われたものであり、アルファ情報などの付加情報を
用いる必要がなく、原画像に画像処理を施す場合でも合
成画像の画質が劣化しない画像合成方法および画像合成
装置を提供することを目的としている。
に行われたものであり、アルファ情報などの付加情報を
用いる必要がなく、原画像に画像処理を施す場合でも合
成画像の画質が劣化しない画像合成方法および画像合成
装置を提供することを目的としている。
【００２５】
【課題を解決するための手段】上記の課題を解決するた
めに提案する本発明の画像合成方法は、第１の画像と第
２の画像とをキー情報を用いて合成する画像合成方法に
おいて、第１の原画像の特定色からキー情報を生成する
キー情報生成工程と、上記第１の原画像と上記生成され
たキー情報に所定の画像処理を施す第１の画像処理工程
と、上記第１の原画像に上記画像処理を施す第２の画像
処理工程と、上記画像処理が施されたキー情報を用い
て、上記画像処理された第１の画像と第２の原画像とを
混合する画像混合工程とを有することを特徴とするもの
である。
めに提案する本発明の画像合成方法は、第１の画像と第
２の画像とをキー情報を用いて合成する画像合成方法に
おいて、第１の原画像の特定色からキー情報を生成する
キー情報生成工程と、上記第１の原画像と上記生成され
たキー情報に所定の画像処理を施す第１の画像処理工程
と、上記第１の原画像に上記画像処理を施す第２の画像
処理工程と、上記画像処理が施されたキー情報を用い
て、上記画像処理された第１の画像と第２の原画像とを
混合する画像混合工程とを有することを特徴とするもの
である。
【００２６】また、上記の課題を解決するために提案す
る本発明の画像合成装置は、第１の画像と第２の画像と
をキー情報を用いて合成する画像合成装置において、第
１の原画像の特定色からキー情報を生成するキー情報生
成手段と、上記第１の原画像と上記生成されたキー情報
に所定の画像処理を施す画像処理手段と、上記画像処理
が施されたキー情報を用いて上記画像処理が施された第
１の画像と第２の原画像とを混合する画像混合手段とを
備えることを特徴とするものである。
る本発明の画像合成装置は、第１の画像と第２の画像と
をキー情報を用いて合成する画像合成装置において、第
１の原画像の特定色からキー情報を生成するキー情報生
成手段と、上記第１の原画像と上記生成されたキー情報
に所定の画像処理を施す画像処理手段と、上記画像処理
が施されたキー情報を用いて上記画像処理が施された第
１の画像と第２の原画像とを混合する画像混合手段とを
備えることを特徴とするものである。
【００２７】上記の本発明によれば、アルファ情報など
の特別な情報を付加する必要がなく、また、特定色とし
て透明色を用いないため原画像に画像処理を施す場合で
も合成画像の画質が劣化しない画像合成方法および画像
合成装置を提供できる。
の特別な情報を付加する必要がなく、また、特定色とし
て透明色を用いないため原画像に画像処理を施す場合で
も合成画像の画質が劣化しない画像合成方法および画像
合成装置を提供できる。
【００２８】
【発明の実施の形態】本発明に係る画像合成方法及び装
置、並びに情報処理システムの実施の形態の説明に先立
って、本発明の基本技術としての、透明色を特定色とし
てキー信号を生成する画像合成の技術について説明す
る。
置、並びに情報処理システムの実施の形態の説明に先立
って、本発明の基本技術としての、透明色を特定色とし
てキー信号を生成する画像合成の技術について説明す
る。
【００２９】図１０は、透明色を特定色として用いて
「透明抜き画像」を作成する様子を示している。なお、
以下では、簡単のために、１次元のグラフ画像を用いて
説明する。
「透明抜き画像」を作成する様子を示している。なお、
以下では、簡単のために、１次元のグラフ画像を用いて
説明する。
【００３０】ここで、第１の画像６１は合成画像６４の
前景となる画像であり、第２の画像６２は背景となる画
像である。また、キー信号６３は、第１の画像６１の画
素値が特定色（例えば０）である部分を透明色として扱
う際に、合成画像６４の前景となる画像と背景となる画
像とを切り替えるための信号であり、第１の画像の特定
色である部分では値が０．０とされ、特定色でない部分
では値が１．０とされる。
前景となる画像であり、第２の画像６２は背景となる画
像である。また、キー信号６３は、第１の画像６１の画
素値が特定色（例えば０）である部分を透明色として扱
う際に、合成画像６４の前景となる画像と背景となる画
像とを切り替えるための信号であり、第１の画像の特定
色である部分では値が０．０とされ、特定色でない部分
では値が１．０とされる。
【００３１】合成画像６４は、上記のキー信号６３を用
いて、第１の画像６１と第２の画像６２とが合成された
画像である。
いて、第１の画像６１と第２の画像６２とが合成された
画像である。
【００３２】ところが、第１の画像（原画像）に画像処
理を施すと、前述したように、その画像処理が施された
第１の画像を用いて合成した画像の画質が低下すること
がある。
理を施すと、前述したように、その画像処理が施された
第１の画像を用いて合成した画像の画質が低下すること
がある。
【００３３】図１１は、図１０に示した第１の画像（原
画像）６１にローパスフィルタリング処理（以下では、
単にフィルタリングともいう。）を施した後に、図１０
と同様の方法で画像が合成される様子を示している。
画像）６１にローパスフィルタリング処理（以下では、
単にフィルタリングともいう。）を施した後に、図１０
と同様の方法で画像が合成される様子を示している。
【００３４】ここでも、第１の処理画像７１は合成画像
７４の前景となる画像であり、第２の画像７２は背景と
なる画像であるとする。
７４の前景となる画像であり、第２の画像７２は背景と
なる画像であるとする。
【００３５】第１の処理画像７１は、第１の画像（原画
像）６１にフィルタリングを施したものである。また、
合成画像７４の前景画像７１と背景画像７２とを切り替
えるためのキー信号７３は、第１の処理画像７１から生
成されるものである。フィルタリングが施された第１の
処理画像７１から生成されるキー信号７３は、合成画像
７４の前景となる処理画像７１の画素値が特定色である
部分である部分を指定しており、原画像６１から直接に
生成される前述のキー信号６３に比べて広い範囲を指定
ている。
像）６１にフィルタリングを施したものである。また、
合成画像７４の前景画像７１と背景画像７２とを切り替
えるためのキー信号７３は、第１の処理画像７１から生
成されるものである。フィルタリングが施された第１の
処理画像７１から生成されるキー信号７３は、合成画像
７４の前景となる処理画像７１の画素値が特定色である
部分である部分を指定しており、原画像６１から直接に
生成される前述のキー信号６３に比べて広い範囲を指定
ている。
【００３６】合成画像７４は、上記のキー信号７３を用
いて、すでにローパスフィルタリングが施されている処
理画像７１と、第２の画像（原画像）７２とを合成した
画像である。
いて、すでにローパスフィルタリングが施されている処
理画像７１と、第２の画像（原画像）７２とを合成した
画像である。
【００３７】この処理画像７１には、ローパスフィルタ
リングが施されたことによって、画素値が特定色に近い
ものの特定色ではない中間値を有する部分が現れてい
る。このため、合成画像７４には、前述の合成画像６４
には全く現れない特定色（透明色）に近い色が現れてし
まう。すなわち、原画像にフィルタリングを施した後に
キー信号を生成すると、そのキー信号によって示される
混合される画像の切換え位置が本来の位置とは異なって
しまうため、色にじみなどの画質低下が発生してしま
う。簡単にいえば、キー信号の範囲がフィルタリング後
の原画像の範囲より大きくなり、その差分が出力される
ためである。
リングが施されたことによって、画素値が特定色に近い
ものの特定色ではない中間値を有する部分が現れてい
る。このため、合成画像７４には、前述の合成画像６４
には全く現れない特定色（透明色）に近い色が現れてし
まう。すなわち、原画像にフィルタリングを施した後に
キー信号を生成すると、そのキー信号によって示される
混合される画像の切換え位置が本来の位置とは異なって
しまうため、色にじみなどの画質低下が発生してしま
う。簡単にいえば、キー信号の範囲がフィルタリング後
の原画像の範囲より大きくなり、その差分が出力される
ためである。
【００３８】次に、図１は、「透明抜き画像」を作成す
る画像合成装置の基本的な構成例を示している。この画
像合成装置は、上述した透明色を特定色として用いるも
のである。
る画像合成装置の基本的な構成例を示している。この画
像合成装置は、上述した透明色を特定色として用いるも
のである。
【００３９】この図１において、第１の画像（原画像）
６１は、特定色判定回路８１及び画像処理回路８２に送
られる。画像処理回路８２にて画像処理（例えばローパ
スフィルタリング処理）が施された第１の処理画像７１
と、第２の処理画像７２とが、画像混合回路８３に送ら
れて、特定色判定回路８１からのキー信号７３に応じて
合成処理され、合成画像７４が出力される。
６１は、特定色判定回路８１及び画像処理回路８２に送
られる。画像処理回路８２にて画像処理（例えばローパ
スフィルタリング処理）が施された第１の処理画像７１
と、第２の処理画像７２とが、画像混合回路８３に送ら
れて、特定色判定回路８１からのキー信号７３に応じて
合成処理され、合成画像７４が出力される。
【００４０】特定色を（Ｒ0 ，Ｇ0 ，Ｂ0 ）とし、この
特定色以外の第１の画像（原画像）６１の色を（Ｒ1 ，
Ｇ1 ，Ｂ1 ）とすると、ローパスフィルタリングが施さ
れた第１の処理画像７１は（６）式で表される。
特定色以外の第１の画像（原画像）６１の色を（Ｒ1 ，
Ｇ1 ，Ｂ1 ）とすると、ローパスフィルタリングが施さ
れた第１の処理画像７１は（６）式で表される。
【００４１】 ｐ*（Ｒ0，Ｇ0，Ｂ0）＋ｑ*（Ｒ1，Ｇ1，Ｂ1） （ｐｑ≠０） （６） この（６）式で表される第１の処理画像７１と、（Ｒ2
，Ｇ2 ，Ｂ2 ）で表される第２の画像（原画像）７２
を混合して得られる合成画像７４は、次の（７）式で与
えられる。
，Ｇ2 ，Ｂ2 ）で表される第２の画像（原画像）７２
を混合して得られる合成画像７４は、次の（７）式で与
えられる。
【００４２】 ｓ*｛ｐ*（Ｒ0，Ｇ0，Ｂ0）＋ｑ*（Ｒ1，Ｇ1，Ｂ1）｝ ＋ｔ*（Ｒ2，Ｇ2，Ｂ2） ＝ ｓ*ｐ*（Ｒ0，Ｇ0，Ｂ0）＋ｓ*ｑ*（Ｒ1，Ｇ1，Ｂ1） ＋ｔ*（Ｒ2，Ｇ2，Ｂ2） （ｓｔ≠０） （７） この（７）式から、特定色（Ｒ0 ，Ｇ0 ，Ｂ0 ）が、
（０，０，０）以外のとき、すなわち黒色でないときに
は、合成画像の前景や背景に特定色がにじみ出してしま
うことが分かる。
（０，０，０）以外のとき、すなわち黒色でないときに
は、合成画像の前景や背景に特定色がにじみ出してしま
うことが分かる。
【００４３】本発明は、上述したような画像合成の技術
を基本として、さらに改善を図ったものである。以下、
本発明に係る画像合成方法及び装置、並びに情報処理シ
ステムの好ましい実施の形態について、図面を参照しな
がら説明する。
を基本として、さらに改善を図ったものである。以下、
本発明に係る画像合成方法及び装置、並びに情報処理シ
ステムの好ましい実施の形態について、図面を参照しな
がら説明する。
【００４４】図２は、本発明の画像合成方法の実施の一
形態として、「透明抜き画像」を得る様子を示してい
る。
形態として、「透明抜き画像」を得る様子を示してい
る。
【００４５】第１の画像（原画像）９１は、画像処理を
施され、第１の処理画像９１ａとされる。この画像処理
としては、画像を滑らかにつなげるためのローパスフィ
ルタリングなどが挙げられる。
施され、第１の処理画像９１ａとされる。この画像処理
としては、画像を滑らかにつなげるためのローパスフィ
ルタリングなどが挙げられる。
【００４６】また、アルファ情報９３は、第１の原画像
９１から特定色を用いて抽出されたキー信号である。こ
のアルファ情報９３の値は、第１の原画像９１の特定色
の部分では０とされ、それ以外の部分では１とされる。
処理アルファ情報９３ａは、このアルファ情報９３に、
第１の原画像９１に施された画像処理と同じ画像処理を
施されたものである。
９１から特定色を用いて抽出されたキー信号である。こ
のアルファ情報９３の値は、第１の原画像９１の特定色
の部分では０とされ、それ以外の部分では１とされる。
処理アルファ情報９３ａは、このアルファ情報９３に、
第１の原画像９１に施された画像処理と同じ画像処理を
施されたものである。
【００４７】合成画像９４は、この処理アルファ情報９
３ａを用いて、処理画像９１と第１の画像（原画像）９
２とを合成したものである。この合成を行う際の計算
は、前述の（３）式で与えられる。
３ａを用いて、処理画像９１と第１の画像（原画像）９
２とを合成したものである。この合成を行う際の計算
は、前述の（３）式で与えられる。
【００４８】図３は、上記の本発明に係る画像合成方法
を実行するための、本発明の画像合成装置の実施の一形
態を示している。この図３に示す、本発明の実施の形態
としての画像合成装置（グラフィックプロセッサ）１０
６は、半導体集積回路装置、複数のトランジスタを用い
たディスクリート回路、若しくはＣＰＵボードで実現さ
れる。
を実行するための、本発明の画像合成装置の実施の一形
態を示している。この図３に示す、本発明の実施の形態
としての画像合成装置（グラフィックプロセッサ）１０
６は、半導体集積回路装置、複数のトランジスタを用い
たディスクリート回路、若しくはＣＰＵボードで実現さ
れる。
【００４９】第１の画像（原画像）９１は、特定色判定
回路１０１と画像処理回路１０２に供給される。特定色
判定回路１０１は、第１の原画像９１の特定色の部分を
判定してキー信号９３を生成する。
回路１０１と画像処理回路１０２に供給される。特定色
判定回路１０１は、第１の原画像９１の特定色の部分を
判定してキー信号９３を生成する。
【００５０】画像処理回路１０２は、このキー信号９３
と第１の原画像９１に対して同じ画像処理を施す。ここ
で、第１の原画像９１は第１の処理画像９１ａとされ、
同様にキー信号９３は処理キー信号９３ａとされる。こ
の画像処理は、例えば、前述したローパスフィルタリン
グなどである。
と第１の原画像９１に対して同じ画像処理を施す。ここ
で、第１の原画像９１は第１の処理画像９１ａとされ、
同様にキー信号９３は処理キー信号９３ａとされる。こ
の画像処理は、例えば、前述したローパスフィルタリン
グなどである。
【００５１】このとき、例えば、第１の原画像９１の画
素の色を表す（Ｒ，Ｇ，Ｂ）の各成分が８ビットで表さ
れる場合には、処理キー信号９３も８ビットに拡張され
る。そして、この８ビットのキー信号９３は、アルファ
情報として第１の原画像９１の（Ｒ，Ｇ，Ｂ）の各成分
と同様の画像処理が施されて処理キー情報（処理アルフ
ァ情報）９３ａとされる。この第１の処理画像９１ａと
処理キー信号９３ａは、画像混合回路１０３に供給され
る。
素の色を表す（Ｒ，Ｇ，Ｂ）の各成分が８ビットで表さ
れる場合には、処理キー信号９３も８ビットに拡張され
る。そして、この８ビットのキー信号９３は、アルファ
情報として第１の原画像９１の（Ｒ，Ｇ，Ｂ）の各成分
と同様の画像処理が施されて処理キー情報（処理アルフ
ァ情報）９３ａとされる。この第１の処理画像９１ａと
処理キー信号９３ａは、画像混合回路１０３に供給され
る。
【００５２】画像混合回路１０３は、処理キー信号９３
ａを用いて、第１の処理画像９１ａと第２の画像（原画
像）９２とを混合して合成する。このとき、特定色とし
て（Ｒ0，Ｇ0，Ｂ0）＝（０，０，０）、すなわち黒色
が選択されると、前述の（４）式は（８）式のように表
される。さらに、（３）式を用いるためにｓ＝１，ｔ＝
１−ｑとすれば、（８）式は（９）式のように表され
る。つまり、前景と背景だけの混合ができることにな
る。
ａを用いて、第１の処理画像９１ａと第２の画像（原画
像）９２とを混合して合成する。このとき、特定色とし
て（Ｒ0，Ｇ0，Ｂ0）＝（０，０，０）、すなわち黒色
が選択されると、前述の（４）式は（８）式のように表
される。さらに、（３）式を用いるためにｓ＝１，ｔ＝
１−ｑとすれば、（８）式は（９）式のように表され
る。つまり、前景と背景だけの混合ができることにな
る。
【００５３】 ｓ*｛ｐ*（０，０，０）＋ｑ*（Ｒ1，Ｇ1，Ｂ1）｝ ＋ｔ*（Ｒ2，Ｇ2，Ｂ2） ＝ ｓ*ｑ*（Ｒ1，Ｇ1，Ｂ1）＋ｔ*（Ｒ2，Ｇ2，Ｂ2） （８） ＝ ｑ*（Ｒ1，Ｇ1，Ｂ1）＋（１−ｑ）*（Ｒ2，Ｇ2，Ｂ2） （９） 図４は、以上説明したような本発明の実施の形態となる
画像合成装置を含む情報処理システム、例えばゲーム機
等のエンタテインメントシステムの構成例を示してい
る。このようなエンタテインメントシステムのような情
報処理システムは、例えば３次元画像を高精度、高速度
に表示することができるものである。
画像合成装置を含む情報処理システム、例えばゲーム機
等のエンタテインメントシステムの構成例を示してい
る。このようなエンタテインメントシステムのような情
報処理システムは、例えば３次元画像を高精度、高速度
に表示することができるものである。
【００５４】この図４において、マイクロプロセッサ等
からなる中央演算装置であるＣＰＵ２０１は、作成され
る表示画像の三角形領域（ポリゴン）に対して、頂点座
標を算出したり、対象物体の属性と光源データとから法
線ベクトルと光源ベクトルの内積計算等を行うためのも
のである。そして、このＣＰＵ２０１から、三角形領域
の３頂点色情報（Ｒｇ，Ｇｇ，Ｂｇ，Ａｇ）が画像合成
装置としてのグラフィックプロセッサ（ＧＰＵ）２０６
に送られる。このグラフィックプロセッサ２０６は、上
記図３に示した画像合成装置（グラフィックプロセッ
サ）１０６に相当する。
からなる中央演算装置であるＣＰＵ２０１は、作成され
る表示画像の三角形領域（ポリゴン）に対して、頂点座
標を算出したり、対象物体の属性と光源データとから法
線ベクトルと光源ベクトルの内積計算等を行うためのも
のである。そして、このＣＰＵ２０１から、三角形領域
の３頂点色情報（Ｒｇ，Ｇｇ，Ｂｇ，Ａｇ）が画像合成
装置としてのグラフィックプロセッサ（ＧＰＵ）２０６
に送られる。このグラフィックプロセッサ２０６は、上
記図３に示した画像合成装置（グラフィックプロセッ
サ）１０６に相当する。
【００５５】また、ＣＰＵ２０１は、入力パッドやジョ
イスティック等の入力デバイス２０４の操作情報をイン
ターフェース２０３及びメインバス２０９を介して取り
出す。そして、ＣＰＵ２０１は、抽出した操作情報に基
づいて、メインメモリ２０２に記憶されている３次元画
像の情報を上記メインバス２０９を介してグラフィック
プロセッサ（ＧＰＵ）２０６に供給する。
イスティック等の入力デバイス２０４の操作情報をイン
ターフェース２０３及びメインバス２０９を介して取り
出す。そして、ＣＰＵ２０１は、抽出した操作情報に基
づいて、メインメモリ２０２に記憶されている３次元画
像の情報を上記メインバス２０９を介してグラフィック
プロセッサ（ＧＰＵ）２０６に供給する。
【００５６】グラフィックプロセッサ（ＧＰＵ）２０６
は、ＣＰＵ２０１から供給された３次元画像の情報を変
換して画像データを生成するためのものであり、既に説
明した画像合成装置を含むものである。ＧＰＵ２０６で
生成された画像データによる３次元画像がビデオメモリ
２０５に書き込まれる。
は、ＣＰＵ２０１から供給された３次元画像の情報を変
換して画像データを生成するためのものであり、既に説
明した画像合成装置を含むものである。ＧＰＵ２０６で
生成された画像データによる３次元画像がビデオメモリ
２０５に書き込まれる。
【００５７】ビデオメモリ２０５に書き込まれた３次元
画像データは、ビデオ信号のスキャン時に読み出され、
テレビジョンモニタ等（図示せず）に３次元画像として
表示される。
画像データは、ビデオ信号のスキャン時に読み出され、
テレビジョンモニタ等（図示せず）に３次元画像として
表示される。
【００５８】一方、上記ＣＰＵ２０１によって抽出され
た操作情報中の上記表示された３次元画像に対応する音
声情報が、オーディオプロセッサ２０７に供給される。
オーディオプロセッサ２０７は、ＣＰＵ２０１から供給
された音声情報に基づいてオーディオメモリ２０８内に
記憶されている音声データをスピーカ（図示せず）から
音声として出力する。
た操作情報中の上記表示された３次元画像に対応する音
声情報が、オーディオプロセッサ２０７に供給される。
オーディオプロセッサ２０７は、ＣＰＵ２０１から供給
された音声情報に基づいてオーディオメモリ２０８内に
記憶されている音声データをスピーカ（図示せず）から
音声として出力する。
【００５９】
【発明の効果】本発明によれば、原画像のうちの透明色
とされる部分をキー信号として抽出して、このキー信号
にも上記の現画像に施す画像処理と同様の画像処理を施
して画像合成に用いるようにしたため、アルファ情報な
どの特別な情報を付加する必要がなく、また、原画像に
画像処理を施す場合でも合成画像の画質が劣化しない画
像合成方法及び装置、並びに情報処理システムを提供で
きる。
とされる部分をキー信号として抽出して、このキー信号
にも上記の現画像に施す画像処理と同様の画像処理を施
して画像合成に用いるようにしたため、アルファ情報な
どの特別な情報を付加する必要がなく、また、原画像に
画像処理を施す場合でも合成画像の画質が劣化しない画
像合成方法及び装置、並びに情報処理システムを提供で
きる。
【図１】「透明抜き画像」を作成するための画像合成装
置の基本的な構成例を示すブロック図である。
置の基本的な構成例を示すブロック図である。
【図２】本発明の画像合成方法の実施の形態を説明する
ための図である。
ための図である。
【図３】本発明の画像合成装置の実施の形態を示すブロ
ック図である。
ック図である。
【図４】図３に示した画像合成装置を含む本発明の情報
処理システム（エンタテインメントシステム）の実施の
形態を示すブロック図である。
処理システム（エンタテインメントシステム）の実施の
形態を示すブロック図である。
【図５】第１の画像と第２の画像とをアルファ情報を用
いて混合して合成画像を生成する方法を説明するための
図である。
いて混合して合成画像を生成する方法を説明するための
図である。
【図６】第１の画像と第２の画像とを別のアルファ情報
を用いて混合して合成画像を生成する方法を説明するた
めの図である。
を用いて混合して合成画像を生成する方法を説明するた
めの図である。
【図７】アルファ情報を用いて２つの画像を混合して合
成画像を得るための画像混合回路の構成例を示すブロッ
ク図である。
成画像を得るための画像混合回路の構成例を示すブロッ
ク図である。
【図８】第１の画像に含まれる特定色から生成したキー
信号を用いて第１の画像と第２の画像とを合成する方法
を説明するための図である。
信号を用いて第１の画像と第２の画像とを合成する方法
を説明するための図である。
【図９】第１の画像に含まれる特定色から生成したキー
信号を用いて第１の画像と第２の画像とを合成するため
の画像混合回路の構成例を示すブロック図である。
信号を用いて第１の画像と第２の画像とを合成するため
の画像混合回路の構成例を示すブロック図である。
【図１０】透明色を特定色として「透明抜き画像」を作
成する方法を説明するための図である。
成する方法を説明するための図である。
【図１１】画像処理が施された第１の画像から生成した
キー信号を用いて第１の画像と第２の画像とを合成する
様子を説明するための図である。
キー信号を用いて第１の画像と第２の画像とを合成する
様子を説明するための図である。
９１ 第１の画像（原画像）、 ９１ａ 第１の処理画
像、 ９２ 第２の画像（原画像）、 ９３ キー信
号、 ９３ａ 処理キー信号（アルファ情報）、９４
合成画像、 １０１ 特定色判定回路、 １０２ 画像
処理回路、 １０３ 画像混合回路、 １０６，２０６
グラフィックプロセッサ
像、 ９２ 第２の画像（原画像）、 ９３ キー信
号、 ９３ａ 処理キー信号（アルファ情報）、９４
合成画像、 １０１ 特定色判定回路、 １０２ 画像
処理回路、 １０３ 画像混合回路、 １０６，２０６
グラフィックプロセッサ
Claims (9)
- 【請求項１】 第１の画像と第２の画像とをキー情報を
用いて合成する画像合成方法において、 第１の原画像の特定色からキー情報を生成するキー情報
生成工程と、 上記第１の原画像に所定の画像処理を施す第１の画像処
理工程と、 上記生成されたキー情報に上記所定の画像処理を施す第
２の画像処理工程と、 上記画像処理が施されたキー情報を用いて、上記画像処
理された第１の画像と第２の原画像とを混合する画像混
合工程とを有することを特徴とする画像合成方法。 - 【請求項２】 上記特定色は黒色であることを特徴とす
る請求項１記載の画像合成方法。 - 【請求項３】 上記画像処理は、ローパスフィルタリン
グであることを特徴とする請求項１記載の画像合成方
法。 - 【請求項４】 第１の画像と第２の画像とをキー情報を
用いて合成する画像合成装置において、 第１の原画像の特定色からキー情報を生成するキー情報
生成手段と、 上記第１の原画像と上記生成されたキー情報に所定の画
像処理を施す画像処理手段と、 上記画像処理が施されたキー情報を用いて上記画像処理
が施された第１の画像と第２の原画像とを混合する画像
混合手段とを備えることを特徴とする画像合成装置。 - 【請求項５】 上記画像処理手段は、上記第１の原画像
と上記生成されたキー情報にローパスフィルタリングを
施すことを特徴とする請求項４記載の画像合成装置。 - 【請求項６】 上記キー情報生成手段は、黒色を特定色
とすることを特徴とする請求項４記載の画像合成装置。 - 【請求項７】 入力デバイスから供給される操作情報に
基づいて画像データが生成され、当該画像が表示装置上
に画像として表示される情報処理システムであって、 第１の原画像の特定色からキー情報を生成するキー情報
生成手段と、 上記第１の原画像と上記生成されたキー情報に所定の画
像処理を施す画像処理手段と、 上記画像処理が施されたキー情報を用いて上記画像処理
が施された第１の画像と第２の原画像とを混合する画像
混合手段とを有する画像合成装置を備えることを特徴と
する情報処理システム。 - 【請求項８】 上記画像処理手段は、上記第１の原画像
と上記生成されたキー情報にローパスフィルタリングを
施すことを特徴とする請求項７記載の情報処理システ
ム。 - 【請求項９】 上記キー情報生成手段は、黒色を特定色
とすることを特徴とする請求項７記載の情報処理システ
ム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14451798A JP3642952B2 (ja) | 1997-06-16 | 1998-05-26 | 画像合成方法及び装置、並びに情報処理システム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15888197 | 1997-06-16 | ||
| JP9-158881 | 1997-06-16 | ||
| JP14451798A JP3642952B2 (ja) | 1997-06-16 | 1998-05-26 | 画像合成方法及び装置、並びに情報処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1175054A true JPH1175054A (ja) | 1999-03-16 |
| JP3642952B2 JP3642952B2 (ja) | 2005-04-27 |
Family
ID=26475906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14451798A Expired - Fee Related JP3642952B2 (ja) | 1997-06-16 | 1998-05-26 | 画像合成方法及び装置、並びに情報処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3642952B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092630A (ja) * | 2000-01-28 | 2002-03-29 | Namco Ltd | ゲームシステム、プログラム及び情報記憶媒体 |
| US8929605B2 (en) | 2012-11-02 | 2015-01-06 | Avisonic Technology Corporation | Image processing method and image processing apparatus for generating vehicular image |
-
1998
- 1998-05-26 JP JP14451798A patent/JP3642952B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092630A (ja) * | 2000-01-28 | 2002-03-29 | Namco Ltd | ゲームシステム、プログラム及び情報記憶媒体 |
| US8929605B2 (en) | 2012-11-02 | 2015-01-06 | Avisonic Technology Corporation | Image processing method and image processing apparatus for generating vehicular image |
| KR101535518B1 (ko) * | 2012-11-02 | 2015-07-09 | 애비소닉 테크놀로지 코포레이션 | 차량 이미지를 생성하기 위한 이미지 처리 방법 및 이미지 처리 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3642952B2 (ja) | 2005-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5077608A (en) | Video effects system able to intersect a 3-D image with a 2-D image | |
| JP4725741B2 (ja) | 描画装置及び描画方法 | |
| US20060072041A1 (en) | Image synthesis apparatus, electrical apparatus, image synthesis method, control program and computer-readable recording medium | |
| JP2006106371A (ja) | 画像出力方法 | |
| KR100542958B1 (ko) | 합성영상을생성하는방법과장치,및정보처리시스템 | |
| JPH10326351A (ja) | 画像作成方法および画像作成装置 | |
| JP2004056359A (ja) | 画像合成装置及び画像合成プログラム | |
| JP3580682B2 (ja) | 画像処理装置および方法 | |
| JP2009237927A (ja) | 画像合成方法及び装置 | |
| JP6513305B2 (ja) | 映像合成装置及び映像合成方法 | |
| JP2005077522A (ja) | 画像処理装置および画像処理方法 | |
| JP3642952B2 (ja) | 画像合成方法及び装置、並びに情報処理システム | |
| JP4151234B2 (ja) | 画像合成処理装置 | |
| JP2002010060A (ja) | 画像融合装置及び画像融合方法 | |
| JP3507039B2 (ja) | プログラム、情報記憶媒体及びゲーム装置 | |
| JP3904243B2 (ja) | 画像処理装置およびその方法 | |
| US6473132B1 (en) | Method and apparatus for effecting video transitions | |
| JP2007516630A (ja) | シーンを合成する方法及び復号器 | |
| JP2001111820A (ja) | 画像変倍装置及び画像変倍方法 | |
| JPH0440176A (ja) | テレビジョン特殊効果装置 | |
| JP4554834B2 (ja) | 画像処理装置及び方法並びにそのプログラム | |
| JPH08275196A (ja) | 画像データ処理装置 | |
| JP2000253419A (ja) | クロマキー装置および電気機器 | |
| CN114647467A (zh) | 水印更新方法、装置、系统及存储介质 | |
| MXPA98004831A (en) | Method and apparatus for generating a composite image and information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050126 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |