JP3591257B2 - 映像信号処理方法及び映像信号処理装置 - Google Patents

映像信号処理方法及び映像信号処理装置 Download PDF

Info

Publication number
JP3591257B2
JP3591257B2 JP33460797A JP33460797A JP3591257B2 JP 3591257 B2 JP3591257 B2 JP 3591257B2 JP 33460797 A JP33460797 A JP 33460797A JP 33460797 A JP33460797 A JP 33460797A JP 3591257 B2 JP3591257 B2 JP 3591257B2
Authority
JP
Japan
Prior art keywords
signal
control signal
pixel
coring
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP33460797A
Other languages
English (en)
Other versions
JPH11168743A (ja
Inventor
弘之 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP33460797A priority Critical patent/JP3591257B2/ja
Priority to DE69842015T priority patent/DE69842015D1/de
Priority to EP98122565A priority patent/EP0921691B1/en
Priority to US09/203,718 priority patent/US6559886B1/en
Publication of JPH11168743A publication Critical patent/JPH11168743A/ja
Priority to US10/386,461 priority patent/US7307657B2/en
Application granted granted Critical
Publication of JP3591257B2 publication Critical patent/JP3591257B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置(例えばビデオカメラ等)に適用されるものであって、固体撮像素子での撮像により生成された映像信号の輝度信号に所定の補正処理を施す映像信号処理方法及び映像信号処理装置に関し、詳しくは、例えばフリッカ(映像のちらつき)を抑圧することが可能な映像信号処理方法及び映像信号処理装置に関する。
【0002】
【従来の技術】
従来より、固体撮像素子(Charge Coupled Devise:CCD)を1枚のみ使用するいわゆる単板式カラービデオカメラにおいては、該固体撮像素子上にそれぞれ分光特性の異なる色フィルタを画素毎に配置し、被写体像の色成分に従った信号をそれぞれの画素から得ることでカラーの映像信号を生成することが行われている。このようにして生成された映像信号には、色フィルタの並びに従って被写体像の色成分が順次出力され、色信号の多重がなされる。固体撮像素子では、読み出した信号がどの画素から得られたかを知ることができるので、この固体撮像素子の出力映像信号からは色信号が容易に分離、復調できる。
【0003】
この単板式カラービデオカメラでは、高感度化が重要な要素の一つであり、したがって、該単板式カラービデオカメラに採用される色フィルタとしては、R(レッド),G(グリーン),B(ブルー)の原色フィルタよりも白色光に対して透過率の高い、補色フィルタを使用することが多い。
【0004】
一般的な固体撮像素子(CCD)において、補色フィルタとしては、Mg(マゼンタ),G(グリーン),Cy(シアン),Ye(イエロー)の各補色フィルタを有する4個の画素を組みにして、この組みを固体撮像素子上で水平方向及び垂直方向に繰り返しさせたものや、図7に示すようなW(ホワイト),G,Cy,Yeの各補色フィルタを有する4個の画素を組みにして、この組みを固体撮像素子上で水平方向及び垂直方向に繰り返しさせたものがある。
【0005】
特に、近年になって多く使用されている、1フィールド期間内に全画素の信号電荷を独立に読み出し、混合せずに出力することで、動きの速い被写体であっても高い水平,垂直解像度を得ることができる、いわゆる全画素読み出し方式の固体撮像素子に対しては、図7に示すW,G,Cy,Yeの各フィルタを配列させた補色フィルタが採用されていることが多い。
【0006】
【発明が解決しようとする課題】
ところで、読み出し方式として全画素読み出し方式を採用する固体撮像素子に対し、図7に示したようにW,G,Cy,Yeの各フィルタを配列させた補色フィルタを配置した場合において、W及びGで構成される図8中Yaにて示す輝度信号(Ya=W+G)と、Cy及びYeで構成される図8中Ybにて示される輝度信号(Yb=Cy+Ye)との間で、例えば図8中の斜線部にて示すように分光差が生ずる場合が多々ある。なお、輝度信号Yaは第1フィールド、輝度信号Ybは第2フィールドに使用するものとする。
【0007】
このように、W及びGで構成される輝度信号Yaと、Cy及びYeで構成される輝度信号Ybとの間で分光差が生ずると、後にこれらの輝度信号Ya及びYbを用いて第1,第2フィールドを構成し、表示デバイス上に映像を表示した場合には、その画面上にフリッカが発生することになる。
【0008】
上述のような分光差は、固体撮像素子上に配置する補色フィルタの各色フィルタの特性差に起因して発生するものであるため、それを回路構成による信号処理にて補正することは非常に困難(事実上不可能)であり、したがってフリッカを抑圧することもできない。
【0009】
本発明は、上述の課題に鑑みてなされたものであり、W,G,Cy,Yeの各フィルタを配列させてなる補色フィルタの特性差に基づくフリッカを、回路構成による信号処理にて容易に抑圧することが可能な映像信号処理方法及び映像信号処理装置の提供を目的とする。
【0010】
【課題を解決するための手段】
述の課題を解決するために、第1の発明は、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理方法において、
前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換ステップと、
前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタステップと、
前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離ステップと、
前記画素分離ステップにより出力された前記画素信号中から選択した一つの特定画素信号と、数の画素信号により得られる輝度信号との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力ステップと、
前記垂直フィルタステップで抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力ステップにより出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理ステップとを有することを特徴とする映像信号処理方法である。
また、第2の発明は、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理方法において、
前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換ステップと、
前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタステップと、
前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離ステップと、
前記画素分離ステップにより出力された前記画素信号中から選択した一つの特定画素信号と、数の画素信号により得られる輝度信号の低域成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力ステップと、
前記垂直フィルタステップで抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力ステップにより出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理ステップとを有することを特徴とする映像信号処理方法である。
また、第3の発明は、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理方法において、
前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換ステップと、
前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタステップと、
前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離ステップと、
前記画素分離ステップにより出力された前記画素信号中から選択した一つの特定画素信号の低域成分と、数の画素信号により得られる輝度信号の低域成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力ステップと、
前記垂直フィルタステップで抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力ステップにより出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理ステップとを有することを特徴とする映像信号処理方法である。
また、第4の発明は、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理方法において、
前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換ステップと、
前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタステップと、
前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離ステップと、
前記画素分離ステップにより出力された前記画素信号中から選択した第1の特定画素信号の低周波成分と、前記画素信号中から選択した第2の特定画素信号の低周波成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力ステップと、
前記垂直フィルタステップで抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力ステップにより出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理ステップとを有することを特徴とする映像信号処理方法である。
また、第5の発明は、上記した第1乃至第4のいずれかの映像信号処理方法において、 前記制御信号を複数段階に分類する制御信号分類ステップを前記制御信号生成/出力ステップ中で行い、前記コアリング処理ステップでは、当該分類した各段階の前記制御信号に応じて、前記垂直方向の輪郭成分に対して前記コアリング補正量を制御しながらコアリング処理を行うことを特徴とする映像信号処理方法である。
【0011】
また、第6の発明は、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理装置において、
前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換手段と、
前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタ手段と、
前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離手段と、
前記画素分離手段から出力された前記画素信号中から選択した一つの特定画素信号と、数の画素信号により得られる輝度信号との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力手段と、
前記垂直フィルタ手段で抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力手段により出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理手段とを有することを特徴とする映像信号処理装置である。
また、第7の発明は、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理装置において、
前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換手段と、
前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタ手段と、
前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離手段と、
前記画素分離手段から出力された前記画素信号中から選択した一つの特定画素信号と、数の画素信号により得られる輝度信号の低域成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力手段と、
前記垂直フィルタ手段で抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力手段により出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理手段とを有することを特徴とする映像信号処理装置である。
また、第8の発明は、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理装置において、
前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換手段と、
前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタ手段と、
前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離手段と、
前記画素分離手段から出力された前記画素信号中から選択した一つの特定画素信号の低域成分と、数の画素信号により得られる輝度信号の低域成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力手段と、
前記垂直フィルタ手段で抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力手段により出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理手段とを有することを特徴とする映像信号処理装置である。
また、第9の発明は、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理装置において、
前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デ ジタル変換手段と、
前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタ手段と、
前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離手段と、
前記画素分離手段から出力された前記画素信号中から選択した第1の特定画素信号の低周波成分と、前記画素信号中から選択した第2の特定画素信号の低周波成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力手段と、
前記垂直フィルタ手段で抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力手段により出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理手段とを有することを特徴とする映像信号処理装置である。
また、第10の発明は、上記した第6乃至第9のいずれかの映像信号処理装置において、
前記制御信号を複数段階に分類する制御信号分類手段を前記制御信号生成/出力手段中に設け、前記コアリング処理手段では、当該分類した各段階の前記制御信号に応じて、前記垂直方向の輪郭成分に対して前記コアリング補正量を制御しながらコアリング処理を行うことを特徴とする映像信号処理装置である。
【0015】
【発明の実施の形態】
以下、本発明に係る映像信号処理方法及び映像信号処理装置の好ましい実施の形態について図面を参照しながら詳細に説明する。
【0016】
本発明実施の形態に係る映像信号処理方法及び映像信号処理装置は、例えば固体撮像素子(Charge Coupled Devise:CCD)にて撮像した映像信号を、磁気テープ等のテープ状記録媒体、磁気ディスクや光ディスク等のディスク状記録媒体、或いは該装置内に配される半導体メモリや着脱可能な半導体メモリカード等に記録する、ビデオカメラに適用することができる。
【0017】
また、本実施の形態のビデオカメラにて使用する固体撮像素子としては、1フィールド期間内に全画素の信号電荷を独立に読み出し、混合せずに出力することで、動きの速い被写体であっても高い水平,垂直解像度を得ることができる、いわゆる全画素読み出し方式を採用している。さらに、本実施の形態では、装置構成の小型化、低コスト化を実現するために、この固体撮像素子を例えば単板式とし、また、原色フィルタよりも高感度化を可能にするために、該固体撮像素子の受光面上には、分光特性の異なるW(ホワイト),G(グリーン),Cy(シアン),Ye(イエロー)の補色フィルタを画素毎に対応して配置するようにしている。
【0018】
本発明の一実施の形態となるビデオカメラの主要部の構成を図1に示す。なお、この図1では、図示を簡略化するため、レンズ光学系や記録媒体への記録系、各種信号処理系、操作系など、ビデオカメラに一般的に備えられているものについては省略している。
【0019】
この図1において、固体撮像素子(以下CCD1とする)上には、図示しないレンズ光学系を介し、さらに補色系の色フィルタを介した被写体等からの光が入射されて結像される。このCCD1では、入射光を光電変換し、得られた撮像信号を相関二重サンプリング回路(correlated double sampling:CDS)2に供給する。
【0020】
この相関二重サンプリング回路2では、CCDのランダム雑音(信号と暗電流のショット雑音)を除く雑音低減手法の一つである、いわゆる相関二重サンプリング処理を行う回路であって、具体的には、信号期間レベルからフィールドスルー期間のレベルを差し引くことによってリセット雑音を抑圧するような処理が行われる。該相関二重サンプリング回路2の出力は、アナログ/デジタル(A/D)変換器3に送られる。
【0021】
このアナログ/デジタル変換器3は、入力側にサンプルホールド回路を含み、相関二重サンプリング回路2を介し、さらに該サンプルホールド回路にてサンプルホールドされたアナログ撮像信号を、所定のサンプル周波数にてサンプリングしてデジタル信号(以下、デジタル映像信号と呼ぶ)に変換する。該アナログ/デジタル変換器3から出力されたデジタル映像信号は、垂直フィルタ回路4及びメイン信号処理回路6、画素分離回路8に送られる。
【0022】
垂直フィルタ回路4は、デジタル映像信号から垂直方向の所定周波数帯域成分を抽出する垂直バンドパスフィルタ(V−BPF)と、デジタル映像信号から垂直方向の高周波数帯域成分を抽出する垂直ハイパスフィルタ(VーHPF)とを少なくとも有してなり、デジタル映像信号から垂直方向の輪郭成分を抽出するものである。なお、垂直バンドパスフィルタと垂直ハイパスフィルタは、共に巡回型(IIR)或いは非巡回型(FIR)のデジタルフィルタであり、垂直ハイパスフィルタは例えば5タップのフィルタ係数が設定され、垂直バンドパスフィルタは例えば3タップのフィルタ係数が設定されている。該垂直フィルタ回路4からの出力信号、すなわちデジタル映像信号から抽出された垂直方向の輪郭成分は、コアリング処理回路5に送られる。
【0023】
コアリング処理回路5は、映像の輪郭成分に含まれる雑音成分を抑圧し、信号対雑音比(S/N)を改善する、いわゆるコアリング処理を行う。同時に、このコアリング処理回路5では、図7に示したようなW,G,Cy,Yeの補色フィルタの特性差に起因して、W及びGで構成される輝度信号(Ya=W+G)と、Cy及びYeで構成される輝度信号(Yb=Cy+Ye)との間で生ずる分光差(輝度差)を、コアリング処理におけるコアリング補正量を制御することで抑圧し、その結果としてフリッカを抑圧するような補正処理をも行う。
【0024】
該コアリング処理回路5におけるフリッカ抑圧のための補正処理について、以下に説明する。
【0025】
ところで、図7に示したW,G,Cy,Yeの補色フィルタにおいて、各色フィルタはそれぞれ図2に示すような透過率と波長との関係を有している。この図2から、特にCyの色フィルタは短波長側の透過率が高いことがわかる。また、図2から、輝度Y(Ya,Yb)は550nm近傍を中心とした波長の分光であることがわかる。ここで、
Ya=W+G
Yb=Cy+Ye
とした時、Ys(輝度差)=(Ya−Yb)/Yaは、図3に示すように短波長側で大きくなっていることがわかる。
【0026】
したがって、短波長側ほど輝度信号に対する補正値(コアリング補正量)が大きくなるような制御信号をコアリング処理回路5に供給すれば、フリッカを抑圧することが可能になると考えられる。なお、図2に示したように、短波長側の透過率が高いCyの色信号を制御信号として用いることも考えられるが、このCyの色信号をコアリング処理回路5における補正量の制御信号としてそのまま使用すると、波長500nm近傍が最大の補正量となる制御信号になってしまうため、適当ではない。
【0027】
これに対して、例えばCy/Yの演算により得られる信号は、図4に示すように概略短波長になるほど値が大きくなる信号であることがわかる。したがって、本実施の形態では、当該Cy/Yの演算により得られる信号を、短波長側ほど輝度信号に対する補正値が大きくなる制御信号yflとしてコアリング処理回路5に供給するようにしている。本実施の形態では、該制御信号yflを後述するモアレ処理回路9にて生成し、コアリング処理回路5に供給するようにしている。なお、図4には、Cy/Yの演算による制御信号yflとの比較のため、W,Ye,Cy,Gの各補色信号の特性も示している。
【0028】
より具体的に説明すると、コアリング処理回路5では、Cy/Yの演算により得られモアレ処理回路9から供給された制御信号yflを、図に示すように透過率に応じて5段階(vck1≦yf1,vck2≦yf1<vck1,vck3≦yf1<vck2,vck4≦yf1<vck3,0≦yf1<vck4)に分類し、長波長側ではコアリング処理回路5における補正量(コアリング補正量)を小さくし、短波長側ではコアリング処理回路5における補正量(コアリング補正量)を大きくするようにしている。この結果、図3に示した輝度差Ys=(Ya−Yb)/Yaが大きくでる短波長成分を多く含んでいる被写体からの映像信号に対しては、コアリング補正量が大きくなって該輝度差を圧縮でき、一方、長波長側ではコアリング補正量が小さくなって(又は補正を行わない)、画質の劣化を防ぐことが可能となる。
【0029】
コアリング処理回路5では、このような輝度信号に対する補正量制御(コアリング補正量の制御)を実現するために、マイクロコンピュータ(マイコン)により、図5に示すようなコアリング係数kysに基づく傾きk=1,k=12/16,k=8/16,k=6/16,k=4/16,k=0等と、コアリングポイントyhlc,−yhlcと、図6に示すようなコアリング範囲とコアリング係数kysとの対応表等が設定されており、制御信号yflによってコアリング係数(傾きすなわちコアリング補正量)を切換選択して設定するようにしている。コアリングをかける範囲はマイクロコンピュータにてコアリングポイントとして設定している。
【0030】
なお、本実施の形態の場合、コアリング範囲は、後述するモアレ処理回路9におけるモアレ処理の演算方式(a=0、b=1)に応じて切り換えられるようになっている。例えば、図6に示すように、モアレ処理がa(=0、a→y+1=CyL/YL)の場合のコアリング範囲は、vck1≦yflのときコアリング係数kys=16、vck2≦yfl<vck1のときコアリング係数kys=12、vck3≦yfl<vck2のときコアリング係数kys=10、vck4≦yfl<vck3のときコアリング係数kys=8、0≦yfl<vck4のときコアリング係数kys=4となされる。一方で、モアレ処理がb(=1、b→y+1=YL/CyL)の場合のコアリング範囲は、vck1≦yflのときコアリング係数kys=4、vck2≦yfl<vck1のときコアリング係数kys=8、vck3≦yfl<vck2のときコアリング係数kys=10、vck4≦yfl<vck3のときコアリング係数kys=12、0≦yfl<vck4のときコアリング係数kys=16となされる。もちろん、モアレ処理の方式に関係なく、コアリング補正量の制御を行うようにしてもよい。
【0031】
また、本実施の形態ではCy/Yの演算により得られる信号を制御信号yflとしたが、Cy/Yl(YlはY信号の低周波数成分)の演算により得られる信号を制御信号yflとすることもでき、Cyl/Yl(CylはCy信号の低周波数成分)の演算により得られる信号を制御信号yflとすることもできる。同様に、Cyl/Yel(YelはYe信号の低周波数成分)、若しくはYl/Yelなどの演算式を用いて生成した信号を制御信号yflとすることもでき、これらCyl/Yel若しくはYl/Yelの演算式を用いた場合には、短波長側の補正量を制御でき、また、その逆数を用いれば長波長側の補正量を制御することも可能となる。
【0032】
図1に戻って、コアリング処理回路5によってコアリング処理がなされた後の信号は、後述するγ(ガンマ)前輪郭補償回路12及び、γ後輪郭補償回路14に送られる。
【0033】
一方、メイン信号処理回路6は、W(ホワイト),G(グリーン),Cy(シアン),Ye(イエロー)の補色信号の内のWとGにWGによるモアレを抑圧するために所定の画素係数kw,kgを掛けるようにする。なお、画素係数kw,kgを乗算するタイミングは、色フィルタの配列に応じて切り換えるようになされている。このメイン信号処理回路6から出力されたデジタル映像信号(以下、メイン信号と呼ぶ)は、垂直ローパスフィルタ(V−LPF)7に供給される。
【0034】
この垂直ローパスフィルタ7は、後段のγ前輪郭補償回路12においてメイン信号に輪郭成分すなわち高周波数成分を加算することになるので、その前段の処理として該メイン信号から水平、垂直方向の高周波数成分を除去する。当該垂直ローパスフィルタ7は巡回型若しくは非巡回型のデジタルフィルタであり、例えば5タップのフィルタ係数が設定されていろものである。この垂直ローパスフィルタ7にて高周波数成分が除去されたメイン信号は、γ前輪郭補償回路12に供給される。
【0035】
次に、画素分離回路20は、アナログ/デジタル変換器3から供給されるデジタル映像信号が、W,G,Cy,Yeの補色フィルタの配列に応じて順次供給される信号であるため、これら順次供給される信号からW,G,Cy,Yeにそれぞれ対応する画素の信号を各々分離するものである。また、この画素分離回路20では、当該画素分離を行うことにより抜けた画素に対応する部分を補間するために(すなわち抜けた部分に補色信号が存在するように)に、例えば水平方向の画素補間を行うことも可能である。この画素分離回路20から出力された信号は、モアレ処理回路9に供給される。
【0036】
このモアレ処理回路9は、画素分離回路から供給されたW,G,Cy,Yeの補色信号の各レベルバランスをとってモアレを抑圧するモアレ処理を行う。該モアレ処理回路9からの出力信号は、水平ハイパスフィルタ(H−HPF)10に供給される。また、該モアレ処理回路9からは、コアリング処理回路5にて使用する前述した制御信号yflも出力される。
【0037】
水平ハイパスフィルタ10では、供給された信号から高周波数帯域成分を抽出する。すなわち、この水平ハイパスフィルタ10からはモアレ処理後の水平方向の高周波数成分が出力されることになる。該水平ハイパスフィルタ10からの出力信号は、コアリング処理回路11に供給される。
【0038】
当該コアリング処理回路11は、コアリング処理回路5と略々同様の構成を有してなるものであり、水平ハイパスフィルタ10から供給された信号の高周波数成分に含まれる雑音成分を抑圧し、信号対雑音比(S/N)を改善するコアリング処理を行うものである。このコアリング処理回路10にてコアリング処理が施されたモアレ処理後の水平方向高周波数成分は、γ前輪郭補償回路12に送られる。
【0039】
γ前輪郭補償回路12は、垂直フィルタ回路4及びコアリング処理回路5にて得られた垂直方向の輪郭成分と、メイン信号処理回路6及び垂直ローパスフィルタ7にて得られた高周波数成分が除去されたメイン信号と、画素分離回路8からコアリング処理回路11までの構成により得られたモアレ処理及びコアリング処理後の水平方向高周波数成分とを混合し、輝度信号を構成すると共に、該輝度信号の輪郭補償を行う。該γ前輪郭補償回路12にて輪郭補償が施された映像信号は、ガンマ処理回路13に供給される。
【0040】
該ガンマ処理回路13は、表示デバイスとして使用されることになるCRT(陰極線管)のガンマ特性を補正するためのγ(ガンマ)補正処理を、γ前輪郭補償回路12から供給されたデジタル映像信号に施す。このガンマ処理回路13にてガンマ補正処理された映像信号は、γ後輪郭補償回路14と水平アパコン回路16とに送られる。
【0041】
水平アパコン回路16では、ガンマ処理回路13にてガンマ補正処理された映像信号に対して、水平方向(及び垂直方向)のアパーチャ補正を行い、該アパーチャ補正後の映像信号をコアリング処理回路15に供給する。
【0042】
該コアリング処理回路15も、コアリング処理回路11やコアリング処理回路5と略々同様の構成を有するものであり、映像信号の高周波数帯域成分に含まれる雑音成分を抑圧し、信号対雑音比(S/N)を改善するコアリング処理を行うものである。このコアリング処理回路1の出力信号は、γ後輪郭補償回路14に送られる。
【0043】
γ後輪郭補償回路14は、垂直フィルタ回路4及びコアリング処理回路5にて得られた垂直方向の輪郭成分と、ガンマ処理回路13からのガンマ補正処理後の映像信号と、水平アパコン回路16及びコアリング処理回路15にて得られた方向のアパーチャ補正後の信号とを混合し、ガンマ補正処理後の輝度信号の輪郭補償を行う。
【0044】
このγ後輪郭補償回路14の出力信号が、本実施の形態のビデオカメラのデジタル映像信号として出力、若しくは記録媒体に記録される。
【0045】
上述したように、本実施の形態のビデオカメラにおいては、モアレ処理回路9にて例えばCy/Yの演算による制御信号yflを生成し、この制御信号yflに基づいてコアリング処理回路5にてコアリング補正量を制御するようにしている。すなわち、コアリング処理回路5では、長波長側ではコアリング処理の補正量を小さくし(或いはコアリング処理を行わない)、短波長側ではコアリング処理の補正量を大きくするようにして、コアリング処理を行うことにより、輝度差が大きくでる短波長成分を多く含んでいる被写体からの映像信号に対しては輝度差を圧縮し、一方、長波長側では画質の劣化を防ぐことができる。その結果としえ、本実施の形態のビデオカメラでは、補色フィルタの特性差に起因して発生するフリッカを抑圧することが可能となる。
【0046】
なお、図1の構成の垂直フィルタ回路4では、垂直バンドパスフィルタと垂直ハイパスフィルタのフィルタ係数を一定値とした例を挙げているが、垂直バンドパスフィルタのフィルタ係数を一定値とし、垂直ハイパスフィルタの比率をスイッチにて切り換えるようにすることも可能である。また、このときのスイッチは、外部から制御可能に構成してもよい。
【0047】
また、コアリング処理回路5の直後には、例えば該コアリング処理回路5の出力信号が飽和していたならばラインメモリを介して2ライン分を混合し、飽和していない場合はそのまま出力するようなスイッチ回路を設けることも可能である。この場合、スイッチ回路にはCCD1からの飽和データが供給されると共に、マイクロコンピュータにより設定されるゲイン制御用のゲイン係数も入力され、該飽和データにより、コアリング処理回路5からの出力信号が飽和していることを検出したならば、例えばラインメモリを介して2ライン分を混合し、飽和していない場合はそのまま出力するような切り換え出力を行い、この切り換え出力に対してゲイン係数を掛ける。なお、該スイッチ回路における切り換え出力の制御は、外部からのスイッチ切換信号によっても行え、また、ラインメモリを介した2ライン分の混合信号も常時出力するようなことも可能である。該スイッチ回路を設けた場合には、その出力信号がγ(ガンマ)前輪郭補償回路12及び、γ後輪郭補償回路14に送られることになる。
【0048】
その他、信号対雑音比(S/N)改善のためとして、垂直フィルタ回路4とコアリング処理回路5との間、垂直ローパスフィルタ7とγ前輪郭補償回路12との間、それぞれ水平ローパスフィルタを設けるようなことも可能である。
【0049】
また、ガンマ処理回路13において、ニー処理を同時に行うようにすることも可能である。
【0050】
本発明は上述した実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であり、ビデオカメラ以外の撮像装置、例えばデジタルスチルカメラ等にも適用でき、また、CCDの読み出し方式も全画素読み出しに限らずに他の各種読み出し方式にも適用可能である。その他、本実施の形態では、W,G,Cy,Yeの補色フィルタをCCD上に設ける例を挙げているが、Ma(マゼンダ),G,Cy,Yeの補色フィルタを用いる場合でも適用可能である。
【0051】
また、上述した実施の形態の構成では、デジタル信号処理を行う部分を回路構成として表現しているが、これら各回路における動作をデジタルシグナルプロセッサ(DSP)等によるソフトウェアにて実行することも、もちろん可能である。このようにソフトウェアにてデジタル信号処理を実現する構成とすれば、該ソフトウェアを変更するのみで各種設定値や動作を変更可能になることは言うまでもない。
【0052】
【発明の効果】
以上詳述した本発明に係る映像信号処理方法及び映像信号処理装置によれば、互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の補色フィルタの分光特性差によるフリッカを抑圧することができるので、固体撮像素子から映像信号の性能向上に寄与できる。
【図面の簡単な説明】
【図1】本発明に係る映像信号処理方法及び映像信号処理装置が適用される一実施の形態のビデオカメラの主要部構成を示すブロック図である。
【図2】補色フィルタによる補色信号と輝度信号の透過率と波長との関係を表す特性図である。
【図3】輝度差の説明に用いる特性図である。
【図4】各補色信号とコアリング処理の補正量制御用の制御信号の説明に用いる特性図である。
【図5】コアリング処理におけるコアリング係数に基づく傾きとコアリングポイントとの関係を示す図である。
【図6】制御信号及びコアリング範囲とコアリング係数との対応表を示す図である。
【図7】補色フィルタの配置を示す図である。
【図8】フリッカ発生の原因説明に用いる図である。
【符号の説明】
1…CCD
2…相関二重サンプリング回路
3…アナログ/デジタル変換器
4…垂直フィルタ回路
5,11,15…コアリング回路
6…メイン信号処理回路
7…垂直ローパスフィルタ、離回路
8…画素分離回路
9…モアレ処理回路
10…水平ハイパスフィルタ
12…γ前輪郭補償回路
13…ガンマ処理回路
14…γ後輪郭補償回路
16…水平アパコン回路

Claims (10)

  1. 互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理方法において、
    前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換ステップと、
    前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタステップと、
    前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離ステップと、
    前記画素分離ステップにより出力された前記画素信号中から選択した一つの特定画素信号と、数の画素信号により得られる輝度信号との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力ステップと、
    前記垂直フィルタステップで抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力ステップにより出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理ステップとを有することを特徴とする映像信号処理方法。
  2. 互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理方法において、
    前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換ステップと、
    前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタステップと、
    前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離ステップと、
    前記画素分離ステップにより出力された前記画素信号中から選択した一つの特定画素信号と、数の画素信号により得られる輝度信号の低域成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力ステップと、
    前記垂直フィルタステップで抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力ステップにより出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理ステップとを有することを特徴とする映像信号処理方法。
  3. 互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理方法において、
    前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換ステップと、
    前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタステップと、
    前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離ステップと、
    前記画素分離ステップにより出力された前記画素信号中から選択した一つの特定画素信号の低域成分と、数の画素信号により得られる輝度信号の低域成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力ステップと、
    前記垂直フィルタステップで抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力ステップにより出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理ステップとを有することを特徴とする映像信号処理方法。
  4. 互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理方法において、
    前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デ ジタル変換ステップと、
    前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタステップと、
    前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離ステップと、
    前記画素分離ステップにより出力された前記画素信号中から選択した第1の特定画素信号の低周波成分と、前記画素信号中から選択した第2の特定画素信号の低周波成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力ステップと、
    前記垂直フィルタステップで抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力ステップにより出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理ステップとを有することを特徴とする映像信号処理方法。
  5. 前記制御信号を複数段階に分類する制御信号分類ステップを前記制御信号生成/出力ステップ中で行い、前記コアリング処理ステップでは、当該分類した各段階の前記制御信号に応じて、前記垂直方向の輪郭成分に対して前記コアリング補正量を制御しながらコアリング処理を行うことを特徴とする請求項1乃至請求項4のうち、いずれか1項記載の映像信号処理方法。
  6. 互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理装置において、
    前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換手段と、
    前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタ手段と、
    前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離手段と、
    前記画素分離手段から出力された前記画素信号中から選択した一つの特定画素信号と、数の画素信号により得られる輝度信号との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力手段と、
    前記垂直フィルタ手段で抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力手段により出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理手段とを有することを特徴とする映像信号処理装置。
  7. 互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理装置において、
    前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換手段と、
    前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタ手段と、
    前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離手段と、
    前記画素分離手段から出力された前記画素信号中から選択した一つの特定画素信号と、数の画素信号により得られる輝度信号の低域成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力手段と、
    前記垂直フィルタ手段で抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力手段により出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理手段とを有することを特徴とする映像信号処理装置。
  8. 互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理装置において、
    前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換手段と、
    前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタ手段と、
    前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離手段と、
    前記画素分離手段から出力された前記画素信号中から選択した一つの特定画素信号の低域成分と、数の画素信号により得られる輝度信号の低域成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力手段と、
    前記垂直フィルタ手段で抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力手段により出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理手段とを有することを特徴とする映像信号処理装置。
  9. 互いに分光特性が異なる複数の補色フィルタを有する複数の画素を組みとし、この組みを水平方向及び垂直方向に繰り返し配置した固体撮像素子中で複数の前記補色フィルタの分光特性差によるフリッカを抑圧する映像信号処理装置において、
    前記固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ/デジタル変換手段と、
    前記デジタル映像信号から垂直方向の輪郭成分を抽出する垂直フィルタ手段と、
    前記デジタル映像信号から各補色フィルタと対応した各画素信号を分離して出力する画素分離手段と、
    前記画素分離手段から出力された前記画素信号中から選択した第1の特定画素信号の低周波成分と、前記画素信号中から選択した第2の特定画素信号の低周波成分との比率を演算して制御信号を生成し、この制御信号を出力する制御信号生成/出力手段と、
    前記垂直フィルタ手段で抽出された前記垂直方向の輪郭成分に対して、前記制御信号生成/出力手段により出力された前記制御信号を用いてコアリング補正量を制御しながらコアリング処理を行うコアリング処理手段とを有することを特徴とする映像信号処理装置。
  10. 前記制御信号を複数段階に分類する制御信号分類手段を前記制御信号生成/出力手段中に設け、前記コアリング処理手段では、当該分類した各段階の前記制御信号に応じて、前記垂直方向の輪郭成分に対して前記コアリング補正量を制御しながらコアリング処理を行うことを特徴とする請求項6乃至請求項9のうち、いずれか1項記載の映像信号処理装置。
JP33460797A 1997-12-04 1997-12-04 映像信号処理方法及び映像信号処理装置 Expired - Lifetime JP3591257B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP33460797A JP3591257B2 (ja) 1997-12-04 1997-12-04 映像信号処理方法及び映像信号処理装置
DE69842015T DE69842015D1 (de) 1997-12-04 1998-12-02 Verfahren und Vorrichtung zur Verarbeitung von Videosignalen
EP98122565A EP0921691B1 (en) 1997-12-04 1998-12-02 Video signal processing method and device
US09/203,718 US6559886B1 (en) 1997-12-04 1998-12-02 Video signal processing method and device
US10/386,461 US7307657B2 (en) 1997-12-04 2003-03-13 Video signal processing method and device for processing luminance signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33460797A JP3591257B2 (ja) 1997-12-04 1997-12-04 映像信号処理方法及び映像信号処理装置

Publications (2)

Publication Number Publication Date
JPH11168743A JPH11168743A (ja) 1999-06-22
JP3591257B2 true JP3591257B2 (ja) 2004-11-17

Family

ID=18279282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33460797A Expired - Lifetime JP3591257B2 (ja) 1997-12-04 1997-12-04 映像信号処理方法及び映像信号処理装置

Country Status (1)

Country Link
JP (1) JP3591257B2 (ja)

Also Published As

Publication number Publication date
JPH11168743A (ja) 1999-06-22

Similar Documents

Publication Publication Date Title
JP4284628B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
EP0660617B1 (en) Image pickup device
JP5108172B2 (ja) 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
EP0921691B1 (en) Video signal processing method and device
JP2003032695A (ja) 画像信号処理装置
JPH06303621A (ja) 撮像装置
WO2004071077A1 (ja) 画像処理装置、画像処理プログラムおよび当該プログラムを記録した記録媒体
JP4224996B2 (ja) 撮像装置
JP2003101815A (ja) 信号処理装置及び信号処理方法
JPH0470828B2 (ja)
JP3591257B2 (ja) 映像信号処理方法及び映像信号処理装置
JP3337962B2 (ja) 映像信号処理方法及び映像信号処理装置
JP4178571B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
JP3591256B2 (ja) カラービデオカメラ用輝度信号処理回路
JP3733182B2 (ja) 撮像装置および縦縞除去方法
JP4477265B2 (ja) カラーテレビジョンカメラ
JP3540567B2 (ja) 電子的撮像装置
JP2008109468A (ja) 色信号処理回路およびカメラ装置
JP4193281B2 (ja) 画像信号処理装置及びカメラ装置
JP3126860B2 (ja) 映像信号処理装置
JP2002209224A (ja) 画像処理装置、画像処理方法および記録媒体
JP3410638B2 (ja) ビデオカメラシステム
JP2698404B2 (ja) 輝度信号処理装置
JP3525445B2 (ja) ディジタル信号処理カメラ
JP3663862B2 (ja) カラービデオカメラ用輝度信号処理回路

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040816

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110903

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 9

EXPY Cancellation because of completion of term