JPH10313464A - カラーフィルタアレー及びその色相補間装置 - Google Patents

カラーフィルタアレー及びその色相補間装置

Info

Publication number
JPH10313464A
JPH10313464A JP9366430A JP36643097A JPH10313464A JP H10313464 A JPH10313464 A JP H10313464A JP 9366430 A JP9366430 A JP 9366430A JP 36643097 A JP36643097 A JP 36643097A JP H10313464 A JPH10313464 A JP H10313464A
Authority
JP
Japan
Prior art keywords
hue
filter
signal
red
blue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9366430A
Other languages
English (en)
Other versions
JP3087221B2 (ja
Inventor
Oh Bong Kwon
五 鳳 権
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
Hyundai Electronics Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Electronics Industries Co Ltd filed Critical Hyundai Electronics Industries Co Ltd
Publication of JPH10313464A publication Critical patent/JPH10313464A/ja
Application granted granted Critical
Publication of JP3087221B2 publication Critical patent/JP3087221B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 人の色相認識を容易にするためのグリーン色
相フィルタをレッド及びブルー色相の数の2倍になるよ
うに構成し、しかも高速処理が可能であり、簡単な構成
により垂直補間なしのカラー信号の補間処理が可能なカ
ラーフィルタアレー及びその色相補間装置を提供する。 【解決手段】 カラーフィルタアレーにおいて、人の色
相認識を容易にするためにグリーンの色相フィルタをレ
ッド及びブルー色相の数より2倍になるように構成し、
簡単な補間計算のためレッド及びブルーカラーフィルタ
は4個の画素毎に位置し、グリーンカラーフィルタは2
個の画素毎に位置付けるようにするR−G−B−G、G
−R−G−B、及びB−G−R−Gパータンからなるこ
とを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はイメージセンサ(ima
ge sensor)に関するもので、特に垂直補間(vertical in
terpolation)処理が必要なしカラーフィルタアレー(col
or filter array)およびその信号処理回路に関し、イメ
ージ信号を処理するビデオカメラ、ディジタルカメラお
よびカラースキャナ、カラー複写機等イメージ信号入力
および信号処理分野で広く適用できる。
【0002】
【従来の技術】従来、カラーイメージセンサには基本単
位画素(Pixel) ごとにカラーフィルタが覆われているの
でカラーフィルタの構成パターンにより信号処理の複雑
性が決定(左右)される。カラーイメージ信号をえるた
めにレッド(Red) カラーフィルタ画素、グリーン(Gree
n) カラーフィルタ画素、およびブルー(Blue)カラーフ
ィルタ画素に各画素が区分されているが、信号処理のた
めに各画素は補間法により全てのカラー信号(R.G.
B)を持たなければならない。
【0003】図1の(a)および(b)は従来のレッド
(以下、R信号という)、グリーン(以下、G信号とい
う)、ブルー(以下、B信号という)信号処理のための
カラーフィルタアレー構成を示す図面として、図1
(a)はR−G−B、G−B−R、B−R−Gパターン
から構成され、図1(b)はR−G、G−Bパターンか
ら構成されている。図1(a)でR、GおよびB信号の
夫々が3個の画素ごとに互いに行き交って存在するため
各信号間の画素値は補間処理により得るもので、例え
ば、第1信号(C1)および第2信号(C2)間の二画
素についてのそれぞれのカラー信号(C12)、(C21
を得るための補間処理式は次の
【数1】のようである。
【0004】
【数1】 カラー信号(C12)=1/3{(2C1 +C2 )}、 カラー信号(C21)=1/3{(C1 +2C2 )} ・・・(1)
【0005】
【発明が解決しようとする課題】上記のような補間処理
のための数式は1/3倍の計算が必要になり、有効数字
の処理が難しいため、それによる複雑な回路構成を持つ
ことになる問題が発生する。
【0006】図1(b)のカラーフィルタアレーは人の
色相の知覚程度を勘案した構成としてグリーン(G)の
画素数がレッド(R)とブルー(B)の画素数より2倍
ほど多い。しかし、上記の構成は水平および垂直補間処
理を二つとも要求しているので回路が複雑することにな
り、また垂直補間のためのライン遅延バッファ(linedel
ay buffer) の追加使用により回路が多くなるという問
題があった。
【0007】本発明は、このような従来の問題点を解決
すべくなされたもので、高速処理が可能であり、簡単な
構成により垂直補間なしカラー信号の補間処理が可能な
カラーフィルタアレーおよびその色相補間装置を提供す
ることを目的としている。
【0008】
【課題を解決するための手段】本発明は、上記の課題を
解決するために、カラーフィルタアレーにおいて、人の
色相認識を容易にするためにグリーンの色相フィルタを
レッド及びブルー色相の数より2倍になるように構成
し、簡単な補間計算のためレッド及びブルーカラーフィ
ルタは4個の画素毎に位置し、グリーンカラーフィルタ
は2個の画素毎に位置付けるようにするR−G−B−
G、G−R−G−B、及びB−G−R−Gパータンから
なることを特徴とする。
【0009】また、上記カラーフィルタアレーの上記グ
リーン色相フィルタ周辺の各画素に対するグリーン色相
信号は、上記グリーン色相フィルタが2個の画素毎に位
置するため、第1グリーン色相フィルタ信号及び第2グ
リーン色相フィルタをそれぞれ1/2倍にしてからそれ
らを加算する演算により得られることを特徴とする。
【0010】また、上記カラーフィルタアレーの上記レ
ッド色相フィルタ周辺の各画素に対するレッド色相信号
中、上記レッド色相フィルタが4個の画素毎に位置する
ため、第1レッド色相フィルタと第2レッド色相フィル
タが覆われた画素間の上記ブルー色相フィルタが覆われ
た画素に対するレッド色相信号は第1レッド色相フィル
タ信号及び第2レッド色相フィルタ信号をそれぞれ1/
2倍にしてからそれらを加算する演算により得られるこ
とを特徴とする。
【0011】また、上記カラーフィルタアレーの上記レ
ッド色相フィルタ周辺の各画素に対するレッド色相信号
中、上記レッド色相フィルタが4個の画素毎に位置する
ため、第1レッド色相フィルタと第2レッド色相フィル
タが覆われた画素間の上記第1レッド色相フィルタの方
に近く位置した上記グリーン色相フィルタが覆われた画
素に対するレッド色相信号は、第1レッド色相フィルタ
信号を1/2倍にした値と1/4倍にした値とを加算し
てから第2レッド色相フィルタ信号を1/4倍した値を
再び加算する演算により得られることを特徴とする。
【0012】また、上記カラーフィルタアレーの上記レ
ッド色相フィルタの周辺の各画素に対するレッド色相信
号中、上記レッド色相フィルタが4個の画素毎に位置す
るため、第1レッド色相フィルタと第2レッド色相フィ
ルタが覆われた画素間の上記第2レッド色相フィルタの
方に近く位置した上記グリーン色相フィルタが覆われた
画素に対するレッド色相信号は、第2レッド色相フィル
タ信号を1/2倍した値と1/4倍した値とを加算して
から第1レッド色相フィルタ信号を1/4倍した値を再
び加算する演算により得られることを特徴とする。
【0013】また、上記カラーフィルタアレーの上記ブ
ルー色相フィルタ周辺の各画素に対するブルー色相信号
中、上記ブルー色相フィルタが4個の画素毎に位置する
ため、第1ブルー色相フィルタと第2ブルー色相フィル
タが覆われた画素間の上記レッド色相フィルタが覆われ
た画素に対するブルー色相信号は、第1ブルー色相フィ
ルタ信号及び第2ブルー色相フィルタ信号をそれぞれ1
/2倍してからそれらを加算する演算により得られるこ
とを特徴とする。
【0014】また、上記カラーフィルタアレーの上記ブ
ルー色相フィルタ周辺の各画素に対するブルー色相信号
中、上記ブルー色相フィルタが4個の画素毎に位置する
ため、第1ブルー色相フィルタと第2ブルー色相フィル
タが覆われた画素間の上記第1ブルー色相フィルタの方
に近く位置した上記グリーン色相フィルタが覆われた画
素に対するブルー色相信号は、上記第1ブルー色相フィ
ルタ信号を1/2倍した値と1/4倍した値を加算して
から上記第2ブルー色相フィルタ信号を1/4倍した値
を再び加算する演算により得られることを特徴とする。
【0015】また、上記カラーフィルタアレーの上記ブ
ルー色相フィルタ周辺の各画素に対するブルー色相信号
中、上記ブルー色相フィルタが4個の画素毎に位置する
ため、第1ブルー色相フィルタと第2ブルー色相フィル
タが覆われた画素間の上記第2ブルー色相フィルタの方
に近く位置した上記グリーン色相フィルタが覆われた画
素に対する色相信号は、上記第2ブルー色相フィルタ信
号を1/2倍した値と1/4倍した値とを加算してから
上記第1ブルー色相フィルタ信号を1/4倍した値を再
び加算する演算により得られることを特徴とする。
【0016】また、上記各色相フィルタ信号を1/2倍
した値は、上記各色相フィルタ信号を下位ビット方向に
1−ビットシフティングして得られることを特徴とす
る。
【0017】また、グリーン色相フィルタをレッド及び
ブルー色相フィルタ数より2倍になるように構成し、簡
単な補間計算のためにレッド及びブルーカラーフィルタ
は4個の画素毎に位置し、グリーンカラーフィルタは2
個の画素毎に位置付けるようにするR−G−B−G、G
−R−G−B、及びB−G−R−Gパータンからなるカ
ラーフィルタアレーの各画素に対する色相信号を補間す
る装置であって、第1及び第2グリーン色相フィルタか
ら入力される第1及び第2グリーン色相フィルタ信号を
補間した後、周辺画素のグリーン色相信号を出力するグ
リーン色相信号部と、第1及び第2レッド色相フィルタ
から入力される第1及び第2レッド色相信号を補間した
後、周辺画素のレッド色相信号を出力するレッド色相信
号部及び、第1及び第2ブルー色相フィルタから入力さ
れる第1及び第2ブルー色相フィルタ信号を補間した
後、周辺画素のブルー色相信号を出力するブルー色相信
号部とを具備してなされることを特徴とする。
【0018】また、上記グリーン色相信号部は、上記第
1及び第2グリーン色相フィルタから入力される第1及
び第2グリーン色相フィルタ信号を受け入れ蓄積する第
1及び第2グリーン色相信号蓄積手段と、上記第1及び
第2グリーン色相信号蓄積手段から出力される信号をそ
れぞれ下位ビット方向へ1ビットシフトする第1及び第
2シフティング手段、及び上記第1シフティング手段と
上記第2シフティング手段から出力される信号を加算し
て補間された周辺画素のグリーン色相信号を出力する第
1加算手段とを具備してなることを特徴とする。
【0019】また、上記レッド色相信号部は、上記第1
及び第2レッド色相フィルタから入力される第1及び第
2レッド色相フィルタ信号を受け入れ蓄積する第1及び
第2レッド色相信号蓄積手段と、上記第1及び第2レッ
ド色相信号蓄積手段から出力される信号を各々下位ビッ
ト方向に1ビットずつシフトする第3及び第4シフティ
ング手段と、上記第3シフティング手段と上記第4シフ
ティング手段から出力される信号を加算して補間された
上記第1レッド色相フィルタと上記レッド色相フィルタ
が覆われた画素間の上記ブルーフィルタが覆われた画素
に対するレッド色相信号を出力する第2加算手段と、上
記第3又は第4シフティング手段から出力される信号を
各々下位ビット方向に1ビットずつ再シフトする第5又
は第6シフティング手段と、上記第3シフティング手段
と上記第5シフティング手段から出力される信号を再び
加算する第3加算手段と、上記第6シフティング手段と
上記第3加算手段から出力される信号を再び加算して補
間された上記第1レッド色相フィルタと上記第2レッド
色相フィルタが覆われた画素間の上記第1レッド色相フ
ィルタの方に近く位置した上記グリーン色相フィルタが
覆われた画素に対するレッド色相信号を出力する第4加
算手段と、上記第4シフティング手段と上記第6加算手
段から出力される信号を再び加算する第5加算手段と、
上記第5シフティング手段と上記第5加算手段から出力
される信号を再び加算して補間された上記第1レッド色
相フィルタと上記第2レッド色相フィルタが覆われた画
素間の上記第2レッド色相フィルタの方に近く位置した
上記グリーン色相フィルタが覆われた画素に対するレッ
ド色相信号を出力する第6加算手段とを具備してなされ
ることを特徴とする。
【0020】また、上記ブルー色相信号部は、上記第1
及び第2ブルー色相フィルタから入力される第1及び第
2ブルー色相フィルタ信号を受け入れ蓄積する第1及び
第2ブルー色相信号蓄積手段と、上記第1及び第2ブル
ー色相信号蓄積手段から出力される信号を各々下位ビッ
ト方向に1ビットずつシフトする第7及び第8シフティ
ング手段と、上記第7シフティング手段と上記第8シフ
ティング手段から出力される信号を加算して補間された
上記第1ブルー色相フィルタと上記第2ブルー色相フィ
ルタが覆われた画素間の上記レッド色相フィルタが覆わ
れた画素に対するブルー色相信号を出力する第7加算手
段と、上記第7又は第8シフティング手段から出力され
る信号を各々下位ビット方向に1ビットずつ再シフトす
る第9又は第10シフチィング手段と、上記第7シフテ
ィング手段と上記第9シフティング手段から出力される
信号を再び加算する第8加算手段と、上記第10シフテ
ィング手段と上記第8加算手段から出力される信号を再
び加算して補間された上記第1ブルー色相フィルタと上
記第2ブルー色相フィルタが覆われた画素間の上記第1
ブルー色相フィルタの方に近く位置した上記グリーン色
相フィルタが覆われた画素に対するブルー色相信号を出
力する第9加算手段と、上記第8シフティングと上記第
10シフティングから出力される信号を再び加算する第
10加算手段と、上記第9シフティング手段と上記第1
0加算手段から出力される信号を再び加算して補間され
た上記第1ブルー色相フィルタと上記2ブルー色相フィ
ルタが覆われた画素間の上記第2ブルー色相フィルタの
方に近く位置した上記グリーン色相フィルタが覆われた
画素に対するブルー色相信号を出力する第11加算手段
とを具備してなることを特徴とする。
【0021】
【発明の実施の形態】以下、図2以下を参照しながら本
発明に係る実施の形態について説明する。なお、各実施
の形態において共通する部分、部位には同一の符号を付
し、重複する説明は省略する。
【0022】図2は本発明にかかるカラーフィルタアレ
ー構成を図示したもので、R−G−B−G,G−R−G
−BおよびB−G−R−Gパターンから構成した。人が
色相を易く認識できるようにグリーン色相フィルタをレ
ッド又はブルー色相フィルタの数より2倍になるように
構成し、水平アレーにレッド、グリーン、ブルーの色相
フィルタを位置させた。即ち、従来のカラーフィルタア
レーの構成として図1(b)ではレッド(R)色相情報
とブルー(B)色相情報が一ラインおき位置するものに
比べ、本発明では毎ラインごとに位置する。従って、水
平補間処理のみで毎画素ごとにR、G、B色相信号情報
を持つことができる。
【0023】又、レッド(R)とブルー(B)カラーフ
ィルタは四個の画素ごとに位置してグリーン(G)カラ
ーフィルタは二個の画素ごとに位置するようにして、補
間の計算時簡単な加算とシフト動作のみで補間処理を可
能するようにした。即ち、複雑しかつ計算時間の消費が
多い積算はしなくてもいい。
【0024】図3は本発明によるカラーフィルタアレー
の構成で水平補間処理のためのブロック図である。先
ず、図2および図3を参照して該動作を説明するとグリ
ーン(G)色相フィルタが二個の画素ごとに入力される
ので各画素についての色相補間のための信号処理は夫々
の第1グリーン色相フィルタ信号(G1)および第2グ
リーン色相フィルタ信号(G2)を1/2倍した後加算
した値として得られる。ここで、1/2倍の計算は下位
ビット(Bit) 方向に1−ビットシフトすればいい。
【0025】次にレッド(R)色相フィルタとブルー
(B)の色相フィルタは四個の画素ごとに入力されるの
で次の
【数2】により水平補間値を得る。
【0026】
【数2】 R112 =1/4(R1 +2R1 +R2 )、B112 =1/4(B1+2B1 +B 2) R12=1/2(R1 +R2 )、B122=1/2(B1 +B2 )、 R122 =1/4(R1 +R2 +2R2 )、B122 =1/4(B1 +B2 +2B 2 ) ・・・(2)
【0027】上記
【数2】でR1 は第1レッド色相フィルタ信号、R2
第2レッド色相フィルタ信号、R112 2はR1 とR2
の間でR1 の方に近い画素(グリーン色相フィルタが覆
われた画素)についてのレッド色相信号、R12はR1
2 との間に位置した画素(ブルー色相フィルタが覆わ
れた画素)についてのレッド色相信号、R122 はR2
方に近い画素(グリーン色相フィルタが覆われた画素)
についてのレッド色相信号、B1 は第1ブルー色相フィ
ルタ信号、B2 は第2ブルー色相フィルタ信号、B112
はB1 とB2 の間でB1 の方に近い画素(グリーン色相
フィルタが覆われた画素)についてのブルー色相信号、
12はB1 とB2 の中間に位置した画素(レッド色相フ
ィルタが覆われた画素)についてのブルー色相信号、B
122 はB2 の方に近い画素(グリーン色相フィルタが覆
われた画素)についてのブルー色相信号を夫々示す。
【0028】R112 とB112 の補間値はそれぞれ
【数2】に示すようにR1 又はB1 値を下位ビットの方
向に1ビットシフトした値と2ビットシフトした値を加
算してからR2 又はB2 値を下位ビットの方向に2ビッ
トシフトした値と加算することにより得られる。R12
12の場合はそれぞれ
【数2】に示すようにR1 又はB1 とR2 又はB2 を夫
々下位ビットの方向に1ビットシフトしてから加算すれ
ば良い。
【0029】R122 とB122 の補間値はそれぞれ
【数2】に示すようにR2 又はB2 値を下位ビットの方
向に1ビットシフトした値と2ビットシフトした値を加
算してからR1 又はB1 値を下位ビットの方向に2ビッ
トシフトした値と加算することにより得られる。
【0030】上記のように動作させるための回路の構成
は図3に示すように第1および第2グリーン色相フィル
タから入力される第1および第2グリーン色相フィルタ
信号(G1),(G2)を補間した後、周辺画素のグリ
ーン色相信号(G12)を出力するグリーン(G)色相
信号部(300)、第1および第2レッド色相フィルタ
から入力される第1および第2レッド色相フィルタ信号
(R1 ),(R2 )を補間した後、周辺画素のレッド色
相信号(R112 )(R122 )を出力するレッド(R)色
相信号部(400)、第1および第2グリーン色相フィ
ルタから入力される第1および第2グリーン色相フィル
タ信号(B1 ,B1 )を補間した後、周辺画素のブルー
色相信号(B112 ,B122 )を出力するブルー(B)色
相信号部(500)からなる。
【0031】上記グリーン色相信号部(300)はグリ
ーン色相フィルタから入力される第1および第2グリー
ン色相フィルタ信号(G1),(G2)を入力され貯蔵
する第1および第2グリーン色相信号レジスタ(3
0)、(31)、上記第1及び第2グリーン色相信号レ
ジスタ(30及び31)から出力される信号を夫々右に
1ビットシフトする第1及び第2右シフタ(32及び3
3)、上記第1右シフタ(32)と上記第2右シフタ
(33)から出力される信号を加算して補間された周辺
画素のグリーン色相信号であるG12を出力する第1加算
器(34)を包含してなり、上記レッド色相信号部(4
00)はレッド色相フィルタから入力される第1および
第2レッド色相フィルタ信号(R1 ),(R2 )を入力
し、それぞれ蓄積する第1および第2レッド色相信号レ
ジスタ(35)、(36)、上記第1及び第2レッド色
相信号レジスタ(35及び36)から出力される信号を
夫々右に1ビットシフトする第3又は第4右レジスタ
(37及び38)、上記第3右シフタ(37)と上記第
4右レジスタ(38)からの出力信号を加算して補間さ
れた周辺のレッド色相信号R12を出力する第2加算器
(39)、上記第3及び第4右シフタ(37及び38)
から出力される信号を夫々右に1ビットずつ再びシフト
する第5及び第6右シフタ(40及び41)、上記第3
右シフタ(37)と上記第5右シフタ(40)から出力
される信号を再び加算する第3加算器(42)、上記第
6右シフタ(41)と上記第3加算器(42)から出力
される信号を再び加算して補間された周辺のレッド色相
信号R112 を出力する第4加算器(44)、上記第4右
シフタ(38)と上記第6右シフタ(41)から出力さ
れる信号を再び加算する第5加算器(43)、上記第5
右シフタ(40)と上記第5加算器(43)から出力さ
れる信号を再び加算して補間された周辺のレッド色相信
号R 122 を出力する第6加算器(45)を包含してな
り、上記ブルー(B)色相信号部(500)はブルー色
相フィルタから入力される第1および第2ブルー色相フ
ィルタ信号(B1 ),(B2 )を入力し、それぞれ蓄積
する第1および第2ブルー色相信号レジスタ(46)、
(47)、上記第1及び第2ブルー色相レジスタ(46
及び47)から出力される信号を夫々右に1ビットシフ
トする第7及び8右シフタ(48及び49)、上記第7
右シフタ(48)と上記第8右シフタ(49)から出力
される信号を加算して補間された周辺のブルー色相信号
12を出力する第7加算器(50)、上記第7及び第8
右シフタ(48及び49)から出力される信号を夫々右
に1ビットずつ再びシフトする第9及び第10右シフタ
(51及び52)、上記第7右シフタ(48)と上記第
9右シフタ(51)から出力される信号を再び加算する
第8加算器(53)、上記第10右シフタ(52)と上
記第8加算器(53)から出力される信号を再び加算し
て補間された周辺のブルー色相信号B112 を出力する第
9加算器(55)、上記第8右シフタ(49)と上記第
10右シフタ(52)から出力される信号を再び加算す
る第10加算器(54)、上記第9右シフタ(51)と
上記第10加算器(54)から出力される信号を再び加
算して補間された周辺のブルー色相信号B122 を出力す
る第11加算器(56)を包含してなる。
【0032】上記のように水平信号の補間によりR,
G,B値を求められるし、シフトと加算演算のみで簡単
な補間処理が可能する。
【0033】以上のように本発明は前述した実施の形態
と図面に限定されることではなくて、本発明の技術的思
想を逸脱しない範囲内でいろんな置換と変更可能するこ
とは当然する。
【0034】
【発明の効果】本発明は垂直補間が必要しないカラーフ
ィルタアレーを構成し、画素別の各色相信号をシフト及
び加算器のみを使用して水平補間処理が可能するように
構成することにより処理速度が速くて高速処理に適用可
能し、又簡単な回路構成で設計面積及び電力の消耗を減
らすことができるという効果を奏する。
【図面の簡単な説明】
【図1】従来のレッド、グリーン、ブルー信号の処理の
ためのカラーフィルタアレーの構成を図示した図。
【図2】本発明に係るカラーフィルタアレーの構成を図
示した図面。
【図3】本発明に係るカラーフィルタアレーの構成で水
平補間処理のためのブロック図。
【符号の説明】
30,31,35,36,46,47,信号レジスタ,
色相信号蓄積手段 32,33,37,38,40,41,48,49,5
1,52 右シフタ,シフティング手段 34,39,42,43,44,45,50,53,5
4,55,56 加算器,加算手段 300 グリーン(G)色相信号部 400 レッド(R)色相信号部 500 ブルー(B)色相信号部 G1 第1グリーン色相フィルタ信号 G2 第2グリーン色相フィルタ信号 R1 第1レッド色相フィルタ信号 R2 第2レッド色相フィルタ信号 B1 第1ブルー色相フィルタ信号 B2 第2ブルー色相フィルタ信号

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 カラーフィルタアレーにおいて、 人の色相認識を容易にするためにグリーンの色相フィル
    タをレッド及びブルー色相の数より2倍になるように構
    成し、簡単な補間計算のためレッド及びブルーカラーフ
    ィルタは4個の画素毎に位置し、グリーンカラーフィル
    タは2個の画素毎に位置付けるようにするR−G−B−
    G、G−R−G−B、及びB−G−R−Gパータンから
    なることを特徴とするカラーフィルタアレー。
  2. 【請求項2】 上記カラーフィルタアレーの上記グリー
    ン色相フィルタ周辺の各画素に対するグリーン色相信号
    は、 上記グリーン色相フィルタが2個の画素毎に位置するた
    め、第1グリーン色相フィルタ信号及び第2グリーン色
    相フィルタをそれぞれ1/2倍にしてからそれらを加算
    する演算により得られることを特徴とする請求項1に記
    載のカラーフィルタアレー。
  3. 【請求項3】 上記カラーフィルタアレーの上記レッド
    色相フィルタ周辺の各画素に対するレッド色相信号中、
    上記レッド色相フィルタが4個の画素毎に位置するた
    め、第1レッド色相フィルタと第2レッド色相フィルタ
    が覆われた画素間の上記ブルー色相フィルタが覆われた
    画素に対するレッド色相信号は第1レッド色相フィルタ
    信号及び第2レッド色相フィルタ信号をそれぞれ1/2
    倍にしてからそれらを加算する演算により得られること
    を特徴とする請求項1に記載のカラーフィルタアレー。
  4. 【請求項4】 上記カラーフィルタアレーの上記レッド
    色相フィルタ周辺の各画素に対するレッド色相信号中、
    上記レッド色相フィルタが4個の画素毎に位置するた
    め、第1レッド色相フィルタと第2レッド色相フィルタ
    が覆われた画素間の上記第1レッド色相フィルタの方に
    近く位置した上記グリーン色相フィルタが覆われた画素
    に対するレッド色相信号は、 第1レッド色相フィルタ信号を1/2倍にした値と1/
    4倍にした値とを加算してから第2レッド色相フィルタ
    信号を1/4倍した値を再び加算する演算により得られ
    ることを特徴とする請求項1に記載のカラーフィルタア
    レー。
  5. 【請求項5】 上記カラーフィルタアレーの上記レッド
    色相フィルタの周辺の各画素に対するレッド色相信号
    中、上記レッド色相フィルタが4個の画素毎に位置する
    ため、第1レッド色相フィルタと第2レッド色相フィル
    タが覆われた画素間の上記第2レッド色相フィルタの方
    に近く位置した上記グリーン色相フィルタが覆われた画
    素に対するレッド色相信号は、 第2レッド色相フィルタ信号を1/2倍した値と1/4
    倍した値とを加算してから第1レッド色相フィルタ信号
    を1/4倍した値を再び加算する演算により得られるこ
    とを特徴とする請求項1に記載のカラーフィルタアレ
    ー。
  6. 【請求項6】 上記カラーフィルタアレーの上記ブルー
    色相フィルタ周辺の各画素に対するブルー色相信号中、
    上記ブルー色相フィルタが4個の画素毎に位置するた
    め、第1ブルー色相フィルタと第2ブルー色相フィルタ
    が覆われた画素間の上記レッド色相フィルタが覆われた
    画素に対するブルー色相信号は、 第1ブルー色相フィルタ信号及び第2ブルー色相フィル
    タ信号をそれぞれ1/2倍してからそれらを加算する演
    算により得られることを特徴とする請求項1に記載のカ
    ラーフィルタアレー。
  7. 【請求項7】 上記カラーフィルタアレーの上記ブルー
    色相フィルタ周辺の各画素に対するブルー色相信号中、
    上記ブルー色相フィルタが4個の画素毎に位置するた
    め、第1ブルー色相フィルタと第2ブルー色相フィルタ
    が覆われた画素間の上記第1ブルー色相フィルタの方に
    近く位置した上記グリーン色相フィルタが覆われた画素
    に対するブルー色相信号は、 上記第1ブルー色相フィルタ信号を1/2倍した値と1
    /4倍した値を加算してから上記第2ブルー色相フィル
    タ信号を1/4倍した値を再び加算する演算により得ら
    れることを特徴とする請求項1に記載のカラーフィルタ
    アレー。
  8. 【請求項8】 上記カラーフィルタアレーの上記ブルー
    色相フィルタ周辺の各画素に対するブルー色相信号中、
    上記ブルー色相フィルタが4個の画素毎に位置するた
    め、第1ブルー色相フィルタと第2ブルー色相フィルタ
    が覆われた画素間の上記第2ブルー色相フィルタの方に
    近く位置した上記グリーン色相フィルタが覆われた画素
    に対する色相信号は、 上記第2ブルー色相フィルタ信号を1/2倍した値と1
    /4倍した値とを加算してから上記第1ブルー色相フィ
    ルタ信号を1/4倍した値を再び加算する演算により得
    られることを特徴とする請求項1に記載のカラーフィル
    タアレー。
  9. 【請求項9】 上記各色相フィルタ信号を1/2倍した
    値は、上記各色相フィルタ信号を下位ビット方向に1−
    ビットシフティングして得られることを特徴とする請求
    項第2乃至第8項のいずれかの請求項に記載のカラーフ
    ィルタアレー。
  10. 【請求項10】 グリーン色相フィルタをレッド及びブ
    ルー色相フィルタ数より2倍になるように構成し、簡単
    な補間計算のためにレッド及びブルーカラーフィルタは
    4個の画素毎に位置し、グリーンカラーフィルタは2個
    の画素毎に位置付けるようにするR−G−B−G、G−
    R−G−B、及びB−G−R−Gパータンからなるカラ
    ーフィルタアレーの各画素に対する色相信号を補間する
    装置であって、 第1及び第2グリーン色相フィルタから入力される第1
    及び第2グリーン色相フィルタ信号を補間した後、周辺
    画素のグリーン色相信号を出力するグリーン色相信号部
    と、 第1及び第2レッド色相フィルタから入力される第1及
    び第2レッド色相信号を補間した後、周辺画素のレッド
    色相信号を出力するレッド色相信号部及び、 第1及び第2ブルー色相フィルタから入力される第1及
    び第2ブルー色相フィルタ信号を補間した後、周辺画素
    のブルー色相信号を出力するブルー色相信号部とを具備
    してなされることを特徴とするカラーフィルタアレーの
    色相補間装置。
  11. 【請求項11】 上記グリーン色相信号部は、上記第1
    及び第2グリーン色相フィルタから入力される第1及び
    第2グリーン色相フィルタ信号を受け入れ蓄積する第1
    及び第2グリーン色相信号蓄積手段と、 上記第1及び第2グリーン色相信号蓄積手段から出力さ
    れる信号をそれぞれ下位ビット方向へ1ビットシフトす
    る第1及び第2シフティング手段、及び上記第1シフテ
    ィング手段と上記第2シフティング手段から出力される
    信号を加算して補間された周辺画素のグリーン色相信号
    を出力する第1加算手段とを具備してなされることを特
    徴とする請求項10に記載のカラーフィルタアレーの色
    相補間装置。
  12. 【請求項12】 上記レッド色相信号部は、上記第1及
    び第2レッド色相フィルタから入力される第1及び第2
    レッド色相フィルタ信号を受け入れ蓄積する第1及び第
    2レッド色相信号蓄積手段と、 上記第1及び第2レッド色相信号蓄積手段から出力され
    る信号を各々下位ビット方向に1ビットずつシフトする
    第3及び第4シフティング手段と、 上記第3シフティング手段と上記第4シフティング手段
    から出力される信号を加算して補間された上記第1レッ
    ド色相フィルタと上記レッド色相フィルタが覆われた画
    素間の上記ブルーフィルタが覆われた画素に対するレッ
    ド色相信号を出力する第2加算手段と、 上記第3又は第4シフティング手段から出力される信号
    を各々下位ビット方向に1ビットずつ再シフトする第5
    又は第6シフティング手段と、 上記第3シフティング手段と上記第5シフティング手段
    から出力される信号を再び加算する第3加算手段と、 上記第6シフティング手段と上記第3加算手段から出力
    される信号を再び加算して補間された上記第1レッド色
    相フィルタと上記第2レッド色相フィルタが覆われた画
    素間の上記第1レッド色相フィルタの方に近く位置した
    上記グリーン色相フィルタが覆われた画素に対するレッ
    ド色相信号を出力する第4加算手段と、 上記第4シフティング手段と上記第6加算手段から出力
    される信号を再び加算する第5加算手段と、 上記第5シフティング手段と上記第5加算手段から出力
    される信号を再び加算して補間された上記第1レッド色
    相フィルタと上記第2レッド色相フィルタが覆われた画
    素間の上記第2レッド色相フィルタの方に近く位置した
    上記グリーン色相フィルタが覆われた画素に対するレッ
    ド色相信号を出力する第6加算手段とを具備してなされ
    ることを特徴とする請求項10に記載のカラーフィルタ
    アレーの色相補間装置。
  13. 【請求項13】 上記ブルー色相信号部は、上記第1及
    び第2ブルー色相フィルタから入力される第1及び第2
    ブルー色相フィルタ信号を受け入れ蓄積する第1及び第
    2ブルー色相信号蓄積手段と、 上記第1及び第2ブルー色相信号蓄積手段から出力され
    る信号を各々下位ビット方向に1ビットずつシフトする
    第7及び第8シフティング手段と、 上記第7シフティング手段と上記第8シフティング手段
    から出力される信号を加算して補間された上記第1ブル
    ー色相フィルタと上記第2ブルー色相フィルタが覆われ
    た画素間の上記レッド色相フィルタが覆われた画素に対
    するブルー色相信号を出力する第7加算手段と、 上記第7又は第8シフティング手段から出力される信号
    を各々下位ビット方向に1ビットずつ再シフトする第9
    又は第10シフチィング手段と、 上記第7シフティング手段と上記第9シフティング手段
    から出力される信号を再び加算する第8加算手段と、 上記第10シフティング手段と上記第8加算手段から出
    力される信号を再び加算して補間された上記第1ブルー
    色相フィルタと上記第2ブルー色相フィルタが覆われた
    画素間の上記第1ブルー色相フィルタの方に近く位置し
    た上記グリーン色相フィルタが覆われた画素に対するブ
    ルー色相信号を出力する第9加算手段と、 上記第8シフティングと上記第10シフティングから出
    力される信号を再び加算する第10加算手段と、 上記第9シフティング手段と上記第10加算手段から出
    力される信号を再び加算して補間された上記第1ブルー
    色相フィルタと上記2ブルー色相フィルタが覆われた画
    素間の上記第2ブルー色相フィルタの方に近く位置した
    上記グリーン色相フィルタが覆われた画素に対するブル
    ー色相信号を出力する第11加算手段とを具備してなさ
    れることを特徴とする請求項10に記載のカラーフィル
    タアレーの色相補間装置。
JP09366430A 1996-12-30 1997-12-24 カラーフィルタアレーを含むイメージセンサ及び色相補間装置 Expired - Fee Related JP3087221B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1996P76308 1996-12-30
KR1019960076308A KR100216672B1 (ko) 1996-12-30 1996-12-30 칼라 필터 어레이 및 그 신호 처리 회로

Publications (2)

Publication Number Publication Date
JPH10313464A true JPH10313464A (ja) 1998-11-24
JP3087221B2 JP3087221B2 (ja) 2000-09-11

Family

ID=19492166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09366430A Expired - Fee Related JP3087221B2 (ja) 1996-12-30 1997-12-24 カラーフィルタアレーを含むイメージセンサ及び色相補間装置

Country Status (4)

Country Link
US (1) US6346969B1 (ja)
JP (1) JP3087221B2 (ja)
KR (1) KR100216672B1 (ja)
GB (1) GB2320837B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292784A (ja) * 2004-03-09 2005-10-20 Nikon Corp 測色機能を備えた測光装置およびその測光装置を備えたカメラ

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196427A (ja) * 1997-12-26 1999-07-21 Canon Inc 単板カラー撮像装置
US6236433B1 (en) * 1998-09-29 2001-05-22 Intel Corporation Scaling algorithm for efficient color representation/recovery in video
US6646682B1 (en) * 1998-12-18 2003-11-11 Syscan (Shenzhen) Technology Co., Limited Linear tri-color image sensors
US6628330B1 (en) * 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
KR20020034596A (ko) * 2000-11-02 2002-05-09 주식회사 현대 디스플레이 테크놀로지 액정 표시소자의 색좌표 이동현상의 보정방법
KR100746462B1 (ko) * 2001-06-30 2007-08-03 매그나칩 반도체 유한회사 칼라 필터 어레이용 단위 화소
US7773143B2 (en) * 2004-04-08 2010-08-10 Tessera North America, Inc. Thin color camera having sub-pixel resolution
US8724006B2 (en) * 2004-01-26 2014-05-13 Flir Systems, Inc. Focal plane coding for digital imaging
KR101227544B1 (ko) * 2004-01-26 2013-01-31 디지털옵틱스 코포레이션 이스트 서브 픽셀 해상도를 가진 박형 카메라
US8049806B2 (en) * 2004-09-27 2011-11-01 Digitaloptics Corporation East Thin camera and associated methods
US8953087B2 (en) * 2004-04-08 2015-02-10 Flir Systems Trading Belgium Bvba Camera system and associated methods
GB0503545D0 (en) * 2005-02-21 2005-03-30 E2V Tech Uk Ltd Low light level colour camera
CN100384253C (zh) * 2006-05-18 2008-04-23 上海交通大学 Avs/h.264色度插值的硬件实现方法及其装置
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置
US7773138B2 (en) * 2006-09-13 2010-08-10 Tower Semiconductor Ltd. Color pattern and pixel level binning for APS image sensor using 2×2 photodiode sharing scheme
JP2012175670A (ja) * 2011-02-24 2012-09-10 Olympus Imaging Corp 色調整装置
CN102957917B (zh) * 2011-08-30 2016-03-30 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法
CN109166558B (zh) * 2018-11-07 2020-07-10 惠科股份有限公司 像素信号转换方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57102281U (ja) * 1980-12-16 1982-06-23
US4500914A (en) * 1981-08-01 1985-02-19 Sharp Kabushiki Kaisha Color imaging array and color imaging device
US4605956A (en) * 1984-09-10 1986-08-12 Eastman Kodak Company Single-chip electronic color camera with color-dependent birefringent optical spatial frequency filter and red and blue signal interpolating circuit
US5099317A (en) * 1988-09-28 1992-03-24 Kabushiki Kaisha Toshiba Video camera apparatus using a plurality of imaging devices
US4945406A (en) * 1988-11-07 1990-07-31 Eastman Kodak Company Apparatus and accompanying methods for achieving automatic color balancing in a film to video transfer system
JP2660567B2 (ja) * 1988-12-21 1997-10-08 富士写真フイルム株式会社 画像処理システム
EP0415756A3 (en) * 1989-08-31 1991-12-27 Canon Kabushiki Kaisha Electronic still camera
US5229691A (en) * 1991-02-25 1993-07-20 Panocorp Display Systems Electronic fluorescent display
US5374956A (en) 1992-05-29 1994-12-20 Eastman Kodak Company Electronic imaging apparatus with dithered color filter array
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JPH08214320A (ja) * 1995-02-01 1996-08-20 Oki Electric Ind Co Ltd 単板式カラーカメラにおける色信号変換装置
JPH08265782A (ja) * 1995-03-20 1996-10-11 Canon Inc 画像入力装置
US5901242A (en) * 1996-07-03 1999-05-04 Sri International Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292784A (ja) * 2004-03-09 2005-10-20 Nikon Corp 測色機能を備えた測光装置およびその測光装置を備えたカメラ

Also Published As

Publication number Publication date
GB2320837B (en) 2001-05-30
US6346969B1 (en) 2002-02-12
KR100216672B1 (ko) 1999-09-01
GB9725290D0 (en) 1998-01-28
KR19980057038A (ko) 1998-09-25
GB2320837A (en) 1998-07-01
JP3087221B2 (ja) 2000-09-11

Similar Documents

Publication Publication Date Title
JPH10313464A (ja) カラーフィルタアレー及びその色相補間装置
US9330480B2 (en) Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
US5319451A (en) Color signal processing apparatus using a common low pass filter for the luminance signal and the color signals
US6882365B1 (en) Direction-sensitive correction method and system for data including abrupt intensity gradients
JPH10200906A (ja) 撮像信号処理方法、撮像信号処理装置、及び機械読み取り可能な記録媒体
KR100421348B1 (ko) 컬러 촬상 장치
JPS6129197B2 (ja)
JP3576600B2 (ja) カラー撮像装置
US4527191A (en) Digital signal processing circuit
JP3647052B2 (ja) 撮像装置
JPH10108208A (ja) 固体撮像素子の撮像出力の輪郭強調方法
JP2744260B2 (ja) カラー信号処理装置
JP2810381B2 (ja) カラー信号処理装置
JP2003009167A (ja) 撮像装置
JP3836198B2 (ja) Y/c分離装置
KR100198677B1 (ko) 이미지 센서의 칼라 필터 배열 방법 및 그에 따른 색신호 처리 장치
JPH02128591A (ja) 色信号処理装置
JPH0322116B2 (ja)
JPH02113764A (ja) イメージセンサの色信号分離回路
JPH0242875A (ja) カラー画像読取り装置
JPH0488785A (ja) カラー撮像素子及び信号処理装置
JP3422027B2 (ja) カラーカメラ及びその信号処理回路における輝度バランス回路
JP2715163B2 (ja) 撮像装置
KR20000035633A (ko) 화상 데이타의 처리 방법 및 화상 데이타 처리 장치
KR20000052488A (ko) 화상 데이타 처리 방법 및 화상 데이타 처리 장치

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S633 Written request for registration of reclamation of name

Free format text: JAPANESE INTERMEDIATE CODE: R313633

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S633 Written request for registration of reclamation of name

Free format text: JAPANESE INTERMEDIATE CODE: R313633

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070714

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080714

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080714

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 9

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 10

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 10

S633 Written request for registration of reclamation of name

Free format text: JAPANESE INTERMEDIATE CODE: R313633

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees