JPH06303617A - 撮像装置 - Google Patents
撮像装置Info
- Publication number
- JPH06303617A JPH06303617A JP5088663A JP8866393A JPH06303617A JP H06303617 A JPH06303617 A JP H06303617A JP 5088663 A JP5088663 A JP 5088663A JP 8866393 A JP8866393 A JP 8866393A JP H06303617 A JPH06303617 A JP H06303617A
- Authority
- JP
- Japan
- Prior art keywords
- complementary color
- value
- pixel
- luminance
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
(57)【要約】
【目的】 ＲＧＢの３原色信号を、彩度と帯域を落すこ
となく、かつ偽色の発生を極力抑えて生成するととも
に、コンピュータやプリンタ等の機器に適した画像信号
を生成することを目的とする。 【構成】 欠落した画素の補色値を推定する回路を複数
設け、いずれかの回路の出力を選択的に出力するように
構成した。
となく、かつ偽色の発生を極力抑えて生成するととも
に、コンピュータやプリンタ等の機器に適した画像信号
を生成することを目的とする。 【構成】 欠落した画素の補色値を推定する回路を複数
設け、いずれかの回路の出力を選択的に出力するように
構成した。
Description
【０００１】
【産業上の利用分野】本発明は撮像装置に関するもので
ある。
ある。
【０００２】
【従来の技術】単板式カラービデオカメラ装置では、一
枚の撮像素子の画像から色の情報を得るため、その受光
面上に色フィルタをモザイク状に配置している。現在最
もよく用いられている、Ｍｇ，Ｙｅ，Ｃｙ，Ｇの補色モ
ザイクフィルタは、図６（ａ）に示すように配置されて
おり、各補色フィルタの分光感度特性に応じた値が、撮
像素子の出力として得られるようになっている。但し、
動画を撮影するムービーとして用いる場合、ＮＴＳＣ等
のインタレース走査の規格に合わせるため、図６（ａ）
のｎラインとｎ＋１ライン、ｎ＋２ラインとｎ＋３ライ
ン、・・・の各画素信号を加算した信号を偶数フィール
ドに用い、ｎ−１ラインとｎライン、ｎ＋１ラインとｎ
＋２ライン、・・・の各画素信号を加算した信号を奇数
フィールドに用いている。従って、撮像素子の出力信号
としては、図６（ｂ）に示すものとなる。ここで、Ｗｒ
＝Ｍｇ＋Ｙｅ，Ｗｂ＝Ｍｇ＋Ｃｙ，Ｇｒ＝Ｇ＋Ｙｅ，Ｇ
ｂ＝Ｇ＋Ｃｙである。そして、Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂ
の各補色信号の空間的位相を合わせて補間し、各１フレ
ーム分のＷｒ，Ｗｂ，Ｇｒ，Ｇｂ各補色信号が生成され
る。その手順は、例えばＷｒに着目すれば、撮像素子出
力がＷｒの場合はそのままＷｒを用い、Ｗｒ以外の場合
には、空間的に隣接するＷｒ（１画素前後のＷｒ、また
は同一フィールド内の１ライン前後のＷｒ、または斜め
４方向のＷｒ）の平均を計算してＷｒを生成している。
そして、各補色信号のサンプリング周波数に関しては、
撮像素子の画素サンプリング周波数ｆｓの１／２となっ
てしまうため、ｆｓ／２により発生する折り返し成分を
できるだけ抑圧するように帯域制限される。こうした生
成した補色信号に、マトリクス演算を行うことにより、
ＲＧＢ３原色信号を生成している。
枚の撮像素子の画像から色の情報を得るため、その受光
面上に色フィルタをモザイク状に配置している。現在最
もよく用いられている、Ｍｇ，Ｙｅ，Ｃｙ，Ｇの補色モ
ザイクフィルタは、図６（ａ）に示すように配置されて
おり、各補色フィルタの分光感度特性に応じた値が、撮
像素子の出力として得られるようになっている。但し、
動画を撮影するムービーとして用いる場合、ＮＴＳＣ等
のインタレース走査の規格に合わせるため、図６（ａ）
のｎラインとｎ＋１ライン、ｎ＋２ラインとｎ＋３ライ
ン、・・・の各画素信号を加算した信号を偶数フィール
ドに用い、ｎ−１ラインとｎライン、ｎ＋１ラインとｎ
＋２ライン、・・・の各画素信号を加算した信号を奇数
フィールドに用いている。従って、撮像素子の出力信号
としては、図６（ｂ）に示すものとなる。ここで、Ｗｒ
＝Ｍｇ＋Ｙｅ，Ｗｂ＝Ｍｇ＋Ｃｙ，Ｇｒ＝Ｇ＋Ｙｅ，Ｇ
ｂ＝Ｇ＋Ｃｙである。そして、Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂ
の各補色信号の空間的位相を合わせて補間し、各１フレ
ーム分のＷｒ，Ｗｂ，Ｇｒ，Ｇｂ各補色信号が生成され
る。その手順は、例えばＷｒに着目すれば、撮像素子出
力がＷｒの場合はそのままＷｒを用い、Ｗｒ以外の場合
には、空間的に隣接するＷｒ（１画素前後のＷｒ、また
は同一フィールド内の１ライン前後のＷｒ、または斜め
４方向のＷｒ）の平均を計算してＷｒを生成している。
そして、各補色信号のサンプリング周波数に関しては、
撮像素子の画素サンプリング周波数ｆｓの１／２となっ
てしまうため、ｆｓ／２により発生する折り返し成分を
できるだけ抑圧するように帯域制限される。こうした生
成した補色信号に、マトリクス演算を行うことにより、
ＲＧＢ３原色信号を生成している。
【０００３】
【発明が解決しようとする課題】上記従来の技術では、
原理的に、撮像素子出力から各補色信号を分離・生成す
る時点で、垂直、水平、斜め方向に、撮像素子がとりう
る画素サンプリング周波数ｆｓの１／２の周波数毎に、
キャリアと折り返し成分が発生し、偽色信号となって現
れ、画質を損なうという問題点がある。また、上記折り
返し成分を除去するためには、理論的には各補色信号を
分離・生成する前の撮像素子出力信号の帯域を、垂直、
水平、斜め方向に対して、画素サンプリング周波数の１
／４に制限したうえで分離・生成すべきである。しか
し、撮像素子出力信号には色変調成分が重畳されてお
り、これはできないという問題がある。
原理的に、撮像素子出力から各補色信号を分離・生成す
る時点で、垂直、水平、斜め方向に、撮像素子がとりう
る画素サンプリング周波数ｆｓの１／２の周波数毎に、
キャリアと折り返し成分が発生し、偽色信号となって現
れ、画質を損なうという問題点がある。また、上記折り
返し成分を除去するためには、理論的には各補色信号を
分離・生成する前の撮像素子出力信号の帯域を、垂直、
水平、斜め方向に対して、画素サンプリング周波数の１
／４に制限したうえで分離・生成すべきである。しか
し、撮像素子出力信号には色変調成分が重畳されてお
り、これはできないという問題がある。
【０００４】従来は、上記問題点を解決するために、上
記ＲＧＢ３原色信号とは別に、撮像素子出力に含まれる
色変調成分をＬＰＦで除去した信号（補色フィルタの分
光感度特性が理想的であればＲ＋１．５Ｇ＋Ｂであり、
帯域は画素サンプリング周波数の１／２までとることが
できる）を生成し、上記ＲＧＢ３原色信号とのマトリク
ス演算により、広帯域のＲＧＢ３原色信号を生成してい
る。しかしながら、上記ＲＧＢ３原色信号と上記広帯域
ＲＧＢ３原色信号を比較すると、広帯域ＲＧＢ３原色信
号は高精細となる反面、色の精度が低下し、白っぽい画
像となるという問題点を有していた。
記ＲＧＢ３原色信号とは別に、撮像素子出力に含まれる
色変調成分をＬＰＦで除去した信号（補色フィルタの分
光感度特性が理想的であればＲ＋１．５Ｇ＋Ｂであり、
帯域は画素サンプリング周波数の１／２までとることが
できる）を生成し、上記ＲＧＢ３原色信号とのマトリク
ス演算により、広帯域のＲＧＢ３原色信号を生成してい
る。しかしながら、上記ＲＧＢ３原色信号と上記広帯域
ＲＧＢ３原色信号を比較すると、広帯域ＲＧＢ３原色信
号は高精細となる反面、色の精度が低下し、白っぽい画
像となるという問題点を有していた。
【０００５】
【課題を解決するための手段（及び作用）】上記従来の
技術の問題点に鑑み、本発明は、ＲＧＢ３原色信号を、
彩度と帯域を落とすことなく、かつ偽色の発生を極力抑
えて生成し、特に近年注目されているマルチメディア・
コンピュータへの入力画像およびプリンタ等での印刷に
関し、より適した画像を提供することを目的とする。
技術の問題点に鑑み、本発明は、ＲＧＢ３原色信号を、
彩度と帯域を落とすことなく、かつ偽色の発生を極力抑
えて生成し、特に近年注目されているマルチメディア・
コンピュータへの入力画像およびプリンタ等での印刷に
関し、より適した画像を提供することを目的とする。
【０００６】このため本発明では、ある画素の欠落した
補色値を推定する際に、前記画素の近傍の輝度信号の変
化に着目するものである。ここでいう輝度信号とは、撮
像素子信号に含まれる色変調成分をＬＰＦ等により除去
した信号であり、即ち撮像素子信号に対して線形演算を
施して得られた信号である。従って、前記輝度信号は、
Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂの各補色値との相関は高いもの
と考えられる。そこで、図６（ａ）に示すような手順で
推定する。例えば実存するＷｒをＷｒ１，Ｗｒ２とし、
推定したいＷｒをＷｒｃとする。これに対し、同じ画素
の輝度値をＹ１，Ｙ２，Ｙｃとする。ＷｒはＹと相関が
高いものと考えられるので、ＷｒｃのＷｒ１，Ｗｒ２に
対する比率は、ＹｃのＹ１，Ｙ２に対する比率と同じも
のと考えられる。即ち、Ｗｒ１：Ｗｒｃ：Ｗｒ２＝Ｙ
１：Ｙｃ：Ｙ２。これより、 Ｗｒｃ＝｛（Ｙｃ−Ｙ１）／（Ｙ２−Ｙ１）｝＊（Ｗｒ２−Ｗｒ１）＋Ｗ ｒ１ （１）
補色値を推定する際に、前記画素の近傍の輝度信号の変
化に着目するものである。ここでいう輝度信号とは、撮
像素子信号に含まれる色変調成分をＬＰＦ等により除去
した信号であり、即ち撮像素子信号に対して線形演算を
施して得られた信号である。従って、前記輝度信号は、
Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂの各補色値との相関は高いもの
と考えられる。そこで、図６（ａ）に示すような手順で
推定する。例えば実存するＷｒをＷｒ１，Ｗｒ２とし、
推定したいＷｒをＷｒｃとする。これに対し、同じ画素
の輝度値をＹ１，Ｙ２，Ｙｃとする。ＷｒはＹと相関が
高いものと考えられるので、ＷｒｃのＷｒ１，Ｗｒ２に
対する比率は、ＹｃのＹ１，Ｙ２に対する比率と同じも
のと考えられる。即ち、Ｗｒ１：Ｗｒｃ：Ｗｒ２＝Ｙ
１：Ｙｃ：Ｙ２。これより、 Ｗｒｃ＝｛（Ｙｃ−Ｙ１）／（Ｙ２−Ｙ１）｝＊（Ｗｒ２−Ｗｒ１）＋Ｗ ｒ１ （１）
【０００７】式（１）で問題となるのは、図６（ｂ）に
示すように、Ｙ２−Ｙ１がゼロまたはゼロに近い値とな
る場合に式（１）が計算できないか、あるいは誤差が大
きくなる点である。これは、輝度、色共に変化がほとん
どない平坦な画像である場合が考えられるが、こうした
画像では、従来行われてきたように、隣接するＷｒの平
均により推定しても問題はない。よって、 Ｗｒｃ＝（Ｗｒ１＋Ｗｒ２）／２ （２）
示すように、Ｙ２−Ｙ１がゼロまたはゼロに近い値とな
る場合に式（１）が計算できないか、あるいは誤差が大
きくなる点である。これは、輝度、色共に変化がほとん
どない平坦な画像である場合が考えられるが、こうした
画像では、従来行われてきたように、隣接するＷｒの平
均により推定しても問題はない。よって、 Ｗｒｃ＝（Ｗｒ１＋Ｗｒ２）／２ （２）
【０００８】さらに式（１）、式（２）いずれであって
も問題となる場合として、図６（ｃ）に示すように、Ｙ
２−Ｙ１がゼロまたはゼロに近い値であって、かつＹｃ
−Ｙ１は十分大きな値であるような場合である。この場
合式（１）、式（２）いずれも誤差が大きいものと考え
られる。そこで本発明では、こうした場合Ｙｃ−Ｙ１に
任意の係数Ｋを乗じた値をＷｒ１に加算することによ
り、Ｗｒｃの推定値として用いるものとする。
も問題となる場合として、図６（ｃ）に示すように、Ｙ
２−Ｙ１がゼロまたはゼロに近い値であって、かつＹｃ
−Ｙ１は十分大きな値であるような場合である。この場
合式（１）、式（２）いずれも誤差が大きいものと考え
られる。そこで本発明では、こうした場合Ｙｃ−Ｙ１に
任意の係数Ｋを乗じた値をＷｒ１に加算することによ
り、Ｗｒｃの推定値として用いるものとする。
【０００９】 Ｗｒｃ＝Ｗｒ１＋（Ｙｃ−Ｙ１）＊Ｋ （３） ただし、式（１）および式（３）で用いる輝度信号を生
成する低域通過フィルタの特性は、輝度信号と各補色信
号との相関をできるだけ高く保つため、通過域ではでき
る限りフラットな特性のものを用いる方が好ましい。
成する低域通過フィルタの特性は、輝度信号と各補色信
号との相関をできるだけ高く保つため、通過域ではでき
る限りフラットな特性のものを用いる方が好ましい。
【００１０】以上式（１）〜式（３）を適宜用いて推定
した補色値を用いれば、ＲＧＢ３原色信号を、彩度と帯
域を落とすことなく、かつ偽色の発生を極力抑えて生成
することが可能となる。
した補色値を用いれば、ＲＧＢ３原色信号を、彩度と帯
域を落とすことなく、かつ偽色の発生を極力抑えて生成
することが可能となる。
【００１１】
【実施例】図２は本発明の第１の実施例を示す。図２に
おいて、１はＣＣＤ撮像素子、２はＡ／Ｄコンバータ、
３は２Ｈディレイライン、４は５の低域通過フィルタの
ディレイ量との位相合わせのための遅れ素子、５は低域
通過フィルタ、６は第１の遅れ素子、７は第２の遅れ素
子、８は第１の補色値推定手段、９は第２の補色値推定
手段、１０は第３の補色値推定手段、１１はＣＣＤを駆
動する回路、１２は条件判定手段、１３は制御線、１４
は第１の切り換え手段、１５は第２の切り換え手段、１
６は論理反転素子、１７は出力端子である。図３は、図
２の８の第１の補色値推定手段の実施例であり、１は加
算回路、２はゲイン調節手段である。図４は、図２の９
の第２の補色値推定手段の実施例であり、１は減算回
路、２はゲイン調節手段、３は加算回路である。図５は
図２の１０の第３の補色値推定手段である。
おいて、１はＣＣＤ撮像素子、２はＡ／Ｄコンバータ、
３は２Ｈディレイライン、４は５の低域通過フィルタの
ディレイ量との位相合わせのための遅れ素子、５は低域
通過フィルタ、６は第１の遅れ素子、７は第２の遅れ素
子、８は第１の補色値推定手段、９は第２の補色値推定
手段、１０は第３の補色値推定手段、１１はＣＣＤを駆
動する回路、１２は条件判定手段、１３は制御線、１４
は第１の切り換え手段、１５は第２の切り換え手段、１
６は論理反転素子、１７は出力端子である。図３は、図
２の８の第１の補色値推定手段の実施例であり、１は加
算回路、２はゲイン調節手段である。図４は、図２の９
の第２の補色値推定手段の実施例であり、１は減算回
路、２はゲイン調節手段、３は加算回路である。図５は
図２の１０の第３の補色値推定手段である。
【００１２】以下、図２〜図５を用いて本発明の第１の
実施例の動作について説明する。１のＣＣＤ撮像素子の
受光面に結像された像は、光電変換され、２のＡ／Ｄコ
ンバータによりディジタル画像信号に変換される。前記
ディジタル画像信号は３の２Ｈディレイラインに加わ
り、ここで１Ｈ遅れ、並びに２Ｈ遅れの３Ｈ分のＣＣＤ
出力信号が生成される。前記３Ｈ分のＣＣＤ出力信号
は、分岐され、一方は５の低域通過フィルタにより、Ｃ
ＣＤ出力信号に含まれる色変調成分を除去され、いわゆ
る輝度信号に変換され、７の第２の遅れ素子に加わる。
また、前記分岐された残る一方の３Ｈ分のＣＣＤ出力信
号は、４の遅れ素子により、前記５の低域通過フィルタ
出力との位相を合わせた後、６の第１の遅れ素子に加わ
る。６および７の遅れ素子により、前記３Ｈ分のＣＣＤ
出力信号並びに３Ｈ分の輝度信号から、１画素遅れおよ
び２画素遅れのＣＣＤ出力信号と輝度信号がホールドさ
れる。ここでＣＣＤ出力信号に関して、現在の画素値を
ｃ０、１画素遅れの値をｃ１、２画素遅れの値をｃ２、
１Ｈ遅れの値をｃ３、１Ｈ＋１画素遅れの値をｃ４、１
Ｈ＋２画素遅れの値をｃ５、２Ｈ遅れの値をｃ６、２Ｈ
＋１画素遅れの値をｃ７、２Ｈ＋２画素遅れの値をｃ８
とし、中央の画素値としてはｃ４を用いる。同様に輝度
信号に関して、ｙ０，ｙ１，ｙ３，ｙ４，ｙ５，ｙ６，
ｙ７，ｙ８とし、中央画素値はｙ４を用いる。ただし輝
度信号については２画素遅れの値ｙ２は生成しない。８
の第１の補色値推定手段には、９個のＣＣＤ出力信号値
が入力される。９の第２の補色推定手段には、ｃ０，ｃ
１，ｃ３，ｃ４，ｙ０，ｙ１，ｙ３，ｙ４の８個の画素
値が入力される。１０の第３の補色推定手段には、ｃ
０，ｃ１，ｃ３，ｃ４，ｃ５，ｃ７，ｃ８，ｙ０，ｙ
１，ｙ３，ｙ４，ｙ５，ｙ７，ｙ８の１４個の画素値が
入力される。ここで、８の第１の補色値推定手段の推定
方法は前記式（２）による推定方法であり、９の第２の
補色値推定手段の推定方法は前記式（３）により推定す
る方法であり、１０の第３の補色値推定手段の推定方法
は前記式（１）により推定する方法である。各推定手段
の動作については後述する。８〜１０の各推定手段は、
いずれも中央画素値Ｃｅｎｔ、中央画素の１画素前後の
画素値から推定した値Ｈｏｒｚ、中央画素の１Ｈ前後の
画素値から推定した値Ｖｅｒｔ、中央画素の斜め方向の
画素値から推定した値Ｄｉａｇの４値を出力し、１４の
第１の切り換え手段に加える。１２の条件判定手段は、
８〜１０の各推定手段により推定された補色値のうちの
いずれを用いるか、適応的に決定する手段であり、ｙ
０，ｙ１，ｙ３，ｙ４，ｙ５，ｙ７，ｙ８が入力され
る。もし、入力される画像が平坦なものであれば、中央
画素値ｙ４に対する周辺画素値ｙ０，ｙ１，ｙ３，ｙ
５，ｙ７，ｙ８との差分は０または０に近いものとな
る。こうした場合、前記式（１）により補色値を推定す
ると、分母が０に近いため誤差が大きくなる。そこで１
２の条件判定手段は１３の制御線を通じて８の第１の補
色値推定手段により推定した補色値を用いるように１４
の第１の切り換え手段を制御する。逆に、中央画素値ｙ
４と周辺画素値ｙ０，ｙ１，ｙ３，ｙ５，ｙ７，ｙ８と
の差分が十分大きく、かつ、周辺画素値どうしの差分も
十分大きい場合は前記式（１）を用いるものとし、１０
の第３の補色値推定手段により推定した補色値を用いる
ように１４の第１の切り換え手段を制御する。ただし、
中央画素値ｙ４と周辺画素値ｙ０，ｙ１，ｙ３，ｙ５，
ｙ７，ｙ８との差分は十分に大きいが、周辺画素値どう
しの差分が０に近い場合、やはり前記式（１）では誤差
が大きくなり、従来の推定手法によっても誤差が大きく
なる。そこでこうした場合には、前記式（２）を用いた
９の第２の補色値推定手段により推定した補色値を用い
るように１４の第１の切り換え手段を制御する。１４の
第１の切り換え手段により適応的に選択されたＣｅｎ
ｔ，Ｈｏｒｚ，Ｖｅｒｔ，Ｄｉａｇ各値は、１５の第２
の切り換え手段に加えられる。さて、１１のＣＣＤ駆動
回路は、１のＣＣＤ撮像素子を駆動する一方で、偶数ラ
インでＬｏｗ、奇数ラインでＨｉｇｈとなるＬｉｎｅ−
ＩＤ信号と、偶数画素でＬｏｗ、奇数画素でＨｉｇｈと
なるＰｉｘｅｌ−ＩＤ信号を出力する。ここで、１のＣ
ＣＤ撮像素子出力信号が、偶数ラインではＷｒ，Ｇｂ，
Ｗｒ，Ｇｂ，・・・、奇数ラインではＧｒ，Ｗｂ，Ｇ
ｒ，Ｗｂ，・・・であるものとすれば、例えばＷｒに関
しては、偶数ラインでは、Ｃｅｎｔ，Ｈｏｒｚ，Ｃｅｎ
ｔ，Ｈｏｒｚ，・・・、奇数ラインＶｅｒｔ，Ｄｉａ
ｇ，Ｖｅｒｔ，Ｄｉａｇ，・・・の順で各推定値を用い
れば良い。同様に、ＧｂではＨｏｒｚ，Ｃｅｎｔ，Ｈｏ
ｒｚ，Ｃｅｎｔ，・・・、Ｄｉａｇ，Ｖｅｒｔ，Ｄｉａ
ｇ，Ｖｅｒｔ，・・・、ＧｒではＶｅｒｔ，Ｄｉａｇ，
Ｖｅｒｔ，Ｄｉａｇ，・・・、Ｃｅｎｔ，Ｈｏｒｚ，Ｃ
ｅｎｔ，Ｈｏｒｚ，・・・、ＷｂではＤｉａｇ，Ｖｅｒ
ｔ，Ｄｉａｇ，Ｖｅｒｔ，・・・、Ｈｏｒｚ，Ｃｅｎ
ｔ，Ｈｏｒｚ，Ｃｅｎｔ，・・・の順に用いれば良い。
従ってＷｒを選別する１５−１の切り換え手段ではＬｉ
ｎｅ−ＩＤとＰｉｘｅｌ−ＩＤで制御し、Ｇｂを選別す
る１５−２の切り換え手段はＬｉｎｅ−ＩＤとＮＯＴ
（Ｐｉｘｅｌ−ＩＤ）で制御し、Ｇｒを選別する１５−
３の切り換え手段はＮＯＴ（Ｌｉｎｅ−ＩＤ）とＰｉｘ
ｅｌ−ＩＤで制御し、Ｗｂを選別する１５−４の切り換
え手段はＮＯＴ（Ｌｉｎｅ−ＩＤ）とＮＯＴ（Ｐｉｘｅ
ｌ−ＩＤ）で制御する。以上の動作の結果、１７の出力
端子には推定された各補色信号が出力される。
実施例の動作について説明する。１のＣＣＤ撮像素子の
受光面に結像された像は、光電変換され、２のＡ／Ｄコ
ンバータによりディジタル画像信号に変換される。前記
ディジタル画像信号は３の２Ｈディレイラインに加わ
り、ここで１Ｈ遅れ、並びに２Ｈ遅れの３Ｈ分のＣＣＤ
出力信号が生成される。前記３Ｈ分のＣＣＤ出力信号
は、分岐され、一方は５の低域通過フィルタにより、Ｃ
ＣＤ出力信号に含まれる色変調成分を除去され、いわゆ
る輝度信号に変換され、７の第２の遅れ素子に加わる。
また、前記分岐された残る一方の３Ｈ分のＣＣＤ出力信
号は、４の遅れ素子により、前記５の低域通過フィルタ
出力との位相を合わせた後、６の第１の遅れ素子に加わ
る。６および７の遅れ素子により、前記３Ｈ分のＣＣＤ
出力信号並びに３Ｈ分の輝度信号から、１画素遅れおよ
び２画素遅れのＣＣＤ出力信号と輝度信号がホールドさ
れる。ここでＣＣＤ出力信号に関して、現在の画素値を
ｃ０、１画素遅れの値をｃ１、２画素遅れの値をｃ２、
１Ｈ遅れの値をｃ３、１Ｈ＋１画素遅れの値をｃ４、１
Ｈ＋２画素遅れの値をｃ５、２Ｈ遅れの値をｃ６、２Ｈ
＋１画素遅れの値をｃ７、２Ｈ＋２画素遅れの値をｃ８
とし、中央の画素値としてはｃ４を用いる。同様に輝度
信号に関して、ｙ０，ｙ１，ｙ３，ｙ４，ｙ５，ｙ６，
ｙ７，ｙ８とし、中央画素値はｙ４を用いる。ただし輝
度信号については２画素遅れの値ｙ２は生成しない。８
の第１の補色値推定手段には、９個のＣＣＤ出力信号値
が入力される。９の第２の補色推定手段には、ｃ０，ｃ
１，ｃ３，ｃ４，ｙ０，ｙ１，ｙ３，ｙ４の８個の画素
値が入力される。１０の第３の補色推定手段には、ｃ
０，ｃ１，ｃ３，ｃ４，ｃ５，ｃ７，ｃ８，ｙ０，ｙ
１，ｙ３，ｙ４，ｙ５，ｙ７，ｙ８の１４個の画素値が
入力される。ここで、８の第１の補色値推定手段の推定
方法は前記式（２）による推定方法であり、９の第２の
補色値推定手段の推定方法は前記式（３）により推定す
る方法であり、１０の第３の補色値推定手段の推定方法
は前記式（１）により推定する方法である。各推定手段
の動作については後述する。８〜１０の各推定手段は、
いずれも中央画素値Ｃｅｎｔ、中央画素の１画素前後の
画素値から推定した値Ｈｏｒｚ、中央画素の１Ｈ前後の
画素値から推定した値Ｖｅｒｔ、中央画素の斜め方向の
画素値から推定した値Ｄｉａｇの４値を出力し、１４の
第１の切り換え手段に加える。１２の条件判定手段は、
８〜１０の各推定手段により推定された補色値のうちの
いずれを用いるか、適応的に決定する手段であり、ｙ
０，ｙ１，ｙ３，ｙ４，ｙ５，ｙ７，ｙ８が入力され
る。もし、入力される画像が平坦なものであれば、中央
画素値ｙ４に対する周辺画素値ｙ０，ｙ１，ｙ３，ｙ
５，ｙ７，ｙ８との差分は０または０に近いものとな
る。こうした場合、前記式（１）により補色値を推定す
ると、分母が０に近いため誤差が大きくなる。そこで１
２の条件判定手段は１３の制御線を通じて８の第１の補
色値推定手段により推定した補色値を用いるように１４
の第１の切り換え手段を制御する。逆に、中央画素値ｙ
４と周辺画素値ｙ０，ｙ１，ｙ３，ｙ５，ｙ７，ｙ８と
の差分が十分大きく、かつ、周辺画素値どうしの差分も
十分大きい場合は前記式（１）を用いるものとし、１０
の第３の補色値推定手段により推定した補色値を用いる
ように１４の第１の切り換え手段を制御する。ただし、
中央画素値ｙ４と周辺画素値ｙ０，ｙ１，ｙ３，ｙ５，
ｙ７，ｙ８との差分は十分に大きいが、周辺画素値どう
しの差分が０に近い場合、やはり前記式（１）では誤差
が大きくなり、従来の推定手法によっても誤差が大きく
なる。そこでこうした場合には、前記式（２）を用いた
９の第２の補色値推定手段により推定した補色値を用い
るように１４の第１の切り換え手段を制御する。１４の
第１の切り換え手段により適応的に選択されたＣｅｎ
ｔ，Ｈｏｒｚ，Ｖｅｒｔ，Ｄｉａｇ各値は、１５の第２
の切り換え手段に加えられる。さて、１１のＣＣＤ駆動
回路は、１のＣＣＤ撮像素子を駆動する一方で、偶数ラ
インでＬｏｗ、奇数ラインでＨｉｇｈとなるＬｉｎｅ−
ＩＤ信号と、偶数画素でＬｏｗ、奇数画素でＨｉｇｈと
なるＰｉｘｅｌ−ＩＤ信号を出力する。ここで、１のＣ
ＣＤ撮像素子出力信号が、偶数ラインではＷｒ，Ｇｂ，
Ｗｒ，Ｇｂ，・・・、奇数ラインではＧｒ，Ｗｂ，Ｇ
ｒ，Ｗｂ，・・・であるものとすれば、例えばＷｒに関
しては、偶数ラインでは、Ｃｅｎｔ，Ｈｏｒｚ，Ｃｅｎ
ｔ，Ｈｏｒｚ，・・・、奇数ラインＶｅｒｔ，Ｄｉａ
ｇ，Ｖｅｒｔ，Ｄｉａｇ，・・・の順で各推定値を用い
れば良い。同様に、ＧｂではＨｏｒｚ，Ｃｅｎｔ，Ｈｏ
ｒｚ，Ｃｅｎｔ，・・・、Ｄｉａｇ，Ｖｅｒｔ，Ｄｉａ
ｇ，Ｖｅｒｔ，・・・、ＧｒではＶｅｒｔ，Ｄｉａｇ，
Ｖｅｒｔ，Ｄｉａｇ，・・・、Ｃｅｎｔ，Ｈｏｒｚ，Ｃ
ｅｎｔ，Ｈｏｒｚ，・・・、ＷｂではＤｉａｇ，Ｖｅｒ
ｔ，Ｄｉａｇ，Ｖｅｒｔ，・・・、Ｈｏｒｚ，Ｃｅｎ
ｔ，Ｈｏｒｚ，Ｃｅｎｔ，・・・の順に用いれば良い。
従ってＷｒを選別する１５−１の切り換え手段ではＬｉ
ｎｅ−ＩＤとＰｉｘｅｌ−ＩＤで制御し、Ｇｂを選別す
る１５−２の切り換え手段はＬｉｎｅ−ＩＤとＮＯＴ
（Ｐｉｘｅｌ−ＩＤ）で制御し、Ｇｒを選別する１５−
３の切り換え手段はＮＯＴ（Ｌｉｎｅ−ＩＤ）とＰｉｘ
ｅｌ−ＩＤで制御し、Ｗｂを選別する１５−４の切り換
え手段はＮＯＴ（Ｌｉｎｅ−ＩＤ）とＮＯＴ（Ｐｉｘｅ
ｌ−ＩＤ）で制御する。以上の動作の結果、１７の出力
端子には推定された各補色信号が出力される。
【００１３】次に、図２の８の第１の補色値推定手段の
動作について図３によりさらに詳しく説明する。Ｃｅｎ
ｔは、入力された中央画素値ｃ４そのものとなる。Ｈｏ
ｒｚは、ｃ４の１画素前後の画素値ｃ３とｃ５を加算
し、１／２にゲイン調節したものとなる。Ｖｅｒｔは、
ｃ４の１Ｈ前後の画素値ｃ１とｃ７を加算し、１／２に
ゲイン調節したものとなる。Ｄｉａｇは、ｃ４の斜め４
方向の画素値ｃ０，ｃ２，ｃ６，ｃ８を加算し、１／４
にゲイン調節したものとなる。以上、従来良く用いられ
ている補色推定手段が実現される。
動作について図３によりさらに詳しく説明する。Ｃｅｎ
ｔは、入力された中央画素値ｃ４そのものとなる。Ｈｏ
ｒｚは、ｃ４の１画素前後の画素値ｃ３とｃ５を加算
し、１／２にゲイン調節したものとなる。Ｖｅｒｔは、
ｃ４の１Ｈ前後の画素値ｃ１とｃ７を加算し、１／２に
ゲイン調節したものとなる。Ｄｉａｇは、ｃ４の斜め４
方向の画素値ｃ０，ｃ２，ｃ６，ｃ８を加算し、１／４
にゲイン調節したものとなる。以上、従来良く用いられ
ている補色推定手段が実現される。
【００１４】図２の９の第２の補色値推定手段の動作に
ついて、図４により説明する。Ｃｅｎｔは、入力された
ＣＣＤ信号の中央画素値ｃ４そのものとなる。Ｈｏｒｚ
は、入力された輝度信号の中央画素値ｙ４と１画素前の
輝度値ｙ３とＣＣＤ信号値ｃ３を用いて前記式（３）に
より演算した結果となる。Ｖｅｒｔは、ｙ４とｙ４の１
Ｈ前の輝度値ｙ１とＣＣＤ信号値ｃ１を用いて前記式
（３）により演算した結果となる。Ｄｉａｇは、ｙ４と
ｙ４の１Ｈ＋１画素前の輝度値ｙ０とＣＣＤ信号値ｃ０
を用いて前記式（３）により演算した結果となる。以上
の動作により、前記式（３）に基づく補色値推定手段が
実現される。
ついて、図４により説明する。Ｃｅｎｔは、入力された
ＣＣＤ信号の中央画素値ｃ４そのものとなる。Ｈｏｒｚ
は、入力された輝度信号の中央画素値ｙ４と１画素前の
輝度値ｙ３とＣＣＤ信号値ｃ３を用いて前記式（３）に
より演算した結果となる。Ｖｅｒｔは、ｙ４とｙ４の１
Ｈ前の輝度値ｙ１とＣＣＤ信号値ｃ１を用いて前記式
（３）により演算した結果となる。Ｄｉａｇは、ｙ４と
ｙ４の１Ｈ＋１画素前の輝度値ｙ０とＣＣＤ信号値ｃ０
を用いて前記式（３）により演算した結果となる。以上
の動作により、前記式（３）に基づく補色値推定手段が
実現される。
【００１５】最後に、図２の１０の第３の補色値推定手
段の動作を、図５により説明する。ＣｅｎｔはＣＣＤ信
号の中央画素値ｃ４である。Ｈｏｒｚは、輝度信号の中
央画素値ｙ４とその１画素前後の輝度値ｙ３，ｙ５およ
びＣＣＤ信号値ｃ３，ｃ５を用いて前記式（１）の演算
を行ったものとなる。Ｖｅｒｔは、輝度信号の中央画素
値ｙ４とその１Ｈ前後の輝度値ｙ１，ｙ７およびＣＣＤ
信号値ｃ１，ｃ７を用いて前記式（１）により演算した
結果となる。Ｄｉａｇは、輝度信号の中央画素値ｙ４と
ｙ０，ｙ８，ｃ０，ｃ８を用いて、前記式（１）により
演算した結果となる。以上の動作により、前記式（１）
に基づく補色値推定手段が実現される。
段の動作を、図５により説明する。ＣｅｎｔはＣＣＤ信
号の中央画素値ｃ４である。Ｈｏｒｚは、輝度信号の中
央画素値ｙ４とその１画素前後の輝度値ｙ３，ｙ５およ
びＣＣＤ信号値ｃ３，ｃ５を用いて前記式（１）の演算
を行ったものとなる。Ｖｅｒｔは、輝度信号の中央画素
値ｙ４とその１Ｈ前後の輝度値ｙ１，ｙ７およびＣＣＤ
信号値ｃ１，ｃ７を用いて前記式（１）により演算した
結果となる。Ｄｉａｇは、輝度信号の中央画素値ｙ４と
ｙ０，ｙ８，ｃ０，ｃ８を用いて、前記式（１）により
演算した結果となる。以上の動作により、前記式（１）
に基づく補色値推定手段が実現される。
【００１６】以上、本発明の第１の実施例の説明を行っ
た。本実施例では前記式（２）に基づく補色推定手法、
前記式（３）に基づく補色推定手法、前記式（１）に基
づく推定手法の３つを適応的に使い分ける構成とした
が、例えば前記式（１）に基づく推定手法のみの構成と
しても良いし、前記式（３）に基づく推定手法のみの構
成としても構わない。
た。本実施例では前記式（２）に基づく補色推定手法、
前記式（３）に基づく補色推定手法、前記式（１）に基
づく推定手法の３つを適応的に使い分ける構成とした
が、例えば前記式（１）に基づく推定手法のみの構成と
しても良いし、前記式（３）に基づく推定手法のみの構
成としても構わない。
【００１７】
【発明の効果】以上説明したように、本発明によればＲ
ＧＢ３原色信号を、彩度と帯域を落とすことなく、かつ
偽色の発生を極力抑えて生成することができる。
ＧＢ３原色信号を、彩度と帯域を落とすことなく、かつ
偽色の発生を極力抑えて生成することができる。
【００１８】よって本発明を例えば単板式ビデオカメラ
等に用いれば、従来より高画質なものが実現できる。
等に用いれば、従来より高画質なものが実現できる。
【００１９】また、マルチメディアコンピュータやプリ
ンタ等に適した入力画像をより良い画質で提供すること
ができる。さらに、前記式（３）に基づく推定手法のみ
の構成とした場合、従来ディレイラインが２本必要であ
ったが、これが１本で構成できるため、回路規模や消費
電力が大幅に削減されたうえで、偽色の発生と彩度の低
下を防ぐことができる。
ンタ等に適した入力画像をより良い画質で提供すること
ができる。さらに、前記式（３）に基づく推定手法のみ
の構成とした場合、従来ディレイラインが２本必要であ
ったが、これが１本で構成できるため、回路規模や消費
電力が大幅に削減されたうえで、偽色の発生と彩度の低
下を防ぐことができる。
【図１】本発明の補色値推定法を説明するための図。
【図２】本発明の第１の実施例を示すブロック図。
【図３】図１の要部を示す構成図。
【図４】図１の要部を示す構成図。
【図５】図１の要部を示す構成図。
【図６】補色モザイクフィルタの画素配置を示す図。
Claims (6)
- 【請求項１】 当該画素に隣接する、推定しようとする
当該補色と同一補色の画素値の平均を、当該画素の当該
補色の推定値とする第１の手段と、 当該画素の輝度値と隣接する当該補色と同一の補色画素
の輝度値との差分値に対して任意の係数を乗じた値を、
上記隣接する当該補色と同一の補色画素の補色値に加算
した値を当該画素の当該補色の推定値とする第２の手段
と、 当該画素の輝度値と隣接する第１の当該補色と同一の補
色画素の輝度値との第１の差分値と、上記隣接する第１
の当該補色と同一の補色画素の輝度値と上記第１の同一
の補色画素以外の第２の当該補色と同一の補色画素の輝
度値との第２の差分値の比に対し、上記隣接する第１の
当該補色と同一の補色画素の補色値と上記第２の当該補
色と同一の補色画素の補色値との差分値を乗じた値を上
記隣接する第１の当該補色と同一の補色値に加算した値
を、当該画素の当該補色の推定値とする第３の手段を有
し、上記第１の手段と第２の手段、または上記第１の手
段と第３の手段、または上記第１の手段と第２の手段と
第３の手段とを合わせもつことを第１の特徴とする撮像
装置。 - 【請求項２】 請求項１に記載の第１の手段と第２の手
段と第３の手段を切り換え可能とすることを第２の特徴
とする撮像装置。 - 【請求項３】 当該画素を含めた当該画素周辺の輝度変
化が所定の値より小さいと判断される場合には、請求項
１に記載の、第１の手段を用いることを第３の特徴とす
る撮像装置。 - 【請求項４】 当該画素を含まない当該画素周辺の輝度
変化が所定の値より小さく、かつ当該画素と当該画素周
辺の間の輝度変化が所定の値以上の場合、請求項１に記
載の第２の手段を用いることを第４の特徴とする撮像装
置。 - 【請求項５】 当該画素を含めた当該画素周辺の輝度変
化が所定の値以上であると判断される場合には、請求項
１に記載の第３の手段を用いることを第５の特徴とする
撮像装置。 - 【請求項６】 請求項１〜５に記載の輝度値を求める手
段として、通過域がフラットな特性のフィルタを用いる
ことを第６の特徴とする撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08866393A JP3647052B2 (ja) | 1993-04-15 | 1993-04-15 | 撮像装置 |
| US08/225,780 US5534919A (en) | 1993-04-15 | 1994-04-11 | Image pickup apparatus for estimating a complementary color value of a target pixel |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08866393A JP3647052B2 (ja) | 1993-04-15 | 1993-04-15 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06303617A true JPH06303617A (ja) | 1994-10-28 |
| JP3647052B2 JP3647052B2 (ja) | 2005-05-11 |
Family
ID=13949068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08866393A Expired - Fee Related JP3647052B2 (ja) | 1993-04-15 | 1993-04-15 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5534919A (ja) |
| JP (1) | JP3647052B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69712969T2 (de) * | 1996-03-29 | 2003-01-09 | Sanyo Electric Co | Farbkamera mit einem einzigen CCD-Farbbildsensor mit höherer Auflösung, der fähig ist, Geisterfarberzeugung zu begrenzen |
| US7057653B1 (en) * | 1997-06-19 | 2006-06-06 | Minolta Co., Ltd. | Apparatus capable of image capturing |
| JP4599672B2 (ja) * | 1999-12-21 | 2010-12-15 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| WO2002071761A1 (fr) * | 2001-03-05 | 2002-09-12 | Nikon Corporation | Programme et dispositif de traitement d'images |
| US20070046781A1 (en) * | 2005-08-29 | 2007-03-01 | Honeywell International Inc. | Systems and methods for processing digital video data |
| CN113160089B (zh) * | 2021-05-10 | 2022-10-04 | 福州大学 | 基于局部密度损失的图像去噪方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3684825A (en) * | 1971-02-19 | 1972-08-15 | Rca Corp | Contrast compression circuits |
| US4642678A (en) * | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
| DE3629403C2 (de) * | 1986-08-29 | 1994-09-29 | Agfa Gevaert Ag | Verfahren zur Korrektur der Farbsättigung bei der elektronischen Bildverarbeitung |
| EP0496573B1 (en) * | 1991-01-24 | 1995-12-20 | Matsushita Electric Industrial Co., Ltd. | Pixel defect removing circuit for solid-state image pickup device |
| JP3303308B2 (ja) * | 1991-08-29 | 2002-07-22 | ソニー株式会社 | 映像信号処理装置 |
| US5345264A (en) * | 1992-02-27 | 1994-09-06 | Sanyo Electric Co., Ltd. | Video signal processing circuit for a video camera using a luminance signal |
| US5327228A (en) * | 1992-07-30 | 1994-07-05 | North American Philips Corporation | System for improving the quality of television pictures using rule based dynamic control |
-
1993
- 1993-04-15 JP JP08866393A patent/JP3647052B2/ja not_active Expired - Fee Related
-
1994
- 1994-04-11 US US08/225,780 patent/US5534919A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5534919A (en) | 1996-07-09 |
| JP3647052B2 (ja) | 2005-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3735867B2 (ja) | 輝度信号生成装置 | |
| US7973831B2 (en) | Solid-state image sensor and imaging apparatus using the same | |
| JP5591261B2 (ja) | 画像処理装置 | |
| JP2001268582A (ja) | 固体撮像装置および信号処理方法 | |
| EP0469836B1 (en) | Image signal processing apparatus | |
| JP4641675B2 (ja) | 画像信号処理装置 | |
| JPH04269091A (ja) | カラーテレビジョンカメラ装置 | |
| WO1999059345A1 (fr) | Imageur couleur transistorise | |
| JPH06303617A (ja) | 撮像装置 | |
| US6690418B1 (en) | Image sensing apparatus image signal controller and method | |
| JP3576600B2 (ja) | カラー撮像装置 | |
| US7250967B2 (en) | Apparatus for modifying reproduction frequency band of video signal | |
| JP4033641B2 (ja) | 固体撮像装置 | |
| JP4035542B2 (ja) | 撮像装置 | |
| JP4654545B2 (ja) | 単板式カラー撮像装置 | |
| JPH08275185A (ja) | 輪郭補正回路 | |
| JP2768333B2 (ja) | 固体カラー撮像装置の輪郭強調装置 | |
| JP3673068B2 (ja) | カラーテレビジョンカメラ装置 | |
| JP4536762B2 (ja) | 固体撮像装置 | |
| JP2003047014A (ja) | 撮像装置 | |
| JPH09116912A (ja) | 映像信号処理装置 | |
| JP2000308074A (ja) | 撮像素子、画像信号処理装置並びにカメラ装置 | |
| JPH06217332A (ja) | 輝度信号生成装置 | |
| JPH06233316A (ja) | フレーム静止画作成機能付き撮像装置 | |
| JPH1127685A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050208 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |