JP3757747B2 - 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法 - Google Patents
電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法 Download PDFInfo
- Publication number
- JP3757747B2 JP3757747B2 JP2000101470A JP2000101470A JP3757747B2 JP 3757747 B2 JP3757747 B2 JP 3757747B2 JP 2000101470 A JP2000101470 A JP 2000101470A JP 2000101470 A JP2000101470 A JP 2000101470A JP 3757747 B2 JP3757747 B2 JP 3757747B2
- Authority
- JP
- Japan
- Prior art keywords
- gradation
- gradation conversion
- image signal
- electronic camera
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 183
- 238000007906 compression Methods 0.000 claims description 53
- 230000006835 compression Effects 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 11
- 238000013144 data compression Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000009467 reduction Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 241000450412 Nierembergia repens Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100021996 Arabidopsis thaliana CYP97C1 gene Proteins 0.000 description 1
- 101100510695 Arabidopsis thaliana LUT2 gene Proteins 0.000 description 1
- 102000003712 Complement factor B Human genes 0.000 description 1
- 108090000056 Complement factor B Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【発明の属する技術分野】
本発明は、撮像した画像信号に対して階調変換を実行する電子カメラ、およびコンピュータ上で画像情報に対して同様の階調変換を実行するための画像処理プログラムを記録した記録媒体、および画像処理方法に関する。
【0002】
【従来の技術】
従来、入力階調値と平均ノイズ振幅との依存関係に基づいて、画像信号を非線形に階調変換し、出力階調値の全域にわたってノイズを均等に除去する信号変換技術が知られている。
例えば、特開昭63−290028号公報には、次式のような階調変換を行う信号変換器が開示されている。
【数1】
(ただし、Xは入力階調値、Yは出力階調値、ξは積分変数、n(ξ)は入力階調値ξにおける平均ノイズ振幅、bおよびcは別個に定める定数)
この[式1]の階調変換と量子化とを併せて行うことにより、出力階調値Yの大きさによらずノイズを均等に除去し、画像信号の情報量を効率的に削減することが可能となる。
また、この出力階調値Yを、[式1]の逆変換で階調復元することにより、ノイズの減少した復元画像信号を得ることが可能となる。
【0003】
【発明が解決しようとする課題】
本願発明者は、入力階調値Xに依存するショットノイズを均等化する階調変換を考えた。(なお、ショットノイズを均等化する態様については、上述した特開昭63−290028号公報には特に記載されておらず、本願出願時においても非公知である。)
しかしながら、ショットノイズ均等化の階調変換を施した場合、階調復元後の画像信号に非連続な階調段差(いわゆるトビ)が生じやすく、豊かな階調感が失われやすいという問題点が生じる。
さらに、ショットノイズ均等化の階調変換では、極めて暗い階調域において出力階調値Yがとびとびの値をとりやすい。そのため、この階調域に混入する微小な固定パターンノイズや暗電流が、出力階調値Yに増幅して現れやすいという問題点が生じる。
【0004】
そこで、請求項1〜7に記載の発明では、無効情報の効率的削減と良好な画像品質とを両立させた電子カメラを提供することを目的とする。
また、請求項8,9に記載の発明では、請求項1〜7の電子カメラと同様の階調変換をコンピュータ上で実行するための画像処理プログラムを記録した記録媒体を提供することを目的とする。
さらに、請求項10に記載の発明では、請求項1の電子カメラと同様の階調変換を実行する画像処理方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
《請求項1》
請求項1に記載の発明は、撮像した画像信号に対して階調変換を実行する電子カメラにおいて、 画像信号の入力階調値が所定値より暗い場合、線形変換特性に従って画像信号を階調変換する暗部階調変換部と、画像信号の入力階調値が所定値より明るい場合、下記▲1▼▲2▼の両条件を満足する非線形特性に従って画像信号を階調変換する明部階調変換部とを備えたことを特徴とする。
▲1▼画像信号の平均ノイズ振幅を出力階調値によらず実質的に均等化する傾きを有する。
▲2▼暗部階調変換部の階調変換特性と連続するようにオフセットされる。
【0006】
上記構成の暗部階調変換部は、画像信号の入力階調値が所定値より暗い領域(以下『暗部領域』という)において、線形変換特性により画像信号を階調変換する。この暗部領域は、信号レベルが元々小さいため、ショットノイズのようなレベル依存性ノイズは少ない。そのため、暗部領域においてレベル依存性ノイズを均等化しないことによる不利益は少ない。逆に、この暗部領域を線形変換することにより、出力階調値に非線形なトビやつぶれが生じず、陰影や髪の毛などの階調感を豊かに維持することが可能となる。
【0007】
一方、明部階調変換部は、画像信号の入力階調値が所定値より明るい領域(以下『明部領域』という)において、上記条件▲1▼▲2▼を具備する非線形特性を用いて画像信号を階調変換する。
このとき、条件▲1▼を具備することにより明部領域の平均ノイズ振幅が出力階調値によらず均等化される。その結果、例えば、下記のような信号処理上の利点を得ることが可能となる。
(A)出力階調値を量子化することにより、出力階調値の大小によらず、ノイズを均等に除去することができる。
(B)このような量子化によって出力階調値から無効な情報が削除される。その結果、出力階調値のデータ量を合理的に小さくすることができる。
【0008】
さらに、条件▲2▼によって、この出力階調値はオフセットされ、暗部領域の出力階調値との連続性が保たれる。したがって、明部領域と暗部領域との画像境界において、階調にトビや無用な逆転が生じず、階調を自然につなげることが可能となる。また階調復元を行う場合には、この画像境界に階調逆転が発生していないので、一意に階調復元を行うことが可能となる。
請求項1に記載の電子カメラは、上記の階調変換動作により、無効情報の効率的削減と良好な画像品質とを巧緻に両立させることが可能となる。
【0009】
《請求項2》
請求項2に記載の発明は、請求項1に記載の電子カメラにおいて、暗部階調変換部は、入力階調値Xを出力階調値Yとしてそのまま出力することを特徴とする。
上記構成では、画像上の暗部領域において、入力階調値Xが出力階調値Yとしてそのまま出力される。そのため、暗部領域(例えば、物体の陰影や髪の毛など)の階調感が実質的に完全保存される。したがって、請求項2の電子カメラでは、暗部領域の階調豊かな再生画像や画像プリントを得ることが可能となる。
【0010】
《請求項3》
請求項3に記載の発明は、請求項1または請求項2に記載の電子カメラにおいて、明部階調変換部は、下式の出力階調値Yを出力することを特徴とする。
Y=A・√X+C ・・[式2]
(ただし、Xは入力階調値、Aは比例係数、Cは暗部階調変換部の特性と連続させるために調整されるオフセット値である)
通常、入力階調値Xにおけるショットノイズの平均ノイズ振幅Nxは、比例係数をBとして、
Nx=B・√X ・・[式3]
と表される。
この場合、階調変換後の出力階調値Yに含まれる平均ノイズ振幅Nyは、
Ny≒Nx・(dY/dX)=A・B/2=一定値 ・・[式5]
となり、出力階調値によらず実質的に均等化される。
したがって、[式2]の階調変換を実行することにより、明部領域のショットノイズを効率的に階調圧縮して、無効な情報量を効率的に削減することが可能となる。
さらに、[式2]では、オフセット値Cを調整して、暗部領域の出力階調値との連続性が保たれる。したがって、明部領域と暗部領域との画像境界において、階調にトビや無用な逆転が生じす、階調を自然につなげることが可能となる。
【0011】
《請求項4》
請求項4に記載の発明は、請求項1ないし請求項3のいずれか1項に記載の電子カメラにおいて、明部階調変換部は、画像信号の入力階調値が第2の所定値より明るい場合、非線形の階調変換特性と連続する線形変換特性に従って画像信号を階調変換することを特徴とする。
【0012】
上記構成では、明部階調変換部は、画像信号の入力階調値が第2の所定値(>請求項1記載の所定値)より明るい領域(以下『最明部領域』という)において、非線形の階調変換特性と連続する線形変換特性を用いて画像信号を階調変換する。
したがって、最明部領域において、画像信号に非線形なつぶれが生じることがなく、最明部領域(例えば、白いカップの凹凸模様など)における階調再現性を極めて自然に高めることが可能となる。また、明部領域と最明部領域において階調変換特性が連続するので、明部領域と最明部領域との画像境界に階調のトビや逆転は生じず、階調を自然につなげることも可能となる。
【0013】
《請求項5》
請求項5に記載の発明は、請求項1ないし請求項4のいずれか1項に記載の電子カメラにおいて、明部階調変換部および暗部階調変換部には、少なくとも2通りの階調変換特性の組み合わせが予め設定され、いずれか1通りが選択可能であることを特徴とする。
【0014】
本発明では、明部領域および暗部領域それぞれの階調変換特性を設定するので、従来に比べて多種多様な階調変換特性の組み合わせを容易かつ自由に作成することが可能となる。そこで、本発明の電子カメラは、これら組み合わせの中から少なくとも2通りを選んで、階調変換部に予め設定しておく。したがって、本発明の電子カメラにおいては、操作者や電子カメラが、撮像画像や被写界の特徴(例えば平均輝度レベルやノイズの量や輝度レンジ)に応じて、より適正な階調変換を適宜に選択実行することが可能となる。
【0015】
《請求項6》
請求項6に記載の発明は、請求項1ないし請求項5のいずれか1項に記載の電子カメラにおいて、暗部階調変換部または明部階調変換部を介して画像信号を階調変換した後で画像信号をデータ圧縮する第1圧縮モードと、暗部階調変換部および明部階調変換部を介さずに画像信号をデータ圧縮する第2圧縮モードとを少なくとも有し、いずれか一方のモードを選択実行可能なデータ圧縮部を備えたことを特徴とする。
【0016】
上記構成では、第1圧縮モードを選択実行することにより、無効情報の効率的削減と良好な画像品質とを巧緻に両立させた圧縮画像データを生成することが可能となる。
一方、第2圧縮モードを選択実行することにより、階調圧縮による無効情報の効率的削減はなされないが、その分だけ階調再現性が高い、高画質な圧縮画像データを生成することが可能となる。
【0017】
《請求項7》
請求項7に記載の発明は、請求項1ないし請求項6のいずれか1項に記載の電子カメラにおいて、暗部階調変換部または明部階調変換部を介して画像信号を階調変換した後で画像信号をデータ圧縮する第1圧縮モードと、暗部階調変換部および明部階調変換部を介さず、かつ画像信号をデータ圧縮しない非圧縮モードとを少なくとも有し、いずれか一方のモードを選択実行可能なデータ圧縮部を備えたことを特徴とする。
【0018】
上記構成では、第1圧縮モードを選択実行することにより、無効情報の効率的削減と良好な画像品質とを巧緻に両立させた圧縮画像データを生成することが可能となる。
一方、非圧縮モードを選択実行することにより、階調圧縮による無効情報の効率的削減はなされないが、その分だけ階調再現性が高い、高画質な画像データを生成することが可能となる。
【0019】
《請求項8》
請求項8に記録媒体は、コンピュータを、請求項1ないし請求項5のいずれ1項に記載の前記暗部階調変換部および前記明部階調変換部として機能させるための画像処理プログラムが記録されていることを特徴とする。
上記記録媒体中の画像処理プログラムを実行することにより、請求項1〜5のいずれか1項に記載の電子カメラと同様の階調変換処理をコンピュータ上で実行することが可能となる。
【0020】
《請求項9》
請求項9に記載の記録媒体には、コンピュータを、請求項6ないし請求項7のいずれ1項に記載の前記暗部階調変換部、前記明部階調変換部およびデータ圧縮部として機能させるための画像処理プログラムが記録されていることを特徴とする。
上記記録媒体中の画像処理プログラムを実行することにより、請求項6〜7のいずれか1項に記載の電子カメラと同様の階調変換処理をコンピュータ上で実行することが可能となる。
【0021】
《請求項10》
請求項10に記載の画像処理方法は、入力された画像信号に対して階調変換を実行する画像処理方法において、 画像信号の入力階調値が所定値より暗い場合、線形変換特性に従って画像信号を階調変換する暗部階調ステップと、画像信号の入力階調値が所定値より明るい場合、下記▲1▼▲2▼の両条件を満足する非線形特性に従って画像信号を階調変換する明部階調変換ステップとを有することを特徴とする。
▲1▼画像信号の平均ノイズ振幅を出力階調値によらず均等化する傾きを有する。▲2▼暗部階調変換部の階調変換特性と連続するようにオフセットされる。
上記の各ステップを実行することにより、請求項1に記載の電子カメラと同様の階調変換処理を実行することが可能となる。
【0022】
【発明の実施の形態】
以下、図面に基づいて本発明における実施の形態を説明する。
【0023】
《第1の実施形態》
第1の実施形態は、請求項1〜3,10に記載の発明に対応する電子カメラの実施形態である。
図1は、電子カメラ11の構成を示すブロック図である。
図2は、電子カメラ11の撮像動作を説明する流れ図である。
図3は、電子カメラ11の再生動作を説明する流れ図である。
まず、図1および図2を用いて、電子カメラ11の撮像動作について概略説明を行う。
電子カメラ11には、撮影レンズ12が装着される。この撮影レンズ12を介して、被写体像が撮像素子13の撮像面に形成される。この撮像素子13は、レリーズ操作などに応じて被写体像を光電変換して画像信号を生成する(図2S1)。
【0024】
この画像信号は、信号処理部14を介して黒レベルクランプ処理などが実行された後、A/D変換部15を介して、各色12ビットのRAWデータにディジタル変換される。
CPU19は、操作部23の操作情報に基づいて、ROM19aから階調変換用のLUT(Look Up Table)を選択し、選択したLUTを階調変換部16に伝達する。階調変換部16は、伝達されたLUTに従ってRAWデータを階調変換する(図2S2)。
【0025】
階調変換部16で階調変換されたRAWデータは、バス17へ順次出力される。画像圧縮部20は、バッファメモリ18を一時格納場所として使用しながら、このRAWデータに対して可逆圧縮(例えばDPCM圧縮)を実施する(図2S3)。
CPU19は、可逆圧縮されたRAWデータに対してLUTの識別情報などを付与して圧縮画像ファイルを生成し、メモリカード21に記録する(図2S4)。
【0026】
上述した一連の動作により、電子カメラ11の撮像動作が完了する。
次に、図1および図3を用いて、電子カメラ11の再生動作について概略説明を行う。なお、この再生動作は、電子カメラ11に限らず、コンピュータなどを用いて実行しても勿論かまわない。
まず、CPU19は、メモリカード21から圧縮画像ファイルを読み出す(図3S11)。CPU19は、この圧縮画像ファイルを伸長し、可逆圧縮前のRAWデータに戻す(図3S12)。
【0027】
さらに、CPU19は圧縮画像ファイル中のLUTの識別情報に基づいて、ROM19aから階調逆変換用のLUTを選択し、選択したLUTを階調変換部16に伝達する。階調変換部16は、伝達されたLUTに従ってRAWデータを階調逆変換する(図3S13)。
CPU19と、このようにして階調復元されたRAWデータを、モニタ表示部22や別の信号処理系へ出力する(図3S14)。
上述した一連の動作により、電子カメラ11の再生動作が完了する。
【0028】
(請求項の記載事項と本実施形態との対応関係)
以下、本発明と第1の実施形態との対応関係について説明する。
請求項1〜3の記載事項と本実施形態との対応関係については、暗部階調変換部はCPU19および階調変換部16による『暗部領域の階調変換を行う機能』に対応し、明部階調変換部はCPU19および階調変換部16による『明部領域の階調変換を行う機能』に対応する。
【0029】
(階調変換特性の作成手順)
以下、本実施形態の特徴であるLUT(図4中の階調変換特性β)の作成手順について説明する。なおここでは、説明の都合上、LUTの作成者を電子カメラ11の開発者と仮定して説明する。
まず、開発者は、階調変換部16の入力時点において、『画像信号の入力階調値』と『レベル依存性の平均ノイズ振幅』との依存関係を、実測や理論計算などにより求める。
【0030】
例えば、ショットノイズの場合、光電変換による発生電子数をSeとすると、ノイズの瞬時振幅(電子数)は、分散√Seのガウス分布を示す。
したがって、『撮像素子13の発生電子数Se』から『階調変換部16の入力階調値X』までの変換過程がほぼ線形ならば、出力階調値Xにおけるショットノイズの平均ノイズ振幅Nxは、適当な比例係数Bを用いて、
Nx=B・√X ・・[式6]
と表される。(ただし、発生電子数Seから入力階調値Xまでの変換過程に、ガンマ変換その他の非線形カーブが介在する場合には、その非線形カーブの影響を含めて導出した平均ノイズ振幅Nxの式を以下使用する。)
ここで、階調変換後の平均ノイズ振幅Nyは、
Ny≒Nx・(dY/dX)=B・√X・(dY/dX) ・・[式7]
となる。
【0031】
この[式7]でNyを定数と置いて、階調変換後の平均ノイズ振幅Nyを均等化する階調変換式を求めると、
Y=A・√X+C ・・[式8]
が得られる。ただし、Aは比例係数、Cはオフセット値である。
仮に、この[式8]の階調変換を入力階調値Xの全域に施すとすると、X=Y=0の初期条件から、
Y=A・√X ・・[式9]
が得られる。図4中に示す全域ノイズ均等化特性αは、[式9]の計算結果を整数化して作成した特性である。
【0032】
開発者は、この全域ノイズ均等化特性αを用いて、テスト画像等の階調変換を試行し、階調復元後(または階調変換後)の画像について下記の評価を行う。
(1)画像の暗い部分に発生する階調のトビ(またはつぶれ)
(2)画像の暗い部分におけるショットノイズ均等化による無効情報の削減効果
【0033】
開発者は、これらの評価結果から、画像信号の階調域を、[式9]による階調変換に適した明部領域と、[式9]による階調変換に適さない暗部領域とに区分する。例えば、上記の評価結果からは、暗部領域を入力階調値[0〜107]の領域とし、明部領域を入力階調値[108〜4095]とすることが好ましい。
【0034】
開発者は、この暗部領域について下記のような線形の階調変換式を決定する。
Y=X (ただし、0≦X≦107) ・・[式10]
開発者は、[式10]の階調変換特性に連続するように、[式8]のオフセット値Cを決定し、下記のような明部領域の階調変換式を得る。
Y=A・√X+(107−A・√107)
(ただし、A=4.941, 108≦X≦4095) ・・[式11]
開発者は、[式10]および[式11]の計算結果を整数化してLUTを作成し、作成したLUTをROM19aに格納する。図4中に示す階調変換特性βは、このように作成されたLUTをグラフ化したものである。
【0035】
(第1の実施形態の効果など)
以下、図5〜7を参照しながら、階調変換特性βと全域ノイズ均等化変換αとについて比較説明を行う。
【0036】
◎図5に示す階調変換特性βによる改善効果について
図5は、入力階調値[0〜6]における階調変換特性を示す図である。
全域ノイズ均等化変換αでは、図5に示すように、入力階調値[0〜6]における出力階調値がトビトビの値を取る。例えば、入力階調値が0から1に変化した場合、出力階調値は0から5へ急にジャンプする。このようなとびとびの出力階調値により出力階調値Yのレンジには無駄が生じる。そのため、全域ノイズ均等化変換αは、出力階調値Yのレンジ有効利用の観点から好ましくない。さらに、固定パターンノイズや暗電流によって入力階調値が0と1の間を変動した場合、全域ノイズ均等化変換αでは、ノイズ変動幅が5に増幅されてしまう。この増幅されたノイズは、後段の補間処理やローパス処理などで周囲に派生しやすく、弊害が大きい。したがって、全域ノイズ均等化変換αは、暗部領域のノイズ削減の観点からも好ましくない。
一方、本実施形態の階調変換特性βでは、図5に示されるように、出力階調値がトビトビの値を取らない。したがって、階調変換特性βでは、無効な出力階調値は存在せず、出力階調値Yのレンジを有効利用することができる。さらに、固定パターンノイズや暗電流によって入力階調値が0と1の間を変動した場合、階調変換特性βでは、ノイズ変動幅は増幅されない。したがって、暗部領域のノイズが不要に目立ったり、増幅されたノイズが周囲に派生することがなく、非常に良好な画像品質が得られる。
【0037】
◎図6に示す階調変換特性βの改善効果について
図6は、入力階調値[7〜107]における階調変換後のヒストグラムを示す図である。
全域ノイズ均等化変換αでは、図6に示すように、入力階調値[7〜107]が出力階調値[13〜51]へ階調圧縮される。この階調領域における階調つぶれは陰影や髪の毛のディテールを大きく損なうことなるため、画像品質を大きく損ねてしまう。また、再生時に階調復元を行った場合、[7〜107]の階調域において復元階調値は39段数のとびとびの値をとる。そのため、階調復元後のヒストグラムは櫛歯状となり、陰影部分の滑らかな階調表現を大きく損ねてしまう。
一方、本実施形態の階調変換特性βは、図6に示すように、入力階調値[7〜107]を出力階調値[7〜107]にそのまま階調変換する。そのため、陰影や髪の毛などのディテールが完全に保存され、階調感の滑らかさや豊かさを確実に維持することが可能となる。
【0038】
◎図7に示す階調変換特性βの改善効果について
図7は、入力階調値[108〜4095]におけるノイズ振幅の均等化効果を示す図である。
本実施形態の階調変換特性βにおいても、明部領域の入力階調値[108〜4095]では、階調変換後にショットノイズの平均ノイズ振幅が均等化される。この階調域[108〜4095]は、画像信号の信号レベルが大きいためにショットノイズも大きく、ノイズ全体に占めるショットノイズの割合が比較的高い。したがって、この入力範囲[108〜4095]においてショットノイズの平均振幅を均等化することにより、画像信号のノイズを均等に削減し、ノイズ削減および圧縮率向上を実現することができる。
【0039】
◎階調変換特性βの連続性による改善効果について
上述した[式11]では、オフセット値Cを調整して、両領域の階調変換特性を連続させている。したがって、両領域の画像境界において階調が不連続になったり、逆転することがなく、自然な階調変化を保つことができる。また階調復元を行う場合もて、この画像境界に階調逆転が生じていないので、一意に階調復元を行うことが可能となる。
次に、別の実施形態について説明する。
【0040】
《第2の実施形態》
第2の実施形態は、請求項1〜3,5〜7,10に記載の発明に対応する電子カメラの実施形態である。なお、電子カメラの構成は、第1の実施形態(図1)と同じため、ここでの説明を省略する。
【0041】
第2の実施形態における動作上の特徴点は、次の点である。
(1)複数のLUT(階調変換特性)が予めROM19a内に格納される。
(2)画像圧縮部20は、可逆圧縮を実行するか否かを選択可能である。
(3)CPU19は、操作部23からの圧縮モードの設定に応じて、『階調変換特性を行うか否かの選択』と『階調変換を行う場合にはLUTの選択』と『可逆圧縮を行うか否かの選択』とを決定し、RAWデータの記録処理を制御する。
以下、電子カメラ11に用意された、各圧縮モードについて特徴点を説明する。
【0042】
◎非圧縮モード(請求項7に記載の非圧縮モードに該当する)
階調変換・・・無し
可逆圧縮・・・無し
非圧縮モードは、A/D変換部15から出力されるRAWデータをそのまま記録するモードである。したがって、RAWデータを完全に復元することが可能となる。画像信号の画素数が2000×1312であり、1画素当たり12ビットデータの場合、画像信号の記録容量は約4Mバイトとなる。
【0043】
◎完全ロスレスモード(請求項6に記載の第2圧縮モードに該当する)
階調変換・・・・・無し
可逆圧縮・・・有り
完全ロスレスモードは、A/D変換部15から出力されるディジタル画像データを可逆圧縮して記録するモードである。したがって、可逆伸長によりRAWデータを完全に復元することが可能となる。一般的な画像信号の記録容量は、約2.8Mバイト(圧縮率70%)程度となる。
【0044】
◎実質ロスレス圧縮モード(請求項6,7に記載の第1圧縮モードに該当する)階調変換・・・図8中のLUT1
可逆圧縮・・・有り
実質ロスレス圧縮モードは、暗部領域[0〜107]において線形変換の階調変換を実施し、明部領域[108〜4095]において、ショットノイズの平均ノイズ振幅を量子化ステップとして階調変換を行うモードである。この場合、明部領域のショットノイズが大部分除去され、その分だけ画像信号の記録容量が低減する。一般的な画像信号の記録容量は、約2Mバイト(圧縮率50%)程度となる。
【0045】
◎画質優先モード(請求項6,7に記載の第1圧縮モードに該当する)
階調変換・・・・・図8中のLUT2
可逆圧縮・・・有り
画質優先モードは、暗部領域[0〜107]において線形変換の階調変換を実施し、明部領域[108〜4095]において、量子化ステップを実質ロスレスモードよりも小さくしたモードである。なお具体的には、[式11]中の比例係数Aを増加させている。この場合、階調変換によって明部領域のショットノイズを少な目に除去しつつ、明部領域の階調つぶれを回避することが可能となる。その結果、ヒストグラムに生じる櫛歯特性を軽減することも可能となる。この画質優先モードでは、一般的な画像信号の記録容量が、約2.4Mバイト(圧縮率60%)程度となる。
【0046】
◎圧縮率優先モード(請求項6,7に記載の第1圧縮モードに該当する)
階調変換・・・・・図8中のLUT3
可逆圧縮・・・有り
圧縮率優先モードは、暗部領域[0〜27]において線形変換の階調変換を実施し、明部領域[28〜4095]において、量子化ステップを実質ロスレスモードよりも大きくしたモードである。この場合、明部領域の範囲が拡大し(分岐点S1→S2)、かつ明部領域の階調圧縮がより強くなる。なお具体的には、[式11]中の比例係数Aを減少させ、かつオフセット値Cを変更している。この場合、RAWデータの圧縮率をより向上させることが可能となる。この圧縮率優先モードでは、一般的な画像信号の記録容量が、約1.6Mバイト(圧縮率40%)程度となる。
【0047】
《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ11の実施形態について説明したが、これに限定されるものではない。請求項8,9に記載したように、本発明の階調変換を実行するための画像処理プログラムを記録媒体に記録してもよい。この記録媒体中の画像処理プログラムをコンピュータ上で起動することにより、本発明の階調変換をコンピュータ上で実行することが可能となる。
【0048】
また、上述した実施形態では、明部領域の全域にわたって平均ノイズ振幅を均等化しているが、これに限定されるものではない。請求項4に記載したように、明部領域中の最明部領域について線形変換を実行してもよい。この場合、最明部領域(白いカップの凹凸模様など)に階調つぶれなどが少なくなり、画像の階調再現性を極めて効果的に高めることが可能となる。図9は、このような階調変換特性の一例を示した図である。
【0049】
なお、上述した実施形態では、LUTを使用して階調変換を行う場合について説明したが、これに限定されるものではない。例えば、[式10]および[式11]などの演算式に従って、入力階調値Xから出力階調値Yを算出しても勿論かまわない。またこのとき、演算式として整数演算の式を使用しても勿論よいし、算出された出力階調値Yを後から整数化しても勿論かまわない。また、アナログ画像信号の階調変換に本発明を適用しても勿論かまわない。
また、上述した実施形態では、連続系の階調変換式を導出した後にLUTを作成しているが、本発明はこれに限定されるものではない。例えば、入力側の平均ノイズ振幅に比例させて明部領域の量子化ステップ(請求項1記載の『傾き』に対応)を設定し、かつ暗部領域と明部領域の分岐点が実質的に繋がる(請求項1記載の『連続』に対応)ようにオフセット値を設定することにより、LUTを直に作成してもよい。このように、請求項に記載の『傾き』、『連続』といった用語は、連続系のみに限定解釈されるものではなく、離散系にも拡大解釈することが可能である。
【0050】
【発明の効果】
《請求項1》
請求項1に記載の電子カメラでは、画像上の暗部領域において線形の階調変換を実行する。この暗部領域は信号レベルが小さく、ショットノイズのようなレベル依存性ノイズは比較的少ない。したがって、暗部領域ではレベル依存性ノイズを均等化しないことによる不利益は少ない。逆に、この暗部領域を線形変換することにより、暗部領域には非線形なトビやつぶれが生じず、陰影や髪の毛などの階調感をより豊かに再現することが可能となる。
一方、明部領域では、上記条件▲1▼を具備した階調変換を実行することによりレベル依存性ノイズを均等に削減し、ノイズ削減および圧縮率向上を実現することができる。さらに、上記条件▲2▼を具備したことによって、暗部領域と明部領域の境界に階調段差や階調逆転は生じず、自然な階調変化を保つことができる。
以上の動作により、請求項1に記載の電子カメラは、無効情報の効率的削減と良好な画像品質とを両立させることが可能となる。
【0051】
《請求項2》
請求項2に記載の電子カメラは、画像上の暗部領域において、入力階調値Xを出力階調値Yとして出力する。そのため、暗部領域(例えば、陰影や髪の毛など)の階調感が完全に保存される。したがって、階調感が極めて豊かな画像を良好に再現することが可能となる。
【0052】
《請求項3》
請求項3に記載の電子カメラでは、暗部領域の階調再現性を維持しつつ、明部領域のショットノイズを均等に階調圧縮することが可能となる。
【0053】
《請求項4》
請求項4に記載の電子カメラでは、最明部領域において線形の階調変換を実施するので、最明部領域(白いカップの凹凸模様など)につぶれなどが少なく、画像の階調再現性を極めて効果的に高めることが可能となる。
【0054】
《請求項5》
請求項5に記載の電子カメラでは、両階調変換特性の組み合わせを選択実行できるので、より適正な階調変換を選択実行することが可能となる。
【0055】
《請求項6》
請求項6に記載の電子カメラでは、第1圧縮モードを選択実行することにより、無効情報の効率的削減と良好な撮像品質とを両立させた圧縮画像データを生成することが可能となる。一方、第2圧縮モードを選択実行することにより、無効情報の効率的削減はなされないが、その分だけ階調再現性が高い、高画質な圧縮画像データを生成することが可能となる。
【0056】
《請求項7》
請求項7に記載の電子カメラでは、第1圧縮モードを選択実行することにより、無効情報の効率的削減と良好な撮像品質とを巧緻に両立させた圧縮画像データを生成することが可能となる。一方、非圧縮モードを選択実行することにより、無効情報の効率的削減はなされないが、その分だけ階調再現性が高い、高画質な画像データを生成することが可能となる。
【0057】
《請求項8、9》
請求項8、9に記載の記録媒体中の画像処理プログラムを実行することにより、請求項1〜7のいずれか1項に記載の電子カメラと同様の階調変換処理をコンピュータ上で実行することが可能となる。
【0058】
《請求項10》
請求項10に記載の画像処理方法を実行することにより、請求項1に記載の電子カメラと同様の階調変換処理を実行することが可能となる。
【図面の簡単な説明】
【図1】電子カメラ11の構成を示すブロック図である。
【図2】電子カメラ11の撮像動作を説明する流れ図である。
【図3】電子カメラ11の再生動作を説明する流れ図である。
【図4】第1の実施形態における階調変換特性βを示す図である。
【図5】入力階調値[0〜6]における階調変換特性を示す図である。
【図6】入力階調値[7〜107]における階調変換後のヒストグラムを示す図である。
【図7】入力階調値[108〜4095]におけるノイズ振幅の均等化効果を示す図である。
【図8】第2の実施形態における階調変換特性を示す図である。
【図9】最明部領域において線形変換を行う階調変換特性を示す図である。
【符号の説明】
11 電子カメラ
12 撮影レンズ
13 撮像素子
14 信号処理部
15 A/D変換部
16 階調変換部
17 バス
18 バッファメモリ
19 CPU
19a ROM
20 画像圧縮部
21 メモリカード
22 モニタ表示部
23 操作部
Claims (10)
- 撮像した画像信号に対して階調変換を実行する電子カメラにおいて、
画像信号の入力階調値が所定値より暗い場合、線形変換特性に従って前記画像信号を階調変換する暗部階調変換部と、
画像信号の入力階調値が所定値より明るい場合、下記▲1▼▲2▼の両条件を満足する非線形特性に従って前記画像信号を階調変換する明部階調変換部と
▲1▼画像信号の平均ノイズ振幅を出力階調値によらず実質的に均等化する傾きを有する
▲2▼前記暗部階調変換部の階調変換特性と連続するようにオフセットされる
を備えたことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記暗部階調変換部は、入力階調値Xを出力階調値Yとしてそのまま出力する
ことを特徴とする電子カメラ。 - 請求項1または請求項2に記載の電子カメラにおいて、
前記明部階調変換部は、下式の出力階調値Yを出力する
Y=A・√X+C
(ただし、Xは入力階調値、Aは比例係数、Cは前記暗部階調変換部の特性と連続させるために調整されるオフセット値である)
ことを特徴とする電子カメラ。 - 請求項1ないし請求項3のいずれか1項に記載の電子カメラにおいて、
前記明部階調変換部は、前記画像信号の入力階調値が第2の所定値より明るい場合、前記非線形の階調変換特性と連続する線形変換特性に従って画像信号を階調変換する
ことを特徴とする電子カメラ。 - 請求項1ないし請求項4のいずれか1項に記載の電子カメラにおいて、
前記明部階調変換部および前記暗部階調変換部には、少なくとも2通りの階調変換特性の組み合わせが予め設定され、いずれか1通りが選択可能である
ことを特徴とする電子カメラ。 - 請求項1ないし請求項5のいずれか1項に記載の電子カメラにおいて、
前記暗部階調変換部または前記明部階調変換部を介して画像信号を階調変換した後で画像信号をデータ圧縮する第1圧縮モードと、前記暗部階調変換部および前記明部階調変換部を介さずに画像信号をデータ圧縮する第2圧縮モードとを少なくとも有し、いずれか一方のモードを選択実行可能なデータ圧縮部を備えた
ことを特徴とする電子カメラ。 - 請求項1ないし請求項6のいずれか1項に記載の電子カメラにおいて、
前記暗部階調変換部または前記明部階調変換部を介して画像信号を階調変換した後で画像信号をデータ圧縮する第1圧縮モードと、前記暗部階調変換部および前記明部階調変換部を介さず、かつ画像信号をデータ圧縮しない非圧縮モードとを少なくとも有し、いずれか一方のモードを選択実行可能なデータ圧縮部を備えた
ことを特徴とする電子カメラ。 - コンピュータを、請求項1ないし請求項5のいずれ1項に記載の前記暗部階調変換部および前記明部階調変換部として機能させるための画像処理プログラムを記録した機械読み取り可能な記録媒体。
- コンピュータを、請求項6ないし請求項7のいずれ1項に記載の前記暗部階調変換部、前記明部階調変換部およびデータ圧縮部として機能させるための画像処理プログラムを記録した機械読み取り可能な記録媒体。
- 入力された画像信号に対して階調変換を実行する画像処理方法において、
前記画像信号の入力階調値が所定値より暗い場合、線形変換特性に従って前記画像信号を階調変換する暗部階調ステップと、
前記画像信号の入力階調値が所定値より明るい場合、下記▲1▼▲2▼の両条件を満足する非線形特性に従って前記画像信号を階調変換する明部階調変換ステップと
▲1▼画像信号の平均ノイズ振幅を出力階調値によらず均等化する傾きを有する
▲2▼前記暗部階調変換部の階調変換特性と連続するようにオフセットされる
を有することを特徴とする画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000101470A JP3757747B2 (ja) | 2000-04-03 | 2000-04-03 | 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法 |
US09/913,062 US6906747B2 (en) | 2000-04-03 | 2001-03-26 | Electronic camera for performing gradation conversion on an image signal |
EP01915779A EP1282305B1 (en) | 2000-04-03 | 2001-03-26 | Electronic camera, image processing program, and image processing method |
PCT/JP2001/002411 WO2001076235A1 (fr) | 2000-04-03 | 2001-03-26 | Camera electronique, programme de traitement d'image et son support enregistre, et procede de traitement d'image |
DE60139767T DE60139767D1 (de) | 2000-04-03 | 2001-03-26 | Elektronische kamera, bildverarbeitungsprogramm und bildverarbeitungsverfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000101470A JP3757747B2 (ja) | 2000-04-03 | 2000-04-03 | 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001285706A JP2001285706A (ja) | 2001-10-12 |
JP3757747B2 true JP3757747B2 (ja) | 2006-03-22 |
Family
ID=18615515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000101470A Expired - Lifetime JP3757747B2 (ja) | 2000-04-03 | 2000-04-03 | 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6906747B2 (ja) |
EP (1) | EP1282305B1 (ja) |
JP (1) | JP3757747B2 (ja) |
DE (1) | DE60139767D1 (ja) |
WO (1) | WO2001076235A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1732682B (zh) * | 2002-12-27 | 2010-04-21 | 株式会社尼康 | 图像处理装置 |
JP4368127B2 (ja) | 2003-04-04 | 2009-11-18 | ソニー株式会社 | 撮像装置におけるガンマ補正装置 |
EP1781043B1 (en) * | 2004-07-07 | 2013-01-23 | Nikon Corporation | Image processor and computer program product |
JP2006041687A (ja) * | 2004-07-23 | 2006-02-09 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ |
WO2006064913A1 (ja) * | 2004-12-17 | 2006-06-22 | Nikon Corporation | 画像処理方法 |
JP2006310999A (ja) * | 2005-04-27 | 2006-11-09 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP4526445B2 (ja) * | 2005-06-15 | 2010-08-18 | オリンパス株式会社 | 撮像装置 |
JP4797949B2 (ja) * | 2006-11-24 | 2011-10-19 | ソニー株式会社 | 撮像装置、画像処理装置、方法およびプログラム |
JP5115297B2 (ja) * | 2008-04-15 | 2013-01-09 | 株式会社ニコン | 画像処理装置、撮像装置、画像処理方法およびプログラム |
US20100186234A1 (en) | 2009-01-28 | 2010-07-29 | Yehuda Binder | Electric shaver with imaging capability |
JP5197423B2 (ja) * | 2009-02-18 | 2013-05-15 | オリンパス株式会社 | 画像処理装置 |
TW201136294A (en) * | 2009-10-28 | 2011-10-16 | Sony Corp | Signal processing apparatus, signal processing method, computer program, image processing apparatus, and image capturing apparatus |
KR101981573B1 (ko) | 2012-11-22 | 2019-05-23 | 삼성전자주식회사 | 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2548005B2 (ja) * | 1987-05-22 | 1996-10-30 | 株式会社 日立メディコ | 信号変換器 |
US5047861A (en) * | 1990-07-31 | 1991-09-10 | Eastman Kodak Company | Method and apparatus for pixel non-uniformity correction |
JPH05191675A (ja) | 1992-01-14 | 1993-07-30 | Canon Inc | ガンマ補正回路及びそれを用いた撮像装置 |
JP3314195B2 (ja) * | 1992-12-28 | 2002-08-12 | ミノルタ株式会社 | 画像処理装置 |
EP0613294B1 (en) * | 1993-02-24 | 1998-10-28 | Matsushita Electric Industrial Co., Ltd. | Gradation correction device and image sensing device therewith |
JPH07221987A (ja) * | 1994-02-04 | 1995-08-18 | Canon Inc | 画像処理装置 |
WO1996010886A1 (fr) * | 1994-09-30 | 1996-04-11 | Matsushita Electric Industrial Co., Ltd. | Dispositif de prise de vues |
US5708729A (en) | 1995-04-12 | 1998-01-13 | Eastman Kodak Company | Method and system for the reduction of memory capacity required for digital representation of an image |
US6046827A (en) * | 1995-05-26 | 2000-04-04 | Minolta Co., Ltd. | Film image reading system |
JPH0951410A (ja) * | 1995-05-26 | 1997-02-18 | Minolta Co Ltd | フィルム画像読取装置 |
JP3804113B2 (ja) * | 1996-08-26 | 2006-08-02 | コニカミノルタホールディングス株式会社 | 固体撮像装置 |
US6160532A (en) * | 1997-03-12 | 2000-12-12 | Seiko Epson Corporation | Digital gamma correction circuit, gamma correction method, and a liquid crystal display apparatus and electronic device using said digital gamma correction circuit and gamma correction method |
JPH11170572A (ja) * | 1997-12-08 | 1999-06-29 | Ricoh Co Ltd | インクジェット記録装置及び画像処理装置 |
TW420934B (en) * | 1999-04-09 | 2001-02-01 | Winbond Electronics Corp | Image signal processing method |
JP4270638B2 (ja) * | 1999-04-16 | 2009-06-03 | オリンパス株式会社 | 撮像装置 |
JP2000354179A (ja) * | 1999-06-11 | 2000-12-19 | Nikon Corp | 信号変換方法、および信号変換プログラムを記録した記録媒体 |
JP2002152552A (ja) * | 2000-11-10 | 2002-05-24 | Mitsubishi Electric Corp | ガンマ補正回路 |
-
2000
- 2000-04-03 JP JP2000101470A patent/JP3757747B2/ja not_active Expired - Lifetime
-
2001
- 2001-03-26 EP EP01915779A patent/EP1282305B1/en not_active Expired - Lifetime
- 2001-03-26 WO PCT/JP2001/002411 patent/WO2001076235A1/ja active Application Filing
- 2001-03-26 DE DE60139767T patent/DE60139767D1/de not_active Expired - Lifetime
- 2001-03-26 US US09/913,062 patent/US6906747B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US20040201757A1 (en) | 2004-10-14 |
US6906747B2 (en) | 2005-06-14 |
EP1282305A4 (en) | 2006-12-06 |
DE60139767D1 (de) | 2009-10-15 |
JP2001285706A (ja) | 2001-10-12 |
WO2001076235A1 (fr) | 2001-10-11 |
EP1282305A1 (en) | 2003-02-05 |
EP1282305B1 (en) | 2009-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4083587B2 (ja) | 画質向上方法及びそのための装置 | |
KR101051604B1 (ko) | 화상 처리 장치 및 방법 | |
JP4544974B2 (ja) | 量子化され、デコードされた画像の画質をエンハンスする方法 | |
US8654221B2 (en) | Image processing device and method, and program | |
JP5086067B2 (ja) | 高ダイナミックレンジ画像を符号化するための方法、表現するためのデータ構造、及び符号化装置 | |
US7551794B2 (en) | Method apparatus, and recording medium for smoothing luminance of an image | |
JP3757747B2 (ja) | 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法 | |
CN100366052C (zh) | 图像处理设备和方法 | |
US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
JP4466378B2 (ja) | 履歴付加装置、電子カメラ、および画像処理プログラム | |
JP4639037B2 (ja) | 画像処理方法および装置 | |
US6771815B2 (en) | Image correction apparatus and recording medium for storing image correction program | |
JP4288398B2 (ja) | 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体 | |
US10387999B2 (en) | Image processing apparatus, non-transitory computer-readable medium storing computer program, and image processing method | |
JP4208767B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006237657A (ja) | 画像処理装置、画像補正プログラムおよび記録媒体 | |
US6931161B2 (en) | Method for making an exposure adjustment on a rendered image | |
JP2617986B2 (ja) | 画像処理方法 | |
JPH065887B2 (ja) | 階調補正方法 | |
JP2005039456A (ja) | 画像処理方法および装置 | |
JP4265033B2 (ja) | 色補正方法、色補正方法を実行するためのプログラムを記憶した記録媒体、色補正装置及び表示装置 | |
JPH09261637A (ja) | 画像圧縮装置、画像前処理方法及び画像伝送システム | |
JP3402325B2 (ja) | 画像データ生成装置、画像処理装置及び画像処理システム、並びにプログラム | |
JP4505356B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
JP2005039455A (ja) | 画像処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051219 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3757747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 9 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |