JPWO2006093266A1 - 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ - Google Patents

色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ Download PDF

Info

Publication number
JPWO2006093266A1
JPWO2006093266A1 JP2007506020A JP2007506020A JPWO2006093266A1 JP WO2006093266 A1 JPWO2006093266 A1 JP WO2006093266A1 JP 2007506020 A JP2007506020 A JP 2007506020A JP 2007506020 A JP2007506020 A JP 2007506020A JP WO2006093266 A1 JPWO2006093266 A1 JP WO2006093266A1
Authority
JP
Japan
Prior art keywords
color component
color
component
correction target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007506020A
Other languages
English (en)
Other versions
JP5071104B2 (ja
Inventor
暁彦 宇津木
暁彦 宇津木
石賀 健一
健一 石賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007506020A priority Critical patent/JP5071104B2/ja
Publication of JPWO2006093266A1 publication Critical patent/JPWO2006093266A1/ja
Application granted granted Critical
Publication of JP5071104B2 publication Critical patent/JP5071104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本発明の画像処理装置は、補正対象色成分と基準色成分とを少なくとも含み、1画素当たり1種類の色成分を配した画像データを取り込む。本装置は、この補正対象色成分の位置ズレに関する情報を取得または検出し、補正対象色成分の位置ズレを補正する。この補正において補正対象色成分から消失する画像構造を、基準色成分から抽出した画像構造で補う。

Description

本発明は、画像の倍率色収差を抑制する画像処理技術に関する。
一般に、電子カメラでは、撮影光学系の倍率色収差によって、撮像された画像に色ズレを生じることが知られている。このような色ズレを、画像処理によって補正する技術が従来提案されている。
例えば、特許文献1では、RAWデータの欠落色成分を色補間処理で生成する際に、補間係数を操作することで倍率色収差の補正も同時に行っている。
また例えば、特許文献2では、色ズレ補正によって失われる先鋭さを補うための一方法が開示されている。すなわち、補正対象色成分(例えばR、B成分)のズレ量を表す補間係数データをまず求める。次に、この補間係数データの相補的係数を求め、その相補的係数を基準色成分(例えばG成分)に乗ずる。この乗算結果を補正色成分に加えることで、先鋭さを補う。
また例えば、特許文献3では、RAWデータのG成分を、R成分やB成分の倍率色収差に合わせて変倍する。この変倍後のG成分をR成分やB成分から減算することにより、色ズレの補正された色差成分(R−G),(B−G)を生成する方法が開示されている。この方法では、特に、無彩色の画像領域において適切な補正がなされる。
なお、『RAWデータ』は、請求項の『1画素当たり1種類の色成分を有する画像データ』に対応する。
日本出願の特開2001−186533号公報(段落0043) 日本出願の特許第2552742号公報 日本出願の特開2002−112276号公報
上述した特許文献1では、RAWデータが元から有する色成分についても、倍率色収差の補正のために補間処理が行われる。例えば、一般的なRGBベイヤー配列のRAWデータであれば、RAWデータ中のR色成分やB色成分に対して補間処理が行われる。
しかし、RAWデータ中のR色成分やB色成分は、画像全体の1/4の画素数しかなく、画素密度が比較的粗い。そのため、これら画素密度の粗いR色成分やB色成分に対して、そのまま倍率色収差補正(ここでは単純な補間処理)を実施すると、R色成分およびB色成分の微細構造がたちまち消失してしまう。
一方、特許文献2では、RB位置の相補的係数をG成分に乗じるため、R成分またはB成分の画素位置に、G成分が存在する必要がある。そのため、ベイヤー配列などのRAWデータに対して、この方法を直に適用することはできない。
また一方、特許文献3では、G成分を、倍率色収差によってずれたR成分やB成分に合わせて変倍する。そのため、生成される色差成分(R−G),(B−G)は、元のG成分に対して画素位置がずれる。そのため、有彩色の色構造がある画像領域では、
G成分と色差成分との間の位置ズレを無視できず、倍率色収差は正確に補正されない。さらには、この位置ズレの影響によって、有彩色の色構造が破壊される危険性もある。
以上の理由から、上述した従来技術では、RAWデータに対して、高画質に倍率色収差を補正することが困難であった。
そこで、本発明は、RAWデータに対して、高画質に倍率色収差を補正することを目的とする。
《1》 本発明の画像処理装置は、入力部、色ズレ情報取得部、および色ズレ抑制部を備える。
入力部は、補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり1種類の色成分を配した画像データを取り込む。
色ズレ情報取得部は、補正対象色成分の位置ズレに関する情報を取得または検出する。
色ズレ抑制部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
なお、上記の色ズレ抑制部は、位置ズレ補正部、画像構造抽出部、および画像構造補填部を備える。
位置ズレ補正部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
画像構造抽出部は、基準色成分から画像構造を抽出する。
画像構造補填部は、位置ズレ補正によって補正対象色成分から消失する画像構造を、画像構造抽出部で抽出した基準色成分の画像構造で補う。
《2》 なお好ましくは、画像構造抽出部は、補正対象色成分よりも画素密度が高い色成分を基準色成分とする。
《3》 また好ましくは、位置ズレ補正部は、補正対象色成分の画素位置Pの位置ズレ先P′について補正対象色成分を補間処理で求めて、画素位置Pの補正対象色成分とする。
画像構造抽出部は、画素位置Pの基準色成分Z1を補間処理で求める。さらに、画像構造抽出部は、位置ズレ補正部の補間処理で参照する画素間隔と同じ参照間隔の補間処理を実施して画素位置Pの基準色成分Z2を生成する。画像構造抽出部は、このように求めた両補間結果Z1,Z2の差異を抽出する。
一方、画像構造補填部は、位置ズレ補正部で位置ズレを補正された補正対象色成分に、画像構造抽出部で求めた両補間結果Z1,Z2の差異を付加する。
《4》 なお好ましくは、画像構造抽出部は、位置ズレ先P′の補間処理に使用する補正対象色成分について位置ズレを起こす前の元位置Qを得る。画像構造抽出部は、この元位置Qの基準色成分を補間して、画素位置Pの基準色成分Z2を求める。
《5》 本発明の別の画像処理装置は、入力部、色ズレ情報取得部、および色ズレ抑制部を備える。
入力部は、補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり少なくとも1種類の補正対象色成分が欠落した画像データを取り込む。
色ズレ情報取得部は、補正対象色成分の位置ズレに関する情報を取得または検出する。
色ズレ抑制部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
なお、上記の色ズレ抑制部は、基準色成分位置ずらし部、色差算出部、および色差位置ズレ補正部を備える。
基準色成分位置ずらし部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレに合わせて基準色成分の位置をずらす。
色差算出部は、基準色成分ずらし部によって位置のずれた基準色成分と、補正対象色成分とに基づいて、位置のずれた色差を求める。
色差位置ズレ補正部は、位置ズレに関する情報に基づき、色差の位置ズレを補正する。
《6》 なお好ましくは、色差位置ズレ補正部は、基準色成分位置ずらし部でずらす前の前記基準色成分の画素位置に合わせて、色差の位置ズレを補正する。
《7》 本発明の別の画像処理装置は、入力部、色ズレ情報取得部、および色ズレ抑制部を備える。
入力部は、補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり少なくとも1種類の補正対象色成分が欠落した画像データを取り込む。
色ズレ情報取得部は、補正対象色成分の位置ズレに関する情報を取得または検出する。
色ズレ抑制部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
なお、上記の色ズレ抑制部は、基準色成分補間部、色差算出部、および色差補間部を備える。
基準色成分補間部は、位置ズレに関する情報に基づき、補正対象色成分の画素位置Pについて位置ズレを起こす前の元位置P″を得る。さらに、基準色成分補間部は、元位置P″における基準色成分を補間処理により生成する。
色差算出部は、『画素位置Pの補正対象色成分』と『元位置P″の基準色成分』とから、元位置P″における色差成分C″を求める。
色差補間部は、元位置P″における色差成分C″を補間して、少なくとも画素位置Pの色差成分Cを求める。
《8》 なお好ましくは、色ズレ抑制部は、画素位置Pの基準色成分を補間処理により生成する。さらに、色ズレ抑制部は、画素位置Pの基準色成分および色差成分Cに基づいて、画素位置Pの補正対象色成分を生成する補正対象色成分生成部を備える。
《9》 また好ましくは、色ズレ抑制部は、元位置P″における色差成分C″を補間して、基準色成分の画素位置について色差成分Cを求める。さらに、色ズレ抑制部は、色差成分Cと基準色成分に基づいて、基準色成分の画素位置について補正対象色成分を生成する。
《10》 本発明の別の画像処理装置は、入力部、色ズレ情報取得部、および色ズレ抑制部を備える。
入力部は、補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり1種類の色成分を配した画像データを取り込む。
色ズレ情報取得部は、補正対象色成分の位置ズレに関する情報を取得または検出する。
色ズレ抑制部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
なお、上記の色ズレ抑制部は、基準色成分と補正対象色成分に基づいて補正対象色成分の色ズレを補正する。さらに、色ズレ抑制部は、色ズレ補正済みの補正対象色成分と、基準色成分とを画素配列した、1画素当たり1種類の色成分を配した画像データを生成する。
《11》 本発明の画像処理プログラムは、コンピュータを、請求項1ないし請求項10のいずれか1項に記載の画像処理装置として機能させるためのプログラムである。
《12》 本発明の電子カメラは、上記《1》〜《10》のいずれか1項に記載の画像処理装置と、被写体を撮像して、1つの画素が1つの色成分を有する画像データを生成する撮像部とを備える。
上記構成において、画像処理装置は、撮像部で生成された画像データを画像処理装置で処理して色ズレを補正することを特徴とする。
《13》 本発明の画像処理装置は、上記《1》と同じ画像処理を実施する画像処理方法である。
《14》 本発明の別の画像処理方法は、上記《7》と同じ画像処理を実施する画像処理方法である。
本発明は、少なくとも1つの色成分が欠落した画素から成る画像データの補正対象色成分の位置ズレ補正において、別の色成分(基準色成分)を参照する。したがって、補正対象色成分の画素密度が粗くても、基準色成分を参照することで、位置ズレ補正において参照する画素間隔を実質的に密にすることができる。このように画素間隔を密にして位置ズレ補正を実施することにより、画像の微細構造を良好に残した位置ズレ補正が可能となる。
したがって、本発明の技術により、微細構造の消失の少ない高画質な倍率色収差補正が実現する。
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。
第1実施形態の構造を示すブロック図である。 画像処理装置11の動作を説明する流れ図である。 位置ズレ先P′のR補間処理を示す図である。 2種類のG補間処理を説明する図である。 倍率色収差を粗く補正したR補間値《R》を説明する図である。 G補間値Z1,Z2の差異を用いて、R補間値《R》の画像構造を補う様子を示す説明図である。 第2実施形態の構造を示すブロック図である。 画像処理装置51の動作を説明する流れ図(前半)である。 画像処理装置51の動作を説明する流れ図(後半)である。 元位置P″の色差成分C″を求める処理を説明する図である。 色差成分Cと補間G色成分から補正済みR色成分を求める処理を説明する図である。
《第1実施形態》
[第1実施形態の構成説明]
図1は、第1実施形態の構造を示すブロック図である。
図1において、電子カメラ1は、撮像部10および画像処理装置11を備えて構成される。この撮像部10は、撮影光学系(不図示)を介して被写体を撮像し、RAWデータを生成する。このRAWデータは、RGB色成分をベイヤー配列した画像データである。画像処理装置11は、このRAWデータの倍率色収差を補正し、補正済みのRAWデータを出力する。
この画像処理装置11は、次のような構成を備える。
(1)WB補正部12・・RAWデータに対してホワイトバランス調整処理を実施する。
(2)ガンマ変換部13・・RAWデータに対してガンマ変換を実施する。
(3)色ズレ情報取得部14・・倍率色収差による位置ズレ情報(各色成分の像倍率の差や、位置ズレの画面内分布を示すデータなど)を取得または検出する。
(4)類似方向判定部15・・画像構造の局所的な類似方向を判定する。なお、国際公開WO03/058554号パンフレットに記載の方法により、倍率色収差の位置ズレを考慮した類似方向の判定を実施してもよい。また、同色間のみで簡易に類似方向の判定を実施してもよい。例えば、G色成分のみの類似方向であれば、倍率色収差の影響を受けずに類似方向を判定することができる。
(5)位置ズレ補正部16・・RAWデータ中のR色成分やB色成分について、補間処理による簡易な位置ズレ補正を実施し、倍率色収差を粗く補正したR色成分やB色成分を出力する。
(6)画像構造抽出部17・・位置ズレ補正部16で消失する画像構造の代わりに、画素密度の高いG色成分から微細な画像構造を抽出する。
(7)画像構造補填部18・・倍率色収差を粗く補正したR色成分やB色成分に対し、画像構造抽出部17で抽出したG色成分の微細画像構造を補って、微細構造の消失の少ないR色成分およびB色成分を生成する。
[第1実施形態の動作説明]
図2は、画像処理装置11の処理手順を示す流れ図である。
以下、図2のステップ番号に沿って、第1実施形態の具体的な動作について説明する。
ステップS1: WB補正部12にRAWデータが入力される。
ステップS2: WB補正部12は、RAWデータ中のR色成分およびB色成分について、信号ゲインをそれぞれ変更して、ホワイトバランスを調整する。通常、このホワイトバランスは、RGB色成分の信号レベルを平均的に揃える方向に調整が行われる。この調整により、ステップS10でG色成分から抽出する信号レベルと、ステップS5の位置ズレ補正でRB色成分から消失する信号レベルとをおおよそ揃えておくことができる。
続いて、ガンマ変換部13は、ホワイトバランス調整後のRAWデータに対してガンマ補正を施す。
ステップS3: 色ズレ情報取得部14は、倍率色収差によるR色成分の位置ズレ情報を取得または検出する。例えば、この色ズレ情報取得部14は、撮影光学系との通信情報や、RAWデータに付帯する撮影情報から、この位置ズレ情報を取得することができる。また、RAWデータから色成分間のエッジ位置のずれ幅を検出するなどして、位置ズレ情報を検出することもできる。
ステップS4: 位置ズレ補正部16は、位置ズレ情報を用いて、RAWデータ中でR色成分が配列される画素位置Pについて、倍率色収差の位置ズレ先P′を求める(図3参照)。
ステップS5: この位置ズレ先P′のR色成分こそが、倍率色収差の無い状態で画素位置Pに現れるR色成分となる。そこで、位置ズレ補正部16は、図3に示すように、近傍のR色成分を補間し、位置ズレ先P′のR補間値《R》を求める。ここでの補間処理には、バイキュービック、線形補間など公知の補間技術を使用することができる。位置ズレ補正部16は、このR補間値《R》を、画素位置Pの簡易補正値として画像構造補填部18へ出力する。
ステップS6: 画像構造抽出部17は、R補間値《R》の補間時に使用した近傍のR画素の位置(図4に示す位置Q′)を位置ズレ補正部16から得る。画像構造抽出部17は、位置ズレ情報により、これら位置Q′のR色成分について位置ズレを起こす前の位置(図4に示す元位置Q)を求める。
ステップS7: 撮像面上において本来同じ像高位置に到達すべきR光とG光は、倍率色収差によって変位し、一方のR光は位置Q′に到達し、もう一方のG光は元位置Qに到達する。したがって、位置Q′のR色成分の群が示す画像構造と、元位置QのG色成分の群が示す画像構造とは、本来は同じ像位置に重なるべき画像構造である。
そこで、画像構造抽出部17は、これら元位置Qのそれぞれについて、画素密度の高いG色成分による補間処理を実施して補間値Gを求める。ここでの補間処理には、バイキュービックや線形補間などの補間処理や、または類似方向判定部15による類似性判別結果を用いた補間処理などが好ましい。
ステップS8: 画像構造抽出部17は、元位置Qのそれぞれの補間値Gを用いて更に補間することにより、画素位置PのG補間値Z2を求める。このG補間値Z2は、R補間値《R》と同じ条件(参照間隔、同じ像位置の画像構造)で粗く補間した結果となる。
ステップS9: 画像構造抽出部17は、類似性判別を利用した高精度なG補間処理を実施して、画素位置Pの高精度なG補間値Z1を求める。
ステップS10: 画像構造抽出部17は、2種類のG補間の結果Z1とZ2との差異から、粗いG補間値Z2で消失したG色成分の画像構造を抽出する。ここでの差異は、Z1とZ2との差分を演算してもよいし、またZ1とZ2の比に応じた値を求めてもよい。
ステップS11: 自然画の多くは、各色成分の画像構造は類似した傾向を示す。したがって、ステップS10で求めた画像構造は、R補間値《R》から消失したR色成分の画像構造とよく類似する。
そこで、画像構造補填部18は、ステップS5で求めたR補間値《R》に、ステップS10で求めたZ1とZ2の差異を補って、補正済みR色成分を生成する。
ここでの演算は、ステップS10の差異を、R補間値《R》にそのまま加算してもよい。また、ステップS10の差異に、効果調整用の重み係数を乗じた上で、R補間値《R》に加算してもよい。さらに、過度な誤差が生じないよう、ステップS10の差異にリミット(ハードリミット、または対数カーブのようなソフトリミットなど)をかけた上で、R補間値《R》に加算してもよい。また、加算の代わりに、ステップS10の差異をR補間値《R》に乗算してもよい。
ステップS12: RAWデータ中のB色成分についても、ステップS3〜S11と同じ処理を実施し、補正済みB色成分を生成する。
ステップS13: 画像構造補填部18は、補正済みR色成分、補正済みB色成分、およびG色成分を画素配列したRAWデータを出力する。
[第1実施形態の効果など]
図5は、倍率色収差を粗く補正したR補間値《R》を求める様子を説明する図である。この処理では、R色成分の画素密度が粗いため、図5に示すように、微細な起伏がR補間値《R》から大部分消失してしまう。
図6は、G色成分からG補間値Z1,Z2を求める様子を説明する図である。
G補間値Z2については、R補間値《R》の算出と同一条件(参照間隔および画像構造)で処理した値である。そのため、G補間値Z2とR補間値《R》とは類似した傾向を示す。特に、同じ参照間隔で補間処理を行うため、G補間値Z2とR補間値《R》とは、高域の空間周波数成分の消失具合がよく類似する。また、G補間値Z2とR補間値《R》とは、本来同じ位置に重なるべき画像構造を補間して生成するため、起伏の位相的な特徴もよく類似する。
ところで、G色成分については、RAWデータ中の画素密度が本来高く、かつ類似性判断を加味することも可能となる。そのため、粗い補間結果であるG補間値Z2とは別に、高精度なG補間値Z1を求めることができる。
したがって、2種類の補間結果Z1,Z2の差異を求めることによって、G補間値Z2の算出過程で消失した局所的な起伏を求めることができる。この起伏から、R補間値《R》の算出過程で消失した画像構造を補うことができる。その結果、倍率色収差による位置ズレを補正しつつ、かつ画像構造をよく保存した補正済みR色成分を得ることができる。
さらに、第1実施形態では、同様の処理をB色成分についても実施し、補正済みB色成分を求める。このような倍率色収差補正により、倍率色収差による位置ズレがなく、かつ画像構造をよく保存したRAWデータを生成することが可能になる。
また、撮影光学系の種類によっては倍率色収差が充分に小さく、倍率色収差補正が不要となる場合もある。そのため、電子カメラ1内では倍率色収差補正の適用/非適用を柔軟に変更できることが好ましい。第1実施形態は、倍率色収差補正の適用/非適用のいずれであっても、取り扱うRAWデータのデータ形式は変わらない。そのため、後段の処理部(不図示)では、倍率色収差補正の適用/非適用のどちらでも基本的な処理構成を切り替える必要がない。その結果、全体の回路規模を小さくできる。また、倍率色収差補正の適用/非適用のどちらにおいても、全体の画像処理の傾向を同一に保つことが可能になる。
その上、ナイキスト周波数構造における色ズレも精度良く補正されるため、色補間時の類似性判断の間違いや補間値算出誤差を低減することもできる。
次に、別の実施形態について説明する。
《第2実施形態》
[第2実施形態の構成説明]
図7は、第2実施形態の構造を示すブロック図である。なお、第1実施形態(図1)と同じ構成については同一番号を付与し、ここでの重複説明を省略する。
図7に示すように、電子カメラ5は、撮像部10および画像処理装置51を備えて構成される。この画像処理装置51は、次の構成を備える。
(1)G補間部31・・RAWデータ中のG色成分について補間処理を実施する。
(2)色差生成部32・・R(B)色成分と補間G色成分とから色差成分C″を生成する。
(3)色差補間部33・・色差成分C″を補間して、倍率色収差の位置ズレを補正した色差成分Cを生成する。
(4)RB生成部34・・色差成分Cと補間G色成分とから、倍率色収差の位置ズレを補正したRAWデータまたは画像データを生成する。
[第2実施形態の動作説明]
図8および図9は、画像処理装置51の動作を説明する流れ図である。
以下、図8および図9のステップ番号に沿って、第2実施形態の具体的な動作について説明する。
ステップS31〜S33: 第1実施形態のステップS1〜S3と同じ処理
ステップS34: G補間部31は、位置ズレ情報を用いて、RAWデータのR色成分を有する画素位置Pについて、位置ズレ前の元位置P″を求める(図10参照)。
ステップS35: G補間部31は、RAWデータのG色成分について補間処理を実施し、これら元位置P″の補間G色成分を求める。ここでの補間処理には、類似性判別を利用した高精度な補間処理が好ましい。
ステップS36: 色差生成部32は、画素位置PのR色成分と、元位置P″の補間G色成分とから、色差成分C″を求める(図10参照)。この色差成分C″は、倍率色収差が無ければ、元位置P″に本来現れる色差成分である。
ステップS37: 画像処理装置51は、倍率色収差補正のみを実施する場合、ステップS38に動作を移行する。一方、色補間処理も併せて実施する場合には、ステップS43に動作を移行する。
ステップS38: G補間部31は、G色成分の補間処理を実施し、R色成分が位置する画素位置Pの補間G色成分を求める。ここでの補間処理には、類似性判別を利用した高精度な補間処理が好ましい。
ステップS39: 一方、色差補間部33は、元位置P″の色差成分C″を補間して、画素位置Pの色差成分Cを生成する(図11参照)。
ステップS40: RB生成部34は、画素位置Pの補間G色成分および色差成分Cに基づいて、補正済みR色成分を生成する(図11参照)。例えば、下式を用いて補正済みR色成分を求めてもよい。
補正済みR色成分=色差成分C+補間G色成分
ステップS41: RAWデータ中のB色成分についても、ステップS33〜S40と同じ処理を実施し、補正済みB色成分を生成する。
ステップS42: RB生成部34は、補正済みR色成分、補正済みB色成分、およびG色成分を画素配列してなるRAWデータを出力する。
以上の動作により、画像処理装置51は、RAWデータに対する倍率色収差の補正処理を完了する。
ステップS43: ステップS43以降は、倍率色収差補正および色補間処理を併せて実施する。そのため、G補間部31は、RAWデータ中のG色成分を補間し、全画素についてG色成分を求める。ここでの補正も類似性判別を利用した高精度な補間処理を実施することが好ましい。
ステップS44: 色差補間部33は、元位置P″の色差成分C″を補間して、全画素について色差成分Cを生成する。
ステップS45: RB生成部34は、全画素のG色成分および色差成分Cに基づいて、全画素の補正済みR色成分を生成する。
ステップS46: RAWデータ中のB色成分についても、ステップS33〜S37およびステップS43〜S45と同じ処理を実施し、全画素の補正済みB色成分を生成する。
ステップS47: RB生成部34は、画素ごとに、補正済みR色成分、補正済みB色成分、およびG色成分を有する画像データを出力する。
以上の動作により、画像処理装置51は、倍率色収差補正および色補間処理を完了する。
[第2実施形態の効果など]
通常、倍率色収差を生じた画像から色差成分を求めると、色成分間の僅かな位置ズレに起因して、色差成分にピーク状の誤差が多数発生する。
しかしながら、第2実施形態では、R色成分とG色成分の位置ズレを予め除去した上で、色差成分C″を求める。そのため、色差成分C″に、ピーク状の誤差は殆ど生じず、色差を正確に求めることができる。
また、高密度に存在するG色成分を用いて補間値を算出するので、ナイキスト周波数近傍において正確な補間値を算出して高精度に位置ズレを補正でき、位置ズレがあるときにナイキスト構造部に発生するモアレや偽色を抑制できる。
また、自然画の多くでは、RGBの各色成分の高域構造は類似した傾向を示す。したがって、各色成分の差または比によって色差成分を生成すると、色差成分の高域構造は、RGBの高域構造に比べて非常に小さくなる傾向がある。したがって、色差成分C″を補間して色差成分Cを求める際に高域情報がある程度欠落しても、最終的な画質にほとんど影響しない。
さらに、第2実施形態では、補間後の色差成分Cと、G色成分とを合わせることによって、補正済みR色成分を生成する。この処理において、G色成分の微細画像構造が補正済みR色成分に反映されるため、微細な画像構造を有する補正済みR色成分を得ることができる。
この処理は、第1実施形態のように、G色成分から抽出した構造情報を、粗く補正されたR色成分に補足して微細構造を与える処理と同じ効果をもたらす。
また、第2実施形態では、同様の処理をB色成分について実施する。そのため、倍率色収差による位置ズレがなく、かつ画像構造をよく保存したRAWデータまたは画像データを生成することが可能になる。
さらに、第2実施形態のステップS38〜S42では、倍率色収差補正後の画像をRAWデータの形態で出力する。そのため、後段の処理部(不図示)では、倍率色収差補正の適用/非適用のどちらでも、RAWデータに対応すればよく、基本的な処理構成を切り替える必要がない。その結果、全体の回路規模を小さくできる。また、倍率色収差補正の適用/非適用のどちらにおいても、全体の画像処理の傾向を同一に保つことが可能になる。
その上、ナイキスト周波数構造における色ズレも精度良く補正されるため、その後に色補間を実施する際の類似性判断の間違いや補間値算出誤差を低減することができる。
一方、第2実施形態のステップS43〜S47では、倍率色収差補正および色補間処理を併せて実施することが可能になる。その結果、倍率色収差補正および色補間処理を別々に実施するより、無駄な演算処理(色差算出など)を省くことが可能になり、処理速度の向上や、回路規模の縮小を達成できる。
なお、第2実施形態のステップS35,S36では、元位置P″における色差成分C″を生成する。この場合、元位置P″の画素座標は、必ずしも整数値ではないため、色差成分C″を画像メモリ上に記録することは困難となる。この場合は、元位置P″に対応付ける代わりに、例えば、画素位置Pに対応付けて色差成分C″を記録すればよい。この処理を前提とすると、ステップS35,S36の処理については、以下のような解釈も可能になる。
すなわち、元位置P″の位置のG成分を補間生成し、そのG成分の値を画素位置Pにずらす(例えば、画素位置Pのメモリアドレスに記憶する)。この画素位置PのG成分(位置をずらした基準色成分)と、画素位置PのR成分(元から位置のずれている補間対象色成分)との差分をとることにより、位置のずれた色差成分C″を画素位置Pに生成する。
この解釈のもとでは、ステップS39またはステップS44は、画素位置Pの色差成分C″を元位置P″にずらして位置ズレを補正した後、画素位置Pまたは全画素について、位置ズレの補正された正しい色差成分Cを補間生成する処理となる。
以上のような解釈は、第2実施形態の動作説明とは一見異なる表現に見えるが、実際には同等の処理である。
《実施形態の補足事項》
なお、第2実施形態ではベイヤ画像の倍率色収差を補正する処理について説明した。しかしながら、第2実施形態の処理対象はベイヤ画像に限定されない。例えば、2板式撮像素子で生成された画像データの処理も可能である。一般に、2板式撮像素子を、Gフィルタを全面配置した撮像素子と、RBフィルタを市松配列した撮像素子とから構成した場合、1画素当たりR成分/B成分のいずれかが欠落した画像データが生成される。この種の画像データに対して第2実施形態と同様に色ズレ補正を実施することにより、補正後のR成分とB成分に対してG成分の微細構造情報を補う効果が得られる。
また、上述した実施形態では、電子カメラ(画像処理装置を含む)の実施形態について説明した。しかしながら、本発明はこれに限定されるものではない。上述したRAWデータの処理(図2,図8、図9参照)を、コンピュータ(画像処理プログラム)で実行してもよい。
なお、上述した実施形態では、RGBベイヤー配列のRAWデータについて説明した。しかしながら、色成分はRGBに限定されるものではない。また、RAWデータの色配列パターンはベイヤー配列に限定されるものではない。一般的には、RAWデータ中の画素密度の粗い色成分を補正対象色成分とし、画素密度の細かい色成分を基準色成分とすることによって、上述した実施形態と同様の効果を得ることができる。
さらに、上述したRAWデータの画像処理方法を、インターネット上の画像サーバー(例えはアルバムサーバーなど)を用いてサービス提供することも可能である。
また、上述した実施形態では、倍率色収差に起因する色ズレを補正するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。本発明は、倍率色収差とは別の要因による色ズレを補正することも可能である。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
以上説明したように、本発明は、RAWデータの画像処理などに利用可能な技術である。

Claims (14)

  1. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり1種類の前記色成分を配した画像データを取り込む入力部と、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得部と、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制部とを備え、
    前記色ズレ抑制部は、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の前記位置ズレを補正する位置ズレ補正部と、
    前記基準色成分から画像構造を抽出する画像構造抽出部と、
    前記位置ズレ補正によって前記補正対象色成分から消失する画像構造を、前記画像構造抽出部で抽出した前記基準色成分の画像構造で補う画像構造補填部とを備えた
    ことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において
    前記画像構造抽出部は、
    前記補正対象色成分よりも画素密度が高い色成分を前記基準色成分とする
    ことを特徴とする画像処理装置。
  3. 請求項1または請求項2に記載の画像処理装置において、
    前記位置ズレ補正部は、
    前記補正対象色成分の画素位置Pの位置ズレ先P′について前記補正対象色成分を補間処理で求めて、前記画素位置Pの補正対象色成分とし、
    前記画像構造抽出部は、
    前記画素位置Pの基準色成分Z1を補間処理で求め、さらに前記位置ズレ補正部の補間処理で参照する画素間隔と同じ参照間隔の補間処理を実施して前記画素位置Pの基準色成分Z2を生成し、両補間結果Z1,Z2の差異を抽出し、
    前記画像構造補填部は、
    前記位置ズレ補正部で位置ズレを補正された前記補正対象色成分に、前記画像構造抽出部で求めた両補間結果Z1,Z2の差異を付加する
    ことを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記画像構造抽出部は、
    前記位置ズレ先P′の補間処理に使用する前記補正対象色成分について前記位置ズレを起こす前の元位置Qを得て、前記元位置Qの基準色成分を補間して前記画素位置Pの前記基準色成分Z2を求める
    ことを特徴とする画像処理装置。
  5. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり少なくとも1種類の前記補正対象色成分が欠落した画像データを取り込む入力部と、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得部と、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制部とを備え、
    前記色ズレ抑制部は、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレに合わせて前記基準色成分の位置をずらす基準色成分位置ずらし部と、
    前記基準色成分ずらし部によって位置のずれた前記基準色成分と、前記補正対象色成分とに基づいて、位置のずれた色差を求める色差算出部と、
    前記位置ズレに関する情報に基づき、前記色差の位置ズレを補正する色差位置ズレ補正部とを備えた
    ことを特徴とする画像処理装置。
  6. 請求項6に記載の画像処理装置において、
    前記色差位置ズレ補正部は、前記基準色成分位置ずらし部でずらす前の前記基準色成分の画素位置に合わせて、色差の位置ズレを補正する
    ことを特徴とする画像処理装置。
  7. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり少なくとも1種類の前記補正対象色成分が欠落した画像データを取り込む入力部と、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得部と、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制部とを備え、
    前記色ズレ抑制部は、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の画素位置Pについて前記位置ズレを起こす前の元位置P″を得て、前記元位置P″における基準色成分を補間処理により生成する基準色成分補間部と、
    『前記画素位置Pの補正対象色成分』と『前記元位置P″の基準色成分』とから、前記元位置P″における色差成分C″を求める色差算出部と、
    前記元位置P″における色差成分C″を補間して、少なくとも画素位置Pの色差成分Cを求める色差補間部とを備えた
    ことを特徴とする画像処理装置。
  8. 請求項7に記載の画像処理装置において、
    前記色ズレ抑制部は、
    画素位置Pの基準色成分を補間処理により生成し、画素位置Pの基準色成分および色差成分Cに基づいて、画素位置Pの補正対象色成分を生成する補正対象色成分生成部を備えた
    ことを特徴とする画像処理装置。
  9. 請求項7に記載の画像処理装置において、
    前記色ズレ抑制部は、
    前記元位置P″における色差成分C″を補間して、基準色成分の画素位置について色差成分Cを求め、色差成分Cと基準色成分に基づいて、基準色成分の画素位置について補正対象色成分を生成する
    ことを特徴とする画像処理装置。
  10. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり1種類の前記色成分を配した画像データを取り込む入力部と、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得部と、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制部とを備え、
    前記色ズレ抑制部は、
    前記基準色成分と前記補正対象色成分に基づいて前記補正対象色成分の色ズレを補正し、色ズレ補正済みの補正対象色成分と、前記基準色成分とを画素配列した、1画素当たり1種類の前記色成分を配した画像データを生成する
    ことを特徴とする画像処理装置。
  11. コンピュータを、請求項1ないし請求項10のいずれか1項に記載の画像処理装置として機能させるための画像処理プログラム。
  12. 請求項1ないし請求項10のいずれか1項に記載の画像処理装置と、
    被写体を撮像して、1つの画素が1つの色成分を有する画像データを生成する撮像部とを備え、
    前記撮像部で生成された前記画像データを前記画像処理装置で処理して色ズレを補正する
    ことを特徴とする電子カメラ。
  13. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり1種類の前記色成分を配した画像データを取り込む入力ステップと、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得ステップと、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制ステップとを備え、
    前記色ズレ抑制ステップは、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の前記位置ズレを補正する位置ズレ補正ステップと、
    前記基準色成分から画像構造を抽出する画像構造抽出ステップと、
    前記位置ズレ補正によって前記補正対象色成分から消失する画像構造を、前記画像構造抽出ステップで抽出した前記基準色成分の画像構造で補う画像構造補填ステップとを備えた
    ことを特徴とする画像処理方法。
  14. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、1画素当たり少なくとも1種類の前記補正対象色成分が欠落した画像データを取り込む入力ステップと、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得ステップと、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制ステップとを備え、
    前記色ズレ抑制ステップは、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の画素位置Pについて前記位置ズレを起こす前の元位置P″を得て、前記元位置P″における基準色成分を補間処理により生成する基準色成分補間ステップと、
    『前記画素位置Pの補正対象色成分』と『前記元位置P″の基準色成分』とから、前記元位置P″における色差成分C″を求める色差算出ステップと、
    前記元位置P″における色差成分C″を補間して、少なくとも画素位置Pの色差成分Cを求める色差補間ステップとを備えた
    ことを特徴とする画像処理方法。
JP2007506020A 2005-03-04 2006-03-03 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ Active JP5071104B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007506020A JP5071104B2 (ja) 2005-03-04 2006-03-03 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005061015 2005-03-04
JP2005061015 2005-03-04
PCT/JP2006/304079 WO2006093266A1 (ja) 2005-03-04 2006-03-03 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
JP2007506020A JP5071104B2 (ja) 2005-03-04 2006-03-03 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ

Publications (2)

Publication Number Publication Date
JPWO2006093266A1 true JPWO2006093266A1 (ja) 2008-08-07
JP5071104B2 JP5071104B2 (ja) 2012-11-14

Family

ID=36941296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007506020A Active JP5071104B2 (ja) 2005-03-04 2006-03-03 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ

Country Status (4)

Country Link
US (1) US7945091B2 (ja)
EP (2) EP3258687A1 (ja)
JP (1) JP5071104B2 (ja)
WO (1) WO2006093266A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4709084B2 (ja) * 2006-07-07 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP4921265B2 (ja) * 2007-07-11 2012-04-25 キヤノン株式会社 撮像装置及び画像処理方法
JP5080305B2 (ja) 2008-02-13 2012-11-21 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
JP4966894B2 (ja) * 2008-03-18 2012-07-04 株式会社リコー 画像撮像装置
JP5147577B2 (ja) * 2008-07-09 2013-02-20 キヤノン株式会社 画像処理装置およびその方法
JP5343441B2 (ja) * 2008-08-05 2013-11-13 セイコーエプソン株式会社 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
US8223231B2 (en) * 2008-08-21 2012-07-17 Panasonic Corporation Imaging apparatus and image processing program
EP2164268A1 (en) * 2008-09-15 2010-03-17 Telefonaktiebolaget LM Ericsson (PUBL) Image processing for aberration correction
JP5505135B2 (ja) * 2010-06-30 2014-05-28 ソニー株式会社 画像処理装置、画像処理方法、および、プログラム
CN102575930B (zh) * 2010-07-23 2014-10-01 丰田自动车株式会社 距离测定装置以及距离测定方法
JP2012070046A (ja) * 2010-09-21 2012-04-05 Sony Corp 収差補正装置、収差補正方法、および、プログラム
JP5367053B2 (ja) 2011-02-28 2013-12-11 キヤノン株式会社 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
CN102158731B (zh) * 2011-05-26 2014-03-12 威盛电子股份有限公司 影像处理系统及方法
CN102158730B (zh) * 2011-05-26 2014-04-02 威盛电子股份有限公司 影像处理系统及方法
JP5818586B2 (ja) * 2011-08-31 2015-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5868076B2 (ja) 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP6051592B2 (ja) * 2012-05-18 2016-12-27 株式会社ニコン 画像処理装置および撮像装置
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
JP6137910B2 (ja) * 2013-03-29 2017-05-31 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP2797326A1 (en) * 2013-04-22 2014-10-29 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Image color correction
CN112822370B (zh) * 2021-01-12 2022-11-15 Oppo广东移动通信有限公司 电子设备、前置图像信号处理器及图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69029507T2 (de) 1989-11-09 1997-05-15 Ikegami Tsushinki Kk Bildeinstellungs- und Konturkorrekturschaltung und Verfahren für Festkörperkamera
JP2552742B2 (ja) 1989-11-09 1996-11-13 池上通信機株式会社 適応型輪郭補正回路
US6853400B1 (en) * 1998-06-16 2005-02-08 Fuji Photo Film Co., Ltd. System and method for correcting aberration of lenses through which images are projected
US6246857B1 (en) * 1998-11-24 2001-06-12 Kabushiki Kaisha Toshiba Image forming apparatus
JP2000299874A (ja) * 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
JP4599672B2 (ja) * 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP4402230B2 (ja) 1999-12-22 2010-01-20 オリンパス株式会社 画像処理装置
JP2002112276A (ja) 2000-09-29 2002-04-12 Toshiba Corp カラー固体撮像装置
US7346210B2 (en) * 2001-12-28 2008-03-18 Nikon Corporation Image processing device and image processing program for determining similarity factors of pixels
JP4004904B2 (ja) * 2002-09-17 2007-11-07 シャープ株式会社 画像形成装置、および、画像形成装置の色重ね調整方法
JP2004153323A (ja) * 2002-10-28 2004-05-27 Nec Micro Systems Ltd 色収差補正画像処理システム

Also Published As

Publication number Publication date
EP1855486A4 (en) 2011-08-03
EP1855486B1 (en) 2017-09-20
WO2006093266A1 (ja) 2006-09-08
JP5071104B2 (ja) 2012-11-14
US7945091B2 (en) 2011-05-17
EP1855486A1 (en) 2007-11-14
US20090207271A1 (en) 2009-08-20
EP3258687A1 (en) 2017-12-20

Similar Documents

Publication Publication Date Title
JP5071104B2 (ja) 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
US7667738B2 (en) Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera
US7916937B2 (en) Image processing device having color shift correcting function, image processing program and electronic camera
JP4700445B2 (ja) 画像処理装置および画像処理プログラム
JP2002237998A (ja) 画面補正方法及び撮像装置
US8427560B2 (en) Image processing device
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
US7317482B2 (en) Distance calculating method and imaging device
JP4321064B2 (ja) 画像処理装置および画像処理プログラム
KR100956228B1 (ko) 왜곡 영상 보정 기능을 갖는 영상처리 장치
JP4945942B2 (ja) 画像処理装置
WO2017154293A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR20100051744A (ko) 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체
JP5353945B2 (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
JP5309940B2 (ja) 画像処理装置、および撮像装置
JP4797478B2 (ja) 画像処理装置
JP2009302960A (ja) 映像信号処理装置並びにプログラム及び方法
JP5453858B2 (ja) 画像合成装置、及び画像合成プログラム
WO2008068889A1 (ja) 画像の色を補正する画像処理装置、および画像処理プログラム
WO2007026655A1 (ja) 画像の色ズレ処理を行う画像処理装置、プログラム、撮像装置、および方法
JPH10200902A (ja) 画像処理装置
JP2008148003A (ja) 画像の色を補正する画像処理装置、および画像処理プログラム
JP2008042749A (ja) 電子カメラ、および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

R150 Certificate of patent or registration of utility model

Ref document number: 5071104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250