JP5566270B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5566270B2
JP5566270B2 JP2010258936A JP2010258936A JP5566270B2 JP 5566270 B2 JP5566270 B2 JP 5566270B2 JP 2010258936 A JP2010258936 A JP 2010258936A JP 2010258936 A JP2010258936 A JP 2010258936A JP 5566270 B2 JP5566270 B2 JP 5566270B2
Authority
JP
Japan
Prior art keywords
level
value
average
luminance
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010258936A
Other languages
English (en)
Other versions
JP2012108850A (ja
Inventor
大祐 鈴木
善隆 豊田
孝一 山下
俊 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010258936A priority Critical patent/JP5566270B2/ja
Publication of JP2012108850A publication Critical patent/JP2012108850A/ja
Application granted granted Critical
Publication of JP5566270B2 publication Critical patent/JP5566270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は入力画像の輝度信号を補正する画像処理装置に関するものである。特に霧、霞、雨天などで撮影した輝度信号分布の狭い画像に対して被写体(人、動物、車両、道路標識など)の視認性を上げるために画像の輝度信号の階調補正を行う画像処理装置に関する。
従来からの輝度信号の階調補正においては、入力画像の輝度信号分布を取得し、取得した輝度信号分布の最小値、最大値、平均値、中央値、標準偏差および分散値から、輝度信号の階調補正を行うように構成している(例えば、特許文献1参照)。
従来の画像処理装置においては、霧、霞、雨天などで撮影した画像に対しては、画像の輝度信号分布の平均値、標準偏差、中間値の2値ないしは3値全てに基づいて、画像補正処理の要否や補正量を判定し、画像補正を行うように構成するものがある(例えば、特許文献2参照)。
特開平3−126377号公報 特開2010−147969号公報
従来の画像処理装置は、以上のように構成されているので、入力画像の輝度信号から得られる情報(輝度信号分布の平均値など)に基づいた輝度信号に対する階調補正を行っており、入力画像の輝度信号以外の情報、例えば、色差信号や原色信号R、G、Bの情報を使用していないために、輝度信号に対する階調補正の結果、補正後の画像の色相が変化するという問題があった。
本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、霧などにより輝度信号分布が狭い画像に対して補正を行うことができ、かつ色相の変化が少ない視認性の改善された画像を得ることができる画像処理装置を提供することにある。
上記の課題を解決するため本発明の一態様の画像処理装置は、
入力画像信号から、該入力画像信号を構成する輝度信号のオフセットレベルを減算してオフセット画像信号を生成する減算手段と、
前記オフセット画像信号に第1のゲインを乗算して第1の補正画像信号を生成する第1の乗算手段と、
前記第1の補正画像信号に第2のゲインを乗算して第2の補正画像信号を生成する第2の乗算手段と、
前記入力画像信号から、該入力画像信号の黒レベルを検出し、検出された前記黒レベルに基づいて前記オフセットレベルを生成するオフセットレベル生成手段と、
前記入力画像信号の前記黒レベル基づいて前記第1のゲインを生成する第1のゲイン生成手段と、
前記入力画像信号から、該入力画像信号の第1の平均画像レベルを求め、前記第2の補正画像信号から、該第2の補正画像信号の色飽和補正レベルを求め、求められた前記第1の平均画像レベル及び前記色飽和補正レベルに基づいて前記第2のゲインを生成する第2のゲイン生成手段と
を備えることを特徴とする。
本発明によれば、入力画像の輝度信号だけでなく、入力画像の輝度信号と色差信号をマトリクス演算することにより算出される原色信号R、G、Bの情報を使用するように構成したので、霧などにより輝度信号分布が狭い画像において、色相の変化を少なくすることができる。
本発明の実施の形態1に係る画像処理装置の構成を概略的に示すブロック図である。 図1の黒画素計数手段13の構成例を示すブロック図である。 図1の原色信号画素代表値生成手段35の構成例を示すブロック図である。 図1の色飽和画素計数手段36の構成例を示すブロック図である。 補正対象画素と周辺領域との位置関係を示す図である。 各画面内における黒画素数NumBとオフセット係数KBの関係を示す図である。 (a)〜(c)は、実施の形態1における入力画像の輝度信号Yi、オフセット輝度信号Yofst、及びゲイン調整された輝度信号Ywの信号レベルの分布を示すヒストグラムである。 平均輝度値補正量算出手段38が設けられていない場合に得られる、補正画像の輝度信号Ywa’の信号レベルの分布を示すヒストグラムである。 平均輝度値補正量算出手段38が設けられている場合に得られる、補正画像の輝度信号Ywaの信号レベルの分布を示すヒストグラムである。 本発明の実施の形態2に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態2に係る画像処理装置の処理を示すフローチャートである。 実施の形態2に係る画像処理装置の処理を示すフローチャートである。
実施の形態1.
図1は本発明の実施の形態1に係る画像処理装置の構成を示す。
図示の画像処理装置は画像を構成する各画素の輝度信号(入力輝度信号)Yiと色差信号(入力色差信号)Cbi、及びCriを受けて、画像の輝度信号の階調補正を行うものである。各画素の輝度信号Yiと色差信号Cbi及びCriを合わせたものは入力画像信号Viとも呼ばれる。
画像処理装置は、複数の画素を順に補正対象画素として、当該画素の補正後の輝度信号Yoと色差信号Cbi及びCriから成る補正後の画像信号Voを出力する。
図示の画像処理装置は、オフセット減算手段1と、白補正ゲイン輝度乗算手段2と、平均輝度補正ゲイン輝度乗算手段3と、輝度信号飽和処理手段4と、設定値メモリ5と、周辺領域輝度平均手段11と、輝度最小値算出手段12と、黒画素計数手段13と、オフセット係数算出手段14と、オフセットレベル算出手段15と、白補正ゲイン算出手段21と、補正前平均輝度値算出手段31と、目標平均輝度値算出手段32と、平均輝度補正ゲイン算出手段33と、補正後平均輝度値算出手段34と、原色信号画素代表値生成手段35と、色飽和画素計数手段36と、色飽和量平均値算出手段37と、平均輝度値補正量算出手段38とを備える。
周辺領域輝度平均手段11は、入力画像輝度信号(入力輝度信号)Yiから周辺領域輝度平均値Yavgを画素ごとに算出する。
輝度最小値算出手段12は、周辺領域輝度平均手段11から出力される、各画素についての周辺領域輝度平均値Yavgの画面全体における輝度最小値Yminを算出し、画像信号の黒レベルとして検出し、出力する。
黒画素計数手段13は、周辺領域輝度平均手段11から出力される周辺領域輝度平均値Yavgが所定の閾値Bmax以下となる画面内(画面全体の)の黒画素数NumBを算出する。
黒画素計数手段13は、例えば、図2に示すように、比較手段13aとカウンタ13bを備え、比較手段13aで周辺領域輝度平均手段11から出力される、各画素についての周辺領域輝度平均値Yavgを所定の閾値Bmaxと比較し、各画素についての周辺領域輝度平均値Yavgが閾値Bmax以下のときに第1の値、例えば「1」となり、そうでないときに第2の値、例えば「0」となる信号を出力し、比較手段13aの出力信号が「1」となる回数をカウンタ13bで画面全体にわたり計数し、計数結果を画面内の黒画素数NumBとして出力する。
閾値Bmaxは予め定められ、設定値メモリ5に記憶され、黒画素計数手段13に供給される。
オフセット係数算出手段14は、黒画素計数手段13から出力される黒画素数NumBから後述するオフセット係数KBを算出する。
オフセットレベル算出手段15は、輝度最小値算出手段12から出力される輝度最小値(輝度信号Yiの周辺領域輝度平均値の画面内最小値(黒レベル))Yminとオフセット係数算出手段14から出力されるオフセット係数KBから、後述のようにして画面単位でオフセットレベルOffsetを算出する。
周辺領域輝度平均手段11と、輝度最小値算出手段12と、黒画素計数手段13と、オフセット係数算出手段14と、オフセットレベル算出手段15とで、オフセットレベル生成手段10が構成されている。このオフセットレベル生成手段10は、入力輝度信号Yiの周辺領域輝度平均値の画面内最小値を検出し、検出した最小値を画像信号の黒レベルとして検出し、検出した黒レベルに基づいてオフセットレベルOffsetを生成する。
オフセット減算手段1は、入力画像の輝度信号(入力輝度信号)YiからオフセットレベルOffsetを減算し、オフセット輝度信号Yofstを算出する。オフセット輝度信号Yofstと入力色差信号Cbi及びCriとにより、オフセット画像信号Vofstが構成される。
白補正ゲイン算出手段21は、オフセットレベル算出手段15が出力するオフセットレベルOffsetから、後述のようにして白補正ゲイン値WGainを算出する。
オフセットレベル生成手段10と白補正ゲイン算出手段21とで、本実施の形態の白補正ゲイン生成手段20が構成されている。先にも述べたように、オフセットレベル生成手段10から出力されるオフセットレベルOffsetは画像信号の黒レベルに基づいて生成されたものであり、白補正ゲイン値WGainは、オフセットレベルOffsetに基づいて生成されるものであるので、白補正ゲイン値WGainは(間接的に)画像信号の黒レベルに基づいて生成されるものであるということもできる。白補正ゲインWGainは、第1のゲインとも呼ばれ、白補正ゲイン生成手段20は、第1のゲイン生成手段とも呼ばれる。
なお、白補正ゲイン生成手段20が、オフセットレベル生成手段10が備える部材(符号11〜15示す部材)と同様の部材を別個に備えることとしても良い。
白補正ゲイン輝度乗算手段2は、オフセット減算手段1が出力する輝度信号Yofstと白補正ゲイン算出手段21が出力する白補正ゲイン値WGainを乗算し、ゲイン調整された輝度信号Ywを算出する。ゲイン調整された輝度信号Ywと、入力色差信号Cbi及びCriとにより、第1の補正画像信号Vwが構成される。
補正前平均輝度値算出手段31は、入力画像の画面の全画素の輝度信号Yiの総和を算出し、画面画素数で除算することで、入力画像の平均輝度値APLpreを算出する。平均輝度値APLpreは、入力画像信号Viの第1の平均画像レベルとして用いられる。
目標平均輝度値算出手段32は、補正前平均輝度値算出手段31が出力する入力画像の平均輝度値APLpreと、補正前後で平均輝度値に所望のレベル差を与えるための調整値APLADJと、後述する平均輝度値補正量SATADJから、後述のようにして目標平均輝度値APL_TGTを算出する。
調整値APLADJは予め定められ、設定値メモリ5に記憶され、目標平均輝度値算出手段32に供給される。
平均輝度補正ゲイン算出手段33は、目標平均輝度値算出手段32が出力する目標平均輝度値APL_TGTと、後述する出力画像の平均輝度値APLpostから、後述のようにして平均輝度補正ゲインAPLGainを算出する。
平均輝度補正ゲイン輝度乗算手段3は、平均輝度補正ゲイン算出手段33が出力する平均輝度補正ゲインAPLGainと、白補正ゲイン輝度乗算手段2が出力する輝度信号Ywを乗算し、ゲイン調整された輝度信号Ywaを算出する。ゲイン調整された輝度信号Ywaと、入力色差信号Cbi及びCriとにより、第2の補正画像信号Vwaが構成される。
補正後平均輝度値算出手段34は、平均輝度補正ゲイン輝度乗算手段3が出力する画面の全画素の輝度信号Ywaの総和を算出し、画面画素数で除算することで、補正後平均輝度値APLpostを算出する。
原色信号画素代表値生成手段35は、図3に示すように、マトリクス演算手段35aと最大値算出手段35bを備え、マトリクス演算手段35aで平均輝度補正ゲイン輝度乗算手段3が出力する輝度信号Ywaと入力色差信号Cbi及びCriから、マトリクス演算により画素ごとの原色信号R、G、Bを算出する。さらに、最大値算出手段35bで原色信号R、G、Bの最大値MAX(R,G,B)を求め、画素代表値M_POSTとして出力する。
色飽和画素計数手段36は、原色信号画素代表値生成手段35が出力する画素代表値M_POSTと所定の閾値SATminを大小比較し、画素代表値M_POSTが所定の閾値SATminを超える画素数を色飽和画素数SATnumとして算出する。
色飽和画素計数手段36は、例えば、図4に示すように、比較手段36aとカウンタ36bを備え、比較手段36aで原色信号画素代表値生成手段35が出力する画素代表値M_POSTを所定の閾値SATminと比較し、画素代表値M_POSTが所定の閾値SATminを超えると第1の値、例えば「1」となり、そうでないときに第2の値、例えば「0」となる信号を出力し、比較手段36aの出力信号が「1」となる回数をカウンタ36bで画面全体にわたり計数し、計数結果を画面内の色飽和画素数SATnumとして出力する。
閾値SATminは予め定められ、設定値メモリ5に記憶され、色飽和画素計数手段36に供給されるとともに、色飽和量平均値算出手段37にも供給される。
色飽和量平均値算出手段37は、原色信号画素代表値生成手段35が出力する画素代表値M_POSTと、色飽和画素計数手段36が出力する色飽和画素数SATnumと、所定の閾値SATminから、後述のようにして色飽和量平均値SATavgを算出する。
平均輝度値補正量算出手段38は、色飽和画素計数手段36が出力する色飽和画素数SATnumと、色飽和量平均値算出手段37が出力する色飽和量平均値SATavg、画面画素数NMAXと、平均輝度値補正量に対する強度係数SATstrから、後述のようにして平均輝度値補正量SATADJを算出する。
画面画素数NMAX及び強度係数SATstrは予め定められ、設定値メモリ5に記憶され、平均輝度値補正量算出手段38に供給される。平均輝度値補正量SATADJは、第1の補正画像信号Vwから第2の補正画像信号Vwaを生成するための色飽和補正レベルとして用いられる。
以上のうち、補正前平均輝度値算出手段31、目標平均輝度値算出手段32、平均輝度補正ゲイン算出手段33、補正後平均輝度値算出手段34、原色信号画素代表値生成手段35、色飽和画素計数手段36、色飽和量平均値算出手段37、及び平均輝度値補正量算出手段38により、平均輝度補正ゲイン生成手段30が構成されている。この平均輝度補正ゲイン生成手段30は、入力画像信号Viを構成する輝度信号Yiの平均輝度値から、入力画像の第1の平均画像レベルAPLpreを求め、さらに第2の補正画像信号Vwaから、その色飽和補正レベルSATADJを求め、第1の平均画像レベルAPLpreおよび色補正飽和レベルSATADJに基づいて平均輝度補正ゲインAPLGainを生成する。平均輝度補正ゲインAPLGainは、第2のゲインとも呼ばれ、平均輝度補正ゲイン生成手段30は、第2のゲイン生成手段とも呼ばれる。
輝度飽和処理手段4は、平均輝度補正ゲイン輝度乗算手段3が出力する輝度信号Ywaに対する飽和処理を行い、補正後の輝度信号Yoを算出する。飽和処理においては、平均輝度補正ゲイン輝度乗算手段3で算出した値が最大階調値(取り得る範囲の最大値。信号が8ビットで表される場合には、255)を超えた場合に、最大階調値に置き換える。
以下、より詳細に説明する。
周辺領域輝度平均手段11は、入力画像の注目画素P0の周辺領域NA内の画素の輝度信号値の平均値を算出して、注目画素P0の周辺領域輝度平均値Yavgとして出力する。例えば、図5に示すように、注目画素P0を中心とし、水平5画素、垂直5画素の領域を周辺領域NAとし、該周辺領域NAに含まれる25画素の輝度信号値の平均値を、注目画素P0の周辺領域輝度平均値Yavgとして算出する。
なお、周辺領域輝度平均手段11で周辺領域輝度平均値Yavgを求める際に使用する周辺領域の画素数は必ずしも水平5画素×垂直5画素に限定されるものではなく、入力画像の輝度信号のS/Nレベルや本画像処理装置を実装するハードウェア等のメモリリソース等に応じて、領域の大きさを定めればよい。領域を大きく設けることにより、輝度信号に含まれるノイズ成分の影響を小さくすることが出来るが、領域を大きくし過ぎると、算出する周辺領域輝度平均値Yavgに占める注目画素の輝度信号量が小さくなり、黒画素数の算出やオフセットレベルの算出の精度が低下することとなる。
図1に戻り、輝度最小値算出手段12は、周辺領域輝度平均手段11により生成される画素ごとの周辺領域輝度平均値Yavgの画面全体の最小値を検出し、輝度最小値Yminとして出力する。輝度最小値Yminはオフセットレベル算出手段15へ入力される。
上記の例では、周辺領域輝度平均値Yavgの画面全体の最小値を輝度最小値Yminとしたが、入力画像の一部を切り出して出力する画像処理装置においては、入力画像の画面全体ではなく、切り出して出力する画像の範囲で輝度最小値Yminを算出する構成としても良い。
後述の補正前平均輝度値算出手段31による平均輝度値APLpreの算出、補正後平均輝度値算出手段34による平均輝度値APLpostの算出、及び原色信号画素代表値生成手段35による画素代表値M_POSTの算出についても同様である。
黒画素計数手段13は、周辺領域輝度平均手段11により生成される画素ごとの周辺領域輝度平均値Yavgと所定の閾値Bmaxを比較手段13aで比較し、所定の閾値Bmax以下となる画面全体の画素数をカウンタ13bで計数して、計数結果を黒画素数NumBとして出力する。
所定の閾値Bmaxは、画面内で黒として表示されると判断できる輝度信号の階調レベルが黒レベルと判断される範囲に含まれるように設定される。言い換えると、所定の閾値Bmaxは、画面内で黒として表示されると判断できる輝度信号の階調レベルのうちの最大値に略等しく定められる。
オフセット係数算出手段14は、黒画素計数手段13が出力する黒画素数NumBに応じたオフセット係数KBを画面毎に算出する。黒画素数NumBと、オフセット係数KBの関係の一例を図6に示す。
図示の例では、オフセット係数KBは、黒画素数NumBが所定値NumTPまでは「1」、それよりも大きい範囲では、「1」より小さくなるように定められる。さらに図示の例では、黒画素数NumBが所定値NumTPよりも大きい範囲では、黒画素数NumBの増加に伴い係数KBが次第に小さくなるように定められている。オフセット係数KBは、オフセットレベル算出手段15へ入力される。
このように、黒画素数NumBが多い画像では、オフセット係数KBを小さくすることで、後述するように輝度信号から減算するオフセットレベルOffsetを小さくしている。これは霧の影響が大きい画像の多くは、輝度信号分布が高輝度側に偏っており、黒画素数NumBが多くなることは少ないが、霧の影響が小さい画像では、黒画素数NumBが多くなることがあり、そのような画像に対しては、輝度信号分布を広げる階調補正を行う必要がないためである。上記構成とすることにより、霧などを含まない画像に対して、輝度信号分布を広げ過ぎる過度な階調補正を抑制できる効果が得られる。
図1に戻り、オフセットレベル算出手段15は、輝度最小値算出手段12から画面毎に出力される輝度最小値Yminと、オフセット係数算出手段14から画面毎に出力されるオフセット係数KBと所定の閾値LIMofstから下式(1)に従い、画面ごとに目標オフセットレベルOffset_tgtを算出する。
Offset_tgt=Ymin×KB if(Ymin×KB<LIMofst)
Offset_tgt=LIMofst if(Ymin×KB≧LIMofst)
(1)
所定の閾値LIMofstは、輝度信号分布が高輝度側に偏っている場合に、輝度信号分布を広げることによる疑似輪郭の発生を抑制するために、大き過ぎない値に設定される。閾値LIMofstは、予め設定され、設定値メモリ5に記憶され、オフセットレベル算出手段15に供給される。
目標オフセットレベルOffset_tgtは画面単位で算出される値であり、画面単位での変動が激しい(画面間での違いが大きくなる)ことが想定される。その変動による影響を軽減するために指数平滑係数値Kofst(0以上1以下の値)を用いて、下式(2)に示す指数平滑処理を行う。
Offset
=Kofst×Offset_tgt(t)
+(1−Kofst)×Offset_tgt(t−1)
…(2)
上式(2)において、Offset_tgt(t)は、ある画面について算出された目標オフセットレベルであり、Offset_tgt(t−1)は、Offset_tgt(t)の1画面前に算出された目標オフセットレベルである。算出されたオフセットレベルOffsetはオフセット減算手段1へ入力される。なお、特定の画面の値であることを示す場合には「Offset_tgt」に「(t)」、「(t−1)」を付すが、どの画面のものであるかを特定する必要がない場合には、「(t)」、「(t−1)」などを付さない。他の変数(APLGain_tgtなど)についても同様である。
上記構成とすることにより、入力画像の目標オフセットレベルOffset_tgtが画面単位で激しく変動した場合にも、補正後の画像の輝度信号のレベル変動を抑制することができる効果が得られる。
目標オフセットレベルOffset_tgtの変動が激しくないような環境においては、オフセットレベルOffsetの算出に指数平滑処理を用いず、下式(3)で示すように、目標オフセットレベルOffset_tgtをオフセットレベルOffsetとする構成としても良い。
Offset=Offset_tgt …(3)
図1に戻り、オフセット減算手段1は、下式(4)で示すように、オフセットレベル算出手段15から画面毎に出力されるオフセットレベルOffsetを入力画像の輝度信号Yiから減算し、減算結果を輝度信号Yofstとして出力する。
Yofst=Yi−Offset …(4)
輝度信号Yofstは白補正ゲイン輝度乗算手段2へ入力される。
入力画像の輝度信号Yiから減算するオフセットレベルOffsetを、入力画像の輝度信号Yiの周辺領域輝度平均値Yavgから算出される輝度最小値Yminと、入力画像の黒画素数NumBに基づき算出されるオフセット係数KBの乗算から算出することとしたので、黒つぶれ画素を発生させることなく、輝度信号分布を広げる階調補正を行うことが可能である。
白補正ゲイン算出手段21は、オフセットレベル算出手段15から画面毎に出力されるオフセットレベルOffsetと輝度信号の階調の最大値Wtgtから下式(5)に従い白補正ゲイン値WGainを算出する。
WGain=Wtgt/(Wtgt−Offset) …(5)
上記最大値Wtgtは、画面内で白として表示される階調範囲の最大輝度レベルであり、設定値メモリ5に記憶されており、白補正ゲイン算出手段21に供給される。
白補正ゲイン輝度乗算手段2は、下式(6)で示されるように、白補正ゲイン算出手段21から出力されるWGainとオフセット減算手段1から出力される輝度信号Yofstとを乗算し、乗算結果をゲイン調整された輝度信号Ywとして出力する。
Yw=WGain×Yofst …(6)
入力画像の輝度信号Yiの階調の最大値を超えないように白補正ゲイン値WGainを生成しているので、白補正ゲイン値WGainが乗算された輝度信号Ywと色差信号Cbi、Criから構成される補正画像において、白飛びする画素が増加しない効果がある。
入力画像の輝度信号Yiの分布と、オフセット減算手段1が出力する輝度信号Yofstの分布と、白補正ゲイン輝度乗算手段2が出力する輝度信号Ywの分布を図7(a)〜(c)のヒストグラムに示す。
図7(a)及び(b)に示されるように、入力輝度信号Yiとオフセット輝度信号Yofstの分布位置は異なるが、その分布形状は同じである。
図7(a)及び(c)に示されるように、第1の補正画像Vwの輝度信号Ywと入力輝度信号Yiは分布位置と分布形状がともに異なる。
オフセット減算手段1と白補正ゲイン輝度乗算手段2の効果により、輝度信号Ywの分布は輝度信号Yiの分布よりも広くなり、霧、霞、雨天などで撮影した画像のコントラストは改善される。
しかし、輝度信号Ywの分布の平均値は、輝度信号Yiの分布の平均値よりも低くなり、輝度信号Ywと色差信号Cbi及びCriから構成される第1の補正画像Vwは、入力画像よりも暗い画像となる。
平均輝度補正ゲイン生成手段30及び平均輝度補正ゲイン輝度乗算手段3による補正は、このようにして暗くなった画素を明るくする(平均輝度を高める)ためのものである。
図1に戻り、補正前平均輝度値算出手段31は、入力画像の輝度信号Yiの画面全体の平均輝度値APLpreを算出する。平均輝度値APLpreは、目標平均輝度値算出手段32へ入力される。
目標平均輝度値算出手段32は、補正前平均輝度値算出手段31から出力される平均輝度値APLpreと、平均輝度値補正量算出手段38から出力される平均輝度値補正量SATADJと、補正前後で平均輝度値に所望のレベル差を与えるための調整値APLADJから、下式(7)に従い、目標平均輝度値APL_TGTを算出する。
APL_TGT=APLpre+APLADJ−SATADJ …(7)
算出された目標平均輝度値APL_TGTは、平均輝度補正ゲイン算出手段33へ入力される。
目標平均輝度値APL_TGTの算出式に、調整値APLADJの項を加算する構成としたので、補正前後で平均輝度値に所望のレベル差を与えることができる効果がある。入力画像が明る過ぎたり、暗過ぎたりする場合に調整値APLADJを使って補正する。
調整値APLADJは、上記のような考慮に基づき補正前後でのレベル差を所定値になるように予め定められる。
平均輝度補正ゲイン算出手段33は、目標平均輝度値算出手段32から出力される目標平均輝度値APL_TGTと、補正後平均輝度値算出手段34から出力される平均輝度値APLpostから、下式(8)に従い目標平均輝度補正ゲインAPLGain_tgtを算出する。
APLGain_tgt=APL_TGT/APLpost …(8)
式(8)で求められる目標平均輝度補正ゲインAPLGain_tgtは画面単位で算出される値であり、画面単位での変動が想定される。その変動による影響を軽減するために指数平滑係数値Kapl(0以上1以下の値)を用いて、下式(9)に従い算出する。
APLGain
=Kapl×APLGain_tgt(t)
+(1−Kapl)×APLGain_tgt(t−1)
…(9)
上式(9)において、APLGain_tgt(t)は、ある画面について算出された目標平均輝度補正ゲインであり、APLGain_tgt(t−1)は、APLGain_tgt(t)の1画面前に算出された目標平均輝度補正ゲインである。
算出された平均輝度補正ゲインAPLGainは平均輝度補正ゲイン輝度乗算手段3へ入力される。
上記構成とすることにより、入力画像の平均輝度値が画面単位で激しく変動した場合にも、補正後の画像の平均輝度値のレベル変動を抑制することができる効果が得られる。
目標平均輝度補正ゲインAPLGain_tgtの変動が激しくないような環境においては、平均輝度補正ゲインAPLGainの算出に指数平滑処理を用いず、下式(10)で表されるように、目標平均輝度補正ゲインAPLGain_tgtを平均輝度補正ゲインAPLGainとする構成としても良い。
APLGain=APLGain_tgt …(10)
平均輝度補正ゲイン輝度乗算手段3は、平均輝度補正ゲイン算出手段33から出力される平均輝度補正ゲインAPLGainと、白補正ゲイン輝度乗算手段2が出力する輝度信号Ywを下式(11)で示すように乗算し、補正後輝度信号Ywaを算出する。
Ywa=APLGain×Yw …(11)
補正後平均輝度値算出手段34は、平均輝度補正ゲイン輝度乗算手段3が出力する輝度信号Ywaの画面全体の平均輝度値APLpostを算出する。平均輝度値APLpostは、平均輝度補正ゲイン算出手段33へ入力される。
入力画像の輝度信号分布が高輝度側に偏っていない画像の場合、平均輝度値補正量SATADJは0となることが多く、さらに、調整値APLADJが0である場合には、目標平均輝度補正ゲインAPLGain_tgtは、補正前平均輝度値APLpreと補正後平均輝度値APLpostの比となる。即ち、式(7)で、SATADJ=0、APLADJ=0とすると、
APL_TGT=APLpre+APLADJ−SATADJ
=APLpre+0−0
=APLpre …(7b)
となり、さらに式(8)でAPL_TGT=APLpreとすると、
APLGain_tgt=APL_TGT/APLpost
=APLpre/APLpost (8b)
となる。このために、補正後平均輝度APLpostは補正前平均輝度APLpreに近づくこととなり、補正前後での画像の明るさが変動しない効果がある。
原色信号画素代表値生成手段35は、平均輝度補正ゲイン輝度乗算手段3が出力する輝度信号Ywaと入力画像の色差信号Cbi及びCriからマトリクス演算により、画素ごとの原色信号R、G、Bを算出し、さらに原色信号R、G、Bの最大値max(R,G,B)を画素代表値M_POSTとして算出する。算出した画素代表値M_POSTは、色飽和画素計数手段36と色飽和量平均値算出手段37へ入力される。
マトリクス演算は、出力画像の表示系に対応した色マトリクス変換式、例えば下式(12)に基づいて、輝度信号Ywaと色差信号Cbi及びCriから原色信号R、G、Bを生成する。
R= +1.00×Ywa+0.00×Cbi+1.40×Cri
G= +1.00×Ywa−0.34×Cbi−0.71×Cri
B= +1.00×Ywa+1.77×Cbi+0.00×Cri
…(12)
上式(12)はNTSC規格の色マトリクス変換式であるが、出力画像の表示系に合わせて、例えばsRGB規格などの色マトリクス変換式を用いてもよい。
色飽和画素計数手段36は、原色信号画素代表値生成手段35から出力される画素代表値M_POSTと所定の閾値SATminとを大小比較し、入力画像の画面単位で画素代表値M_POSTが所定の閾値SATmin以上となる画素数を計数し、色飽和画素数SATnumを出力する。計数された色飽和画素数SATnumは、色飽和量平均値算出手段37へ入力される。所定の閾値SATminは、画像を表示する際に色飽和が発生しないようマージンも考慮して設定する。
色飽和量平均値算出手段37は、原色信号画素代表値生成手段35から出力される画素代表値M_POSTと、色飽和画素計数手段36から出力される色飽和画素数SATnumと、所定の閾値SATminから、下式(13)に従い、色飽和量平均値SATavgを算出する。算出された色飽和量平均値SATavgは平均輝度値補正量算出手段38へ入力される。
SATavg
=(Σ((SATmin≦M_POSTを満たすM_POST)−SATmin))
/SATnum
…(13)
平均輝度値補正量算出手段38は、色飽和画素計数手段36から出力される色飽和画素数SATnumと、色飽和量平均値算出手段37から出力される色飽和量平均値SATavgと、画面画素数NMAXと、平均輝度値補正量に対する強度係数SATstrから下式(14)に従い、平均輝度値補正量SATADJを算出する。
SATADJ
=SATavg×(SATnum/NMAX)×SATstr …(14)
上式(14)の右辺における(SATnum/NMAX)は色飽和が発生している面積の割合に相当する。
なお、色飽和量平均値算出手段37と平均輝度値補正量算出手段38において、其々、色飽和量平均値SATavgと色飽和画素数SATnumとを算出し、次いで、平均輝度値補正量SATADJを算出する構成としたが、下式(15)のように直接平均輝度値補正量SATADJを算出する構成としても良い。
SATADJ
=SATavg×(SATnum/NMAX)×SATstr
=((Σ((SATmin≦M_POSTを満たすM_POST)−SATmin))
/SATnum)×(SATnum/NMAX)×SATstr
=(Σ((SATmin≦M_POSTを満たすM_POST)−SATmin))
/NMAX×SATstr
…(15)
上記の構成とすることにより、色飽和量平均値SATavgの算出における色飽和画素数SATnumによる除算と、平均輝度値補正量SATADJの算出における色飽和画素数SATnumによる乗算を削除しても、同様に平均輝度値補正量SATADJが得られる。除算手段と乗算手段を減らすことにより、回路規模を削減できる効果がある。
輝度飽和処理手段4は、平均輝度補正ゲイン輝度乗算手段3が出力する輝度信号Ywaに対する飽和処理を行い、補正後の輝度信号Yoを算出する。
ここで、平均輝度補正ゲイン生成手段30内に平均輝度値補正量算出手段38が設けられていることによる効果について説明する。
比較のため、最初に、平均輝度値補正量算出手段38が設けられていない場合の挙動について説明する。この場合における、入力画像の輝度信号Yiの分布と、平均輝度補正ゲイン輝度乗算手段3から出力される輝度信号Ywa’の分布を図8のヒストグラムに示す。平均輝度補正ゲイン算出手段33は、入力画像の輝度信号Yiの平均輝度値APLpreと、輝度信号Ywa’の平均輝度値APLpostが等しくなるように平均輝度補正ゲインAPLGainを算出するために、輝度信号Ywa’の分布は輝度信号の階調の最大値に近づくこととなり、白飛びする画素が増加する。
また、輝度信号Ywa’と色差信号Cbi及びCriからマトリクス演算により得られる原色信号R、G、Bが階調の最大値となる画素が増加することとなり、色相が変化する画像が増加することとなる。例えば、NTSC規格では原色信号R、Bは輝度信号Ywa’と色差信号Cbi及びCriから下式(16)により算出されるため、輝度信号Ywa’が階調の最大値に達していなくても、色差信号Cbi及びCriが正となるような画素では、原色信号R、Bが階調の最大値となって色飽和が発生し、色相が変化する。
R= +1.00×Ywa’+0.00×Cbi+1.40×Cri
B= +1.00×Ywa’+1.77×Cbi+0.00×Cri
…(16)
次に、平均輝度値補正量算出手段38が設けられている場合における、入力画像の輝度信号Yiの分布と、平均輝度補正ゲイン輝度乗算手段3から出力される輝度信号Ywaの分布を図9のヒストグラムに示す。平均輝度補正ゲイン算出手段33は、入力画像の輝度信号Yiの平均輝度値APLpreから平均輝度値補正量SATADJを減算した値と、輝度信号Ywaの平均輝度値APLpostの比から平均輝度補正ゲインAPLGainを算出するために、輝度信号Ywaの分布は、図8に示した平均輝度値補正量算出手段38が存在しない場合に平均輝度補正ゲイン輝度乗算手段3から出力される輝度信号Ywa’ほど、輝度信号の階調の最大値には偏らないこととなる。その結果、白飛びする画素の増加が抑制され、また、輝度信号Ywaと色差信号Cbi、Criからマトリクス演算により得られる原色信号R、G、Bが階調の最大値となる画素の増加も抑制され、色相が変化する画素の増加を抑制することが可能となる。
実施の形態2.
図10は本発明の実施の形態2に係る画像処理装置を示す。図10に示される画像処理装置は、図1に示される実施の形態1の画像処理装置に対して、白補正ゲイン色差乗算手段6と、平均輝度補正ゲイン色差乗算手段7と、色差飽和処理手段8が付加されており、実施の形態1と色差信号に対する増幅処理を行う点で実施の形態1と異なる。
以下、実施の形態1と異なる部分について説明する。
白補正ゲイン色差乗算手段6は、白補正ゲイン算出手段21から出力される白補正ゲイン値WGainと入力画像の色差信号Cbi及びCriを乗算し、ゲイン調整された色差信号Cbw及びCrwを算出する。ゲイン調整された色差信号Cbw及びCrwと、ゲイン調整された輝度信号Ywとで、本実施の形態における第1の補正画像信号Vwが構成される。ゲイン調整された色差信号Crw、Cbwは、平均輝度補正ゲイン色差乗算手段7へ入力される。
平均輝度補正ゲイン色差乗算手段7は、平均輝度補正ゲイン算出手段33から出力される平均輝度補正ゲインAPLGainと白補正ゲイン色差乗算手段6から出力されるゲイン調整された色差信号Cbw及びCrwを乗算し、ゲイン調整された色差信号Cbwa及びCrwaを算出する。ゲイン調整された色差信号Cbwa及びCrwaと、ゲイン調整された輝度信号Ywaとで、本実施の形態における第2の補正画像信号Vwaが構成される。ゲイン調整された色差信号Cbwa及びCrwaは原色信号画素代表値生成手段35と色差飽和処理手段8へ入力される。
色差飽和処理手段8は、平均輝度補正ゲイン色差乗算手段7が出力するゲイン調整された色差信号Cbwa及びCrwaに対する飽和処理を行い、補正後の色差信号Cbo及びCroを算出する。補正後の色差信号Cbo及びCroと、補正後の輝度信号Yoとで、本実施の形態における補正後の画像信号Voが構成される。
このように色差信号に対する増幅処理を行うことで、霧、霞、雨天などにより彩度が低下した画像に対して、輝度信号の階調補正だけでなく、彩度向上をも図ることが可能となる。また、色飽和量を算出し、その色飽和量により、輝度信号および色差信号に対するゲイン値APLGainを補正するようにしているため、色差信号に対する増幅処理を行っても、色相が変化する画素の増加を抑制することが可能である。
図11及び図12は、実施の形態2における画像処理装置の処理を説明するためのフローチャートである。以下では、説明を簡潔にするために、入力画像の画素ごとに輝度信号と色差信号が入力されるのではなく、入力画像の画面ごとに、画面全体の画素の輝度信号と色差信号が入力されるものとする。また、入力画像の画面画素数をNMAXと表記する。
ステップS1では、入力画像の輝度信号Yiと色差信号Cbi及びCriを受信する。
ステップS2では、1画面前に算出したオフセットレベルOffsetと白補正ゲインWGainと平均輝度補正ゲインAPLGainから輝度信号Ywa、色差信号Cbwa及びCrwaを算出する。
ステップS3では、現在の画面内の各画素の周辺領域輝度平均値Yavgを算出する。
ステップS4では、現在の画面内の各画素の周辺領域輝度平均値Yavgの最小値である輝度最小値Yminを算出する。
ステップS5では、現在の画面内の各画素の周辺領域輝度平均値Yavgが所定の閾値Bmax以下となる黒画素数NumBを計数する。
ステップS6では、黒画素数NumBの値に応じてオフセット係数KBを算出する。即ち、黒画素数NumBが所定値NumTPよりも小さければ、オフセット係数KBを「1」とし、黒画素数NumBが所定値NumTP以上であれば、オフセット係数KBを「1」よりも小さな値とする。
ステップS7では、ステップS4で算出した輝度最小値YminとステップS6で算出したオフセット係数KBと、所定の閾値LIMOfstから目標オフセットレベルOffset_tgtを算出する。
ステップS8では、指数平滑処理により目標オフセットレベルOffset_tgtからオフセットレベルOffsetを算出する。
ステップS9では、ステップS8で算出したオフセットレベルOffsetと輝度信号の階調の最大値Wtgtから白補正ゲインWGainを算出する。
ステップS10では、画面全体の画素の輝度信号Yiの平均値である補正前平均輝度値APLpreと、画面全体の画素の輝度信号Ywaの平均値である補正後平均輝度値APLpostを算出する。
ステップS11では、ステップS2で算出した輝度信号Ywaと色差信号Crwa、Cbwaからマトリクス演算により、原色信号R、G、Bを算出し、各画素について原色信号R、G、Bの最大値MAX(R,G,B)を画素代表値M_POSTとして算出する。
ステップS12では、画素代表値M_POSTが所定の閾値SATminを超える色飽和画素数SATnumを計数する。
ステップS13では、色飽和画素の画素代表値M_POSTから所定の閾値SATminを減算した値の画面内での合計を算出し、色飽和画素数SATnumで除算して色飽和量平均値SATavgを算出する。
ステップS14では、ステップS12で算出した色飽和画素数SATnumと、ステップS13で算出した色飽和量平均値SATavgと、画面画素数NMAXと、平均輝度値補正量に対する強度係数SATstrから平均輝度値補正量SATADJを算出する。
ステップS15では、ステップS10で算出した補正前平均輝度値APLpreと、ステップS14で算出した平均輝度値補正量SATADJと、補正前後で平均輝度値に所望のレベル差を与えるための調整値APLADJから目標平均輝度値APL_TGTを算出する。
ステップS16では、ステップS15で算出した目標平均輝度値APL_TGTとステップS10で算出した補正後平均輝度値APLpostとの比較判定を行う。ここで、APL_TGT=APLpostであると判定された場合には、ステップS17に進む。一方、APL_TGT=APLpostでないと判定された場合には、ステップS18に進む。
ステップS17では、1画面前に算出した目標平均輝度補正ゲインAPLGain_tgt(t−1)を現画面の目標平均輝度補正ゲインAPLGain_tgt(t)として保持する。
一方、ステップS18では、ステップS15で算出した目標平均輝度値APL_TGTとステップS10で算出した補正後平均輝度値APLpostから現画面の目標平均輝度補正ゲインAPLGain_tgt(t)を算出する。
ステップS19では、指数平滑処理により目標平均輝度補正ゲインAPLGain_tgt(t)、APLGain_tgt(t−1)から平均輝度補正ゲインAPLGainを算出する。
最後に、ステップS20では、ステップS7、S8、S17、S18、S19で使用するカウント値tの更新を行い、次の入力画像の処理を開始するためにステップS1に戻る。
補正画像の色飽和画素数SATnumが少ない場合や色飽和量平均値SATavgが小さい場合には、ステップS11からステップS19の処理により、補正後平均輝度値APLpostと補正前平均輝度値APLpreの差を小さくすることが出来る。一方、補正画像の色飽和画素数SATnumが多い場合や色飽和量平均値SATavgが大きい場合には、補正により色相が変化する画素数の増加を抑制した上で、補正後平均輝度値APLpostと補正前平均輝度値APLpreの差が小さくなるように制御することが可能となる。
1 オフセット減算手段、 2 白補正ゲイン輝度乗算手段、 3 平均輝度補正ゲイン輝度乗算手段、 4 輝度飽和処理手段、 5 設定値メモリ、 6 白補正ゲイン色差乗算手段、 7 平均輝度補正ゲイン色差乗算手段、 8 色差飽和処理手段、 10 オフセットレベル生成手段、 11 周辺領域輝度平均手段、 12 輝度最小値算出手段、 13 黒画素計数手段、 14 オフセット係数算出手段、 15 オフセットレベル算出手段、 20 白補正ゲイン生成手段、 21 白補正ゲイン算出手段、 30 平均輝度補正ゲイン生成手段、 31 補正前平均輝度値算出手段、 32 目標平均輝度値算出手段、 33 平均輝度補正ゲイン算出手段、 34 補正後平均輝度値算出手段、 35 原色信号画素代表値生成手段、 36 色飽和画素計数手段、 37 色飽和量平均値算出手段、 38 平均輝度値補正量算出手段。

Claims (4)

  1. 入力画像信号から、該入力画像信号を構成する輝度信号のオフセットレベルを減算してオフセット画像信号を生成する減算手段と、
    前記オフセット画像信号に第1のゲインを乗算して第1の補正画像信号を生成する第1の乗算手段と、
    前記第1の補正画像信号に第2のゲインを乗算して第2の補正画像信号を生成する第2の乗算手段と、
    前記入力画像信号から、該入力画像信号の黒レベルを検出し、検出された前記黒レベルに基づいて前記オフセットレベルを生成するオフセットレベル生成手段と、
    前記入力画像信号の前記黒レベル基づいて前記第1のゲインを生成する第1のゲイン生成手段と、
    前記入力画像信号から、該入力画像信号の第1の平均画像レベルを求め、前記第2の補正画像信号から、該第2の補正画像信号の色飽和補正レベルを求め、求められた前記第1の平均画像レベル及び前記色飽和補正レベルに基づいて前記第2のゲインを生成する第2のゲイン生成手段と
    を備えることを特徴とする画像処理装置。
  2. 前記第2のゲイン生成手段は、
    前記第2の補正画像信号を三原色信号に変換する色マトリクス手段と、
    画面ごとに前記三原色信号が所定レベル以上となる色飽和画素数を数える色飽和画素計数手段と、
    前記色飽和画素の色飽和量平均値を生成する色飽和量平均値生成手段と、
    前記色飽和画素数と前記色飽和量平均値に基づいて色飽和補正レベルを生成する色飽和補正レベル生成手段と、
    前記入力画像信号の第1の平均画像レベルを生成する第1の平均画像レベル生成手段とを備え、
    前記入力画像信号の第1の平均画像レベルと前記第2の補正画像信号の色飽和補正レベルに基づいて前記第2のゲインを生成する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第2のゲイン生成手段はさらに、
    前記入力画像信号の第1の平均画像レベルと前記第2の補正画像信号の色飽和補正レベルに基づいて目標画像レベルを生成する目標画像レベル生成手段と、
    前記第2の補正画像信号の第2の平均画像レベルを生成する第2の平均画像レベル生成手段とを備え、
    前記目標画像レベルに前記第2の平均画像レベルが近づくように前記第2のゲインを生成する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記オフセットレベル生成手段は、
    前記入力画像信号の周辺画素平均値を画素ごとに算出する周辺画素平均算出手段と、
    前記周辺画素平均値の画面ごとの最小値を検出する最小値検出手段と、
    画面ごとに前記周辺画素平均値が所定レベル以下となる黒レベル画素を数える黒レベル画素計数手段と、
    前記黒レベル画素数に基づいてオフセット係数を生成するオフセット係数生成手段と、
    前記最小値と前記オフセット係数に基づいて前記オフセットレベルを生成するオフセットレベル算出手段と
    を備えることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
JP2010258936A 2010-11-19 2010-11-19 画像処理装置 Active JP5566270B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010258936A JP5566270B2 (ja) 2010-11-19 2010-11-19 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010258936A JP5566270B2 (ja) 2010-11-19 2010-11-19 画像処理装置

Publications (2)

Publication Number Publication Date
JP2012108850A JP2012108850A (ja) 2012-06-07
JP5566270B2 true JP5566270B2 (ja) 2014-08-06

Family

ID=46494383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010258936A Active JP5566270B2 (ja) 2010-11-19 2010-11-19 画像処理装置

Country Status (1)

Country Link
JP (1) JP5566270B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026407A1 (ja) * 2021-08-25 2023-03-02 株式会社ソシオネクスト 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3838259B2 (ja) * 2005-03-23 2006-10-25 株式会社日立製作所 映像表示方法、映像表示装置及びそれに用いるコントラスト調整回路
JP2008193645A (ja) * 2007-02-08 2008-08-21 Pioneer Electronic Corp 明るさ補正装置、その方法、および、表示装置

Also Published As

Publication number Publication date
JP2012108850A (ja) 2012-06-07

Similar Documents

Publication Publication Date Title
JP5855224B2 (ja) 画像処理装置及び方法
JP4073477B2 (ja) 画像処理装置、及び画像表示装置
US8559715B2 (en) Method and apparatus for dynamic and adaptive enhancement of colors in digital video images using saturation gain
US20090304274A1 (en) Image Processing Apparatus and Image Display Apparatus
JP6797512B2 (ja) 画像表示装置及びその制御方法
JP5595585B2 (ja) 画像処理装置及び方法
US9639916B2 (en) Image processing device, and image processing method
JP2015007739A (ja) 表示装置及びその制御方法
JP5648849B2 (ja) 画像処理装置、画像処理方法
US7471336B2 (en) Global motion adaptive system with motion values correction with respect to luminance level
CN107025641A (zh) 基于对比度分析的图像融合方法
JP2005130486A (ja) 映像信号処理装置
JP5566270B2 (ja) 画像処理装置
JP2011205714A (ja) 画像処理装置及びその制御方法
JP4303652B2 (ja) 階調補正回路及びこれを用いたテレビジョン受像機
JP2014207663A (ja) 映像処理装置
JP2008048031A (ja) 画像処理装置及び画像処理方法
CN112930564B (zh) 图像显示装置及图像处理方法
JP2010288040A (ja) 輪郭補正方法及び輪郭補正装置
KR101073497B1 (ko) 영상 보정 장치 및 그 방법
JP5473431B2 (ja) 画像処理装置及びその制御方法
JP2014011725A (ja) 画像処理装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140617

R150 Certificate of patent or registration of utility model

Ref document number: 5566270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250