JP4778859B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP4778859B2
JP4778859B2 JP2006218591A JP2006218591A JP4778859B2 JP 4778859 B2 JP4778859 B2 JP 4778859B2 JP 2006218591 A JP2006218591 A JP 2006218591A JP 2006218591 A JP2006218591 A JP 2006218591A JP 4778859 B2 JP4778859 B2 JP 4778859B2
Authority
JP
Japan
Prior art keywords
pixel
processing
image data
pixel value
processing target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006218591A
Other languages
English (en)
Other versions
JP2008047950A (ja
Inventor
昌平 中潟
健介 倉木
幸二 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006218591A priority Critical patent/JP4778859B2/ja
Priority to US11/641,862 priority patent/US7848591B2/en
Priority to CNB200710004312XA priority patent/CN100574369C/zh
Publication of JP2008047950A publication Critical patent/JP2008047950A/ja
Application granted granted Critical
Publication of JP4778859B2 publication Critical patent/JP4778859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理装置、画像処理方法及び画像処理プログラムに関する。
従来から、ブラウン管や液晶などの画素の集合で画像を表示する画像表示装置において表示画像の輪郭を鋭くする輪郭強調処理を行うと発生するアンダーシュート/オーバーシュートを低減する試みがなされてきた。オーバーシュートとは、輪郭強調処理によって生じる該表示画像の概ね白色の縁取りであり、アンダーシュートとは、輪郭強調処理によって生じる該表示画像の概ね黒色の縁取りである。
例えば、特許文献1には、高域周波数成分の量に応じて入力画像にパスフィルタ処理を行って輪郭強調の度合いを可変とすることにより、オーバーシュートやアンダーシュートの発生を防止し、かつ入力画像の輪郭の鮮明度に応じて最適な輪郭強調を得ることが可能な画質補正回路が開示されている。
また、特許文献2には、ハールウェーブレット(Haar Wavelet transform)変換方法及び隣接したピクセル間の画素値差を利用して、表示画像の輪郭におけるオーバーシュート及びアンダーシュートの発生を低減させ、かつ表示画像の輪郭の鮮明度を向上させる装置及び方法が開示されている。ここで、ハールウェーブレット変換とは、ウェーブレット変換の一種で、微小波(ウェーブレット)を拡大・縮小したり平行移動したりしたものを重ね合わせることによってあらゆる波形を表現しようとする方法のうち、最も単純な方法である。
また、特許文献3には、入力画像信号の注目画素近傍の複数の画像信号を入力とし、注目画素と注目画素の前後の少なくとも2つの前後画素と前後画素より更に前後の二次微分生成用画素の信号を抽出し、この抽出された複数画素の信号を二次微分した二次微分信号を出力し、二次微分信号を注目画素の映像信号に加算し、注目画素と注目画素の前後の信号の少なくとも3つの信号の最大値・最小値とを検出し、該加算された出力信号及び最大値・最小値の少なくとも3つの信号からメディアン(中間値)を選択することにより、極端なアンダーシュート/オーバーシュートを抑え、且つ、なだらかな輪郭の入力信号でも十分な輪郭補正の効果が得られ、良好な映像信号を生成する映像信号処理装置が開示されている。
特許第3326377号公報 特開2003−204451号公報 特開2005−333530号公報
しかしながら、上記特許文献1〜3に代表される従来技術であっては、アンダーシュート/オーバーシュートを抑制しつつ適度な輪郭の鮮明度を維持することが依然として困難であった。
具体的には、特許文献1及び2に代表される従来技術であっては、アンダーシュート/オーバーシュートの抑制の度合いに応じて輪郭の鮮明度が変化してしまうので、アンダーシュート/オーバーシュートの抑制を弱くすると輪郭の鮮明度が低くなる一方で、輪郭の鮮明度を上げるとアンダーシュート/オーバーシュートの抑制が強くなるという具合に、アンダーシュート/オーバーシュートの抑制と輪郭の鮮明度とを両立させることが極めて困難であった。
また、特許文献3に代表される従来技術であっては、輪郭の強調のためには多少のアンダーシュート/オーバーシュートが必要であるために、輪郭処理後に一旦アンダーシュート/オーバーシュートを除去した後で再度輪郭処理を行ってアンダーシュート/オーバーシュートを生成するという過程において2回輪郭処理が行われるため、緩やかな階調変化のある画像を入力した場合に輪郭が鋭くなりすぎて階調が無くなり、表示画像にジャギー(ギザギザ模様)が発生してしまうという問題点があった。
本発明は、上記問題点(課題)を解消するためになされたものであって、アンダーシュート/オーバーシュートを抑制しつつ適度な輪郭の鮮明度を維持することを可能とする画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
上述した問題を解決し、目的を達成するため、本発明は、原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理装置であって、前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定手段と、前記処理対象領域設定手段により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値に基づいて前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更手段とを備えたことを特徴とする。
また、本発明は、上記発明において、前記画素値変更手段は、前記原画像データにおける前記処理対象領域に属する画素の画素値と前記処理画像データにおける前記処理対象画素の画素値との間の内分画素値で、前記処理画像データにおける前記処理対象画素の画素値を変更することを特徴とする。
また、本発明は、上記発明において、前記画素値変更手段は、前記処理画像データにおける前記処理対象画素の画素値が、前記処理対象領域に属する画素の前記原画像データにおける画素値のうちn番目(nは自然数)に大きい画素値であるMAX(n)を超える場合に該処理対象画素の画素値を該MAX(n)で変更し、該近傍領域に属する画素の該原画像データにおける画素値のうちn番目に小さい画素値であるMIN(n)を下回る場合に該処理対象画素の画素値を該MIN(n)で変更することを特徴とする。
また、本発明は、原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理方法であって、前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定工程と、前記処理対象領域設定工程により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値に基づいて前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更工程とを含んだことを特徴とする。
また、本発明は、原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理をコンピュータに実行させる画像処理プログラムであって、前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定手順と、前記処理対象領域設定手順により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値に基づいて前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更手順とをコンピュータに実行させることを特徴とする。
本発明によれば、処理対象領域設定手段により設定された処理対象領域に属する画素の原画像データにおける画素値に基づいて処理画像データにおける処理対象画素の画素値を変更するので、処理画像の輪郭の強調と処理対象領域での画素値の連続性とを両立させることができ、アンダーシュート/オーバーシュートを抑制しつつ適度な輪郭の鮮明度を維持することができるという効果を奏する。
また、本発明によれば、原画像データにおける処理対象領域に属する画素の画素値の加工結果である加工画素値で処理画像データにおける処理対象画素の画素値を変更するので、処理画像の輪郭の強調と処理対象領域での画素値の連続性とを両立させることができ、アンダーシュート/オーバーシュートを抑制しつつ適度な輪郭の鮮明度を維持することができるという効果を奏する。
また、本発明によれば、原画像データにおける処理対象領域に属する画素の画素値と処理画像データにおける処理対象画素の画素値との間の内分画素値で、処理画像データにおける処理対象画素の画素値を変更するので、処理画像の輪郭の強調と処理対象領域での画素値の連続性とを両立させることができ、アンダーシュート/オーバーシュートをなだらかに抑制しつつ適度な輪郭の鮮明度を維持することができるという効果を奏する。
また、本発明によれば、該処理対象画素の画素値を該MAX(n)又はMIN(n)で変更するので、処理画像の輪郭の強調と処理対象領域での画素値の連続性とを両立させることができ、アンダーシュート/オーバーシュートを抑制しつつ適度な輪郭の鮮明度を維持することができるという効果を奏する。
また、本発明によれば、該処理対象画素の画素値を該MAX(n)又はMIN(n)と該処理対象画素の該処理画像データにおける画素値との間の内分画素値で変更するので、処理画像の輪郭の強調と処理対象領域での画素値の連続性とを両立させることができ、アンダーシュート/オーバーシュートをなだらかに抑制しつつ適度な輪郭の鮮明度を維持することができるという効果を奏する。
また、本発明によれば、処理対象画素の処理対象領域に属する画素から所定の基準に基づいて選択された画素の原画像データにおける画素値と該処理対象画素の画素値との間の内分画素値を該処理画像データにおける処理対象画素の画素値とするので、アンダーシュート/オーバーシュートをより強力に抑制しつつ適度な輪郭の鮮明度を維持することができるという効果を奏する。
また、本発明によれば、該差分が該所定閾値に等しくなるように該処理画像データにおける該処理対象画素の画素値を調整するので、アンダーシュート/オーバーシュートを確実に抑制しつつ適度な輪郭の鮮明度を維持することができるという効果を奏する。
以下に添付図面を参照して、本発明の画像処理装置、画像処理方法及び画像処理プログラムに係る実施例を詳細に説明する。なお、以下の実施例1〜3は、カラーテレビジョン装置やパーソナルコンピュータのカラーディスプレイなど、画面を構成する画素の画素値を色相及び輝度とともにRGB(Red,Green,Blue)で表現するカラー画面表示装置における画像処理装置に適用した場合を示すこととする。
なお、実施例1〜3の説明に先立ち、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムが前提とする処理である輪郭処理の問題点及び従来のアンダーシュート/オーバーシュート処理の問題点について説明する。
先ず、輪郭処理の問題点について説明する。図1は、輪郭処理の問題点を示す図である。なお、輪郭処理とは、エッジ(輪郭)において画素の位置に応じて変化する画素値の変化をより強調する処理である。例えば、エッジにおいて画素の位置に応じて画素値が緩やかに(変化率が低く)変化していると、画像として輪郭があいまいとなり、鮮明な画像が得られない。しかし、エッジにおいて画素の位置に応じた画素値の変化をより鋭く(変化率を高く)すると輪郭がより明確となり、鮮明な画像を得ることができる。このような処理を輪郭処理という。
同図に示すように、画像処理前の原画像のエッジの傾きから、エッジ幅を保ちつつエッジ部分の画素値の変化率を大きくする(エッジを強調する)ことによって輪郭が鮮明となるが、エッジの両端において画素値が原画像よりも低く/高くなるというアンダーシュート/オーバーシュートが発生する。オーバーシュートが発生している部分では、画像処理後の画素値が原画像の画素値よりも高くなっており、周囲に比べ色相・輝度・RGB値が相対的に高く、視覚的にも相対的に白くなる。一方で、アンダーシュートが発生している部分では、画像処理後の画素値が原画像の画素値よりも低くなっており、周囲に比べ色相・輝度・RGB値が相対的に低く、視覚的にも相対的に黒くなる。
このように、アンダーシュート/オーバーシュートが発生するのは、輪郭処理をエッジ幅を保ちつつ行うので、エッジの傾きが鋭くなった分だけエッジの両端において画素値がより高く/低くなるためである。従来からある輪郭処理を行うだけでは、アンダーシュート/オーバーシュートが必然的に発生し、エッジ(輪郭)の両端において白/黒の縁取りが生じてしまうという問題があった。
そこで、アンダーシュート/オーバーシュートを抑制するために、従来から種々の方法が提案されてきた。例えば、アンダーシュート/オーバーシュートの低減と同時に輪郭処理を行うことによって、アンダーシュート/オーバーシュートを抑制する方法がある。しかし、図2に示すように、この方法によると、アンダーシュート/オーバーシュートの低減に応じて輪郭のエッジの強さも低減してしまうという問題点があった。
また、輪郭処理後にアンダーシュート/オーバーシュートを抑制した後にさらに輪郭処理を行い、最後に若干のアンダーシュート/オーバーシュートを付加することによって、結果的にアンダーシュート/オーバーシュートが抑制された輪郭処理画像を得る方法がある。
しかし、この方法では、アンダーシュート/オーバーシュートの抑制のために、処理対象画素の近傍領域の画素の画素値の最大値、最小値及び処理対象画素の画素値の3つの値の中間値(メジアン)で該処理対象画素の画素値を変更するため、原画像の輪郭のエッジが緩やかであると、アンダーシュート及びオーバーシュート部分において輪郭処理によって鋭くされた輪郭が、エッジが緩やかな元の輪郭へ戻されてしまうこととなる。さらに、図3に示すように、この方法では輪郭処理が2回行われるため、緩やかな階調変化を鋭いエッジへと変換してしまうため、輪郭処理後の画像においてジャギー(ギザギザ模様)が発生するという問題点を有していた。
そこで、これらの従来技術の問題点を克服するために、本発明は、原画像データと、この原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素の画素値を原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更することにより、図4に示すように、エッジ幅を保ちつつエッジを強調し、かつアンダーシュート/オーバーシュートの低減を図ることを可能とした。
以下に図5〜8を参照して、本発明に係る実施例1を説明する。図5は、実施例1の画像処理装置が処理対象とする画像範囲の一例を示す図である。画像範囲とは、処理対象画素を含む近傍領域を指す。同図に示すように、実施例1では、処理対象画素である画素Eを中心とした3行3列の正方行列が処理対象の画像範囲である。即ち、画像処理装置において原画像データにおける処理対象画素が画素Eであり、原画像データにおける処理対象である画素Eの近傍領域が、画素Eの1つ隣に隣接する画素A〜Iを含む画像範囲である。実施例1の画像処理装置、画像処理方法では、原画像データと、この原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素である画素Eの画素値を該原画像データにおける該処理対象画素の近傍領域である画素A〜Iからなる正方行列に含まれる画素の画素値に基づいて変更することとなる。
なお、処理対象画素の近傍領域は、処理対象画素の1つ隣に隣接する画素を含む正方行列を画像範囲とするが、これに限らず、一般に処理対象画素のn個以内に隣接する画素を含む正方行列を画像範囲としてもよい。また、画像範囲の形状は正方行列に限られるものではない。
次に、実施例1の画像処理装置の構成について説明する。図6は、実施例1の画像処理装置の構成を示す機能ブロック図である。同図に示すように、実施例1の画像処理装置100は、画像データ入力部101と、処理対象領域設定部102と、輪郭強調処理部103と、最大画素値・最小画素値算出部104と、アンダーシュート/オーバーシュート抑制処理部105と、画像データ出力部106とを有する。
画像データ入力部101は、外部からの画像信号の入力を受け付けるインターフェースである。該画像データ入力部101と外部の画像信号入力装置の出力部とを画像信号受け渡し可能に接続することができる。外部から入力を受け付けられた画像信号は、処理対象領域設定部102と輪郭強調処理部103とに受け渡される。
処理対象領域設定部102は、画像データ入力部101から受け渡された画像データのうち処理対象の画像範囲を設定する処理を行う。前述の基準に従って処理対象画素の近傍領域を処理対象の画像範囲として設定することとなる。処理対象領域設定部102によって設定された処理対象である画像範囲の画像データは、最大画素値・最小画素値算出部104へ受け渡される。
輪郭強調処理部103は、画像データ入力部101から受け渡された画像データに基づき、原画像の輪郭強調処理を行う。具体的には、原画像の輪郭のエッジを鋭くすることによって輪郭強調を行う。輪郭強調を行った後の画像データは、アンダーシュート/オーバーシュート抑制処理部105へ受け渡される。
最大画素値・最小画素値算出部104は、処理対象領域設定部102によって設定された処理対象である画像範囲に含まれる画素のうち、最大となる画素値及び最小となる画素値を算出する。ここでの画素値の比較は、画素の濃淡を表す色相、画素の明るさを表す輝度及び画素の色を特定するRGB値の3つのパラメータに基づいて行われる。この最大画素値及び最小画素値をアンダーシュート/オーバーシュート抑制処理部105へ受け渡す。
なお、最大画素値・最小画素値算出部104は、処理対象領域設定部102によって設定された処理対象である画像範囲に含まれる画素のうち、最大となる画素値及び最小となる画素値を算出して出力することとしたが、これに限らず、n番目(nは自然数)に大きい画素値及びn番目に小さい画素値を算出して出力することとしてもよい。
アンダーシュート/オーバーシュート抑制処理部105は、輪郭強調処理部103から受け渡された輪郭強調処理後の画像データの画素値を、最大画素値・最小画素値算出部104から受け渡された最大画素値及び最小画素値に基づいて変更することによってアンダーシュート/オーバーシュートを抑制する処理を行う。アンダーシュート/オーバーシュート抑制処理部105によりアンダーシュート/オーバーシュートが抑制された画像データは、画像データ出力部106へ受け渡される。
画像データ出力部106は、外部へ画像信号の出力を行うインターフェースである。該画像データ出力部106と外部の画像信号受信装置の入力部とを画像信号受け渡し可能に接続することができる。アンダーシュート/オーバーシュート抑制処理部105から受け渡されたアンダーシュート/オーバーシュート抑制処理された画像信号は、外部の画像信号受信装置へと受け渡される。
次に、実施例1のアンダーシュート/オーバーシュート抑制処理について説明する。図7は、実施例1のアンダーシュート/オーバーシュート抑制処理手順を示すフローチャートである。以下の処理は、処理対象領域設定部102によって処理対象領域に設定された処理対象画素を含む近傍領域に属する画素について行われる。
なお、最大画素値・最小画素値算出部104が出力する最大画素値をMAXとし、最小画素値をMINとする。最大画素値・最小画素値算出部104がn番目に大きい画素値/n番目に小さい画素値を出力する場合には、n番目に大きい画素値をMAX(n)とし、n番目に小さい画素値をMIN(n)とする。また、輪郭強調処理部103による処理後の画像信号をB'2とし、アンダーシュート/オーバーシュート抑制処理部105による処理後の画像信号をB2_outとする。
同図に示すように、先ず、B'2がMAXより大であるか否かを判定する(ステップS101)。B'2がMAXより大であると判定された場合(ステップS101肯定)、B2_out=MAXとする(ステップS102)。
一方で、B'2がMAXより大であると判定されなかった場合(ステップS101否定)、B'2がMINより小であるか否かを判定し(ステップS103)、B'2がMINより小であると判定された場合(ステップS103肯定)、B2_out=MINとし(ステップS104)、B'2がMINより小であると判定されなかった場合(ステップS103否定)、B2_out=B'2とする。
図8に、エッジのある原信号を輪郭強調した後、アンダーシュート/オーバーシュート抑制処理を行って得られる出力信号の例を示す。ここでは、原画像の対象画素近傍の最大画素値、最小画素値(n=1)によりアンダーシュート/オーバーシュート抑制処理を行っている。図の結果からわかるように、処理対象画素の画素値を最大画素値又は最小画素値に変更することによって、画素値の突出を抑制し、エッジ(輪郭)の鋭さを保持しつつアンダーシュート/オーバーシュートを抑制することができる。
以下に図9〜11を参照して、本発明に係る実施例2を説明する。なお、実施例2の画像処理装置が処理対象とする画像範囲は、実施例1と同等である。先ず、実施例2の画像処理装置の構成について説明する。図9は、実施例2の画像処理装置の構成を示す機能ブロック図である。同図に示すように、実施例2の画像処理装置100は、画像データ入力部101と、処理対象領域設定部102と、輪郭強調処理部103と、最大画素値・最小画素値算出部104と、内分値計算処理部107と、内分値入力受け付け部108と、画像データ出力部106とを有する。
画像データ入力部101、処理対象領域設定部102、輪郭強調処理部103、最大画素値・最小画素値算出部104及び画像データ出力部106は、実施例1と同一の機能を有する。
内分値計算処理部107は、最大画素値・最小画素値算出部104から受け渡された最大画素値及び最小画素値と、輪郭強調処理部103から受け渡された輪郭強調処理後の画像データの処理対象画素の画素値との内分値を、内分値入力受け付け部108を介して入力された内分値を指定する入力パラメータに基づいて計算し、該計算結果で処理対象画素の画素値を変更する。この変更結果は、画像データ出力部106へ受け渡されることとなる。
次に、実施例2のアンダーシュート/オーバーシュート抑制処理について説明する。図10は、実施例2のアンダーシュート/オーバーシュート抑制処理手順を示すフローチャートである。以下の処理は、処理対象領域設定部102によって処理対象領域に設定された処理対象画素を含む近傍領域に属する画素について行われる。
なお、実施例1同様に、最大画素値・最小画素値算出部104が出力する最大画素値をMAXとし、最小画素値をMINとする。また、輪郭強調処理部103による処理後の画像信号をB'2とし、内分値計算処理部107による処理後の画像信号をB2_outとする。また、内分値入力受け付け部108を介して入力された内分値を指定する入力パラメータをOVSH_RATE(0≦OVSH_RATE≦1)とする。
同図に示すように、先ず、B'2がMAXより大であるか否かを判定する(ステップS201)。B'2がMAXより大であると判定された場合(ステップS201肯定)、B2_out=(1−OVSH_RATE)×B'2+OVSH_RATE×MAXとする(ステップS202)。
一方で、B'2がMAXより大であると判定されなかった場合(ステップS201否定)、B'2がMINより小であるか否かを判定し(ステップS203)、B'2がMINより小であると判定された場合(ステップS203肯定)、B2_out=(1−OVSH_RATE)×B'2+OVSH_RATE×MINとし(ステップS204)、B'2がMINより小であると判定されなかった場合(ステップS203否定)、B2_out=B'2とする(ステップS205)。
以上の処理を実行することによって、例えば、図11に示すように、処理対象画素の画素値が処理対象領域の最大画素値及び最小画素値の範囲外にあるときに、処理対象画素の画素値を最大画素値又は最小画素値と該処理対象画素の画素値との間の内分値に変更することによって、画素値の突出を抑制し、エッジ(輪郭)の鋭さを保持しつつアンダーシュート/オーバーシュートを抑制することができる。
また、内分値は、何れの処理対象画素についても同一の比率に基づいて計算されるので、最大画素値又は最小画素値からの乖離が大きいほど画素値が抑制されることとなるので、より効果的にエッジ(輪郭)の鋭さを保持しつつアンダーシュート/オーバーシュートを抑制することができる。
また、入力パラメータであるOVSH_RATEを変化させることによって、アンダーシュート/オーバーシュート抑制程度を最適化して、エッジの鋭さの保持とアンダーシュート/オーバーシュート抑制とのバランスを図り、以ってより鮮明で視覚的に美しい輪郭を有する画像を得ることが可能となる。なお、OVSH_RATEは、0.5〜0.8の範囲であることが好適である。
図12に、エッジのある原信号を輪郭強調した後、最大画素値または最小画素値と輪郭強調信号との内分値計算により得られるアンダーシュート/オーバーシュート抑制処理信号の例を示す。図例において、前述のOVSH_RATEは0.5に設定している。内分値処理で得られる出力信号は、エッジの鋭さを保持したまま、適度なアンダーシュート/オーバーシュートを生成していることが同図より確認でき、これにより輪郭がより自然かつ鮮明な画像を得ることが可能となる。
以下に図13〜16を参照して、本発明に係る実施例3を説明する。なお、実施例3の画像処理装置が処理対象とする画像範囲は、実施例1及び2と同等である。先ず、実施例3の画像処理装置の構成について説明する。図13は、実施例3の画像処理装置の構成を示す機能ブロック図である。同図に示すように、実施例3の画像処理装置100は、画像データ入力部101と、処理対象領域設定部102と、輪郭強調処理部103と、最大画素値・最小画素値算出部104と、内分値計算処理部107と、内分値入力受け付け部108と、閾値処理部109と、画像データ出力部106とを有する。
画像データ入力部101、処理対象領域設定部102、輪郭強調処理部103、最大画素値・最小画素値算出部104、画像データ出力部106、内分値計算処理部107及び内分値入力受け付け部108は、実施例2と同一の機能を有する。
内分値計算処理部107は、最大画素値・最小画素値算出部104から受け渡された最大画素値及び最小画素値と、輪郭強調処理部103から受け渡された輪郭強調処理後の画像データの処理対象画素の画素値との内分値を、内分値入力受け付け部108を介して入力された内分値を指定する入力パラメータに基づいて計算し、該計算結果で処理対象画素の画素値を変更する。この変更結果は、閾値処理部109へ受け渡されることとなる。
閾値処理部109は、内分値計算処理部107により変更された処理対象画素の画素値を、最大画素値・最小画素値算出部104から受け渡された最大画素値及び最小画素値とさらに比較し、両者の差分が予め設定されている閾値よりを超えた場合に、差分が閾値と一致するように処理対象画素の画素値を再度変更する。この変更結果は、画像データ出力部106へ受け渡されることとなる。
次に、実施例3のアンダーシュート/オーバーシュート抑制処理について説明する。図14は、実施例3のアンダーシュート/オーバーシュート抑制処理手順を示すフローチャートである。以下の処理は、処理対象領域設定部102によって処理対象領域に設定された処理対象画素を含む近傍領域に属する画素について行われる。なお、以下のフローチャートでは、内分値計算処理部107による処理後の画像信号に対して閾値処理部109で行われる処理を説明することとする。内分値計算処理部107による処理後の画像信号は、実施例2におけるB2_outと一致する。
なお、実施例1及び2同様に、最大画素値・最小画素値算出部104が出力する最大画素値をMAXとし、最小画素値をMINとする。また、輪郭強調処理部103による処理後の画像信号をB'2とし、内分値計算処理部107による処理後の画像信号をB2_inとし、閾値処理部109による処理後の画像信号をB2_outとする。また、内分値入力受け付け部108を介して入力された内分値を指定する入力パラメータをOVSH_RATE(0≦OVSH_RATE≦1)とし、所定の入力機能を介して予め入力されている最大画素値又は最小画素値閾値と処理対象画素の画素値との差分の閾値をdiff_threとする。
同図に示すように、先ず、(B2_in−MAX)がdiff_threより大であるか否かを判定する(ステップS301)。(B2_in−MAX)がdiff_threより大であると判定された場合(ステップS301肯定)、B2_out=MAX+diff_threとする(ステップS302)。
一方で、(B2_in−MAX)がdiff_threより大であると判定されなかった場合(ステップS301否定)、(B2_in−MIN)が(−diff_thre)より小であるか否かを判定し(ステップS203)、(B2_in−MIN)が(−diff_thre)より小であると判定された場合(ステップS303肯定)、B2_out=MIN−diff_threとし(ステップS304)、(B2_in−MIN)が(−diff_thre)より小であると判定されなかった場合(ステップS303否定)、B2_out=B2_inとする(ステップS305)。
実施例2に示した内分値処理を実行した後に、さらに実施例3の閾値処理を実行することによって、例えば、図15に示すように、内分値処理後の処理対象画素の画素値と処理対象領域の最大画素値又は最小画素値との差分が閾値を超える場合に、該差分が閾値に等しくなるように処理対象画素の画素値を変更することによって、画素値の突出をカットし、アンダーシュート/オーバーシュートをより強力に抑制することができる。
なお、内分値処理後の処理対象画素の画素値と処理対象領域の最大画素値又は最小画素値との差分が閾値を超える場合に、該差分が閾値に等しくなるように処理対象画素の画素値を一律に変更することとしたが、これに限らず、処理対象画素の画素値の最大値と(MAX+diff_thre)との比率(又は、処理対象画素の画素値の最小値と(MIN−diff_thre)との比率)を全てのB2_inに掛けることによってB2_outを決定することとしてもよい。このようにすると、アンダーシュート/オーバーシュートの抑制部分のエッジの変化の視覚的な違和感を抑制し、なだらかな画像の閾値処理結果を得る場合がある。
図16に、実施例2の内分値処理後に実施例3の閾値処理を行うことで得られる出力信号の例を示す。ここで、前述の閾値diff_threを7としている。同図からわかるように、閾値処理により輪郭近辺の画素値の極端な突出を一定の範囲内に抑えることで、アンダーシュート/オーバーシュートをより精細に抑制することが可能となる。
なお、上記実施例で説明した各処理は、予め用意されたプログラムをパーソナルコンピュータ、サーバ又はワークステーションなどのコンピュータシステムで実行することによって実現することができる。
以上、本発明の実施例を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。
(付記1)原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理装置であって、
前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定手段と、
前記処理対象領域設定手段により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値に基づいて前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更手段と
を備えたことを特徴とする画像処理装置。
(付記2)前記画素値変更手段は、前記原画像データにおける前記処理対象領域に属する画素の画素値の加工結果である加工画素値で前記処理画像データにおける前記処理対象画素の画素値を変更することを特徴とする付記1に記載の画像処理装置。
(付記3)前記画素値変更手段は、前記原画像データにおける前記処理対象領域に属する画素の画素値と前記処理画像データにおける前記処理対象画素の画素値との間の内分画素値で、前記処理画像データにおける前記処理対象画素の画素値を変更することを特徴とする付記1に記載の画像処理装置。
(付記4)前記画素値変更手段は、前記処理画像データにおける前記処理対象画素の画素値が、前記処理対象領域に属する画素の前記原画像データにおける画素値のうちn番目(nは自然数)に大きい画素値であるMAX(n)を超える場合に該処理対象画素の画素値を該MAX(n)で変更し、該近傍領域に属する画素の該原画像データにおける画素値のうちn番目に小さい画素値であるMIN(n)を下回る場合に該処理対象画素の画素値を該MIN(n)で変更することを特徴とする付記1に記載の画像処理装置。
(付記5)前記画素値変更手段は、前記処理画像データにおける前記処理対象画素の画素値が、前記処理対象領域に属する画素の前記原画像データにおける画素値のうちn番目(nは自然数)に大きい画素値であるMAX(n)を超える場合に該処理対象画素の画素値を該MAX(n)と該処理対象画素の該処理画像データにおける画素値との間の内分画素値で変更し、該近傍領域に属する画素の該原画像データにおける画素値のうちn番目に小さい画素値であるMIN(n)を下回る場合に該処理対象画素の画素値を該MIN(n)と該処理対象画素の該処理画像データにおける画素値との間の内分画素値で変更することを特徴とする付記3に記載の画像処理装置。
(付記6)前記処理対象領域設定手段により設定された前記処理対象画素の近傍領域に属する画素から所定の基準に基づいて選択された画素の前記原画像データにおける画素値と該処理対象画素の画素値との間の内分画素値を前記処理画像データにおける該処理対象画素の画素値とする付記1〜5の何れか一つに記載の画像処理装置。
(付記7)前記画素値変更手段は、前記処理対象領域に属する画素の前記原画像データにおける画素値と前記処理画像データにおける前記処理対象画素の画素値との差分が所定閾値を超える場合に、該差分が該所定閾値に等しくなるように該処理画像データにおける該処理対象画素の画素値を調整することを特徴とする付記1、2又は3に記載の画像処理装置。
(付記8)原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理方法であって、
前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定工程と、
前記処理対象領域設定工程により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値に基づいて前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更工程と
を含んだことを特徴とする画像処理方法。
(付記9)前記画素値変更工程は、前記原画像データにおける前記処理対象領域に属する画素の画素値と前記処理画像データにおける前記処理対象画素の画素値との間の内分画素値で、前記処理画像データにおける前記処理対象画素の画素値を変更することを特徴とする付記8に記載の画像処理方法。
(付記10)原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力し、該原画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理をコンピュータに実行させる画像処理プログラムであって、
前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定手順と、
前記処理対象領域設定手順により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値に基づいて前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
(付記11)前記画素値変更手順は、前記原画像データにおける前記処理対象領域に属する画素の画素値と前記処理画像データにおける前記処理対象画素の画素値との間の内分画素値で、前記処理画像データにおける前記処理対象画素の画素値を変更することを特徴とする付記10に記載の画像処理プログラム。
本発明は、テレビジョンやディスプレイ装置などの画像表示装置において、アンダーシュート/オーバーシュートを抑制しつつ適度な輪郭の鮮明度を維持して鮮明な画像を表示させたい場合に有用である。
輪郭処理の問題点を示す図である。 従来のアンダーシュート/オーバーシュート抑制処理の問題点(その1)を示す図である。 従来のアンダーシュート/オーバーシュート抑制処理の問題点(その2)を示す図である。 本発明のアンダーシュート/オーバーシュート抑制処理の問題点を示す図である。 実施例1の画像処理装置が処理対象とする画像範囲の一例を示す図である。 実施例1の画像処理装置の構成を示す機能ブロック図である。 実施例1のアンダーシュート/オーバーシュート抑制処理手順を示すフローチャートである。 実施例1のアンダーシュート/オーバーシュート抑制処理例を示す図である。 実施例2の画像処理装置の構成を示す機能ブロック図である。 実施例2のアンダーシュート/オーバーシュート抑制処理手順を示すフローチャートである。 実施例2のアンダーシュート/オーバーシュート抑制処理に関する説明図である。 実施例2のアンダーシュート/オーバーシュート抑制処理例を示す図である。 実施例3の画像処理装置の構成を示す機能ブロック図である。 実施例3のアンダーシュート/オーバーシュート抑制処理手順を示すフローチャートである。 実施例3のアンダーシュート/オーバーシュート抑制処理に関する説明図である。 実施例3のアンダーシュート/オーバーシュート抑制処理例を示す図である。
符号の説明
A、B、C、D、E、F、G、H、I 画素
100 画像処理装置
101 画像データ入力部
102 処理対象領域設定部
103 輪郭強調処理部
104 最大画素値・最小画素値算出部
105 アンダーシュート/オーバーシュート抑制処理部
106 画像データ出力部
107 内分値計算処理部
108 内分値入力受け付け部
109 閾値処理部

Claims (3)

  1. 原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力とし、該処理画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理装置であって、
    前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定手段と、
    前記処理対象領域設定手段により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値と、前記処理画像データにおける前記処理対象画素の画素値との間の内分画素値で、前記処理画像データにおける前記処理対象画素の画素値を変更した後に、前記処理対象領域に属する画素の前記原画像データにおける画素値の最大値と、該最大値に所定の閾値を加算した値との比率、もしくは前記処理対象領域設定手段により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値の最小値と、該最小値から前記所定の閾値を減算した値との比率を、前記処理画像データにおける全ての前記処理対象画素の画素値に掛けることにより、前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更手段と
    を備えたことを特徴とする画像処理装置。
  2. 原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力とし、該処理画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理方法であって、
    前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定工程と、
    前記処理対象領域設定工程により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値と、前記処理画像データにおける前記処理対象画素の画素値との間の内分画素値で、前記処理画像データにおける前記処理対象画素の画素値を変更した後に、前記処理対象領域に属する画素の前記原画像データにおける画素値の最大値と、該最大値に所定の閾値を加算した値との比率、もしくは前記処理対象領域設定手段により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値の最小値と、該最小値から前記所定の閾値を減算した値との比率を、前記処理画像データにおける全ての前記処理対象画素の画素値に掛けることにより、前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更工程と
    を含んだことを特徴とする画像処理方法。
  3. 原画像データと、該原画像データを輪郭強調処理した処理結果である処理画像データとを入力とし、該処理画像データにおける処理対象画素の画素値を該原画像データにおける該処理対象画素の近傍領域の画素値に基づいて変更する画像処理をコンピュータに実行させる画像処理プログラムであって、
    前記処理対象画素の近傍領域を処理対象領域として設定する処理対象領域設定手順と、
    前記処理対象領域設定手順により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値と、前記処理画像データにおける前記処理対象画素の画素値との間の内分画素値で、前記処理画像データにおける前記処理対象画素の画素値を変更した後に、前記処理対象領域に属する画素の前記原画像データにおける画素値の最大値と、該最大値に所定の閾値を加算した値との比率、もしくは前記処理対象領域設定手段により設定された前記処理対象領域に属する画素の前記原画像データにおける画素値の最小値と、該最小値から前記所定の閾値を減算した値との比率を、前記処理画像データにおける全ての前記処理対象画素の画素値に掛けることにより、前記処理画像データにおける前記処理対象画素の画素値を変更する画素値変更手順と
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2006218591A 2006-08-10 2006-08-10 画像処理装置、画像処理方法及び画像処理プログラム Active JP4778859B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006218591A JP4778859B2 (ja) 2006-08-10 2006-08-10 画像処理装置、画像処理方法及び画像処理プログラム
US11/641,862 US7848591B2 (en) 2006-08-10 2006-12-20 Image processing apparatus, image processing method, and computer product
CNB200710004312XA CN100574369C (zh) 2006-08-10 2007-01-22 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006218591A JP4778859B2 (ja) 2006-08-10 2006-08-10 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2008047950A JP2008047950A (ja) 2008-02-28
JP4778859B2 true JP4778859B2 (ja) 2011-09-21

Family

ID=39050875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006218591A Active JP4778859B2 (ja) 2006-08-10 2006-08-10 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (3)

Country Link
US (1) US7848591B2 (ja)
JP (1) JP4778859B2 (ja)
CN (1) CN100574369C (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514303B2 (en) * 2006-04-03 2013-08-20 Omnivision Technologies, Inc. Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP5241429B2 (ja) * 2008-10-24 2013-07-17 キヤノン株式会社 画像形成装置およびその制御方法
JP5254740B2 (ja) * 2008-10-24 2013-08-07 キヤノン株式会社 画像処理装置および画像処理方法
JP5254739B2 (ja) * 2008-10-24 2013-08-07 キヤノン株式会社 画像形成装置およびその制御方法
JP5407462B2 (ja) 2009-03-19 2014-02-05 富士通株式会社 画像出力装置、輪郭強調装置及び輪郭強調方法
JP2011005050A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理方法及び画像処理装置
JP5652002B2 (ja) * 2009-11-13 2015-01-14 セイコーエプソン株式会社 電気泳動表示装置、電気泳動表示装置の駆動方法、コントローラ、電子機器
JP5131300B2 (ja) 2010-03-15 2013-01-30 株式会社ニコン 画像処理装置、撮像装置、および、画像処理プログラム
JP5909863B2 (ja) * 2011-04-07 2016-04-27 セイコーエプソン株式会社 電気光学装置の制御装置、電気光学装置および電子機器
CN102547070A (zh) * 2011-12-20 2012-07-04 苏州希图视鼎微电子有限公司 视频图像边缘处理方法及装置
JP6465563B2 (ja) * 2014-05-14 2019-02-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6542524B2 (ja) 2014-10-29 2019-07-10 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法、およびプログラム
CN106161875B (zh) * 2015-03-25 2019-02-15 瑞昱半导体股份有限公司 图像处理装置与方法
CN109102468B (zh) * 2018-06-27 2021-06-01 广州视源电子科技股份有限公司 图像增强方法、装置、终端设备及存储介质
US11423515B2 (en) 2019-11-06 2022-08-23 Canon Kabushiki Kaisha Image processing apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247366A (en) * 1989-08-02 1993-09-21 I Sight Ltd. Color wide dynamic range camera
US5236326A (en) * 1990-07-05 1993-08-17 E. I. Du Pont De Nemours And Company Solid imaging system using photohardening inhibition
DE4310069C1 (de) * 1993-03-27 1994-05-05 Hella Kg Hueck & Co Einstellsystem für einen Reflektor an einem Kraftfahrzeugscheinwerfer
JPH08138043A (ja) * 1994-11-10 1996-05-31 Matsushita Electric Ind Co Ltd 画像処理装置
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
JP3214667B2 (ja) * 1997-03-14 2001-10-02 日本ビクター株式会社 輪郭補正装置
JP3326377B2 (ja) 1997-12-12 2002-09-24 シャープ株式会社 画質補正回路
JP2000322569A (ja) * 1999-05-10 2000-11-24 Ricoh Co Ltd 画像処理装置
KR100403601B1 (ko) 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법
JP4105942B2 (ja) 2002-12-20 2008-06-25 ペンタックス株式会社 画像処理装置
JP3876224B2 (ja) * 2002-12-25 2007-01-31 株式会社日立製作所 画像信号処理装置と撮像装置
JP4534594B2 (ja) 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4483407B2 (ja) 2004-05-21 2010-06-16 パナソニック株式会社 映像信号処理装置

Also Published As

Publication number Publication date
US7848591B2 (en) 2010-12-07
JP2008047950A (ja) 2008-02-28
CN100574369C (zh) 2009-12-23
CN101123679A (zh) 2008-02-13
US20080037898A1 (en) 2008-02-14

Similar Documents

Publication Publication Date Title
JP4778859B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US8233744B2 (en) Image enlargement apparatus, method, integrated circuit, and program
JP5159208B2 (ja) 映像補正方法及び装置
JP4648071B2 (ja) 映像表示装置及び映像信号の色飽和度制御方法
US8401324B2 (en) Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
EP2012527A1 (en) Visual processing device, visual processing method, program, display device, and integrated circuit
JP5434265B2 (ja) 領域分類装置、画質改善装置、映像表示装置、およびそれらの方法
CN101188671A (zh) 视频图像的锐化方法
US8090213B2 (en) Image processing device and method
WO2020093441A1 (zh) 图像饱和度增强的细节处理方法及装置
US8249379B2 (en) Image processing apparatus and method and image display apparatus
US20120314969A1 (en) Image processing apparatus and display device including the same, and image processing method
TWI401943B (zh) 用於一影像處理系統之影像處理方法及其相關影像處理裝置
JP2009200884A (ja) 画像データ処理装置及び画像データ処理方法
JP4526405B2 (ja) テレビ画像処理装置
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
JP4843478B2 (ja) 画像処理装置、および画像処理方法
JP2011250238A (ja) 画像処理装置及び画像処理方法
JP5247632B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP5059441B2 (ja) イメージ信号の遷移特性向上の際のシュート抑制方法及びそのための画質改善装置
US8416323B2 (en) Noise reduction method and noise reduction apparatus
KR100905524B1 (ko) 확대된 영상의 흐려짐 선명화 장치 및 방법
JP2011022779A (ja) 画像補正装置、画像補正方法及びプログラム
JP4176681B2 (ja) 画像エッジ補正装置及び画像エッジ補正方法
JP3442734B2 (ja) 画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4778859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3