JP4635652B2 - 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4635652B2
JP4635652B2 JP2005063336A JP2005063336A JP4635652B2 JP 4635652 B2 JP4635652 B2 JP 4635652B2 JP 2005063336 A JP2005063336 A JP 2005063336A JP 2005063336 A JP2005063336 A JP 2005063336A JP 4635652 B2 JP4635652 B2 JP 4635652B2
Authority
JP
Japan
Prior art keywords
image data
pixel
intersection
pixel value
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005063336A
Other languages
English (en)
Other versions
JP2006251850A (ja
Inventor
信一郎 五味
昌美 緒形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005063336A priority Critical patent/JP4635652B2/ja
Publication of JP2006251850A publication Critical patent/JP2006251850A/ja
Application granted granted Critical
Publication of JP4635652B2 publication Critical patent/JP4635652B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/403Edge-driven scaling

Description

本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば解像度の変換に適用することができる。本発明は、画素値の勾配が最も大きなエッジ勾配方向に直交するエッジ方向を検出し、このエッジ方向の交点に基づいて画素値を補正することにより、丸まった角を尖らせることができるようにする。
従来、画像処理においては、例えば線型補間処理、バイキュービック変換処理により、画像を拡大、縮小するようになされており、例えば特開2003−224715号公報には、このような画像処理を簡易な構成により実行する方法が提案されている。またこのような画像処理のうち、画像の拡大においては、高域強調、エンハンス等の処理により、いわゆるぼけを低減するようになされている。
しかしながら従来手法により画像を拡大する場合、元の画像では尖った角が丸まってしまい、これら高域強調、エンハンス等の処理を実行しても、このような丸まった角については元に戻すことが困難であり、結局、画質が劣化する問題がある。
特開2003−224715号公報
本発明は以上の点を考慮してなされたもので、丸まった角を尖らせることができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
かかる課題を解決するため本発明のある観点によれば、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、前記交点の信頼度を検出する信頼度計算部と、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善部による画素値により補正して前記出力画像データを出力するブレンド部とを備えるようにする。
また本発明の他の観点によれば、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理部と、前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、前記画像処理部は、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、前記入力画像データの解像度を変換して出力データを出力する解像度変換部と、前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記解像度変換部の出力データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、前記交点の信頼度を検出する信頼度計算部と、前記信頼度に応じて、前記出力データの画素値を前記角改善部による画素値により補正して前記画像データを出力するブレンド部とを有し、前記複数の画像処理部は、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
また本発明の他の観点によれば、入力画像データを処理して出力画像データを出力する画像処理方法に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップとを有するようにする。
また本発明の他の観点によれば、入力画像データを処理して出力画像データを出力する画像処理方法に適用して、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記画像処理のステップは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、前記複数の画像処理のステップは、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
また本発明の他の観点によれば、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムに適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップとを有するようにする。
また本発明の他の観点によれば、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムに適用して、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記画像処理のステップは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、前記複数の画像処理のステップは、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
また本発明の他の観点によれば、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善のステップによる画素値により補正して前記出力画像データを出力するブレンドのステップとを有するようにする。
また本発明の他の観点によれば、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラム記録した記録媒体に適用して、前記画像処理方法のプログラムは、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記画像処理のステップは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、前記出力画像データの各画素毎に、前記交点検出のステップで検出される前記交点に応じて、前記解像度変換のステップの出力データによる画素値を補正して前記交点の側に角を尖らせる角改善のステップと、前記交点の信頼度を検出する信頼度計算のステップと、前記信頼度に応じて、前記出力データの画素値を前記角改善のステップによる画素値により補正して前記画像データを出力するブレンドのステップとを有し、前記複数の画像処理のステップは、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
第1の観点に係る構成により、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記入力画像データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、前記交点の信頼度を検出する信頼度計算部と、前記信頼度に応じて、前記入力画像データによる画素値を前記角改善部による画素値により補正して前記出力画像データを出力するブレンド部とを備えるようにすれば、エッジ方向により検出される交点により角の頂点を検出して、この頂点に向かって角が尖るように画素値を補正することができる。また信頼度を検出してこのような処理結果により画素値を補正して画像データを出力することにより、角であることが確からしくない箇所については、元の入力画像データによる画素値により出力画像データを出力することができ、これにより違和感無く角を尖らせて、画質を向上することができる。
また第2の観点に係る構成によれば、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理部と、前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、前記画像処理部は、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、前記入力画像データの解像度を変換して出力データを出力する解像度変換部と、前記出力画像データの各画素毎に、前記交点検出部で検出される前記交点に応じて、前記解像度変換部の出力データによる画素値を補正して前記交点の側に角を尖らせる角改善部と、前記交点の信頼度を検出する信頼度計算部と、前記信頼度に応じて、前記出力データの画素値を前記角改善部による画素値により補正して前記画像データを出力するブレンド部とを有することにより、この各画像処理部において、違和感無く角を尖らせて、画質を向上することができる。またこのように構成して、前記複数の画像処理部は、前記エッジ方向の検出に供する特性が異なる特性に設定されていることにより、1つの画像処理部でエッジ方向を検出できない場合、誤り検出した場合等であっても、他の画像処理部では、エッジ方向を正しく検出することができ、これにより確実に、画質を向上することができる。
これにより第3、第5及び第7の観点に係る構成によれば、違和感無く角を尖らせて、画質を向上することができる画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提供することができる。
また第4、第6及び第8の観点に係る構成によれば、違和感無く角を尖らせて、確実に、画質を向上することができる画像処理方法、画像処理方法のプログラム及び画像処理方
本発明によれば、違和感無く角を尖らせて、画質を向上することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
(1)実施例1の構成
図1は、本発明の実施例に係る画像処理装置を示す機能ブロック図である。この画像処理装置1は、演算処理手段である例えばディジタルシグナルプロセッサにより形成され、この演算処理手段により所定の処理プログラムを実行することにより、入力画像データS1を画像処理して出力画像データS3を表示手段等に出力する。
なおこの実施例において、この演算処理手段に係る処理プログラムにおいては、この画像処理装置1にプリインストールされて提供されるようになされているものの、このような処理プログラムの提供にあっては、例えばインターネット等によるネットワークを介したダウンロードにより提供するようにしてもよく、さらには種々の記録媒体を介して提供するようにしてもよい。なおこのような記録媒体においては、光ディスク、メモリカード、着脱可能なハードディスク装置等、種々の記録媒体に広く適用することができる。
この画像処理装置1において、勾配解析部2は、入力画像データS1の各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向と直交するエッジ方向を検出する。勾配解析部2は、例えばラスタ走査順に順次注目画素を切り換え、図2に示すように、この注目画素を中心とした範囲Wにおける画素値を用いた演算処理により、次式により表される輝度勾配の行列Gを各画素毎に生成する。なおここで図2は、注目画素を中心にしたx方向及びy方向の±3画素をこの範囲Wに設定した例である。
Figure 0004635652
ここでw(i,j) は、(2)式により表されるガウス型の重みであり、gは、画像輝度Iのx方向の偏微分gx と、画像輝度Iのy方向の偏微分gy とにより(3)式で表される輝度勾配である。
Figure 0004635652
Figure 0004635652
これにより勾配解析部2は、注目画素を中心とした所定範囲Wについて、注目画素を基準にして重み付け処理してなる画素値の勾配を検出する。
勾配解析部2は、この輝度勾配の行列Gを処理することにより、図3に示すように、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向v1、このエッジ勾配方向v1に直交する方向であるエッジ方向v2を検出する。またこれらエッジ勾配方向v1、エッジ方向v2について、それぞれ画素値の勾配の分散を示す固有値λ1、λ2を検出する。
具体的に、勾配解析部2は、次式の演算処理により、エッジ勾配方向v1、エッジ方向v2、固有値λ1、λ2(λ1≧λ2)を検出する。
Figure 0004635652
Figure 0004635652
Figure 0004635652
Figure 0004635652
但し、aは、次式による。
Figure 0004635652
交点検出部3は、勾配解析部2で検出されたエッジ方向v2を用いてエッジが交差している交点を検出することにより、角の頂点を検出する。ここでこの交点をqi と置き、画素piで求められるエッジ方向をviと置くと、交点qiにあっては、画素piを通るvi方向の直線上に位置することにより、これらpi、qiをそれぞれ交点及び画素の座標値とし、変数をtとおいて、次式の関係式を得ることができる。
Figure 0004635652
またこの(9)式をxy座標表記により表せば、次式の関係式を得ることができる。なおここでこの(10)式では、x座標成分及びy座標成分をそれぞれ符号x及びyのサフィックスにより示す。
Figure 0004635652
ここで交点qiにあっては、この(10)式の関係式で求められる複数の直線の交点であり、これにより交点検出部3は、図4に示すように、注目画素を中心にした一定範囲で検出されるエッジ方向viを用いて、次式の演算処理を実行することにより、これら一定範囲の各画素による(10)式の関係式を連立方程式により解き、交点qを検出する。これらにより交点検出部3は、勾配解析部2により検出されるエッジ方向v2に基づいて、出力画像データS3の各画素毎に、エッジ方向v2の直線と周辺画素のエッジ方向v2の直線との間で交点qを検出する。
Figure 0004635652
なおここでエッジ方向v2の画素値の勾配の分散を示す固有値λ1が小さい場合、エッジの信頼度が低いと言える。これにより固有値λ1が小さい注目画素、周辺画素で検出されるエッジ方向v2については、(11)式の演算処理に使用しないようにしてもよい。またこの一定範囲で検出されるエッジ方向が平行に近い場合、交点qにあっては、注目画素から遠く離れた位置で検出される。ここでこの実施例では、交点qまでの距離|q|を基準にして画素値を設定して丸まった角を尖らせることにより、あまりに距離が大きくなると、誤って画素値を設定する恐れがある。これにより図5に示すように、注目画素から交点までの距離|q|が一定値nmin以下の場合、値1であって、距離|q|が大きくなるに従って徐々に値が低下して値0となるパラメータkを設定し、このパラメータkを用いて、次式の演算処理を実行することにより、注目画素に近づくように交点qの位置を補正するようにしてもよい。
Figure 0004635652
角改善部4は、交点検出部3で検出される交点位置に基づいて、入力画像データS1による画素値を補正して交点の側に角を尖らせる。ここで角改善部4は、図6に示すように、注目画素から交点方向とは逆方向の、注目画素から交点までの距離だけ離れたサンプリング点の画素値を注目画素の画素値に割り当てる。またこのとき、このサンプリング点が、入力画像データS1のサンプリング点と一致しない場合、例えば次式の演算処理により、周囲の画素より対応するサンプリング点の画素値を求め、この画素値を注目画素の画素値fに設定する。なおここでtx及びtyは、この交点までの距離だけ離れたサンプリング点が、それぞれ入力画像データS1の隣接するサンプリング点を、x方向及びy方向に内分する内分比である。これによりこの(13)式の例では直線補間によりこの交点までの距離だけ離れたサンプリング点の画素値fを求めることになるが、この演算処理にあっては、種々の補間演算処理を広く適用することができる。
Figure 0004635652
またこのようにして求めた画素値により、入力画像データS1の画素値を変更して画像データS3を出力する。これにより角改善部4は、交点に向かって角が尖るように画素値を補正する。
交点信頼度計算部5は、交点検出部3で検出される交点qの信頼度を計算することにより、角改善部4で設定された画素値の信頼度を検出する。すなわち交点検出部3で検出される交点qにあっては、ノイズにより正確に求められない場合等があり、これにより図7に示すように、ばらつきが発生する。ここでこのようなばらつきが大きい場合、この交点にあっては、角である可能性が低いと考えられる。これにより交点信頼度計算部5は、周辺画素で検出される交点との比較により、注目画素で検出される交点の信頼度を計算し、これによりばらつきに応じて値が小さくなるように、信頼度を示すパラメータrを設定する。
すなわち交点信頼度計算部5は、注目画素により検出される交点qと、この注目画素を中心とした一定範囲の周辺画素から検出される交点qとの座標値を用いてx方向及びy方向の標準偏差sdvx、sdvyを求め、これらx方向及びy方向の標準偏差sdvx、sdvyより次式の演算処理を実行して標準偏差sdvを計算する。
Figure 0004635652
さらにこの標準偏差sdvを用いて、図8に示すように、注目画素より検出される交点についての信頼度を示す信頼度のパラメータrsdvを、標準偏差sdvの増大により値が小さくなるように設定する。なおこの図8に示す例では、標準偏差sdvが一定の範囲sdvmin〜sdvmaxで、標準偏差sdvに比例して値が減少し、この一定の範囲sdvmin〜sdvmax以下及び以上でそれぞれ値1.0及び値0となるように、信頼度のパラメータrsdvを設定する。これにより交点信頼度計算部5は、注目画素における交点と周辺画素による交点とによる分散の大きさにより、注目画素で検出される交点の信頼度を計算する。
またこのようにして検出される標準偏差sdvの値が同一の場合でも、注目画素と交点との間の距離が近い場合には、この距離が長い場合に比して、信頼性が低いと言える。これにより交点信頼度計算部5は、図9に示すように、注目画素により検出される交点qと、この注目画素を中心とした一定範囲の周辺画素から検出される交点qとの座標値を用いて、注目画素から見たこれら交点の分布する角度を計算する。
また図10に示すように、注目画素より検出される交点についての信頼度を示す信頼度のパラメータrangleを、この角度の開きが大きくなるに従って値が小さくなるように設定する。なおこの図10に示す例では、角度の開きが正側及び負側の一定の範囲amin〜amax、−amin〜−amaxで角度の開きが大きくなるに従って値が減少し、角度の開きがこの範囲より小さい場合及び大きい場合に、それぞれ値1.0及び値0により信頼度のパラメータrangleを設定する。
交点信頼度計算部5は、次式により示すように、このようにして計算した2種類のパラメータrsdv、rangleを乗算して、最終的にこの注目画素より角改善部4で求められる画素値について、信頼度を示す信頼度のパラメータrを計算する。
Figure 0004635652
なおこのようにして検出される信頼度のパラメータrにより、次式により示すように、角改善部4で画素値の設定に供する画素がより近づくように、計算に供するベクトルqを補正し、これにより(12)式について上述したと同様に誤った画素値の設定を防止するようにしてもよい。
Figure 0004635652
角領域検出部6は、入力画像データS1より角の部分を検出する。ここでエッジ勾配方向v1及びエッジ方向v2についてそれぞれ画素値の勾配の分散を示す固有値λ1、λ2について、この固有値λ1、λ2の比率λ2/λ1が大きい場合には、この注目画素においては、エッジ勾配方向v1の画素値の勾配が急峻であり、エッジである確率が高いと判断することができる。これによりこの場合、エッジ方向v2により検出される交点にあっては、角である確率が高いと言うことができる。
これにより角領域検出部6は、図11に示すように、この比率λ2/λ1が一定の範囲λ2/λ1min〜λ2/λ1maxにおいては、比率λ2/λ1の値が増大するに従ってほぼ直線的に値が増加し、比率λ2/λ1の値がこの一定の範囲λ2/λ1min、λ2/λ1max以外の場合には、それぞれ最小値Smin及び最大値1.0となるパラメータsを生成する。
ブレンド比決定部7は、角改善部4による処理結果による画素値と、元の入力画像データS1の画素値とをブレンドするブレンド比を決定する。
すなわちブレンド比決定部7は、交点信頼度計算部5で検出される信頼度のパラメータrから、図12に示すように、信頼度が高い程、値が大きくなるように、ブレンド比計算用のパラメータtを求める。ここで図12の例では、一定の範囲rmin〜rmaxでは信頼度のパラメータrの値に比例して値が増大し、この範囲rmin〜rmax以外ではそれぞれ最小値及び最大値1.0となるようにパラメータtを設定する。
また次式により示すように、このようにして求めたパラメータtと、角領域検出部6で求められるパラメータsとを乗算してブレンド比αを計算する。
Figure 0004635652
ブレンド部8は、次式により示すように、このブレンド比決定部7で求めたブレンド比αにより角改善部4の処理結果S2による画素値と、元の入力画像データS1の画素値とを重み付け加算し、これにより出力画像データS3を生成して出力する。これによりブレンド部8は、ブレンド比決定部7により、エッジ方向v2に係る画素値の勾配の分散λ2とエッジ勾配方向v1に係る画素値の勾配の分散λ1との比率に応じて、交点信頼度計算部5で計算される信頼度を補正して重み付け係数αを求め、この重み付け係数により、入力画像データS1による画素値と角改善部4による画素値とを重み付け加算して出力画像データS3を出力する。
Figure 0004635652
(2)実施例の動作
以上の構成において、この画像処理装置1において(図1)、入力画像データS1は、勾配解析部2に入力され、ここで各画素毎に、画素値の勾配が最も大きなエッジ勾配方向v1と、このエッジ勾配方向v1と直交するエッジ方向v2とが順次検出される((1)〜(8)式、図3及び図4)。また入力画像データS1は、交点検出部3において、出力画像データS3の各画素毎に、エッジ方向v2の直線と、周辺画素のエッジ方向v2の直線とで交点が検出され(図4、(9)〜(11)式)、これにより角の頂点が検出される。入力画像データS1は、このようにして検出される交点に基づいて、画素値が補正され、これにより交点に向かって角が尖るように画素値が補正される。
より具体的に、この画像処理装置1では、注目画素から対応する交点の方向とは逆方向であって、注目画素から交点の距離だけ離れたサンプリング点の画素値が、注目画素に設定され(図6、(13)式)、これにより入力画像データS1による画素値が補正される。
しかしながらこのようにして検出される交点にあっては、必ずしも正しく角の頂点を検出しているとは限らず、誤検出されている場合もある。
これにより入力画像データS1は、交点検出結果が交点信頼度計算部5に入力され、ここで注目画素による交点と周辺画素による交点との比較により、交点の信頼度が計算される。すなわちこれら注目画素と周辺画素とで交点のばらつきが大きい場合、信頼度が低いと判断することができ、これによりこれら交点の分散の大きさにより、ばらつきが大きい程、値が小さくなるように信頼度のパラメータrsdvが求められる(図7及び図8、(14)式)。
またこのような交点に近づくに従ってこのようなばらつきは小さくなることにより、注目画素より見た、注目画素における交点と周辺画素により検出される交点との分布の角度により、この角度が小さい程、値が小さくなるように信頼度のパラメータrangleが求められる(図9及び図10)。
またこれらパラメータrsdv及びrangleの乗算により最終的に信頼度のパラメータrが求められる((15)式)。
またこのような交点の検出基準であるエッジ方向を誤検出している場合等もあることにより、角領域検出部6において、エッジ勾配方向v1及びエッジ方向v2における画素値の勾配の分散を示す固有値λ1、λ2について、この固有値λ1、λ2の比率λ2/λ1により、角である確率が大きい程、値が大きくなるパラメータtが計算され、ブレンド比決定部7において、信頼度のパラメータrとの乗算により、信頼度のパラメータrがパラメータtにより補正されてブレンド比αが計算される。
入力画像データS1は、角改善部4による処理結果S2との間で、このブレンド比αを用いて重み付け加算処理され、これにより角改善部による処理結果により画素値が補正される。これにより入力画像データS1は、エッジ方向を誤って検出した場合、角の頂点で無い箇所で交点を検出した場合等にあっても、これらの誤検出による誤った角改善部による処理を防止することができ、その分、違和感無く角を尖らせて、画質を向上することができる。
(3)実施例の効果
以上の構成によれば、画素値の勾配が最も大きなエッジ勾配方向に直交するエッジ方向を検出し、このエッジ方向の交点に基づいて画素値を補正することにより、丸まった角を尖らせることができる。
またこのとき角改善部において、注目画素から対応する交点の方向とは逆方向であって、注目画素から交点の距離だけ離れたサンプリング点の画素値を、注目画素に設定し、これにより入力画像データによる画素値を補正して角を尖らせることにより、簡易かつ確実に角を尖らせることができる。
また交点信頼度計算部5で計算した信頼度により、入力画像データによる画素値を角改善部による画素値により補正して出力画像データを出力するようにして、この交点信頼度計算部において、注目画素における交点と、周辺画素により検出される交点との比較により、注目画素で検出される交点の信頼度を計算することにより、簡易かつ確実に交点の信頼度を各画素毎に検出することができ、これにより簡易かつ確実に角を尖らせることができる。
また具体的に、注目画素における交点と、周辺画素で検出される交点とによる分散の大きさにより、注目画素で検出される交点の信頼度を計算することにより、簡易かつ確実に信頼度を計算することができる。
また注目画素より見た、注目画素における交点と周辺画素で検出される交点との分布の角度により、注目画素で検出される交点の信頼度を計算することにより、交点までの距離を加味して信頼度を求めることができる。
またエッジ方向に係る画素値の勾配の分散とエッジ勾配方向に係る画素値の勾配の分散との比率に応じて、信頼度を補正して重み付け係数を求め、この重み付け係数により、入力画像データによる画素値と角改善部による画素値とを重み付け加算することにより、エッジ方向を誤って検出した場合、角の頂点で無い箇所で交点を検出した場合等にあっても、これらの誤検出による誤った角改善部による処理を防止することができ、その分、違和感無く角を尖らせて、画質を向上することができる。
この実施例に係る画像処理装置は、図6との対比により図13に示すように、角改善部において、注目画素の画素値を交点の画素値に設定することにより、角を尖らせる。なおこの実施例に係る画像処理装置は、この角改善部に係る構成、この角改善の処理に関連する構成が異なる点を除いて、実施例1について上述した画像処理装置1と同一に構成され、これにより以下の説明においては、適宜、図1を流用して説明する。
すなわち角改善部4は、この場合、対応する交点が入力画像データS1のサンプリング点に一致しない場合があることにより、例えば次式により示すように重み付けして、交点に係る入力画像データS1の周辺サンプリング点の画素値を設定する。なおこの(19)式は、ガウシアン型の重み付けであるが、この画素値の設定は、単に距離を変数に設定した一定範囲における外挿処理により求める場合等、種々の手法を広く適用することができる。
Figure 0004635652
またこれにより交点信頼度計算部5、ブレンド比決定部7は、実施例1について上述した画像処理装置1における場合と同様の処理により、注目画素について信頼度r、重み付け係数αを計算し、この計算結果を角改善部4における処理に対応するように、交点側のサンプリング点に設定した画素値に係る信頼度、重み付け係数に置き換えて出力する。
またこのように注目画素の画素値を交点の画素値に設定する場合、1つの角に係る交点が複数の注目画素で検出され、これら複数の注目画素からこの1つの角に係るサンプリング点に複数の画素値が求められる場合があることにより、角改善部4は、このような場合、この1つの角について求められる複数の画素値を統計的に処理して、交点の画素値を設定する。なおこの統計的な処理にあっては、複数の画素値を平均値化する場合、さらには信頼度により重み付け加算する場合等、必要に応じて種々の処理を広く適用することができる。
また交点信頼度計算部5、ブレンド比決定部7は、このような角改善部4における統計的な処理に対応する処理により、複数の注目画素より検出される信頼度、比率λ2/λ1を処理して、重み付け係数αを計算する。
この実施例によれば、注目画素の画素値により交点に係るサンプリング点の画素値を設定して角を尖らせるようにしても、実施例1と同様の効果を得ることができる。またこの場合、実施例1の場合に比して、より角を尖らせることができる。
図14は、図1との対比により本発明の実施例3に係る画像処理装置を示す機能ブロック図である。この画像処理装置11において、実施例1について上述した画像処理装置1と同一の構成は、対応する符号を付して示し、重複した説明は省略する。この画像処理装置11においても、演算処理手段である例えばディジタルシグナルプロセッサにより形成される。
ここでこの画像処理装置11は、解像度変換部12により入力画像データS1の解像度を増大させて画像データS4を生成し、入力画像データS1に代えて、この画像データS4を角改善部4、ブレンド部8に入力する。ここで解像度変換部12は、エッジ勾配方向v1、エッジ方向に輪郭強調処理、平滑化処理して画像データS4を出力する。
すなわち図15は、この解像度変換部12を示す機能ブロック図であり、補間処理部13は、例えば線型補間処理、バイキュービック変換処理により、入力画像データS1の解像度を、出力画像データS3の解像度に変換して出力画像データS11により出力する。これによりこの画像データS11は、高周波成分が失われてシャープさの欠けたぼけた画像となる。
エッジ方向処理部14は、勾配解析部2で検出される入力画像データS1の注目画素に係るエッジ方向v2に基づいて、解像度変換後の画像データS4に係る各画素のエッジ方向vcを計算し、このエッジ方向vcに基づく内挿処理により出力画像データS3の各画素に対応する画素値を順次計算する。
すなわちエッジ方向処理部14は、図16に示すように、計算対象である画像データS4の注目画素Pcに隣接してなる入力画像データS1の各画素(この図16の例ではP3、P4、P9、P10)について、次式の演算処理を実行することにより、入力画像データS1に係るこれら隣接する画素のエッジ方向v2(v3 、v4 、v9 、v10)を用いた内挿処理により注目画素Pcのエッジ方向vcを計算する。
Figure 0004635652
なおここで、tx 、ty は、それぞれ画像データS1によるサンプリング点P3、P4、P9、P10をx方向及びy方向に内分する注目画素の座標値であり、0≦tx ≦1、0≦ty ≦1である。
さらにエッジ方向処理部14は、このようにして計算される注目画素Pcのエッジ方向vcより、注目画素Pcのサンプリング点からエッジ方向vcの直線上に、入力画像データS1のサンプリングピッチによるサンプリング点P−2、P−1、P1、P2を所定個数だけ設定する。さらにこのサンプリング点P−2、P−1、P1、P2と注目画素Pcとについて、入力画像データS1の画素値を用いた補間演算処理によりそれぞれ画素値を計算し、これにより勾配解析部2の検出結果に基づいて、出力画像データS3の各画素毎に、エッジ方向vcに延長する直線上に、入力画像データS1の内挿処理によるエッジ方向の内挿画像データを生成する。これによりエッジ方向処理部14は、入力画像データS1をエッジ方向に平滑化しながら解像度を変換する。
またこのとき後述するエッジ方向範囲の決定部15による計算結果に従って、このようにして設定するサンプリング点の数を切り換え、また続くフィルタリングの処理を切り換え、これにより注目画素のエッジ方向vcに係るエッジの信頼度に応じてフィルタリング処理のタップ数を切り換える。具体的に、例えば続くフィルタリングの処理を3タップのフィルタリングにより実行する場合、注目画素Pcについては、周辺画素P3、P4、P9、P10を用いた線型補間により画素値を計算し、また同様にして前後のサンプリング点P−1、P1については、それぞれP2、P3、P8、P9及びP4、P5、P10、P11を用いた線型補間により画素値を計算する。これに対して例えば続くフィルタリングの処理を5タップのフィルタリングにより実行する場合、注目画素Pcについては、周辺画素P3、P4、P9、P10を用いた線型補間により画素値を計算し、また同様にしてサンプリング点P−2、P−1、P1、P2について、画素値を計算する。
続いてエッジ方向処理部14は、このようにして計算したサンプリング点P−2、P−1、P1、P2及び注目画素Pcの画素値をフィルタリング処理により平滑化処理し、注目画素Pcの画素値Pc’を決定する。すなわち3タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Pcの画素値Pc’を計算する。
Figure 0004635652
これに対して5タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Pcの画素値Pc’を計算する。
Figure 0004635652
これらによりこの実施例においては、エッジ方向の内挿画像データの平滑化処理により、出力画像データS3の画素に対応する画素値を計算し、これにより高周波成分の喪失を有効に回避しつつ、エッジにおけるジャギーの発生を防止するようになされている。なおこれら内挿画像データの生成に供する補間演算処理にあっては、隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた種々の補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、(21)式、(22)式について上述した演算処理に限らず、種々の重み付け係数による補間演算処理を広く適用することができる。
ところでこのように画素毎にエッジ方向を検出して画像データS3に係る画素値を計算する場合、エッジでは無い箇所で輝度勾配と直交する方向に平滑化処理する恐れもある。このような場合に、大きな範囲である多くのタップ数によりフィルタリング処理したのでは、却って画質を劣化することになる。しかしながらこれとは逆に、エッジの部分では、大きな範囲でフィルタリング処理して、一段と確実にジャギーの発生を防止して滑らかなエッジを形成することができる。
これによりこの実施例では、画素毎にフィルタリング処理するタップ数を切り換え、これにより画素毎にエッジ方向に平滑化処理する範囲を可変する。またこのような平滑化処理する範囲をエッジ方向vcへのエッジの信頼度により可変し、これにより平滑化処理による画質劣化を防止する。
具体的に、この実施例では、エッジ方向v2の固有値λ2と、エッジ勾配方向v1の固有値λ1との比率λ2/λ1により、このようなエッジ方向vcへのエッジの信頼度を検出する。すなわちこの比率λ2/λ1が小さい場合には、この注目画素においては、エッジ勾配方向v1の画素値の勾配が支配的であり、エッジ方向v2に強いエッジであると判断することができる。これによりエッジ方向処理範囲の決定部15は、図17に示すように、この比率λ2/λ1が一定の範囲λ2/λ1min〜λ2/λ1maxにおいては、比率λ2/λ1の値が低下するに従ってほぼ直線的に値が増加し、比率λ2/λ1の値がこの一定の範囲λ2/λ1min〜λ2/λ1max以外の場合には、それぞれ最大値pmax及び最小値pminとなるパラメータpを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータpを生成する。
またエッジ勾配方向v1の固有値λ1が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりエッジ方向処理範囲の決定部15は、図18に示すように、所定の範囲λ1min〜λ1maxで、固有値λ1に応じてほぼ直線的に値が増加し、これらの範囲λ1min〜λ1maxより値の小さい側及び大きい側では、それぞれ下限値qmin、上限値qmaxとなるパラメータqを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータqを生成する。
エッジ方向処理範囲の決定部15は、これら2つのパラメータp及びqについて、次式により表される乗算処理を実行し、これによりエッジ方向処理に係るフィルタリング処理の範囲rを計算する。
Figure 0004635652
なおエッジ方向処理範囲の決定部15においては、エッジ方向処理部14の処理に係る画像データS4のサンプリング点に対応するように、入力画像データS1のサンプリング点による固有値λ1、λ2を画像データS4のサンプリング点に係る固有値に変換してフィルタリング処理の範囲rを計算する。この場合に、入力画像データS1のサンプリング点によりフィルタリング処理の範囲rを計算した後、この計算結果の内挿処理により画像データS3のサンプリング点に係るフィルタリング処理の範囲rを計算するようにしてもよく、またこれとは逆に、入力画像データS1のサンプリング点に係る固有値λ1、λ2を内挿処理して画像データS4のサンプリング点に係る固有値λ1、λ2を計算した後、この計算結果から画像データS4のサンプリング点に係るフィルタリング処理の範囲rを計算するようにしてもよい。
しかしてエッジ方向処理部14は、このようにして計算される範囲rによりフィルタリング処理のタップ数を切り換えて画像データS3に係る注目画素Pcの画素値Pc’を計算する。
このフィルタリングの処理において、エッジ方向処理部14は、フィルタリング結果の融合処理を実行することにより、実数値のタップ数によりフィルタリング処理を実行し、これにより整数値のタップ数によりフィルタリング処理した場合の、タップ数の切り換え時における不自然さを解消する。
すなわちエッジ方向処理部14では、次式により示される整数値によるタップ数のフィルタが定義される。なおここでこの実施例において、この整数値のタップ数は、1、3、5、……による奇数値が適用される。
Figure 0004635652
ここでfloor(n)は、nを越えない最大の整数のタップ数であり、ceil(n)は、n以上の最小の整数のタップ数である。またnrealは、(12)式により計算された範囲rが適用される。これによりn=3.5の場合、floor(n)はタップ数3であり、ceil(n)はタップ数5となる。
フィルタリング結果の融合処理は、これら2種類のフィルタリング処理結果を用いて次式の演算処理を実行することにより、実数値によるフィルタリング処理結果f(n)を計算して実行される。これによりエッジ方向処理部14は、フィルタリング処理の範囲rによりこれら2種類のタップ数によるフィルタリング処理を実行し、さらにこれら2種類のフィルタリング処理結果を用いて(25)式の演算処理を実行することにより、画像データS3に係る注目画素Pcの画素値Pc’を計算する。これによりエッジ方向処理部14は、エッジ方向へのエッジの信頼度に応じたタップ数によりフィルタリング処理して画像データS3に係る注目画素Pcの画素値Pc’を計算するようにして、このタップ数を少数点以下の単位で可変する。
Figure 0004635652
エッジ勾配方向処理部16は、このようにしてエッジ方向処理部14で計算される画像データS4に係る注目画素Pcの画素値Pc’を用いて、エッジ勾配方向v1に輪郭強調処理を実行する。すなわちエッジ勾配方向処理部16は、図19に示すように、エッジ方向処理部14において、画像データS4に係る注目画素Pcでエッジ方向vcを計算したと同様にして、入力画像データS1に係る隣接するサンプリング点のエッジ勾配方向v1より、画像データS4に係る注目画素Pccのエッジ勾配方向vgを計算する。
さらにエッジ勾配方向処理部16は、このようにして計算される注目画素Pccのエッジ勾配方向vgより、注目画素Pccのサンプリング点からエッジ勾配方向vgの直線上に、画像データS4のサンプリングピッチによるサンプリング点Pc−1、Pc+1を所定個数だけ設定する。さらにこのサンプリング点Pc−1、Pc+1と注目画素Pccとについて、エッジ方向処理部14から出力される画素値を用いた補間演算処理によりそれぞれ画素値を計算する。これによりエッジ方向処理部14は、勾配解析部2の検出結果に基づいて、画像データS4の各画素毎に、エッジ勾配方向vgに延長する直線上に、エッジ方向処理部14から出力される画素値による画像データの内挿処理によるエッジ勾配方向の内挿画像データを生成する。
続いてエッジ方向処理部14は、このようにして計算したサンプリング点Pc−1、Pc+1と注目画素Pccの画素値をフィルタリング処理し、注目画素Pccの画素値Pcc’を決定する。しかしてこの図19の例にあっては、3タップにより注目画素Pccの画素値Pcc’を計算する場合であり、サンプリング点Pc−1の画素値にあっては、周辺のサンプリング点Pc1、Pc2、Pc4、Pccによる線型補間により生成され、またサンプリング点Pc+1の画素値にあっては、周辺のサンプリング点Pcc、Pc5、Pc7、Pc8による線型補間により生成されるようになされている。これによりエッジ勾配方向処理部16は、エッジを横切る方向に輪郭強調するようになされている。なおこれら内挿画像データの生成に供する補間演算処理にあっては、このような隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、種々の重み付け係数による補間演算処理を広く適用することができる。
ブレンド比決定部17は、エッジ方向vcへのエッジの信頼度に応じてブレンド用の重み付け係数を生成する。すなわち上述したようにエッジ方向に平滑化処理し、エッジと直交する方向に輪郭強調する場合にあっては、自然画において、不自然に輪郭強調する場合がある。このためこの実施例においては、別途、補間処理部13で従来手法により生成した画像データS11に係る画素値Paと、エッジ勾配方向処理部16で生成される画素値Pcc’とをブレンド処理部18により重み付け加算して画像データS4を生成し、ブレンド比決定部17は、この重み付け加算処理に係る重み付け係数を可変する。またこの重み付け係数の可変を、エッジ方向へのエッジの信頼度により可変し、これにより過度なエッジに係る処理の不自然さを防止する。またこのエッジ方向へのエッジの信頼度に、エッジ方向v2の固有値λ2と、エッジ勾配方向v1の固有値λ1との比率λ2/λ1を適用して処理する。
具体的に、この比率λ2/λ1が小さい場合には、この注目画素においては、エッジ勾配方向v1の勾配が支配的であり、エッジ方向v2に強いエッジであると判断することができる。これによりブレンド比決定部17は、図20に示すように、この比率λ2/λ1が一定の範囲λ2/λ1min〜λ2/λ1maxにおいては、比率λ2/λ1の値が低下するに従ってほぼ直線的に値が増加し、比率λ2/λ1の値がこの一定の範囲λ2/λ1min〜λ2/λ1max以外の場合には、それぞれ最大値smax及び最小値sminとなるパラメータsを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータsを生成する。
またエッジ勾配方向v1の固有値λ1が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりブレンド比決定部17は、図21に示すように、所定の範囲λ1min、λ1maxで、固有値λ1に応じてほぼ直線的に値が増加し、これらの範囲λ1min、λ1maxでは、それぞれ下限値tmin、上限値tmaxとなるパラメータtを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータtを生成する。
ブレンド比決定部17は、次式により示すように、これらパラメータs、tを乗算して、ブレンド用の重み付け係数β(0≦β≦1)を計算する。
Figure 0004635652
なおブレンド比決定部17は、画像データS11に係るサンプリング点に対応するように、入力画像データS1のサンプリング点による固有値λ1、λ2を画像データS11のサンプリング点に係る固有値に変換してブレンド用の重み付け係数βを計算する。
ブレンド処理部18は、次式の演算処理を実行することにより、エッジ勾配方向処理部16で計算される画素値Pcc’による画像データS12と、補間処理部13で計算される画素値Paによる画像データS11とをブレンド比決定部17による重み付け係数βにより重み付け加算処理し、その処理結果を画像データS4により出力する。
Figure 0004635652
これらにより解像度変換部12は、勾配解析部2で検出されるエッジ勾配方向v1、エッジ方向v2に輪郭強調処理、平滑化処理しながら、入力画像データS1の解像度を変換して画像データS4を出力する。
またこれら解像度変換の処理に対応して、交点検出部3は、入力画像データS1の各画素について求められる交点から、解像度変換後の画像データである出力画像データS3の各画素毎の交点を計算し、この交点を角改善部4、交点信頼度計算部5に通知する。なおこのような交点の計算においては、図22及び次式により示すように、近傍画素で検出される交点qa、qb、qc、qdを用いた補間演算処理を適用することができる。
Figure 0004635652
また角領域検出部6においても、同様にして、入力画像データS1の各画素について求められるパラメータsを、出力画像データS2の各画素に係るパラメータsに変換して出力する。
以上の構成によれば、入力画像データS1の解像度を出力画像データS2の解像度に変換して角改善部により処理することにより、解像度の変換により角がまるくなるような場合であっても、解像度変換前の入力画像データにより求められるエッジ方向により角を尖らせることができ、これにより一段と画質を向上することができる。
ところで上述したようにエッジ方向、エッジ勾配方向を検出して角を尖らせる場合、エッジ方向、エッジ勾配方向の検出に供する特性によっては、エッジを検出できない場合もあり、これにより例えば特定のパターンで角を尖らせることが困難になることが判った。
このため図23に示すように、この実施例に係る画像処理装置21は、複数の画像処理部21A〜21Eによりそれぞれエッジ方向を検出して角を尖らせ、その処理結果を統合部22により合成して出力画像データS3を出力する。
ここで画像処理部21A〜21Eは、それぞれ図14について上述した画像処理装置の構成が適用される。これにより各画像処理部21Aは、勾配解析部2でエッジ勾配方向v1、エッジ方向v2、固有値λ1、λ2を検出して続く交点検出部3により交点を検出すると共に、解像度変換部12により入力画像データS1の解像度を出力画像データS3の解像度に変換し、この解像度変換部12の出力データについて、角改善部4により角を尖らせ、一連の処理結果による画像データf1〜fnを出力する。
これら画像処理部21A〜21Eは、勾配解析部2でx方向及びy方向の偏微分gx 及びgy を計算する際の微分演算子の設定により、このような一連の処理基準であるエッジ勾配方向、エッジ方向の検出に供する特性が異なるように設定される。
具体的に、これら画像処理部21A〜21Eは、(29)〜(33)式により表される微分演算子により、これらx方向及びy方向の偏微分gx 及びgy をそれぞれ計算する。これによりこの画像処理装置21では、これら複数の画像処理部21A〜21Eにおける微分演算子の位相特性を異ならせて、エッジ方向、エッジ勾配方向の検出に供する特性が異なるように設定され、1つ又は複数の画像処理部でエッジ方向、エッジ勾配方向を正しく検出できない場合、誤り検出した場合等にあっても、何れか1つの画像処理部では、これらを正しく検出できるようになされている。なおこのような微分演算子にあっては、位相特性に代えて、又は位相特性に加えて、周波数特性を異ならせるようにしてもよい。
Figure 0004635652
Figure 0004635652
Figure 0004635652
Figure 0004635652
Figure 0004635652
またこのような微分演算子による異なる特性の設定に代えて、エッジ勾配方向、エッジ方向に供する範囲を異ならせて、エッジ勾配方向、エッジ方向の検出に供する特性を異ならせるようにしてもよい。またこの場合、勾配行列の生成に供するサンプル数自体を異ならせてこのような範囲を異ならせるようにしてもよく、またダウンサンプリングにより範囲を異ならせるようにしてもよい。
統合部22は、次式の演算処理により、これら画像処理部21A〜21Eによる処理結果を平均値化して出力画像データS3を出力する。なおここでこの画像処理部21A〜21Eによる処理結果の合成にあっては、各特性によるエッジ検出結果等の信頼性により重み付け加算するようにしてもよい。
Figure 0004635652
この実施例によれば、エッジ方向の検出に供する特性の異なる複数の画像処理部により、それぞれエッジ方向を検出して角を尖らせることにより、違和感無く角を尖らせて、画質を向上するようにして、特定パターンにおける誤った処理を防止することができ、これにより一段と画質を向上することができる。
なお上述の実施例3においては、解像度変換部12において、エッジ勾配方向及びエッジ方向にそれぞれ輪郭強調処理、平滑化処理して解像度を変換する場合について述べたが、本発明はこれに限らず、解像度の変換にあっては線型補間処理、バイキュービック変換処理等、種々の手法を広く適用することができる。
また上述の実施例においては、交点の標準偏差と分布の角度とにより各注目画素による交点の信頼度を計算する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保することができる場合、これらの何れかにより信頼度を計算するようにしてもよい。
また上述の実施例においては、演算処理手段により所定のプログラムを実行して画像データを処理する場合について述べたが、本発明はこれに限らず、ハードウエアの構成により画像データを処理する場合にも広く適用することができる。
本発明は、例えば解像度の変換に適用することができる。
本発明の実施例1に係る画像処理装置を示す機能ブロック図である。 画素勾配の行列の生成に供する略線図である。 エッジ勾配方向及びエッジ方向の説明に供する略線図である。 交点検出の説明に供する略線図である。 交点検出に係るパラメータを示す特性曲線図である。 画素値の置き換えの説明に供する略線図である。 交点のばらつきの説明に供する略線図である。 標準偏差により信頼度を示す特性曲線図である。 分布の角度による信頼度の説明に供する略線図である。 分布の角度による信頼度を示す特性曲線図である。 固有値λ1及びλ2によるパラメータを示す特性曲線図である。 信頼度によるブレンド比を示す特性曲線図である。 本発明の実施例2に係る画像処理装置における画素値の置き換えの説明に供する略線図である。 本発明の実施例3に係る画像処理装置を示す機能ブロック図である。 図14の画像処理装置における解像度変換部を示す機能ブロック図である。 エッジ方向処理部の動作の説明に供する略線図である。 平滑化処理範囲の設定に供するパラメータを示す特性曲線図である。 平滑化処理範囲の設定に供する他のパラメータを示す特性曲線図である。 エッジ勾配方向処理部の動作の説明に供する略線図である。 ブレンド処理部の設定に供するパラメータを示す特性曲線図である。 ブレンド処理部の設定に供する他のパラメータを示す特性曲線図である。 交点に係る補間処理の説明に供する略線図である。 本発明の実施例4に係る画像処理装置を示す機能ブロック図である。
符号の説明
1、11、21……画像処理装置、2……勾配解析部、3……交点検出部、4……角改善部、5……交点信頼度計算部、6……角領域検出部、7……ブレンド比決定部、8……ブレンド部、12……解像度変換部、21A〜21E……画像処理部、22……統合部

Claims (15)

  1. 入力画像データを処理して出力画像データを出力する画像処理装置において、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、
    前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、
    前記出力画像データの各画素毎に、注目画素から前記交点検出部で検出される対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより、前記交点の側に角を尖らせる角改善部と、
    前記注目画素及び周辺画素で検出される交点のばらつきに応じて、前記注目画素で検出される前記交点の信頼度を計算する信頼度計算部と、
    前記信頼度に応じて、前記入力画像データによる画素値前記角改善部による画素値とを重み付け加算することにより生成される前記出力画像データを出力するブレンド部と
    を備えることを特徴とする画像処理装置。
  2. 前記角改善部は、
    前記注目画素の画素値により前記交点に係るサンプリング点の画素値を設定することにより、前記入力画像データによる画素値をさらに補正する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記信頼度計算部は、
    前記注目画素及び前記周辺画素で検出される交点の位置の標準偏差を算出し、算出した前記標準偏差応じて前記信頼度を計算する
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記信頼度計算部は、
    前記注目画素より見た、前記注目画素及び前記周辺画素で検出される交点の分布の角度を算出し、前記分布の角度にさらに応じて前記信頼度を計算する
    ことを特徴とする請求項3に記載の画像処理装置。
  5. 前記ブレンド部は、
    前記エッジ方向に係る画素値の勾配の分散と前記エッジ勾配方向に係る画素値の勾配の分散との比率に応じて、前記信頼度を補正して重み付け係数を求め、
    前記重み付け係数により、前記入力画像データによる画素値と前記角改善部による画素値とを重み付け加算す
    ことを特徴とする請求項1に記載の画像処理装置。
  6. 前記入力画像データの解像度を前記出力画像データの解像度に変換して前記角改善部に
    出力する解像度変換部を有し、
    前記交点検出部は、
    前記入力画像データの画素毎に、前記交点を検出した後、該検出結果に基づいて前記解像度変換部から出力される各画素の前記交点を検出することにより、前記出力画像データの各画素毎に、前記交点を検出し、
    前記角改善部は、
    前記解像度変換部から出力される画像データについて、前記交点の側に角を尖らせる
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 入力画像データを処理して出力画像データを出力する画像処理装置において、
    それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理部と、
    前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、
    前記画像処理部は、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析部と、
    前記勾配解析部により検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出部と、
    前記入力画像データの解像度を変換して出力データを出力する解像度変換部と、
    前記出力画像データの各画素毎に、注目画素から前記交点検出部で検出される対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより記交点の側に角を尖らせる角改善部と、
    前記注目画素及び周辺画素で検出される交点のばらつきに応じて、前記注目画素で検出される前記交点の信頼度を計算する信頼度計算部と、
    前記信頼度に応じて、前記出力データの画素値前記角改善部による画素値とを重み付け加算することにより生成される前記画像データを出力するブレンド部とを有し、
    前記複数の画像処理部は、
    前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする画像処理装置。
  8. 前記エッジ検出部は、
    処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ方向を検出し、
    前記複数の画像処理部は、
    前記エッジ検出部における前記画素値の微分に供する微分演算子が異なるように設定されて、前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 前記エッジ検出部は、
    処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ方向を検出し、
    前記複数の画像処理部は、
    前記エッジ検出部における前記一定範囲が異なる範囲に設定されて、前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする請求項7に記載の画像処理装置。
  10. 入力画像データを処理して出力画像データを出力する画像処理方法において、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
    前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
    前記出力画像データの各画素毎に、注目画素から前記交点検出のステップで検出される対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより、前記交点の側に角を尖らせる角改善のステップと、
    前記注目画素及び周辺画素で検出される交点のばらつきに応じて、前記注目画素で検出される前記交点の信頼度を計算する信頼度計算のステップと、
    前記信頼度に応じて、前記入力画像データによる画素値前記角改善のステップによる画素値とを重み付け加算することにより生成される前記出力画像データを出力するブレンドのステップと
    を有することを特徴とする画像処理方法。
  11. 入力画像データを処理して出力画像データを出力する画像処理方法において、
    それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
    前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
    前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、
    前記出力画像データの各画素毎に、注目画素から前記交点検出のステップで検出される対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより、前記交点の側に角を尖らせる角改善のステップと、
    前記注目画素及び周辺画素で検出される交点のばらつきに応じて、前記注目画素で検出される前記交点の信頼度を計算する信頼度計算のステップと、
    前記信頼度に応じて、前記出力データの画素値前記角改善のステップによる画素値とを重み付け加算することにより生成される前記画像データを出力するブレンドのステップとを有し、
    前記複数の画像処理のステップは、
    前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする画像処理方法。
  12. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する
    画像処理方法のプログラムにおいて、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
    前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
    前記出力画像データの各画素毎に、注目画素から前記交点検出のステップで検出される対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより、前記交点の側に角を尖らせる角改善のステップと、
    前記注目画素及び周辺画素で検出される交点のばらつきに応じて、前記注目画素で検出される前記交点の信頼度を計算する信頼度計算のステップと、
    前記信頼度に応じて、前記入力画像データによる画素値前記角改善のステップによる画素値とを重み付け加算することにより生成される前記出力画像データを出力するブレンドのステップと
    を有することを特徴とする画像処理方法のプログラム。
  13. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムにおいて、
    それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
    前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
    前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、
    前記出力画像データの各画素毎に、注目画素から前記交点検出のステップで検出される対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより、前記交点の側に角を尖らせる角改善のステップと、
    前記注目画素及び周辺画素で検出される交点のばらつきに応じて、前記注目画素で検出される前記交点の信頼度を計算する信頼度計算のステップと、
    前記信頼度に応じて、前記出力データの画素値前記角改善のステップによる画素値とを重み付け加算することにより生成される前記画像データを出力するブレンドのステップとを有し、
    前記複数の画像処理のステップは、
    前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする画像処理方法のプログラム。
  14. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
    前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
    前記出力画像データの各画素毎に、注目画素から前記交点検出のステップで検出される対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより、前記交点の側に角を尖らせる角改善のステップと、
    前記注目画素及び周辺画素で検出される交点のばらつきに応じて、前記注目画素で検出される前記交点の信頼度を計算する信頼度計算のステップと、
    前記信頼度に応じて、前記入力画像データによる画素値前記角改善のステップによる画素値とを重み付け加算することにより生成される前記出力画像データを出力するブレンドのステップと
    を有することを特徴とする画像処理方法のプログラムを記録した記録媒体。
  15. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    それぞれ前記入力画像データを処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と直交するエッジ方向を検出する勾配解析のステップと、
    前記勾配解析のステップにより検出される前記エッジ方向に基づいて、前記出力画像データの各画素毎に、前記エッジ方向の直線と周辺画素の前記エッジ方向の直線との間で交点を検出する交点検出のステップと、
    前記入力画像データの解像度を変換して出力データを出力する解像度変換のステップと、
    前記出力画像データの各画素毎に、注目画素から前記交点検出のステップで検出される対応する前記交点の方向とは逆方向であって、前記注目画素から前記交点の距離だけ離れたサンプリング点の画素値を、前記注目画素の画素値に設定することにより、前記交点の側に角を尖らせる角改善のステップと、
    前記注目画素及び周辺画素で検出される交点のばらつきに応じて、前記注目画素で検出される前記交点の信頼度を計算する信頼度計算のステップと、
    前記信頼度に応じて、前記出力データの画素値前記角改善のステップによる画素値とを重み付け加算することにより生成される前記画像データを出力するブレンドのステップとを有し、
    前記複数の画像処理のステップは、
    前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
JP2005063336A 2005-03-08 2005-03-08 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 Expired - Fee Related JP4635652B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005063336A JP4635652B2 (ja) 2005-03-08 2005-03-08 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005063336A JP4635652B2 (ja) 2005-03-08 2005-03-08 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2006251850A JP2006251850A (ja) 2006-09-21
JP4635652B2 true JP4635652B2 (ja) 2011-02-23

Family

ID=37092325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005063336A Expired - Fee Related JP4635652B2 (ja) 2005-03-08 2005-03-08 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP4635652B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101849246B (zh) * 2007-09-19 2014-06-11 汤姆森特许公司 缩放图像的系统和方法
JP5322824B2 (ja) * 2009-07-28 2013-10-23 キヤノン株式会社 解像度変換装置および解像度変換方法
JP5781370B2 (ja) * 2011-06-06 2015-09-24 シャープ株式会社 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153668A (ja) * 2002-10-31 2004-05-27 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528260A (ja) * 1991-07-19 1993-02-05 Meidensha Corp 輪郭ベクトル抽出方式
JP2917639B2 (ja) * 1991-12-27 1999-07-12 ミノルタ株式会社 画像出力装置、画像出力方法、画像データ復元方法、画像データ生成方法及び画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153668A (ja) * 2002-10-31 2004-05-27 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
JP2006251850A (ja) 2006-09-21

Similar Documents

Publication Publication Date Title
JP4534594B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4517872B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP5879528B2 (ja) 画像生成装置、及び画像生成方法
US8369644B2 (en) Apparatus and method for reducing motion blur in a video signal
JP5487106B2 (ja) 画像処理装置および方法、ならびに、画像表示装置
US8005313B2 (en) Edge enhancing device and method
JP2008047088A (ja) 画像処理装置及び画像処理プログラム
WO2013027723A1 (ja) ノイズ除去装置、ノイズ除去方法及びプログラム
EP2053557B1 (en) Image processing device, image processing program, and image processing method
KR20160069453A (ko) 영상 처리 장치 및 영상 처리 방법
JP4635652B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4246178B2 (ja) 画像処理装置及び画像処理方法
KR100548206B1 (ko) 디지털 영상 처리장치 및 그의 영상처리방법
JP4104475B2 (ja) 輪郭補正装置
US20130114888A1 (en) Image processing apparatus, computer program product, and image processing method
JP5014514B2 (ja) 画像処理装置
JP5007851B2 (ja) 画像処理装置及び画像処理プログラム
CN112819733A (zh) 一种定向双边图像滤波方法及装置
JP2004221960A (ja) 動き検出装置およびノイズ低減装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071026

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees