JP4156419B2 - 画像処理方法および装置並びにプログラム - Google Patents
画像処理方法および装置並びにプログラム Download PDFInfo
- Publication number
- JP4156419B2 JP4156419B2 JP2003083528A JP2003083528A JP4156419B2 JP 4156419 B2 JP4156419 B2 JP 4156419B2 JP 2003083528 A JP2003083528 A JP 2003083528A JP 2003083528 A JP2003083528 A JP 2003083528A JP 4156419 B2 JP4156419 B2 JP 4156419B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency component
- high frequency
- gain
- processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理、具体的には画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行う画像処理方法および装置並びにそのためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタル画像データ（以下画像データという）に対してサービスを提供する様々なシステムが出現している。例えば、ネガフィルムをスキャナでスキャンして得た画像データや、デジタルカメラにより撮影して得た画像データなどの保存、管理を行うシステムや、画像データに対して、望ましい画質になるように画質補正処理を行ってプリントするプリントサービスシステムなどがある。
【０００３】
一方、コンピュータなどの端末装置の低価格化およびネットワーク技術の進歩に伴って、インターネットが急激に普及する背景において、上述した様々なシステムの多くはネットワークを介してサービスを提供している。
【０００４】
例えば、上述したプリントサービスシステムとしては、ユーザが端末装置を用いてサーバ装置にアップロードした画像データに対して画質補正処理を行ってからネットワークにより接続されたミニラボなどのプリンタに出力してプリントアウトさせる構成や、画質補正処理を施した画像データをサーバ装置において保持して、保持場所を示すＵＲＬなどのアドレスだけをミニラボなどに送信し、ミニラボからアクセスされた時に、プリント対象となる画像データをダウンロードさせる構成などがあるが、サーバ装置と端末装置との間、あるいはサーバ装置とプリントアウトを行うプリンタとの間の画像データの受渡しは、ネットワークを介して行われている。
【０００５】
また、移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスも盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正、シャープネス処理などの画質補正処理を行ってから受信側の携帯端末に送信したり、受信側の携帯端末が添付ファイルを受信できない場合、画質補正処理を施した画像データを保持して、該画像データの保持場所を示すＵＲＬなどのアドレスだけを受信側の携帯端末に送信して、後に受信側の携帯端末からのアクセスを受け付けたときダウンロードさせたりするなど、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置も、ネットワークを介して携帯端末と画像データの受渡しを行うものである。
【０００６】
一方、ネットワークを介して画像データを受渡しする際、通信時間の短縮など、端末装置およびネットワークの負担を軽減するように、これらの画像データは圧縮して送信される。特に携帯電話機などの携帯端末の場合には、携帯端末付属のカメラで撮影して得た画像データの殆どは他の携帯端末装置またはコンピュータなどに送信されるので、容量制限が厳しいため、高圧縮されてから携帯電話機の記憶部に保存されるようになっている。
【０００７】
このように高圧縮された画像データは、圧縮に起因するノイズが目立つため、抑制する必要がある。その一方で、シャープ感も欠如するため、シャープネス補正を行うことが望まれる。
【０００８】
圧縮に起因するノイズの中で、高周波数成分の欠如により、波状の符号化雑音として現れるノイズがある。これは、主に画像の高周波数成分に存在し、復号画像中を蚊が飛んでいるように見えるため、モスキートノイズと呼ばれている。
【０００９】
特許文献１には、画像の高周波数成分に対して強調処理を行うことによって、画像のシャープネス補正を行う際に、高周波数成分の信号レベルに基づいてノイズがエッジかの判定を行い、ノイズの可能性が高い（すなわち、エッジの可能性が低い）ほど、高周波数成分の強調度、言わばシャープネスゲインを低くする方法が提案されている。この方法によれば、モスキートノイズを抑制するとともに、エッジをより鮮鋭にすることでシャープネス補正を行うことができる。
【００１０】
また、画像を高周波数成分、中周波数成分、低周波数成分に分け、高周波数成分に対して強調度を乗算することによってシャープネスを強調するとともに、中周波数成分に対して抑制度を乗算して中周波数成分におけるノイズに起因するざらつきを抑制する処理を行う際にも、高周波数成分の強調度を、高周波数成分の信号レベルに応じて調整するようにすれば、上記と同様な効果、すなわち高周波成分中のノイズを抑制しつつ鮮鋭度を高めることができる。
【００１１】
また、画像の高周波数成分ではなく、ＪＰＥＧなどの圧縮画像のＤＣＴ係数に基づいてノイズが発生するか否かを予測してモスキートノイズを含むノイズの除去を行う方法も提案されている（特許文献２を参照）。
【００１２】
また、特許文献３には、方向フィルタを適応的に利用してモスキートノイズを除去する方法が提案されている。
【００１３】
しかしながら、携帯電話機のカメラにより取得した高圧縮率の画像では、ノイズが大きく、高周波数成分の信号レベルだけではノイズかエッジかの判断が難しく、特許文献１に提案された方法では、適切にモスキートノイズの抑制とシャープネス強調をコントロールすることが難しい。
【００１４】
また、携帯電話機のカメラにより取得した画像から、ＤＣＴ係数を取得することができない場合があるため、特許文献２記載のような、ＤＣＴ係数に基づいてノイズ除去を行う方法を適用することができない。
【００１５】
また、特許文献３記載の方法では、構成的に重く、処理時間がかかるという問題がある。例えば、携帯電話機間の添付画像を処理して転送する場合、極めて迅速な処理が要求されるので、この方法を適用することができない。
【００１６】
そこで、画像データの高周波数成分に対して強調処理を行う際に、モスキートノイズが中周波数成分に存在せず主に高周波数成分に存在することと、エッジが中周波数成分にも存在することとに着目し、高周波数成分の評価値に基づいて設定された高周波数成分用ゲインを、中周波数成分におけるエッジらしさが小さいほど小さくするように修正し、修正された高周波数成分用ゲインを用いて高周波数成分に対する調整処理を行うようにすれば、モスキートノイズの抑制とシャープネス補正をより確実に行うことができるとともに、構成的に簡単であるため、迅速な処理を実現することができ、効率が良い。
【００１７】
また、画像データそのものを使用し、ＤＣＴ係数を必要としないので、携帯電話機のカメラにより取得したもののような、ＤＣＴ係数が得られない画像データに対しても適用することができる。
【００１８】
片方、通信技術の発展および移動通信網の整備に伴って、カメラ付きの携帯電話機などの携帯端末が急速に普及し、携帯端末の機能も充実し、携帯端末の表示画面の大サイズ化、高解像度化が進む背景において、画像データをそのまま表示すると画像が画面と比べて小さくて見づらくなるという問題を避けるために、画像を拡大処理して表示する必要性が生じる。前述したように、携帯電話機などの携帯端末に付属するカメラにより取得した画像は高圧縮されていて、圧縮に起因するノイズが多いため、拡大処理されると、ノイズがより目立ってしまうという問題があり、拡大処理と共に、ノイズの抑制処理も施すことが望まれている。拡大処理とノイズ抑制処理の順序として、拡大処理した後にノイズの抑制処理を行うようにすると、ノイズ除去するために必要なマスクサイズが大きくなるなど演算に必要な時間がかかり、処理スピードが遅いなる問題を避けるため、特許文献４には、色ノイズを除去してから拡大処理を行う方法が提案されている。
【００１９】
【特許文献１】
特開平８−２７４９９６号公報
【００２０】
【特許文献２】
特開平２０００−２９９８６０号公報
【００２１】
【特許文献３】
特開平７−３０７９４２号公報
【００２２】
【特許文献４】
特開２００１−１７７７３１号公報
【００２３】
【発明が解決しようとする課題】
しかしながら、上述したように、高圧縮された画像データは、ノイズが目立つとともにシャープ感（鮮鋭度）も欠如するため、シャープネス補正することも必要である。画像データを拡大することが必要な処理系において、拡大処理を施した後にシャープネス補正処理を施す順序で処理を行うと、シャープネス補正処理に演算時間がかかり、処理スピードが低下するという問題がある。
【００２４】
本発明は、上記事情に鑑みなされたものであり、画像データに対するノイズ抑制処理、シャープネス補正処理、および拡大処理を効率よく行うことができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【００２５】
【課題を解決するための手段】
本発明の画像処理方法は、画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行って目的画像データを得る画像処理方法において、
前記ノイズ抑制処理および前記シャープネス補正処理を行ってから前記拡大処理を行うことを特徴とするものである。
【００２６】
すなわち、本発明の画像処理方法は、ノイズ抑制処理とシャープネス補正処理の後に、拡大処理という順序で画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行い、処理時間の短縮を図るものである。
【００２７】
ここで、画像データに対するノイズ抑制処理とシャープネス補正処理として、従来公知の処理方法、例えばメディアンフィルタ、アンシャープマスクを用いた方法などを適用することができる。また、ノイズ抑制処理とシャープネス補正処理とを、別々に行うようにしてもよいし、同時に行うようにしてもよい。ノイズ抑制処理とシャープネス補正処理とを同時に行う方法として、画像データに対して、前記画像データから少なくとも高周波数成分、中周波数成分を抽出する抽出処理と、該抽出処理後、前記高周波数成分の評価値を設定し、該評価値に応じて前記高周波数成分を強調する高周波数成分用ゲインを設定する設定処理と、前記中周波数成分におけるエッジらしさを取得し、該エッジらしさが小さいほど前記高周波数成分用ゲインを小さくするように前記高周波数成分用ゲインを修正するゲイン修正処理と、修正された前記高周波数成分用ゲインを用いて前記高周波成分を調整する高周波数成分調整処理と、調整処理された前記高周波数成分と他の周波数成分とを合成する合成処理とからなる処理を施す方法を用いることが好ましい。この方法は、モスキートノイズが中周波数成分に殆ど存在せず主に高周波数成分に存在することおよび、エッジが中周波数成分にも存在することを利用し、画像中の高周波数成分を強調することによって画像の鮮鋭度を高める処理を行う際に、前記高周波数成分の評価値に応じて設定された前記高周波数成分用ゲインを、前記中周波数成分におけるエッジらしさに基づき、前記エッジらしさが小さいほど小さくするように修正することによってモスキートノイズの抑制も同時に施すことを図るものである。
【００２８】
また、前記中周波数成分におけるエッジらしさに応じて前記高周波数成分用ゲインを修正することにより、高周波数成分におけるエッジ部分のゲインも小さく修正される可能性があり、結果としてノイズ抑制処理およびシャープネス補正処理済みの画像データがぼけ気味になってしまうという問題を防ぐため、前記高周波数成分の評価値に基づいて前記高周波数成分用ゲインを設定する際に、中周波数成分におけるエッジらしさに応じて高周波数成分用ゲインを修正することを行わない場合よりも、高周波数成分用ゲインを大きく設定することが好ましい。
【００２９】
また、中周波数成分におけるエッジらしさは、前記中周波数成分において、該当する画素の部分がエッジ部分である可能性を示すことができるものであればいかなる値を用いてもよい。例えば、中周波数成分のＲＧＢ３色のうちの２色からなる少なくとも１組の色空間における、相対応する画素についての相関値や、中周波数成分において、平坦部、エッジ部についての出現数に対してプロットした局所分散値や、エッジ検出フィルタを中周波数成分に適用した濃度差などを中周波数成分におけるエッジらしさとして用いてもよく、演算を高速にする視点から、中周波数成分の信号の絶対値を前記中周波数成分におけるエッジらしさとして用いることが好ましい。
【００３０】
また、本発明において、ノイズ抑制処理およびシャープネス処理を行う際に、高周波数成分に対して調整処理を行うとともに、中周波数成分に対して抑制処理を行ってもよい。すなわち、前記ノイズ抑制処理および前記シャープネス補正処理が、前記画像データの中周波数成分を抑制する抑制処理をも含み、
前記抽出処理が、前記画像データを少なくとも前記高周波数成分、前記中周波数成分、低周波数成分に分解する分解処理であり、
前記設定処理が、該分解後の前記中周波数成分の評価値を設定し、該評価値に応じて前記中周波数成分を抑制する中周波数成分用ゲインをも設定し、
前記抑制処理が、該中周波数成分用ゲインを用いて前記中周波数成分を抑制する抑制処理を行うものであり、
前記合成処理が、調整処理された前記高周波数成分と抑制処理された前記中周波数成分と他の周波数成分とを合成するものであってもよい。
【００３１】
なお、本発明における高周波数成分、中周波数成分、低周波数成分とは、例えば、図１に示すように分布される周波数成分のことをいうものである。すなわち、中周波数成分とは、処理後のデータを可視像として再生する際の出力のナイキスト周波数（ここでは６ｃｙｃｌｅ／ｍｍ）の１／２〜１／３付近にピークを持って分布する周波数成分であり、低周波数成分とは、出力のナイキスト周波数が０となる周波数をピークとして分布する周波数成分であり、高周波数成分とは出力のナイキスト周波数をピークとして分布する周波数成分である。
【００３２】
また、前記高周波数成分用ゲインを設定する際の評価値としてこの高周波数成分の絶対値を、中周波数成分用ゲインを設定する際の評価値としてこの中周波数成分の絶対値を用いることが好ましい。
【００３３】
本発明の画像処理装置は、画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行って目的画像データを得る画像処理装置であって、
前記画像データに対して前記ノイズ抑制処理およびシャープネス補正処理を行って抑制補正済み画像データを得る抑制補正手段と、
該抑制補正済み画像データに対して前記拡大処理を行う拡大処理手段とからなることを特徴とするものである。
【００３４】
前記抑制補正手段は、画像データから少なくとも高周波数成分、中周波数成分を抽出する抽出手段と、
該抽出後、前記高周波数成分の評価値を設定し、該評価値に応じて前記高周波数成分を強調する高周波数成分用ゲインを設定する設定手段と、
前記中周波数成分におけるエッジらしさを取得し、該エッジらしさが小さいほど前記高周波数成分用ゲインを小さくするように前記高周波数成分用ゲインを修正するゲイン修正手段と、
該ゲイン修正手段により修正された前記高周波成分用ゲインを用いて前記高周波成分を調整する調整処理を行う高周波数成分調整手段と、
該高周波数成分調整手段により調整処理された前記高周波数成分と他の周波数成分とを合成して前記抑制補正済み画像データを取得する合成手段とを備えてなるとが好ましい。
【００３５】
前記ゲイン修正手段は、前記中周波数成分の信号の絶対値を前記中周波数成分におけるエッジらしさとするものであることが好ましい。
【００３６】
また、本発明の画像処理装置における前記抑制補正手段は、高周波数成分に対して前記調整処理を行うとともに、中周波数成分に対して抑制処理をも行うことが好ましく、すなわち、本発明の画像処理装置は、前記抽出手段が、画像データを少なくとも高周波数成分、中周波数成分、低周波数成分に分解する分解手段であり、
前記設定手段が、該分解後の前記中周波数成分の評価値を設定し、該評価値に応じて前記中周波数成分を抑制する中周波数成分用ゲインをも設定するものであり、
該中周波数成分用ゲインを用いて前記中周波数成分を抑制する抑制処理を行う抑制手段を更に備え、
前記合成手段が、調整処理された前記高周波数成分と抑制処理された前記中周波数成分と他の周波数成分とを合成するものであることが好ましい。
【００３７】
本発明のプログラムは、本発明の画像処理方法をコンピュータに実行させるものであり、画像データに対してノイズ抑制処理およびシャープネス補正処理を行って抑制補正済みの画像データを得る手順と、
該抑制補正済みの画像データに対して拡大処理を行って目的画像データを得る手順とをコンピュータに行わせることを特徴とするものである。
【００３８】
【発明の効果】
本発明の画像処理方法および装置によれば、目的画像データを得るために、画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行う際に、先にノイズ抑制処理およびシャープネス補正処理を行ってから拡大処理を行う順序で処理をしているので、ノイズ抑制処理およびシャープネス処理の演算量が少ないため、処理時間を短縮することができ、効率が良い。
【００３９】
また、モスキートノイズが中周波数成分に存在せず主に高周波数成分に存在することと、エッジが中周波数成分にも存在することとに着目し、高周波数成分の評価値に基づいて設定された高周波数成分用ゲインを、中周波数成分におけるエッジらしさが小さいほど小さくするように修正し、修正された高周波数成分用ゲインを用いて高周波数成分に対する調整処理を行うことによって、モスキートノイズの抑制とシャープネス補正を同時に行うことができるとともに、構成的に簡単であるため、迅速な処理を実現することができ、効率が良い。
【００４０】
さらに、モスキートノイズが主に高周波成分に現れることに対して、中周波数成分に現れやすいノイズもあり、これらのノイズは画像のざらつきの原因となって、画質を悪くしてしまうため、ノイズ抑制処理およびシャープネス補正処理として高周波数成分に対して調整処理を行うとともに、中周波数成分に対して抑制処理を行うようにすれば、モスキートノイズの抑制およびシャープネス補正ができるとともに、中周波数成分におけるノイズに起因する画像のざらつきも解消することができ、より良好な画質を図ることができる。
【００４１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００４２】
図２は、本発明の実施形態による画像処理装置の構成を示すブロック図である。図２に示すように、本実施形態の画像処理装置は、ＲＧＢの３色データである画像データＳ０に対して色処理および階調処理を施して色階調処理済みの画像データＳ１を得る色階調処理手段１と、色階調処理済みの画像データＳ１に対してノイズの抑制およびシャープネス補正処理を施して抑制補正処理済みの画像データＳ２を得る抑制補正処理手段１００と、抑制補正処理済みの画像データＳ２に対して拡大処理を行って目的画像データＳ３を得る拡大処理手段２００とを備えてなるものである。
【００４３】
色階調処理手段１は、画像データＳ０に基づいて、画像データＳ０に対して施す色処理および階調処理のパラメータを決定し、このパラメータを用いて画像データＳ０に対して色処理および階調処理を施して、色階調処理済みの画像データＳ１を得る。
【００４４】
抑制補正処理手段１００は、色階調処理済みの画像データＳ１を構成するＲＧＢ色データから輝度成分Ｙを生成する輝度成分生成手段２と、輝度成分Ｙを高周波数成分ＹＨ、中周波数成分ＹＭ、低周波数成分ＹＬに分解する分解手段１０と、中周波数成分ＹＭを処理して処理済み中周波数成分ＹＭ’を得る中周波数成分処理手段２０と、高周波数成分ＹＨを処理して処理済み高周波数成分ＹＨ’を得る高周波数成分処理手段３０と、低周波数成分ＹＬ、処理済み中周波数成分ＹＭ’および処理済み高周波数成分ＹＨ’を加算して処理済み輝度成分Ｙ’を得る加算手段４２と、処理済み輝度成分Ｙ’から輝度成分生成手段２により生成された輝度成分Ｙを減算して輝度差分値Ｙａを得る減算手段４４と、色階調処理手段１により得られた画像データＳ１に、減算手段４４により得られた輝度差分値Ｙａを加算して、ＲＧＢの３色データである抑制補正処理済みの画像データＳ２を得る加算手段４６とを備える。
【００４５】
輝度成分生成手段２は、画像データＳ１を構成するＲＧＢ色データＲ１、Ｇ１、Ｂ１に対して下記の式（１）に示す演算を施すことにより輝度成分Ｙを生成する。
【００４６】
Ｙ＝０．３Ｒ１＋０．５９Ｇ１＋０．１１Ｂ１ （１）
分解手段１０は、輝度成分Ｙに対して７×７ローパスフィルタ（ＬＰＦ）によるフィルタリング処理を施して輝度成分Ｙの低周波数成分ＹＬを得るフィルタリング手段１２と、輝度成分Ｙに対して３×３ローパスフィルタによるフィルタリング処理を施して輝度成分Ｙの低中周波数成分ＹＬＭを得るフィルタリング手段１４と、下記の式（２）に従って低中周波数成分ＹＬＭから低周波数成分ＹＬを減算して中周波数成分ＹＭを得る減算手段１６と、下記の式（３）に従って輝度成分Ｙから低中周波数成分ＹＬＭを減算して高周波数成分ＹＨを得る減算手段１８とを備えてなる。
【００４７】
ＹＭ＝ＹＬＭ−ＹＬ （２）
ＹＨ＝Ｙ−ＹＬＭ （３）
ここで、低周波数成分ＹＬ、中周波数成分ＹＭおよび高周波数成分ＹＨとは、図１に示すように分布される周波数成分のことをいうものである。すなわち、中周波数成分ＹＭとは、抑制補正処理済みの画像データＳ２を可視像として再生する際に出力のナイキスト周波数（ここでは６ｃｙｃｌｅ／ｍｍ）の１／２〜１／３付近にピークを持って分布する周波数成分をいうものであり、低周波数成分ＹＬとは、０周波数にピークを持って分布する周波数成分をいい、高周波数成分ＹＨとは出力のナイキスト周波数にピークを持って分布する周波数成分をいうものである。
【００４８】
なお、ここでは、１例として輝度成分Ｙを３つの周波数成分に分解しているが、３つに限らずさらに多くの周波数成分に分解してもよい、このようにさらに多くの周波数成分に分解した場合は、複数の周波数成分から、低周波数成分、中周波数成分および高周波数成分が選択される。
【００４９】
中周波数成分処理手段２０は、中周波数成分用ゲインＧＭを設定して下記の式（４）に従って中周波数成分ＹＭに乗算して処理済み中周波数成分ＹＭ’を得るものであり、高周波数成分処理手段３０は、高周波数成分用ゲインＧＨを設定して下記の式（５）にしたがって高周波数成分ＹＨに乗算して処理済み高周波数成分ＹＨ’を得るものである。
【００５０】
ＹＭ’＝ＹＭ×ＧＭ （４）
ＹＨ’＝ＹＨ×ＧＨ （５）
ここで、中周波数成分処理手段２０および高周波数成分処理手段３０の構成についてより具体的に説明する。
【００５１】
図３（ａ）と図３（ｂ）は、夫々中周波数成分処理手段２０と高周波数成分処理手段３０の構成を示すブロック図である。図３（ａ）に示すように、図２に示す画像処理装置における中周波数成分処理手段２０は、中周波数成分ＹＭに乗算するゲインＧＭを設定するゲイン設定手段２２と、上記の式（４）に示す、ゲイン設定手段２２により設定されたゲインＧＭを中周波数成分ＹＭに乗算する演算を施して処理済み中周波数成分ＹＭ’を得る実行手段２４とを備える。ゲイン設定手段２２は、具体的には中周波数成分ＹＭの絶対値｜ＹＭ｜を中周波数成分ＹＭの評価値とし、この絶対値に基づいて図４に示すテーブルＴ１に従って中周波数成分用ゲインＧＭを設定する。
【００５２】
図４は、中周波数成分ＹＭの絶対値｜ＹＭ｜とゲインＧＭとの関係を示すテーブルＴ１を示すものである。図示のように、中周波数成分用ゲインＧＭは、中周波数成分ＹＭの絶対値｜ＹＭ｜が所定の閾値（ここでは２０）より小さい画素に対する中周波数成分ＹＭを、絶対値｜ＹＭ｜がこの所定の閾値より大きい画素に対する中周波数成分ＹＭよりも大きく抑制するものである。
【００５３】
フィルムに記録された画像をスキャナなどで読み取ることにより得られた画像データの場合、フィルム粒状に起因するざらつきは主として画像中の中周波数成分に現れるが低周波数成分との境界付近に相当する粒状が画像中にとくに目立つものであり、中周波数成分の絶対値としては比較的小さい値として表される。これと同様に、デジタルカメラにより取得した画像データＳ０により表される画像についても、同様の周波数帯域における微小信号に起因するざらつきが目立ちやすい。従って、本実施形態において、中周波数成分処理手段２０は、中周波数成分ＹＭを抑制するものであるが、絶対値｜ＹＭ｜が、所定の閾値より小さい場合、その絶対値｜ＹＭ｜が得られた画素は特に目立ちやすいざらつきに対応するものとみなして、その画素についてのみ他の画素と比較して中周波数成分ＹＭを大きく抑制することにより、目立つざらつきの抑制を効率良く行うようにしたものである。
【００５４】
このように中周波数成分処理手段２０のゲイン設定手段２２は、図４に示すテーブルＴ１を参照することにより、中周波数成分ＹＭのゲインＧＭを設定して実行手段２４に供する。
【００５５】
図３（ｂ）は高周波数成分処理手段３０の構成を示すブロック図であり、図示のように、図２に示す画像処理装置における高周波数成分処理手段３０は、高周波数成分ＹＨに乗算するゲインＧＨ０を設定するゲイン設定手段３２と、ゲイン設定手段３２により設定されたゲインＧＨ０を修正して高周波数成分用ゲインＧＨを得るゲイン修正手段３４と、ゲイン修正手段３４の修正により得られたゲインＧＨを、上記の式（５）に従って高周波数成分ＹＨに乗算する演算を施して処理済み高周波数成分ＹＨ’を得る実行手段３６とを備える。ゲイン設定手段３２は、具体的には、具体的には高周波数成分ＹＨの絶対値｜ＹＨ｜を高周波数成分ＹＨの評価値とし、この絶対値に基づいて図５に示すテーブルＴ２に従って高周波数成分用ゲインＧＨ０を設定する。
【００５６】
図５は、高周波数成分ＹＨの絶対値｜ＹＨ｜とゲインＧＨ０との関係を示すテーブルＴ２を示すものである。図中の点線は、通常の画像処理装置において高周波数成分を強調する際に用いられるテーブルを示したものであり、本発明の実施形態において、中周波数成分のエッジらしさに応じて高周波数成分のゲインを修正ことにより高周波数成分におけるエッジ部分のゲインも小さく修正され、結果として処理済み画像データがぼけ気味になってしまうという問題を防ぐため、ゲイン設定手段３２は、高周波数成分用ゲインＧＨ０を設定する際に、高周波数成分におけるエッジらしさに応じて高周波数成分用ゲインを修正することを行わない場合よりも、図示のテーブルＴ２のように高周波数成分用ゲインＧＨ０を大きく設定するものである。
【００５７】
図５に示すように、高周波数成分用ゲインＧＨ０は、高周波数成分ＹＨの絶対値｜ＹＨ｜が所定の閾値（ここでは１０）より小さい画素に対する高周波数成分ＹＨを、絶対値｜ＹＨ｜がこの所定の閾値より大きい画素に対する高周波数成分ＹＨよりも小さく強調するものである。これは、画像の高周波数成分における微小信号は、ざらつきの原因になりやすいためである。従って、本実施形態におけるゲイン設定手段３２は、高周波数成分ＹＨを強調するが、高周波数成分ＹＨの絶対値｜ＹＨ｜が所定の閾値より小さい場合、その絶対値｜ＹＨ｜が得られた画素について他の画素と比較して高周波数成分ＹＨの強調度（言わばゲインＧＨ０）を小さくするように設定することにより、鮮鋭度の強調（すなわちシャープネス補正）とともにざらつきが強調されることを防ぐことを防止する。
【００５８】
このように、高周波数成分処理手段３０のゲイン設定手段３２は、図５に示すテーブルＴ２を参照することにより、高周波数成分用ゲインＧＨ０を設定する。
【００５９】
ゲイン設定手段３２により設定されたゲインＧＨ０は、実行手段３６に供される前に、ゲイン修正手段３４により修正される。
【００６０】
ゲイン修正手段３４は、中周波数成分ＹＭの絶対値｜ＹＭ｜を中周波数成分ＹＭにおけるエッジらしさとして、この絶対値｜ＹＭ｜に応じて修正度αを設定するとともに、下記の式（６）に従って、ゲイン設定手段３２により設定されたゲインＧＨ０に修正度αを乗算することによりゲインＧＨ０を修正して高周波数成分用ゲインＧＨを得るものである。
【００６１】
ＧＨ＝ＧＨ０×α （６）
ただし、α：修正度
図６は、ゲイン設定手段３２により設定された高周波数成分用ゲインＧＨ０に対する修正度αと中周波数成分の絶対値｜ＹＭ｜との関係を示すテーブルＴ０を示すものである。図示のように、修正度αは、中周波数成分ＹＭの絶対値｜ＹＭ｜が所定の第１の閾値（ここでは２０）より小さい画素（すなわち、エッジらしさが小さく、ノイズである可能性が高い画素）に対するゲインＧＨ０を、絶対値｜ＹＭ｜がこの所定の第１の閾値より大きい画素（すなわち、エッジらしさが比較的に大きく、ノイズである可能性が比較的に小さい画素）に対するゲインＧＨ０よりも大きく修正するもの、すなわち、中周波数成分におけるエッジらしさが小さいほど、高周波数成分用ゲインを小さくするように修正するものである。これは、主として高周波数成分に存在するモスキートノイズが中周波数成分に存在しないまたは微小信号として現れるので、中周波数成分におけるエッジらしさが小さい画素ほどモスキートノイズである可能性が高いので、その画素の高周波数成分用ゲインＧＨ０を小さくする修正を強めることによって、モスキートノイズの抑制を図ることができる一方、中周波数成分におけるエッジらしさが大きい画素ほどエッジである可能性が高いので、その画素の高周波数成分用ゲインＧＨ０を小さくする修正を弱めることによって、モスキートのノイズの抑制とともに、鮮鋭度の強調によるシャープネス補正を効率良く行うことができるからである。
【００６２】
片方、中周波数成分ＹＭの絶対値が所定の第２の閾値（ここでは６０）よりも大きい画素の場合、ノイズである可能性がないので、この画素の高周波数成分用ゲインＧＨ０を小さくする修正をしないように、修正度αが１となる。
【００６３】
このように、図６に示すテーブルＴ０を参照して、ゲイン修正手段３４は、中周波数成分ＹＭの絶対値｜ＹＭ｜に応じて修正度αを設定し、上記の式（６）に従って、ゲイン設定手段３２により設定されたゲインＧＨ０に修正度αを乗算することによりゲインＧＨ０を修正して高周波数成分用ゲインＧＨを得る。
【００６４】
高周波数成分処理手段３０の実行手段３６は、ゲイン修正手段３４の修正により得られたゲインＧＨを、上記の式（５）に従って高周波数成分ＹＨに乗算する演算を施して処理済み高周波数成分ＹＨ’を得る。
【００６５】
加算手段４２は、フィルタリング手段１２により取得した低周波数成分ＹＬと、中周波数成分処理手段２０により取得した処理済み中周波数成分ＹＭと、高周波数成分処理手段３０により取得した処理済み高周波数成分ＹＨとを加算して、処理済み輝度成分Ｙ’を得る。減算手段４４は、処理済み輝度成分Ｙ’から輝度成分生成手段２により生成された輝度成分Ｙを減算して輝度差分値Ｙａを得、加算手段４６は、下記の式（７）に従って、色階調処理手段１により得られた画像データＳ１を構成する各色データＲ１、Ｇ１、Ｂ１に対して、輝度差分値Ｙａを加算して、抑制補正処理済みの画像データＳ２を構成する色データＲ２、Ｇ２、Ｂ２を得る。
【００６６】
Ｒ２＝Ｒ１＋Ｙａ
Ｇ２＝Ｇ１＋Ｙａ （７）
Ｂ２＝Ｂ１＋Ｙａ
拡大処理手段２００は、抑制補正手段１００により得られた抑制補正処理済みの画像データＳ２に対して拡大処理を行って目的画像データＳ３を得る。ここで、拡大処理手段２００による拡大処理は、キュービックスプラン（Ｃｕｂｉｃスプライン）補間演算や、Ｂスプライン補間演算や、線形補間演算または鮮鋭度が異なる２つの補間演算（例えば鮮鋭度が高いキュービックスプライン補間演算と鮮鋭度が低いＢスプライン補間演算）の補間係数を重み付け加算して得た新たな補間係数による補間演算などの従来公知の種々の技術を適用して行われる。
【００６７】
次いで、本実施形態の動作について説明する。図７は、本実施形態の画像処理装置の動作を示すフローチャートである。図示のように、本実施形態の画像処理装置は、まず、色階調処理手段１により画像データＳ０に対して色階調処理を施して色階調処理済みの画像データＳ１を得る（Ｓ１０）。輝度成分生成手段２は、画像データＳ１から輝度成分Ｙを生成し（Ｓ１２）、分解手段１０は、輝度成分Ｙを低周波数成分ＹＬと、中周波数成分ＹＭと、高周波数成分ＹＨとに分解する（Ｓ１４）。中周波数成分処理手段２０は、中周波数成分ＹＭに対して中周波数成分ＹＭを抑制する中周波数成分処理ＰＭを施して処理済み中周波数成分ＹＭ’を得（Ｓ２０）、高周波数成分処理手段３０は、高周波数成分ＹＨを調整する高周波数成分処理ＰＨを施して処理済み高周波数成分ＹＨ’を得る（Ｓ３０）。加算手段４２は、低周波数成分ＹＬと、処理済み中周波数成分ＹＭ’と、処理済み高周波数成分ＹＨ’とを加算して処理済み輝度成分Ｙ’を得（Ｓ４０）、減算手段４４は、処理済み輝度成分Ｙ’から輝度成分生成手段２により生成された輝度成分Ｙを減算して輝度差分値Ｙａを得る（Ｓ４２）。最後に加算手段４６は、色階調処理手段１により得られた画像データＳ１の各色データＲ１、Ｇ１、Ｂ１に輝度差分値Ｙａを加算して抑制補正処理済みの画像データＳ２を構成する色データＲ２、Ｇ２、Ｂ２を得る（Ｓ４４）。拡大処理手段２００は、抑制補正済み処理手段１００により得られた抑制補正処理済みの画像データＳ２に対して拡大処理を行って目的画像データＳ３を得る（Ｓ４６）。
【００６８】
図８は、中周波数成分処理手段２０による中周波数成分処理ＰＭ（Ｓ２０）を具体的に示すフローチャートである。図示のように、中周波数成分処理手段２０は、まず、ゲイン設定手段２２により、図４に示すテーブルＴ１を参照して、中周波数成分ＹＭの絶対値｜ＹＭ｜に応じた中周波数成分用ゲインＧＭを設定し（Ｓ２２）、実行手段２４は、この中周波数成分用ゲインＧＭを中周波数成分ＹＭに乗算して処理済み中周波数成分ＹＭ’を得る（Ｓ２４）。
【００６９】
図９は、高周波数成分処理手段３０による高周波数成分処理ＰＨ（Ｓ３０）を具体的に示すフローチャートである。図示のように、高周波数成分処理手段３０は、まず、ゲイン設定手段３２により、図５に示すテーブルＴ２を参照して、高周波数成分ＹＨの絶対値｜ＹＨ｜に応じた高周波数成分用ゲインＧＨ０を設定する（Ｓ３２）。ゲイン修正手段３４は、図６に示すテーブルＴ０を参照して、中周波数成分ＹＭに応じた、高周波数成分用ゲインを修正する修正度αを設定するとともに、この修正度αをステップＳ３２においてゲイン設定手段３２により設定されたゲインＧＨ０に乗算することによってゲインＧＨ０を修正して高周波数成分用ゲインＧＨを得る（Ｓ３４）。実行手段３６は、この高周波数成分用ゲインＧＨを高周波数成分ＹＨに乗算して処理済み高周波数成分ＹＨ’を得る（Ｓ３６）。
【００７０】
このように、本実施形態の画像処理装置によって、画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行う際に、まず、ノイズ抑制処理およびシャープネス補正処理を行ってから拡大処理を行うようにしているので、ノイズ抑制処理およびシャープネス補正処理の演算時間を短縮することができ、効率が良い。
【００７１】
また、高周波数成分を調整することによってシャープネス処理を行う際に、高周波数成分に対する強調度を、中周波数成分におけるエッジらしさに応じて修正するようにすることによって、高周波数成分を調整する処理をシャープネス補正処理とモスキートノイズの抑制処理にすることができ、すなわち、高周波数成分に調整処理を行うことによってシャープネス補正処理とノイズ抑制処理を同時に行うことができので、より高速な処理を図ることができる。
【００７２】
また、中周波数成分ＹＭの絶対値｜ＹＭ｜を中周波数成分ＹＭにおけるエッジらしさとして用いることによって、演算量が少なく、より迅速な処理を実現することができる。
【００７３】
さらに、本実施形態の画像処理装置において、高周波数成分ＹＨに対して調整処理を行うとともに、中周波数成分ＹＭに対して抑制処理を行うようにすることによって、モスキートノイズの抑制およびシャープネス補正ができるとともに、中周波数成分におけるノイズに起因する画像のざらつきも解消することができ、より良好な画質を図ることができる。
【００７４】
また、本実施形態の画像処理装置において、画像データの色差成分は、画像のシャープネスにそれほど影響を与えないものであることを利用して、画像データから輝度成分を生成し、高周波数成分の調整処理や、中周波数成分の抑制処理を輝度成分に対してのみ適用することによって、ノイズ抑制とシャープネス補正の効果を得ることができるとともに、演算量を減少させることができ、効率が良い。
【００７５】
また、中周波数成分用ゲインＧＭ、高周波数成分用ゲインＧＨ０を設定する際に、夫々の評価値を夫々の絶対値｜ＹＭ｜、｜ＹＨ｜を用いることによって、演算量のさらなる減少を図ることができる。
【００７６】
以上、本発明の一実施形態について説明したが、本発明の画像処理装置およびプログラムは、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、様々な変更、増減を加えることができる。
【００７７】
例えば、上記実施形態の画像処理装置においては、画像データＳ１から輝度成分Ｙを生成し、輝度成分Ｙ中の中周波数成分ＹＭおよび高周波数成分ＹＨにゲインＧＭ、ＧＨを乗算するようにしているが、画像データＳ１を構成する各色データＲ１、Ｇ１、Ｂ１の中周波数成分ＲＭ、ＧＭ、ＢＭおよび高周波数成分ＲＨ、ＧＨ、ＢＨを取得し、各色毎に処理済み中周波数成分ＲＭ’、ＧＭ’、ＢＭ’および処理済み高周波数成分ＲＨ’、ＧＨ’、ＢＨ’を生成して抑制補正処理済みの画像データＳ２を得るようにしてもよい。この場合、中周波数成分ＲＭ、ＧＭ、ＢＭに乗算するゲインは、中周波数成分ＲＭ、ＧＭ、ＢＭの絶対値に基づいて設定されればよく、高周波数成分ＲＨ、ＧＨ、ＢＨに乗算するゲインは、高周波数成分ＲＨ、ＧＨ、ＢＨの絶対値に基づいて設定された後、中周波数成分ＲＭ、ＧＭ、ＢＭの絶対値に応じて修正されるようにすればよい。
【００７８】
また、上記実施形態の画像処理装置においては、画像データＳ０をＲＧＢの色データからなるものとしているが、ＹＣＣやＬａｂ等の標準色空間のデータからなる画像データＳ０に対しても、同様に適用することができる。なお、標準色空間においては輝度成分が既成の成分として存在しているため、その輝度成分を直接用いることにより、画像データＳ０から輝度成分を生成することなく処理を行うことができる。
【００７９】
さらに、上記実施形態の画像処理装置において、中周波数成分におけるノイズに起因する画像のざらつきを解消するために、高周波数成分に対して調整処理を行うとともに、中周波数成分を抑制する処理を行っているが、本発明は、必ずしも中周波数成分を抑制する処理を行う必要がなく、高周波数成分を調整することを必要とするいかなる処理にも適用することができ、その際、上述したように中周波数成分におけるエッジらしさに応じて高周波数成分の強調度を修正して調整処理を施すことによって、モスキートノイズの抑制をしつつ鮮鋭度の強調を効率良く行うことができる。
【００８０】
また、上述した実施形態の画像処理装置において、ノイズ抑制処理とシャープネス補正処理とを同時に行うことによってさらなる高速な処理を図るようにしているが、本発明の画像処理方法および装置において、ノイズ抑制処理とシャープネス補正処理とを別々に行うようにしてもよい。なお、ノイズ抑制処理の方法およびシャープネス補正処理の方法も、従来の種々の技術を適用してもよい。
【００８１】
また、中周波数成分と高周波数成分の抽出に使用されるローパスフィルタも、上述した実施形態の画像処理装置に使用されたローパスフィルタに限られるものではなく、中周波数成分と高周波数成分を抽出することができれば、フィルタサイズなど異なるものであってもよい。
【図面の簡単な説明】
【図１】低、中、高周波数成分の分布を示す図
【図２】本発明の実施形態による画像処理装置の構成を示すブロック図
【図３】図２に示す実施形態の画像処理装置における中周波数成分処理手段２０と高周波数成分処理手段３０の構成を示す図
【図４】中周波数成分用ゲインＧＭを設定するためのテーブルＴ１を示す図
【図５】高周波数成分用ゲインＧＨ０を設定するためのテーブルＴ２を示す図
【図６】高周波数成分用ゲインＧＨ０を修正するためのテーブルＴ０を示す図
【図７】図２に示す実施形態の画像処理装置の動作を示すフローチャート
【図８】図３に示す中周波数成分処理手段２０の動作を示すフローチャート
【図９】図３に示す高周波数成分処理手段３０の動作を示すフローチャート
【符号の説明】
１ 色階調処理手段
２ 輝度成分生成手段
１０ 分解手段
１２，１４ フィルタリング手段
１６，１８，４４ 減算手段
２０ 中周波数成分処理手段
２２ 中周波数成分用ゲイン設定手段
２４ 実行手段
３０ 高周波数成分処理手段
３２ 中周波数成分用ゲイン設定手段
３４ ゲイン修正手段
３６ 実行手段
４２，４６ 加算手段
１００ 抑制補正処理手段
２００ 拡大処理手段
【発明の属する技術分野】
本発明は、画像処理、具体的には画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行う画像処理方法および装置並びにそのためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタル画像データ（以下画像データという）に対してサービスを提供する様々なシステムが出現している。例えば、ネガフィルムをスキャナでスキャンして得た画像データや、デジタルカメラにより撮影して得た画像データなどの保存、管理を行うシステムや、画像データに対して、望ましい画質になるように画質補正処理を行ってプリントするプリントサービスシステムなどがある。
【０００３】
一方、コンピュータなどの端末装置の低価格化およびネットワーク技術の進歩に伴って、インターネットが急激に普及する背景において、上述した様々なシステムの多くはネットワークを介してサービスを提供している。
【０００４】
例えば、上述したプリントサービスシステムとしては、ユーザが端末装置を用いてサーバ装置にアップロードした画像データに対して画質補正処理を行ってからネットワークにより接続されたミニラボなどのプリンタに出力してプリントアウトさせる構成や、画質補正処理を施した画像データをサーバ装置において保持して、保持場所を示すＵＲＬなどのアドレスだけをミニラボなどに送信し、ミニラボからアクセスされた時に、プリント対象となる画像データをダウンロードさせる構成などがあるが、サーバ装置と端末装置との間、あるいはサーバ装置とプリントアウトを行うプリンタとの間の画像データの受渡しは、ネットワークを介して行われている。
【０００５】
また、移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスも盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正、シャープネス処理などの画質補正処理を行ってから受信側の携帯端末に送信したり、受信側の携帯端末が添付ファイルを受信できない場合、画質補正処理を施した画像データを保持して、該画像データの保持場所を示すＵＲＬなどのアドレスだけを受信側の携帯端末に送信して、後に受信側の携帯端末からのアクセスを受け付けたときダウンロードさせたりするなど、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置も、ネットワークを介して携帯端末と画像データの受渡しを行うものである。
【０００６】
一方、ネットワークを介して画像データを受渡しする際、通信時間の短縮など、端末装置およびネットワークの負担を軽減するように、これらの画像データは圧縮して送信される。特に携帯電話機などの携帯端末の場合には、携帯端末付属のカメラで撮影して得た画像データの殆どは他の携帯端末装置またはコンピュータなどに送信されるので、容量制限が厳しいため、高圧縮されてから携帯電話機の記憶部に保存されるようになっている。
【０００７】
このように高圧縮された画像データは、圧縮に起因するノイズが目立つため、抑制する必要がある。その一方で、シャープ感も欠如するため、シャープネス補正を行うことが望まれる。
【０００８】
圧縮に起因するノイズの中で、高周波数成分の欠如により、波状の符号化雑音として現れるノイズがある。これは、主に画像の高周波数成分に存在し、復号画像中を蚊が飛んでいるように見えるため、モスキートノイズと呼ばれている。
【０００９】
特許文献１には、画像の高周波数成分に対して強調処理を行うことによって、画像のシャープネス補正を行う際に、高周波数成分の信号レベルに基づいてノイズがエッジかの判定を行い、ノイズの可能性が高い（すなわち、エッジの可能性が低い）ほど、高周波数成分の強調度、言わばシャープネスゲインを低くする方法が提案されている。この方法によれば、モスキートノイズを抑制するとともに、エッジをより鮮鋭にすることでシャープネス補正を行うことができる。
【００１０】
また、画像を高周波数成分、中周波数成分、低周波数成分に分け、高周波数成分に対して強調度を乗算することによってシャープネスを強調するとともに、中周波数成分に対して抑制度を乗算して中周波数成分におけるノイズに起因するざらつきを抑制する処理を行う際にも、高周波数成分の強調度を、高周波数成分の信号レベルに応じて調整するようにすれば、上記と同様な効果、すなわち高周波成分中のノイズを抑制しつつ鮮鋭度を高めることができる。
【００１１】
また、画像の高周波数成分ではなく、ＪＰＥＧなどの圧縮画像のＤＣＴ係数に基づいてノイズが発生するか否かを予測してモスキートノイズを含むノイズの除去を行う方法も提案されている（特許文献２を参照）。
【００１２】
また、特許文献３には、方向フィルタを適応的に利用してモスキートノイズを除去する方法が提案されている。
【００１３】
しかしながら、携帯電話機のカメラにより取得した高圧縮率の画像では、ノイズが大きく、高周波数成分の信号レベルだけではノイズかエッジかの判断が難しく、特許文献１に提案された方法では、適切にモスキートノイズの抑制とシャープネス強調をコントロールすることが難しい。
【００１４】
また、携帯電話機のカメラにより取得した画像から、ＤＣＴ係数を取得することができない場合があるため、特許文献２記載のような、ＤＣＴ係数に基づいてノイズ除去を行う方法を適用することができない。
【００１５】
また、特許文献３記載の方法では、構成的に重く、処理時間がかかるという問題がある。例えば、携帯電話機間の添付画像を処理して転送する場合、極めて迅速な処理が要求されるので、この方法を適用することができない。
【００１６】
そこで、画像データの高周波数成分に対して強調処理を行う際に、モスキートノイズが中周波数成分に存在せず主に高周波数成分に存在することと、エッジが中周波数成分にも存在することとに着目し、高周波数成分の評価値に基づいて設定された高周波数成分用ゲインを、中周波数成分におけるエッジらしさが小さいほど小さくするように修正し、修正された高周波数成分用ゲインを用いて高周波数成分に対する調整処理を行うようにすれば、モスキートノイズの抑制とシャープネス補正をより確実に行うことができるとともに、構成的に簡単であるため、迅速な処理を実現することができ、効率が良い。
【００１７】
また、画像データそのものを使用し、ＤＣＴ係数を必要としないので、携帯電話機のカメラにより取得したもののような、ＤＣＴ係数が得られない画像データに対しても適用することができる。
【００１８】
片方、通信技術の発展および移動通信網の整備に伴って、カメラ付きの携帯電話機などの携帯端末が急速に普及し、携帯端末の機能も充実し、携帯端末の表示画面の大サイズ化、高解像度化が進む背景において、画像データをそのまま表示すると画像が画面と比べて小さくて見づらくなるという問題を避けるために、画像を拡大処理して表示する必要性が生じる。前述したように、携帯電話機などの携帯端末に付属するカメラにより取得した画像は高圧縮されていて、圧縮に起因するノイズが多いため、拡大処理されると、ノイズがより目立ってしまうという問題があり、拡大処理と共に、ノイズの抑制処理も施すことが望まれている。拡大処理とノイズ抑制処理の順序として、拡大処理した後にノイズの抑制処理を行うようにすると、ノイズ除去するために必要なマスクサイズが大きくなるなど演算に必要な時間がかかり、処理スピードが遅いなる問題を避けるため、特許文献４には、色ノイズを除去してから拡大処理を行う方法が提案されている。
【００１９】
【特許文献１】
特開平８−２７４９９６号公報
【００２０】
【特許文献２】
特開平２０００−２９９８６０号公報
【００２１】
【特許文献３】
特開平７−３０７９４２号公報
【００２２】
【特許文献４】
特開２００１−１７７７３１号公報
【００２３】
【発明が解決しようとする課題】
しかしながら、上述したように、高圧縮された画像データは、ノイズが目立つとともにシャープ感（鮮鋭度）も欠如するため、シャープネス補正することも必要である。画像データを拡大することが必要な処理系において、拡大処理を施した後にシャープネス補正処理を施す順序で処理を行うと、シャープネス補正処理に演算時間がかかり、処理スピードが低下するという問題がある。
【００２４】
本発明は、上記事情に鑑みなされたものであり、画像データに対するノイズ抑制処理、シャープネス補正処理、および拡大処理を効率よく行うことができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【００２５】
【課題を解決するための手段】
本発明の画像処理方法は、画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行って目的画像データを得る画像処理方法において、
前記ノイズ抑制処理および前記シャープネス補正処理を行ってから前記拡大処理を行うことを特徴とするものである。
【００２６】
すなわち、本発明の画像処理方法は、ノイズ抑制処理とシャープネス補正処理の後に、拡大処理という順序で画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行い、処理時間の短縮を図るものである。
【００２７】
ここで、画像データに対するノイズ抑制処理とシャープネス補正処理として、従来公知の処理方法、例えばメディアンフィルタ、アンシャープマスクを用いた方法などを適用することができる。また、ノイズ抑制処理とシャープネス補正処理とを、別々に行うようにしてもよいし、同時に行うようにしてもよい。ノイズ抑制処理とシャープネス補正処理とを同時に行う方法として、画像データに対して、前記画像データから少なくとも高周波数成分、中周波数成分を抽出する抽出処理と、該抽出処理後、前記高周波数成分の評価値を設定し、該評価値に応じて前記高周波数成分を強調する高周波数成分用ゲインを設定する設定処理と、前記中周波数成分におけるエッジらしさを取得し、該エッジらしさが小さいほど前記高周波数成分用ゲインを小さくするように前記高周波数成分用ゲインを修正するゲイン修正処理と、修正された前記高周波数成分用ゲインを用いて前記高周波成分を調整する高周波数成分調整処理と、調整処理された前記高周波数成分と他の周波数成分とを合成する合成処理とからなる処理を施す方法を用いることが好ましい。この方法は、モスキートノイズが中周波数成分に殆ど存在せず主に高周波数成分に存在することおよび、エッジが中周波数成分にも存在することを利用し、画像中の高周波数成分を強調することによって画像の鮮鋭度を高める処理を行う際に、前記高周波数成分の評価値に応じて設定された前記高周波数成分用ゲインを、前記中周波数成分におけるエッジらしさに基づき、前記エッジらしさが小さいほど小さくするように修正することによってモスキートノイズの抑制も同時に施すことを図るものである。
【００２８】
また、前記中周波数成分におけるエッジらしさに応じて前記高周波数成分用ゲインを修正することにより、高周波数成分におけるエッジ部分のゲインも小さく修正される可能性があり、結果としてノイズ抑制処理およびシャープネス補正処理済みの画像データがぼけ気味になってしまうという問題を防ぐため、前記高周波数成分の評価値に基づいて前記高周波数成分用ゲインを設定する際に、中周波数成分におけるエッジらしさに応じて高周波数成分用ゲインを修正することを行わない場合よりも、高周波数成分用ゲインを大きく設定することが好ましい。
【００２９】
また、中周波数成分におけるエッジらしさは、前記中周波数成分において、該当する画素の部分がエッジ部分である可能性を示すことができるものであればいかなる値を用いてもよい。例えば、中周波数成分のＲＧＢ３色のうちの２色からなる少なくとも１組の色空間における、相対応する画素についての相関値や、中周波数成分において、平坦部、エッジ部についての出現数に対してプロットした局所分散値や、エッジ検出フィルタを中周波数成分に適用した濃度差などを中周波数成分におけるエッジらしさとして用いてもよく、演算を高速にする視点から、中周波数成分の信号の絶対値を前記中周波数成分におけるエッジらしさとして用いることが好ましい。
【００３０】
また、本発明において、ノイズ抑制処理およびシャープネス処理を行う際に、高周波数成分に対して調整処理を行うとともに、中周波数成分に対して抑制処理を行ってもよい。すなわち、前記ノイズ抑制処理および前記シャープネス補正処理が、前記画像データの中周波数成分を抑制する抑制処理をも含み、
前記抽出処理が、前記画像データを少なくとも前記高周波数成分、前記中周波数成分、低周波数成分に分解する分解処理であり、
前記設定処理が、該分解後の前記中周波数成分の評価値を設定し、該評価値に応じて前記中周波数成分を抑制する中周波数成分用ゲインをも設定し、
前記抑制処理が、該中周波数成分用ゲインを用いて前記中周波数成分を抑制する抑制処理を行うものであり、
前記合成処理が、調整処理された前記高周波数成分と抑制処理された前記中周波数成分と他の周波数成分とを合成するものであってもよい。
【００３１】
なお、本発明における高周波数成分、中周波数成分、低周波数成分とは、例えば、図１に示すように分布される周波数成分のことをいうものである。すなわち、中周波数成分とは、処理後のデータを可視像として再生する際の出力のナイキスト周波数（ここでは６ｃｙｃｌｅ／ｍｍ）の１／２〜１／３付近にピークを持って分布する周波数成分であり、低周波数成分とは、出力のナイキスト周波数が０となる周波数をピークとして分布する周波数成分であり、高周波数成分とは出力のナイキスト周波数をピークとして分布する周波数成分である。
【００３２】
また、前記高周波数成分用ゲインを設定する際の評価値としてこの高周波数成分の絶対値を、中周波数成分用ゲインを設定する際の評価値としてこの中周波数成分の絶対値を用いることが好ましい。
【００３３】
本発明の画像処理装置は、画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行って目的画像データを得る画像処理装置であって、
前記画像データに対して前記ノイズ抑制処理およびシャープネス補正処理を行って抑制補正済み画像データを得る抑制補正手段と、
該抑制補正済み画像データに対して前記拡大処理を行う拡大処理手段とからなることを特徴とするものである。
【００３４】
前記抑制補正手段は、画像データから少なくとも高周波数成分、中周波数成分を抽出する抽出手段と、
該抽出後、前記高周波数成分の評価値を設定し、該評価値に応じて前記高周波数成分を強調する高周波数成分用ゲインを設定する設定手段と、
前記中周波数成分におけるエッジらしさを取得し、該エッジらしさが小さいほど前記高周波数成分用ゲインを小さくするように前記高周波数成分用ゲインを修正するゲイン修正手段と、
該ゲイン修正手段により修正された前記高周波成分用ゲインを用いて前記高周波成分を調整する調整処理を行う高周波数成分調整手段と、
該高周波数成分調整手段により調整処理された前記高周波数成分と他の周波数成分とを合成して前記抑制補正済み画像データを取得する合成手段とを備えてなるとが好ましい。
【００３５】
前記ゲイン修正手段は、前記中周波数成分の信号の絶対値を前記中周波数成分におけるエッジらしさとするものであることが好ましい。
【００３６】
また、本発明の画像処理装置における前記抑制補正手段は、高周波数成分に対して前記調整処理を行うとともに、中周波数成分に対して抑制処理をも行うことが好ましく、すなわち、本発明の画像処理装置は、前記抽出手段が、画像データを少なくとも高周波数成分、中周波数成分、低周波数成分に分解する分解手段であり、
前記設定手段が、該分解後の前記中周波数成分の評価値を設定し、該評価値に応じて前記中周波数成分を抑制する中周波数成分用ゲインをも設定するものであり、
該中周波数成分用ゲインを用いて前記中周波数成分を抑制する抑制処理を行う抑制手段を更に備え、
前記合成手段が、調整処理された前記高周波数成分と抑制処理された前記中周波数成分と他の周波数成分とを合成するものであることが好ましい。
【００３７】
本発明のプログラムは、本発明の画像処理方法をコンピュータに実行させるものであり、画像データに対してノイズ抑制処理およびシャープネス補正処理を行って抑制補正済みの画像データを得る手順と、
該抑制補正済みの画像データに対して拡大処理を行って目的画像データを得る手順とをコンピュータに行わせることを特徴とするものである。
【００３８】
【発明の効果】
本発明の画像処理方法および装置によれば、目的画像データを得るために、画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行う際に、先にノイズ抑制処理およびシャープネス補正処理を行ってから拡大処理を行う順序で処理をしているので、ノイズ抑制処理およびシャープネス処理の演算量が少ないため、処理時間を短縮することができ、効率が良い。
【００３９】
また、モスキートノイズが中周波数成分に存在せず主に高周波数成分に存在することと、エッジが中周波数成分にも存在することとに着目し、高周波数成分の評価値に基づいて設定された高周波数成分用ゲインを、中周波数成分におけるエッジらしさが小さいほど小さくするように修正し、修正された高周波数成分用ゲインを用いて高周波数成分に対する調整処理を行うことによって、モスキートノイズの抑制とシャープネス補正を同時に行うことができるとともに、構成的に簡単であるため、迅速な処理を実現することができ、効率が良い。
【００４０】
さらに、モスキートノイズが主に高周波成分に現れることに対して、中周波数成分に現れやすいノイズもあり、これらのノイズは画像のざらつきの原因となって、画質を悪くしてしまうため、ノイズ抑制処理およびシャープネス補正処理として高周波数成分に対して調整処理を行うとともに、中周波数成分に対して抑制処理を行うようにすれば、モスキートノイズの抑制およびシャープネス補正ができるとともに、中周波数成分におけるノイズに起因する画像のざらつきも解消することができ、より良好な画質を図ることができる。
【００４１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００４２】
図２は、本発明の実施形態による画像処理装置の構成を示すブロック図である。図２に示すように、本実施形態の画像処理装置は、ＲＧＢの３色データである画像データＳ０に対して色処理および階調処理を施して色階調処理済みの画像データＳ１を得る色階調処理手段１と、色階調処理済みの画像データＳ１に対してノイズの抑制およびシャープネス補正処理を施して抑制補正処理済みの画像データＳ２を得る抑制補正処理手段１００と、抑制補正処理済みの画像データＳ２に対して拡大処理を行って目的画像データＳ３を得る拡大処理手段２００とを備えてなるものである。
【００４３】
色階調処理手段１は、画像データＳ０に基づいて、画像データＳ０に対して施す色処理および階調処理のパラメータを決定し、このパラメータを用いて画像データＳ０に対して色処理および階調処理を施して、色階調処理済みの画像データＳ１を得る。
【００４４】
抑制補正処理手段１００は、色階調処理済みの画像データＳ１を構成するＲＧＢ色データから輝度成分Ｙを生成する輝度成分生成手段２と、輝度成分Ｙを高周波数成分ＹＨ、中周波数成分ＹＭ、低周波数成分ＹＬに分解する分解手段１０と、中周波数成分ＹＭを処理して処理済み中周波数成分ＹＭ’を得る中周波数成分処理手段２０と、高周波数成分ＹＨを処理して処理済み高周波数成分ＹＨ’を得る高周波数成分処理手段３０と、低周波数成分ＹＬ、処理済み中周波数成分ＹＭ’および処理済み高周波数成分ＹＨ’を加算して処理済み輝度成分Ｙ’を得る加算手段４２と、処理済み輝度成分Ｙ’から輝度成分生成手段２により生成された輝度成分Ｙを減算して輝度差分値Ｙａを得る減算手段４４と、色階調処理手段１により得られた画像データＳ１に、減算手段４４により得られた輝度差分値Ｙａを加算して、ＲＧＢの３色データである抑制補正処理済みの画像データＳ２を得る加算手段４６とを備える。
【００４５】
輝度成分生成手段２は、画像データＳ１を構成するＲＧＢ色データＲ１、Ｇ１、Ｂ１に対して下記の式（１）に示す演算を施すことにより輝度成分Ｙを生成する。
【００４６】
Ｙ＝０．３Ｒ１＋０．５９Ｇ１＋０．１１Ｂ１ （１）
分解手段１０は、輝度成分Ｙに対して７×７ローパスフィルタ（ＬＰＦ）によるフィルタリング処理を施して輝度成分Ｙの低周波数成分ＹＬを得るフィルタリング手段１２と、輝度成分Ｙに対して３×３ローパスフィルタによるフィルタリング処理を施して輝度成分Ｙの低中周波数成分ＹＬＭを得るフィルタリング手段１４と、下記の式（２）に従って低中周波数成分ＹＬＭから低周波数成分ＹＬを減算して中周波数成分ＹＭを得る減算手段１６と、下記の式（３）に従って輝度成分Ｙから低中周波数成分ＹＬＭを減算して高周波数成分ＹＨを得る減算手段１８とを備えてなる。
【００４７】
ＹＭ＝ＹＬＭ−ＹＬ （２）
ＹＨ＝Ｙ−ＹＬＭ （３）
ここで、低周波数成分ＹＬ、中周波数成分ＹＭおよび高周波数成分ＹＨとは、図１に示すように分布される周波数成分のことをいうものである。すなわち、中周波数成分ＹＭとは、抑制補正処理済みの画像データＳ２を可視像として再生する際に出力のナイキスト周波数（ここでは６ｃｙｃｌｅ／ｍｍ）の１／２〜１／３付近にピークを持って分布する周波数成分をいうものであり、低周波数成分ＹＬとは、０周波数にピークを持って分布する周波数成分をいい、高周波数成分ＹＨとは出力のナイキスト周波数にピークを持って分布する周波数成分をいうものである。
【００４８】
なお、ここでは、１例として輝度成分Ｙを３つの周波数成分に分解しているが、３つに限らずさらに多くの周波数成分に分解してもよい、このようにさらに多くの周波数成分に分解した場合は、複数の周波数成分から、低周波数成分、中周波数成分および高周波数成分が選択される。
【００４９】
中周波数成分処理手段２０は、中周波数成分用ゲインＧＭを設定して下記の式（４）に従って中周波数成分ＹＭに乗算して処理済み中周波数成分ＹＭ’を得るものであり、高周波数成分処理手段３０は、高周波数成分用ゲインＧＨを設定して下記の式（５）にしたがって高周波数成分ＹＨに乗算して処理済み高周波数成分ＹＨ’を得るものである。
【００５０】
ＹＭ’＝ＹＭ×ＧＭ （４）
ＹＨ’＝ＹＨ×ＧＨ （５）
ここで、中周波数成分処理手段２０および高周波数成分処理手段３０の構成についてより具体的に説明する。
【００５１】
図３（ａ）と図３（ｂ）は、夫々中周波数成分処理手段２０と高周波数成分処理手段３０の構成を示すブロック図である。図３（ａ）に示すように、図２に示す画像処理装置における中周波数成分処理手段２０は、中周波数成分ＹＭに乗算するゲインＧＭを設定するゲイン設定手段２２と、上記の式（４）に示す、ゲイン設定手段２２により設定されたゲインＧＭを中周波数成分ＹＭに乗算する演算を施して処理済み中周波数成分ＹＭ’を得る実行手段２４とを備える。ゲイン設定手段２２は、具体的には中周波数成分ＹＭの絶対値｜ＹＭ｜を中周波数成分ＹＭの評価値とし、この絶対値に基づいて図４に示すテーブルＴ１に従って中周波数成分用ゲインＧＭを設定する。
【００５２】
図４は、中周波数成分ＹＭの絶対値｜ＹＭ｜とゲインＧＭとの関係を示すテーブルＴ１を示すものである。図示のように、中周波数成分用ゲインＧＭは、中周波数成分ＹＭの絶対値｜ＹＭ｜が所定の閾値（ここでは２０）より小さい画素に対する中周波数成分ＹＭを、絶対値｜ＹＭ｜がこの所定の閾値より大きい画素に対する中周波数成分ＹＭよりも大きく抑制するものである。
【００５３】
フィルムに記録された画像をスキャナなどで読み取ることにより得られた画像データの場合、フィルム粒状に起因するざらつきは主として画像中の中周波数成分に現れるが低周波数成分との境界付近に相当する粒状が画像中にとくに目立つものであり、中周波数成分の絶対値としては比較的小さい値として表される。これと同様に、デジタルカメラにより取得した画像データＳ０により表される画像についても、同様の周波数帯域における微小信号に起因するざらつきが目立ちやすい。従って、本実施形態において、中周波数成分処理手段２０は、中周波数成分ＹＭを抑制するものであるが、絶対値｜ＹＭ｜が、所定の閾値より小さい場合、その絶対値｜ＹＭ｜が得られた画素は特に目立ちやすいざらつきに対応するものとみなして、その画素についてのみ他の画素と比較して中周波数成分ＹＭを大きく抑制することにより、目立つざらつきの抑制を効率良く行うようにしたものである。
【００５４】
このように中周波数成分処理手段２０のゲイン設定手段２２は、図４に示すテーブルＴ１を参照することにより、中周波数成分ＹＭのゲインＧＭを設定して実行手段２４に供する。
【００５５】
図３（ｂ）は高周波数成分処理手段３０の構成を示すブロック図であり、図示のように、図２に示す画像処理装置における高周波数成分処理手段３０は、高周波数成分ＹＨに乗算するゲインＧＨ０を設定するゲイン設定手段３２と、ゲイン設定手段３２により設定されたゲインＧＨ０を修正して高周波数成分用ゲインＧＨを得るゲイン修正手段３４と、ゲイン修正手段３４の修正により得られたゲインＧＨを、上記の式（５）に従って高周波数成分ＹＨに乗算する演算を施して処理済み高周波数成分ＹＨ’を得る実行手段３６とを備える。ゲイン設定手段３２は、具体的には、具体的には高周波数成分ＹＨの絶対値｜ＹＨ｜を高周波数成分ＹＨの評価値とし、この絶対値に基づいて図５に示すテーブルＴ２に従って高周波数成分用ゲインＧＨ０を設定する。
【００５６】
図５は、高周波数成分ＹＨの絶対値｜ＹＨ｜とゲインＧＨ０との関係を示すテーブルＴ２を示すものである。図中の点線は、通常の画像処理装置において高周波数成分を強調する際に用いられるテーブルを示したものであり、本発明の実施形態において、中周波数成分のエッジらしさに応じて高周波数成分のゲインを修正ことにより高周波数成分におけるエッジ部分のゲインも小さく修正され、結果として処理済み画像データがぼけ気味になってしまうという問題を防ぐため、ゲイン設定手段３２は、高周波数成分用ゲインＧＨ０を設定する際に、高周波数成分におけるエッジらしさに応じて高周波数成分用ゲインを修正することを行わない場合よりも、図示のテーブルＴ２のように高周波数成分用ゲインＧＨ０を大きく設定するものである。
【００５７】
図５に示すように、高周波数成分用ゲインＧＨ０は、高周波数成分ＹＨの絶対値｜ＹＨ｜が所定の閾値（ここでは１０）より小さい画素に対する高周波数成分ＹＨを、絶対値｜ＹＨ｜がこの所定の閾値より大きい画素に対する高周波数成分ＹＨよりも小さく強調するものである。これは、画像の高周波数成分における微小信号は、ざらつきの原因になりやすいためである。従って、本実施形態におけるゲイン設定手段３２は、高周波数成分ＹＨを強調するが、高周波数成分ＹＨの絶対値｜ＹＨ｜が所定の閾値より小さい場合、その絶対値｜ＹＨ｜が得られた画素について他の画素と比較して高周波数成分ＹＨの強調度（言わばゲインＧＨ０）を小さくするように設定することにより、鮮鋭度の強調（すなわちシャープネス補正）とともにざらつきが強調されることを防ぐことを防止する。
【００５８】
このように、高周波数成分処理手段３０のゲイン設定手段３２は、図５に示すテーブルＴ２を参照することにより、高周波数成分用ゲインＧＨ０を設定する。
【００５９】
ゲイン設定手段３２により設定されたゲインＧＨ０は、実行手段３６に供される前に、ゲイン修正手段３４により修正される。
【００６０】
ゲイン修正手段３４は、中周波数成分ＹＭの絶対値｜ＹＭ｜を中周波数成分ＹＭにおけるエッジらしさとして、この絶対値｜ＹＭ｜に応じて修正度αを設定するとともに、下記の式（６）に従って、ゲイン設定手段３２により設定されたゲインＧＨ０に修正度αを乗算することによりゲインＧＨ０を修正して高周波数成分用ゲインＧＨを得るものである。
【００６１】
ＧＨ＝ＧＨ０×α （６）
ただし、α：修正度
図６は、ゲイン設定手段３２により設定された高周波数成分用ゲインＧＨ０に対する修正度αと中周波数成分の絶対値｜ＹＭ｜との関係を示すテーブルＴ０を示すものである。図示のように、修正度αは、中周波数成分ＹＭの絶対値｜ＹＭ｜が所定の第１の閾値（ここでは２０）より小さい画素（すなわち、エッジらしさが小さく、ノイズである可能性が高い画素）に対するゲインＧＨ０を、絶対値｜ＹＭ｜がこの所定の第１の閾値より大きい画素（すなわち、エッジらしさが比較的に大きく、ノイズである可能性が比較的に小さい画素）に対するゲインＧＨ０よりも大きく修正するもの、すなわち、中周波数成分におけるエッジらしさが小さいほど、高周波数成分用ゲインを小さくするように修正するものである。これは、主として高周波数成分に存在するモスキートノイズが中周波数成分に存在しないまたは微小信号として現れるので、中周波数成分におけるエッジらしさが小さい画素ほどモスキートノイズである可能性が高いので、その画素の高周波数成分用ゲインＧＨ０を小さくする修正を強めることによって、モスキートノイズの抑制を図ることができる一方、中周波数成分におけるエッジらしさが大きい画素ほどエッジである可能性が高いので、その画素の高周波数成分用ゲインＧＨ０を小さくする修正を弱めることによって、モスキートのノイズの抑制とともに、鮮鋭度の強調によるシャープネス補正を効率良く行うことができるからである。
【００６２】
片方、中周波数成分ＹＭの絶対値が所定の第２の閾値（ここでは６０）よりも大きい画素の場合、ノイズである可能性がないので、この画素の高周波数成分用ゲインＧＨ０を小さくする修正をしないように、修正度αが１となる。
【００６３】
このように、図６に示すテーブルＴ０を参照して、ゲイン修正手段３４は、中周波数成分ＹＭの絶対値｜ＹＭ｜に応じて修正度αを設定し、上記の式（６）に従って、ゲイン設定手段３２により設定されたゲインＧＨ０に修正度αを乗算することによりゲインＧＨ０を修正して高周波数成分用ゲインＧＨを得る。
【００６４】
高周波数成分処理手段３０の実行手段３６は、ゲイン修正手段３４の修正により得られたゲインＧＨを、上記の式（５）に従って高周波数成分ＹＨに乗算する演算を施して処理済み高周波数成分ＹＨ’を得る。
【００６５】
加算手段４２は、フィルタリング手段１２により取得した低周波数成分ＹＬと、中周波数成分処理手段２０により取得した処理済み中周波数成分ＹＭと、高周波数成分処理手段３０により取得した処理済み高周波数成分ＹＨとを加算して、処理済み輝度成分Ｙ’を得る。減算手段４４は、処理済み輝度成分Ｙ’から輝度成分生成手段２により生成された輝度成分Ｙを減算して輝度差分値Ｙａを得、加算手段４６は、下記の式（７）に従って、色階調処理手段１により得られた画像データＳ１を構成する各色データＲ１、Ｇ１、Ｂ１に対して、輝度差分値Ｙａを加算して、抑制補正処理済みの画像データＳ２を構成する色データＲ２、Ｇ２、Ｂ２を得る。
【００６６】
Ｒ２＝Ｒ１＋Ｙａ
Ｇ２＝Ｇ１＋Ｙａ （７）
Ｂ２＝Ｂ１＋Ｙａ
拡大処理手段２００は、抑制補正手段１００により得られた抑制補正処理済みの画像データＳ２に対して拡大処理を行って目的画像データＳ３を得る。ここで、拡大処理手段２００による拡大処理は、キュービックスプラン（Ｃｕｂｉｃスプライン）補間演算や、Ｂスプライン補間演算や、線形補間演算または鮮鋭度が異なる２つの補間演算（例えば鮮鋭度が高いキュービックスプライン補間演算と鮮鋭度が低いＢスプライン補間演算）の補間係数を重み付け加算して得た新たな補間係数による補間演算などの従来公知の種々の技術を適用して行われる。
【００６７】
次いで、本実施形態の動作について説明する。図７は、本実施形態の画像処理装置の動作を示すフローチャートである。図示のように、本実施形態の画像処理装置は、まず、色階調処理手段１により画像データＳ０に対して色階調処理を施して色階調処理済みの画像データＳ１を得る（Ｓ１０）。輝度成分生成手段２は、画像データＳ１から輝度成分Ｙを生成し（Ｓ１２）、分解手段１０は、輝度成分Ｙを低周波数成分ＹＬと、中周波数成分ＹＭと、高周波数成分ＹＨとに分解する（Ｓ１４）。中周波数成分処理手段２０は、中周波数成分ＹＭに対して中周波数成分ＹＭを抑制する中周波数成分処理ＰＭを施して処理済み中周波数成分ＹＭ’を得（Ｓ２０）、高周波数成分処理手段３０は、高周波数成分ＹＨを調整する高周波数成分処理ＰＨを施して処理済み高周波数成分ＹＨ’を得る（Ｓ３０）。加算手段４２は、低周波数成分ＹＬと、処理済み中周波数成分ＹＭ’と、処理済み高周波数成分ＹＨ’とを加算して処理済み輝度成分Ｙ’を得（Ｓ４０）、減算手段４４は、処理済み輝度成分Ｙ’から輝度成分生成手段２により生成された輝度成分Ｙを減算して輝度差分値Ｙａを得る（Ｓ４２）。最後に加算手段４６は、色階調処理手段１により得られた画像データＳ１の各色データＲ１、Ｇ１、Ｂ１に輝度差分値Ｙａを加算して抑制補正処理済みの画像データＳ２を構成する色データＲ２、Ｇ２、Ｂ２を得る（Ｓ４４）。拡大処理手段２００は、抑制補正済み処理手段１００により得られた抑制補正処理済みの画像データＳ２に対して拡大処理を行って目的画像データＳ３を得る（Ｓ４６）。
【００６８】
図８は、中周波数成分処理手段２０による中周波数成分処理ＰＭ（Ｓ２０）を具体的に示すフローチャートである。図示のように、中周波数成分処理手段２０は、まず、ゲイン設定手段２２により、図４に示すテーブルＴ１を参照して、中周波数成分ＹＭの絶対値｜ＹＭ｜に応じた中周波数成分用ゲインＧＭを設定し（Ｓ２２）、実行手段２４は、この中周波数成分用ゲインＧＭを中周波数成分ＹＭに乗算して処理済み中周波数成分ＹＭ’を得る（Ｓ２４）。
【００６９】
図９は、高周波数成分処理手段３０による高周波数成分処理ＰＨ（Ｓ３０）を具体的に示すフローチャートである。図示のように、高周波数成分処理手段３０は、まず、ゲイン設定手段３２により、図５に示すテーブルＴ２を参照して、高周波数成分ＹＨの絶対値｜ＹＨ｜に応じた高周波数成分用ゲインＧＨ０を設定する（Ｓ３２）。ゲイン修正手段３４は、図６に示すテーブルＴ０を参照して、中周波数成分ＹＭに応じた、高周波数成分用ゲインを修正する修正度αを設定するとともに、この修正度αをステップＳ３２においてゲイン設定手段３２により設定されたゲインＧＨ０に乗算することによってゲインＧＨ０を修正して高周波数成分用ゲインＧＨを得る（Ｓ３４）。実行手段３６は、この高周波数成分用ゲインＧＨを高周波数成分ＹＨに乗算して処理済み高周波数成分ＹＨ’を得る（Ｓ３６）。
【００７０】
このように、本実施形態の画像処理装置によって、画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行う際に、まず、ノイズ抑制処理およびシャープネス補正処理を行ってから拡大処理を行うようにしているので、ノイズ抑制処理およびシャープネス補正処理の演算時間を短縮することができ、効率が良い。
【００７１】
また、高周波数成分を調整することによってシャープネス処理を行う際に、高周波数成分に対する強調度を、中周波数成分におけるエッジらしさに応じて修正するようにすることによって、高周波数成分を調整する処理をシャープネス補正処理とモスキートノイズの抑制処理にすることができ、すなわち、高周波数成分に調整処理を行うことによってシャープネス補正処理とノイズ抑制処理を同時に行うことができので、より高速な処理を図ることができる。
【００７２】
また、中周波数成分ＹＭの絶対値｜ＹＭ｜を中周波数成分ＹＭにおけるエッジらしさとして用いることによって、演算量が少なく、より迅速な処理を実現することができる。
【００７３】
さらに、本実施形態の画像処理装置において、高周波数成分ＹＨに対して調整処理を行うとともに、中周波数成分ＹＭに対して抑制処理を行うようにすることによって、モスキートノイズの抑制およびシャープネス補正ができるとともに、中周波数成分におけるノイズに起因する画像のざらつきも解消することができ、より良好な画質を図ることができる。
【００７４】
また、本実施形態の画像処理装置において、画像データの色差成分は、画像のシャープネスにそれほど影響を与えないものであることを利用して、画像データから輝度成分を生成し、高周波数成分の調整処理や、中周波数成分の抑制処理を輝度成分に対してのみ適用することによって、ノイズ抑制とシャープネス補正の効果を得ることができるとともに、演算量を減少させることができ、効率が良い。
【００７５】
また、中周波数成分用ゲインＧＭ、高周波数成分用ゲインＧＨ０を設定する際に、夫々の評価値を夫々の絶対値｜ＹＭ｜、｜ＹＨ｜を用いることによって、演算量のさらなる減少を図ることができる。
【００７６】
以上、本発明の一実施形態について説明したが、本発明の画像処理装置およびプログラムは、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、様々な変更、増減を加えることができる。
【００７７】
例えば、上記実施形態の画像処理装置においては、画像データＳ１から輝度成分Ｙを生成し、輝度成分Ｙ中の中周波数成分ＹＭおよび高周波数成分ＹＨにゲインＧＭ、ＧＨを乗算するようにしているが、画像データＳ１を構成する各色データＲ１、Ｇ１、Ｂ１の中周波数成分ＲＭ、ＧＭ、ＢＭおよび高周波数成分ＲＨ、ＧＨ、ＢＨを取得し、各色毎に処理済み中周波数成分ＲＭ’、ＧＭ’、ＢＭ’および処理済み高周波数成分ＲＨ’、ＧＨ’、ＢＨ’を生成して抑制補正処理済みの画像データＳ２を得るようにしてもよい。この場合、中周波数成分ＲＭ、ＧＭ、ＢＭに乗算するゲインは、中周波数成分ＲＭ、ＧＭ、ＢＭの絶対値に基づいて設定されればよく、高周波数成分ＲＨ、ＧＨ、ＢＨに乗算するゲインは、高周波数成分ＲＨ、ＧＨ、ＢＨの絶対値に基づいて設定された後、中周波数成分ＲＭ、ＧＭ、ＢＭの絶対値に応じて修正されるようにすればよい。
【００７８】
また、上記実施形態の画像処理装置においては、画像データＳ０をＲＧＢの色データからなるものとしているが、ＹＣＣやＬａｂ等の標準色空間のデータからなる画像データＳ０に対しても、同様に適用することができる。なお、標準色空間においては輝度成分が既成の成分として存在しているため、その輝度成分を直接用いることにより、画像データＳ０から輝度成分を生成することなく処理を行うことができる。
【００７９】
さらに、上記実施形態の画像処理装置において、中周波数成分におけるノイズに起因する画像のざらつきを解消するために、高周波数成分に対して調整処理を行うとともに、中周波数成分を抑制する処理を行っているが、本発明は、必ずしも中周波数成分を抑制する処理を行う必要がなく、高周波数成分を調整することを必要とするいかなる処理にも適用することができ、その際、上述したように中周波数成分におけるエッジらしさに応じて高周波数成分の強調度を修正して調整処理を施すことによって、モスキートノイズの抑制をしつつ鮮鋭度の強調を効率良く行うことができる。
【００８０】
また、上述した実施形態の画像処理装置において、ノイズ抑制処理とシャープネス補正処理とを同時に行うことによってさらなる高速な処理を図るようにしているが、本発明の画像処理方法および装置において、ノイズ抑制処理とシャープネス補正処理とを別々に行うようにしてもよい。なお、ノイズ抑制処理の方法およびシャープネス補正処理の方法も、従来の種々の技術を適用してもよい。
【００８１】
また、中周波数成分と高周波数成分の抽出に使用されるローパスフィルタも、上述した実施形態の画像処理装置に使用されたローパスフィルタに限られるものではなく、中周波数成分と高周波数成分を抽出することができれば、フィルタサイズなど異なるものであってもよい。
【図面の簡単な説明】
【図１】低、中、高周波数成分の分布を示す図
【図２】本発明の実施形態による画像処理装置の構成を示すブロック図
【図３】図２に示す実施形態の画像処理装置における中周波数成分処理手段２０と高周波数成分処理手段３０の構成を示す図
【図４】中周波数成分用ゲインＧＭを設定するためのテーブルＴ１を示す図
【図５】高周波数成分用ゲインＧＨ０を設定するためのテーブルＴ２を示す図
【図６】高周波数成分用ゲインＧＨ０を修正するためのテーブルＴ０を示す図
【図７】図２に示す実施形態の画像処理装置の動作を示すフローチャート
【図８】図３に示す中周波数成分処理手段２０の動作を示すフローチャート
【図９】図３に示す高周波数成分処理手段３０の動作を示すフローチャート
【符号の説明】
１ 色階調処理手段
２ 輝度成分生成手段
１０ 分解手段
１２，１４ フィルタリング手段
１６，１８，４４ 減算手段
２０ 中周波数成分処理手段
２２ 中周波数成分用ゲイン設定手段
２４ 実行手段
３０ 高周波数成分処理手段
３２ 中周波数成分用ゲイン設定手段
３４ ゲイン修正手段
３６ 実行手段
４２，４６ 加算手段
１００ 抑制補正処理手段
２００ 拡大処理手段
Claims (9)
- 画像データに対してノイズ抑制処理およびシャープネス補正処理を行ってから拡大処理を行って目的画像データを得る画像処理方法であって、
前記ノイズ抑制処理および前記シャープネス補正処理が、
前記画像データから少なくとも高周波数成分、中周波数成分を抽出する抽出処理と、
該抽出処理後、前記高周波数成分の絶対値に応じて前記高周波数成分を強調する高周波数成分用ゲインを設定する設定処理と、
前記中周波数成分において、該当する画素の部分がエッジ部分である可能性を示すエッジらしさを取得し、該エッジらしさが小さいほど前記高周波数成分用ゲインを小さくするように前記高周波数成分用ゲインを修正するゲイン修正処理と、
修正された前記高周波数成分用ゲインを用いて前記高周波成分を調整する高周波数成分調整処理と、
調整処理された前記高周波数成分と他の周波数成分とを合成する合成処理とからなることを特徴とする画像処理方法。 - 前記ゲイン修正処理を行う際に、前記中周波数成分の信号の絶対値を前記中周波数成分におけるエッジらしさとすることを特徴とする請求項１記載の画像処理方法。
- 前記ノイズ抑制処理および前記シャープネス補正処理が、前記画像データの中周波数成分を抑制する抑制処理をも含み、
前記抽出処理が、前記画像データを少なくとも前記高周波数成分、前記中周波数成分、低周波数成分に分解する分解処理であり、
前記設定処理が、該分解後の前記中周波数成分の絶対値に応じて前記中周波数成分を抑制する中周波数成分用ゲインをも設定し、
前記抑制処理が、該中周波数成分用ゲインを用いて前記中周波数成分を抑制する抑制処理を行うものであり、
前記合成処理が、調整処理された前記高周波数成分と抑制処理された前記中周波数成分と他の周波数成分とを合成するものであることを特徴とする請求項１または２記載の画像処理方法。 - 前記ゲイン修正処理を行う際に、前記中周波数成分のＲＧＢ３色のうちの２色からなる少なくとも１組の色空間における、相対応する画素についての相関値、前記中周波数成分において、平坦部、エッジ部についての出現数に対してプロットした局所分散値、およびエッジ検出フィルタを前記中周波数成分に適用した濃度差のいずれかを前記中周波数成分におけるエッジらしさとすることを特徴とする請求項１または３記載の画像処理方法。
- 画像データに対してノイズ抑制処理、シャープネス補正処理、および拡大処理を行って目的画像データを得る画像処理装置であって、
前記画像データに対して前記ノイズ抑制処理およびシャープネス補正処理を行って抑制補正済み画像データを得る抑制補正手段と、
該抑制補正済み画像データに対して前記拡大処理を行う拡大処理手段とからなり、
前記抑制補正手段が、画像データから少なくとも高周波数成分、中周波数成分を抽出する抽出手段と、
該抽出後、前記高周波数成分の絶対値に応じて前記高周波数成分を強調する高周波数成分用ゲインを設定する設定手段と、
前記中周波数成分において、該当する画素の部分がエッジ部分である可能性を示すエッジらしさを取得し、該エッジらしさが小さいほど前記高周波数成分用ゲインを小さくするように前記高周波数成分用ゲインを修正するゲイン修正手段と、
該ゲイン修正手段により修正された前記高周波成分用ゲインを用いて前記高周波成分を調整する調整処理を行う高周波数成分調整手段と、
該高周波数成分調整手段により調整処理された前記高周波数成分と他の周波数成分とを合成して前記抑制補正済み画像データを取得する合成手段とを備えてなることを特徴とす る画像処理装置。 - 前記ゲイン修正手段が、前記中周波数成分の信号の絶対値を前記中周波数成分におけるエッジらしさとするものであることを特徴とする請求項５記載の画像処理装置。
- 前記抽出手段が、画像データを少なくとも高周波数成分、中周波数成分、低周波数成分に分解する分解手段であり、
前記設定手段が、該分解後の前記中周波数成分の絶対値に応じて前記中周波数成分を抑制する中周波数成分用ゲインをも設定するものであり、
該中周波数成分用ゲインを用いて前記中周波数成分を抑制する抑制処理を行う抑制手段を更に備え、
前記合成手段が、調整処理された前記高周波数成分と抑制処理された前記中周波数成分と他の周波数成分とを合成するものであることを特徴とする請求項５または６記載の画像処理装置。 - 前記ゲイン修正手段が、前記中周波数成分のＲＧＢ３色のうちの２色からなる少なくとも１組の色空間における、相対応する画素についての相関値、前記中周波数成分において、平坦部、エッジ部についての出現数に対してプロットした局所分散値、およびエッジ検出フィルタを前記中周波数成分に適用した濃度差のいずれかを前記エッジらしさとするものであることを特徴とする請求項５または７記載の画像処理装置。
- コンピュータに、ノイズ抑制処理およびシャープネス補正処理を行ってから拡大処理を行って目的画像データを得ることを実行させる画像処理プログラムであって、
前記ノイズ抑制処理および前記シャープネス補正処理が、
前記画像データから少なくとも高周波数成分、中周波数成分を抽出する抽出処理と、
該抽出処理後、前記高周波数成分の絶対値に応じて前記高周波数成分を強調する高周波数成分用ゲインを設定する設定処理と、
前記中周波数成分において、該当する画素の部分がエッジ部分である可能性を示すエッジらしさを取得し、該エッジらしさが小さいほど前記高周波数成分用ゲインを小さくするように前記高周波数成分用ゲインを修正するゲイン修正処理と、
修正された前記高周波数成分用ゲインを用いて前記高周波成分を調整する高周波数成分調整処理と、
調整処理された前記高周波数成分と他の周波数成分とを合成する合成処理とからなることを特徴とする画像処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003083528A JP4156419B2 (ja) | 2003-03-25 | 2003-03-25 | 画像処理方法および装置並びにプログラム |
| US10/793,930 US20040190023A1 (en) | 2003-03-24 | 2004-03-08 | Image processing method, apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003083528A JP4156419B2 (ja) | 2003-03-25 | 2003-03-25 | 画像処理方法および装置並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004295236A JP2004295236A (ja) | 2004-10-21 |
| JP4156419B2 true JP4156419B2 (ja) | 2008-09-24 |
Family
ID=33398975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003083528A Expired - Fee Related JP4156419B2 (ja) | 2003-03-24 | 2003-03-25 | 画像処理方法および装置並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4156419B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4584152B2 (ja) * | 2006-01-13 | 2010-11-17 | 三菱電機株式会社 | 画像処理装置 |
| US7652674B2 (en) * | 2006-02-09 | 2010-01-26 | Real D | On the fly hardware based interdigitation |
| JP4999392B2 (ja) * | 2006-07-28 | 2012-08-15 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP4646146B2 (ja) | 2006-11-30 | 2011-03-09 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US8351725B2 (en) * | 2008-09-23 | 2013-01-08 | Sharp Laboratories Of America, Inc. | Image sharpening technique |
| JP5449460B2 (ja) | 2011-06-28 | 2014-03-19 | 富士フイルム株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP5889013B2 (ja) * | 2012-02-01 | 2016-03-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5933332B2 (ja) * | 2012-05-11 | 2016-06-08 | シャープ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体 |
| JP6121013B2 (ja) * | 2016-02-17 | 2017-04-26 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| EP4156170A4 (en) * | 2020-05-22 | 2023-12-06 | Panasonic Intellectual Property Management Co., Ltd. | VIDEO PROCESSING APPARATUS, VIDEO PROCESSING METHOD, VIDEO PRODUCING APPARATUS, VIDEO PROCESSING METHOD AND PROGRAM |
-
2003
- 2003-03-25 JP JP2003083528A patent/JP4156419B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004295236A (ja) | 2004-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8009905B2 (en) | System, medium, and method with noise reducing adaptive saturation adjustment | |
| US20050018258A1 (en) | Image processing apparatus, image processing method, and computer product | |
| US20070165962A1 (en) | Method and apparatus for bilateral high pass filter | |
| US20070009176A1 (en) | Multi-resolution processing of digital signals | |
| JP2004127064A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 | |
| KR20100064369A (ko) | 영상 처리 방법 및 장치 | |
| TW200417241A (en) | Restoration and enhancement of scanned document images | |
| JP4156419B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP4641784B2 (ja) | 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム | |
| JP4217041B2 (ja) | フィルタ処理 | |
| JP4097587B2 (ja) | 画像処理装置および画像処理方法 | |
| US20040190023A1 (en) | Image processing method, apparatus and program | |
| JP4133029B2 (ja) | 画像処理方法および装置 | |
| JP4285628B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP2006246200A (ja) | 画像処理装置および画像処理方法 | |
| JP4941219B2 (ja) | ノイズ抑圧装置、ノイズ抑圧方法、ノイズ抑圧プログラムおよび撮像装置 | |
| JP2003076985A (ja) | 画像処理方法及び装置 | |
| EP1073014A2 (en) | Method for enhancing image data with compression artifacts by selective sharpening | |
| KR20060021665A (ko) | 이동단말기에서의 화면 선명도 조절 장치 및 방법 | |
| JP4156416B2 (ja) | 画像処理方法および装置並びにプログラム | |
| US7595911B2 (en) | Methods and systems for descreening a digital image | |
| JP2010044446A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN111416937B (zh) | 图像处理方法、装置、存储介质及移动设备 | |
| JP2004213415A (ja) | 画像処理装置、画像処理プログラムおよび記憶媒体 | |
| JP4064168B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080612 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4156419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |