JP3691247B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3691247B2 JP3691247B2 JP13269998A JP13269998A JP3691247B2 JP 3691247 B2 JP3691247 B2 JP 3691247B2 JP 13269998 A JP13269998 A JP 13269998A JP 13269998 A JP13269998 A JP 13269998A JP 3691247 B2 JP3691247 B2 JP 3691247B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- frequency component
- image
- high frequency
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル複写機、レーザプリンタ、ファクシミリ、画像ファイリング装置等の画像処理装置および画像処理方法に関し、特に入力された二つの画像を合成して合成画像を得る画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
画像処理方法の一つとして、第１の物体の画像と第２の物体の画像が与えられたときに、第１の物体の表面（あるいは輪郭）の質感があたかも第２の物体の表面（あるいは輪郭）のそれと同じであるかのように見えるように画像合成する手法がある。
従来この種の技術として、例えば、特許番号第２５９９０４０号公報に記載のように、第１の画像データから抽出した低周波成分と、第２の画像データから抽出した高周波成分とを合成することにより第３の画像データを得る方法が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、特許番号第２５９９０４０号公報の画像処理方法では、第２の画像データから抽出した高周波成分によって画像の表面の質感やざらつき感を表す成分を抜き出し、第１の画像データから抽出した低周波成分の画像データ上に抜き出した成分を重畳し第３の画像データを得ているが、第１の画像データの高周波成分を利用していないため、第３の画像データでは高精細な画像が得られないと云う不具合が生じていた。
そこで、本発明が解決しようとする課題は、第１の画像データの高周波成分と第２の画像データの高周波成分とを加え第３の高周波成分とし、第３の高周波成分と第１の画像データの低周波成分とから第３の画像データを生成するようにして、合成画像の画質を向上する画像処理装置および画像処理方法を提供することにある。
【０００４】
【課題を解決するための手段】
上記課題を解決するために、請求項１記載の発明は、第１の画像データからなる画像の表面の質感が第２の画像データからなる画像の表面の質感と同じになるよう画像合成して第３の画像データを得る画像処理装置において、前記第１の画像データからウェーブレット変換により低周波成分（ LL 1 ）と高周波成分（ LH 1 ,HL 1 ,HH 1 ）に分解する第１の周波数分解手段と、前記第２の画像データからウェーブレット変換により低周波成分（ LL 2 ）と高周波成分（ LH 2 ,HL 2 ,HH 2 ）に分解する第２の周波数分解手段と、前記第１の画像データの高周波成分（ LH 1 ,HL 1 ,HH 1 ）と、前記第２の画像データの高周波成分（ LH 2 ,HL 2 ,HH 2 ）とを、各々の周波数に応じた倍数で定数倍し、定数倍した各々の成分同士を加算することで出力（ LH 3 ,HL 3 ,HH 3 ）を得る高周波成分合成手段と、前記高周波成分合成手段の出力（ LH 3 ,HL 3 ,HH 3 ）と前記第１の画像データの低周波成分（ LL 1 ）とから前記第３の画像データを生成する画像生成手段とを備えたことを特徴とする。
また、請求項２記載の発明は、第１の画像データからなる画像の表面の質感が第２の画像データからなる画像の表面の質感と同じになるよう画像合成して第３の画像データを得る画像処理方法において、前記第１の画像データからウェーブレット変換により低周波成分（ LL 1 ）と高周波成分（ LH 1 ,HL 1 ,HH 1 ）に分解する第１の周波数分解ステップと、前記第２の画像データからウェーブレット変換により低周波成分（ LL 2 ）と高周波成分（ LH 2 ,HL 2 ,HH 2 ）に分解する第２の周波数分解ステップと、前記第１の画像データの高周波成分（ LH 1 ,HL 1 ,HH 1 ）と、前記第２の画像データの高周波成分（ LH 2 ,HL 2 ,HH 2 ）とを、各々の周波数に応じた倍数で定数倍し、定数倍した各々の成分同士を加算することで出力（ LH 3 ,HL 3 ,HH 3 ）を得る高周波成分合成ステップと、前記高周波成分合成ステップにより得られた出力（ LH 3 ,HL 3 ,HH 3 ）と前記第１の画像データの低周波成分（ LL 1 ）とから第３の画像データを生成する画像生成ステップとを実行することを特徴とする。
【０００５】
上記のように、請求項１記載の発明に係る画像処理装置では、第１の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものと、第２の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものとを高周波成分合成手段によって加算し、加算したそれぞれの高周波成分を第３の画像データの高周波成分とみなして、画像生成手段によって第１の画像データの低周波成分と第３の画像データの高周波成分とを合成して第３の画像データを生成するようにしているので、第１の画像データおよび第２の画像データの高周波成分を各々の周波数に応じて強調もしくは低減させた高精細な合成画像を得ることができる。
また、請求項２の発明に係る画像処理方法によれば、第１の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものと、第２の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものとを加算し、加算したそれぞれの高周波成分を第３の画像データの高周波成分とみなして、第１の画像データの低周波成分と第３の画像データの高周波成分とを合成して第３の画像データを生成するようにしているので、第１の画像データおよび第２の画像データの高周波成分を各々の周波数に応じて強調もしくは低減する高精細な合成画像を得ることができる。
【０００６】
【発明の実施の形態】
次に、本発明の実施の形態を添付図面に基づいて詳細に説明する。
図１は、本発明の画像処理装置及び画像処理方法に関する実施の形態の一例を示す機能ブロック図である。この形態例では、第２の画像の輪郭を高周波成分の抽出動作によって抜き出し、第１の画像データに加算して第３の画像データとすることで説明するが、逆に第１の画像の輪郭を高周波成分の抽出動作によって抜き出し、第２の画像データに加算して第３の画像データとして処理することも、第１の画像データと第２の画像データを入れ替えただけで全く同じことある。図１に示すように、画像処理装置１０は、第１の画像データと第２の画像データとが入力され、画像処理装置１０内にて両画像データの必要な周波数成分を抽出し、両成分を合成して第３の画像データとして出力する構成になっている。詳細には、画像処理装置１０に入力された第１の画像データは、低周波成分抽出部３によって低周波成分が抽出され、後述する画像生成部２に第１の画像データの低周波成分として導かれる。また、第１の画像データは高周波第１抽出部４によって高周波成分が抽出され、高周波成分合成部１に伝達される。一方、画像処理装置１０に入力された第２の画像データは、高周波第２抽出部５によって高周波成分が抽出され、高周波成分合成部１に導かれる。また、上述したように高周波第１抽出部４の出力と高周波第２抽出部５の出力とが高周波成分合成部１に導かれて、合成させられ、第３の画像データの高周波成分として画像生成部２に伝達される。画像生成部２では前記低周波成分抽出部３からの第１の画像データの低周波成分の出力と、高周波成分合成部１からの第３の画像データの高周波成分としての出力とから第３の画像データを生成させ、画像処理装置１０より出力する。
【０００７】
次に、画像データから低周波成分を抽出したり高周波成分を抽出したりする周波数分解装置の構成を説明する。図４はウェーブレット変換を用いた周波数分解装置の構成を例示したものであり、この周波数分解装置２０では、下記の式（１−１）〜（１−４）に示すＸ方向（主走査方向）とＹ方向（副走査方向）の各々に対するローパスフィルタｓ（ｘ）、ｓ（ｙ）とハイパスフィルタｈ（ｘ）、ｈ（ｙ）を用いて周波数分解を行う。ローパスフィルタｓ（ｘ）, ｓ（ｙ）とハイパスフィルタｈ（ｘ）、ｈ（ｙ）は下記の式（１−１）〜（１−４）に示す。
ｓ（ｘ）＝（ｘn ＋ｘn+1 ）／２ ・・・・（１−１）
ｓ（ｙ）＝（ｙn ＋ｙn+1 ）／２ ・・・・（１−２）
ｈ（ｘ）＝ｘn −ｘn+1 ・・・・（１−３）
ｈ（ｙ）＝ｙn −ｙn+1 ・・・・（１−４）
すなわち、実空間画像信号ｄijは、ローパスフィルタｓ（ｘ）２１とハイパスフィルタｈ（ｘ）２２により各々主走査方向の低周波成分と高周波成分の係数信号に分解された後、ダウンサンプラー２３、２４により１／２にダウンサンプリングされ、係数信号ｗ１、ｗ２を得る。さらに、各々の係数信号ｗ１、ｗ２に対してローパスフィルタｓ（ｙ）２５、２７とハイパスフィルタｈ（ｙ）２６、２８により副走査方向の低周波成分と高周波成分の係数信号に分解され、その後ダウンサンプラー２９、３０、３１、３２により１／２にダウンサンプリングされ、係数信号ＬＬ、ＬＨ、ＨＬ、ＨＨを得る。
【０００８】
図５（Ａ）は低周波成分抽出のための基本ウェーブレット関数波形を表し、図４のローパスフィルタｓ（ｘ）とｓ（ｙ）に該当する。また、図５（Ｂ）は高周波成分抽出のための基本ウェーブレット関数波形を表し、図４のハイパスフィルタｈ（ｘ）とｈ（ｙ）に該当する。
また、図１に示した低周波成分と高周波成分の周波数抽出部に図４の周波数分解装置２０を用いた場合には、低周波成分抽出部３は、図４に示す周波数分解装置２０により第１の画像データに対して周波数分解を行い、低周波成分である信号ＬＬを画像生成部２に出力する。同時に、高周波第１抽出部４は周波数分解装置２０により高周波成分である信号ＬＨ、ＨＬ、ＨＨを高周波成分合成部１に出力する。
また、高周波第２抽出部５は周波数分解装置２０により第２の画像データに対して周波数分解を行い、高周波成分である信号ＬＨ、ＨＬ、ＨＨを高周波成分合成部１に出力する。さらに、高周波成分合成部１は、高周波第１抽出部４と高周波第２抽出部５とから入力された高周波成分に対して、下記の式（２−１）〜（２−３）を用いて第３の画像データの高周波成分ＬＨ3 、ＨＬ3 、ＨＨ3 を求め、画像生成部２に出力させる。
【０００９】
ＬＨ3＝ＬＨ1＋ＬＨ2・・・・（２−１）
ＨＬ3＝ＨＬ1＋ＨＬ2・・・・（２−２）
ＨＨ3＝ＨＨ1＋ＨＨ2・・・・（２−３）
式（２−１）〜（２−３）では、第１の画像データの高周波成分ＬＨ1、ＨＬ1、ＨＨ1と、第２の画像データの高周波成分ＬＨ2、ＨＬ2、ＨＨ2から第３の画像データの高周波成分ＬＨ3、ＨＬ3、ＨＨ3を求めている。また、画像生成部２は、低周波成分抽出部３と高周波成分合成部１とから入力された画像データを、低周波成分抽出部３からの入力を第３の画像データの低周波成分と見なし、高周波成分合成部１からの入力を第３の画像データの高周波成分と見なして、図４で示す周波数分解装置２０と逆の処理を行う図示しない装置により画像を生成し、第３の画像データとして画像生成部２から出力する。図４に示す周波数分解装置２０と逆の処理を行う装置では、式（３−１）〜（３−４）に示すフィルタに対する逆フィルタである式（３−１）〜（３−４）を用いて処理を行う。
ｘn＝ｓ（ｘ）＋ｈ（ｘ）／２・・・・（３−１）
ｘn+1＝ｓ（ｘ）−ｈ（ｘ）／２・・・・（３−２）
ｙn＝ｓ（ｙ）＋ｈ（ｙ）／２・・・・（３−３）
ｙn+1＝ｓ（ｙ）−ｈ（ｙ）／２・・・・（３−４）
図２は、画像処理装置と画像処理方法に関する実施の形態の一例を示す機能ブロック図である。図２において、画像処理装置１０に入力された第１の画像データは、低周波成分抽出部３によって低周波成分が抽出され、画像生成部２に第３の画像データの低周波成分として伝達される。また、第１の画像データは高周波第１抽出部４によって高周波成分が抽出され、高周波第１定数倍部６によってさらに定数倍され、高周波成分合成部１に渡される。一方、画像処理装置１０に入力された第２の画像データは高周波第２抽出部５によって高周波成分が抽出され、高周波第２定数倍部７によってさらに定数倍され、高周波成分合成部１に導かれる。また、図２では、高周波第１定数倍部６と高周波第２定数倍部７の機能は高周波成分合成部１に属するようになっているが、別に高周波成分合成部１外にあっても差し支えない。さらに、高周波成分合成部１では、上述した高周波第１定数倍部６の出力と高周波第２定数倍部７の出力とを、下記の式（４−１）〜（４−３）に示すように合成させ、第３の画像データの高周波成分ＬＨ3、ＨＬ3、ＨＨ3として画像生成部２に伝達する。
ＬＨ3＝ａＬＨ1＋ｂＬＨ2・・・・（４−１）
ＨＬ3＝ａＨＬ1＋ｂＨＬ2・・・・（４−２）
ＨＨ3＝ａＨＨ1＋ｂＨＨ2・・・・（４−３）
画像生成部２は、前記低周波成分抽出部３からの第３の画像データの低周波成分としての出力と、高周波成分合成部１の第３の画像データの高周波成分としての出力とから、図４のような周波数分解装置２０と逆の処理を行う図示しない装置によって画像を生成し、第３の画像データとして画像処理装置１０より出力する。ここで、上記の式（４−１）〜（４−３）で、第１の画像データの高周波成分ＬＨ1、ＨＬ1 、ＨＨ1と、第２の画像データの高周波成分ＬＨ2、ＨＬ2、ＨＨ2とから、第３の画像データの高周波成分ＬＨ3、ＨＬ3、ＨＨ3を求める。また、この中での定数ａとｂは、それぞれ高周波第１定数倍部６と高周波第２定数倍部７での定数倍値を示している。図１の実施の形態はａ＝１、ｂ＝１の場合に相当する。定数ａとｂを変えることで出力画像の高周波成分が変化し、例えば、ｂを大きい値とすることで第２の画像データの高周波成分が強調されるため、第２の画像の輪郭が強く現れる第３の画像が得られることになる。
【００１０】
また、上記の説明では、第３の画像データのＬＨ、ＨＬ、ＨＨ成分を、第１の画像データの対応する成分に対してはａを乗じ、第２の画像データの対応する成分に対してはｂを乗じ、両者を加算することで求めた。しかしながら、各成分に対して別の定数を乗ずることで求めることもできる。例えば、ＬＨ、ＨＬ成分に対しては第１の画像データの対応する成分に対してｐを乗じ、第２の画像データの対応する成分に対してはｑを乗じて、両者を加算する。さらに、ＨＨ成分に対しては第１の画像データの対応する成分に対してｒを乗じ、第２の画像データの対応する成分に対してはｓを乗じて、両者を加算することで第３の画像データの対応する成分を求めることもできる。
また、図３は本発明の画像処理装置１０と画像処理方法に関する実施の形態の一例を示す機能ブロック図である。図２と図３とは基本的には同じ構成を示している。ただし、図２の例では、高周波第１定数倍部６と高周波第２定数倍部７は、第１の画像データと第２の画像データの高周波成分に対して定数倍するように動作したが、図３の例では、第１の画像データと第２の画像データの高周波成分に対して各々の周波数に応じた倍数により定数倍するように動作することが異なっている。
【００１１】
図３において、画像処理装置１０に入力された第１の画像データは、低周波成分抽出部３によって低周波成分が抽出され、画像生成部２に第３の画像データの低周波成分として伝達される。また、第１の画像データは高周波第１抽出部４によって高周波成分が抽出され、さらに高周波第３定数倍部８によって各々の周波数に応じた倍数により定数倍され、高周波成分合成部１に伝達される。一方、画像処理装置１０に入力した第２の画像データは高周波第２抽出部５によって高周波成分が抽出され、さらに高周波第４定数倍部９によって各々の周波数に応じた倍数により定数倍され、高周波成分合成部１に導かれる。また、ここで高周波第１定数倍部６と高周波第２定数倍部７の機能は高周波成分合成部１に属する用になっているが、別に高周波成分合成部１外にあっても差し支えない。
さらに、高周波成分合成部１では、上述した高周波第３定数倍部８の出力と高周波第４定数倍部９との出力とを合成させ、第３の画像データの高周波成分として画像生成部２に伝達する。画像生成部２は、前記低周波成分抽出部３からの第３の画像データの低周波成分としての出力と、高周波成分合成部１からの第３の画像データの高周波成分としての出力とから第３の画像データを生成させ、画像処理装置１０より出力する。
【００１２】
次に、画像データから低周波成分を抽出したり、高周波成分を抽出したりする周波数分解装置の構成例を説明する。図６の周波数分解装置４０は、Ｘ方向（主走査方向）とＹ方向（副走査方向）の各々に対するローパスフィルタｓ（ｘ）、ｓ（ｙ）とハイパスフィルタｈ（ｘ）、ｈ（ｙ）を用いて周波数分解を行う。実空間画像信号ｄijは、ローパスフィルタｓ（ｘ）４１とハイパスフィルタｈ（ｘ）４２により各々主走査方向の低周波成分と高周波成分の係数信号に分解された後、ダウンサンプラー４３、４４により１/ ２にダウンサンプリングされ、係数信号ｗ１、ｗ２を得る。さらに、各々の係数信号ｗ１、ｗ２に対してローパスフィルタｓ（ｙ）４５、４７とハイパスフィルタｈ（ｙ）４６、４８により副走査方向の低周波成分と高周波成分の係数信号に分解され、しかる後ダウンサンプラー４９、５０、５１、５２により１/ ２にダウンサンプリングされ、係数信号ｗ３、１ＬＨ、１ＨＬ、１ＨＨを得る。
さらに、係数信号ｗ３は主走査方向に対するローパスフィルタｓ（ｘ）５３とハイパスフィルタｈ（ｘ）５４により各々主走査方向の低周波成分と高周波成分の係数信号に分解され、しかる後にダウンサンプラー５５、５６により１／２にダウンサンプリングされ、係数信号ｗ４、ｗ５を得る。次に、係数信号ｗ４、ｗ５のそれぞれに対してローパスフィルタｓ（ｙ）５７、５９とハイパスフィルタｈ（ｙ）５８、６０により副走査方向の低周波成分と高周波成分の係数信号に分解され、その後ダウンサンプラー６１、６２、６３、６４により１／２にダウンサンプリングされ、係数信号ＬＬ、２ＬＨ、２ＨＬ、２ＨＨを得る。
【００１３】
したがって、図３に示した画像処理装置１０のそれぞれの周波数抽出部に図６のような周波数分解装置４０を用いた場合には、低周波成分抽出部３は、図６に示す周波数分解装置４０により第１の画像データに対して周波数分解を行い、低周波成分である信号ＬＬを画像生成部２に出力する。また、高周波第１抽出部４は周波数分解装置４０により高周波成分である信号１ＬＨ、１ＨＬ、１ＨＨ、２ＬＨ、２ＨＬ、２ＨＨを抽出し、さらに高周波第３定数倍部８によって各々の周波数に応じた倍数により定数倍させ、高周波成分合成部１に出力する。
さらに、高周波第２抽出部５は周波数分解装置４０により第２の画像データに対して周波数分解を行い、高周波成分である信号１ＬＨ、１ＨＬ、１ＨＨ、２ＬＨ、２ＨＬ、２ＨＨを抽出し、さらに高周波第４定数倍部９によって各々の周波数に応じた倍数により定数倍させ、高周波成分合成部１に出力する。さらに、高周波成分合成部１は、高周波第３定数倍部８と高周波第４定数倍部９とから入力された高周波成分に対して、下記の式（５−１）〜（５−６）を用いて第３の画像データの高周波成分を求め、画像生成部２に出力させる。
【００１４】
１ＬＨ3＝ａ×１ＬＨ1＋ｂ×１ＬＨ2・・・・（５−１）
１ＨＬ3＝ａ×１ＨＬ1＋ｂ×１ＨＬ2・・・・（５−２）
１ＨＨ3＝ａ×１ＨＨ1＋ｂ×１ＨＨ2・・・・（５−３）
２ＬＨ3＝ｃ×２ＬＨ1＋ｄ×２ＬＨ2・・・・（５−４）
２ＨＬ3＝ｃ×２ＨＬ1＋ｄ×２ＨＬ2・・・・（５−５）
２ＨＨ3＝ｃ×２ＨＨ1＋ｄ×２ＨＨ2・・・・（５−６）
また、上記の式（５−１）〜（５−６）では、第１の画像データの高周波成分１ＬＨ1、１ＨＬ1、１ＨＨ1、２ＬＨ1、２ＨＬ1、２ＨＨ1と、第２の画像データの高周波成分１ＬＨ2、１ＨＬ2、１ＨＨ2、２ＬＨ2、２ＨＬ2、２ＨＨ2とから、第３の画像データの高周波成分１ＬＨ3、１ＨＬ3、１ＨＨ3、２ＬＨ3、２ＨＬ3、２ＨＨ3を求める。また、この中でのａ、ｂ、ｃ，ｄは定数であり、図３に基づく画像処理装置１０では高周波成分を各々の周波数に応じた倍数により定数倍されるように定められており、図１に基づく画像処理装置１０ではａ＝１、ｂ＝１、ｃ＝１、ｄ＝１である。画像生成部２は、低周波成分抽出部３からの第３の画像データの低周波成分としての出力と、高周波成分合成部１からの第３の画像データの高周波成分としての出力とから、図６のような周波数分解装置４０と逆の処理を行う図示しない装置によって画像データを生成し、第３の画像データとして画像処理装置１０より出力する。
【００１５】
また、図７（Ａ）〜（Ｄ）は、第１の画像と第２の画像を合成して第３の画像を得る際に、従来の画像処理装置または画像処理方法と、図１の画像処理装置または画像処理方法とにおいて、得られた第３の画像を比較したものである。すなわち、図７（Ａ）を第１の画像とし、（Ｂ）を第２の画像として、両方の画像を従来の画像処理装置または画像処理方法で合成させたものが図７（Ｃ）であり、図１に示した画像処理装置または画像処理方法で合成させたものが図７（Ｄ）である。図７（Ｄ）では、図７（Ｃ）に較べて第１の画像データの高周波成分まで利用した画像となっているため、明らかに第１の画像の人物図がシャープに描かれる。また、図示はしていないが、図２に示した画像処理装置または画像処理方法での画像も、従来の画像処理装置または画像処理方法での画像と較べてみると、非常に高精細になっているのが判る。
【００１６】
また、図１〜図３の実施の形態では、画像処理装置１０内に周波数を分解するものを持っているため実画像データを入力したが、あらかじめ周波数分解されている画像データを高周波成分合成部１および画像生成部２に入力して処理することも可能である。また、第２の画像データの低周波成分は利用しないため、第２の画像データをあらかじめ周波数分解し高周波成分のみを保存しておき、利用することで保存のために必要な記憶領域を少なくできる。
また、この実施の形態では画像データの周波数分解を行うにあたりウェーブレット変換を用いた。ウェーブレット変換はピラミット構造、即ち高域になるにつれて帯域幅が広がるように周波数帯域を分割した特徴を持つものである。このようなピラミット構造の周波数分解方式をとることで、第１の画像データと第２の画像データとで周波数分解の階層数が異なっている場合においても合成を行うことができる。即ち、第１の画像データに対しては図４に示す画像処理装置１０により低周波成分ＬＬ1および高周波成分１ＬＨ 1、１ＨＬ1、１ＨＨ 1を抽出し、第２の画像データに対しては図６に示す画像処理装置１０により高周波成分２ＬＨ2、２ＨＬ 2、２ＨＨ2、１ＬＨ 2、１ＨＬ2、１ＨＨ 2を抽出し、高周波成分合成部１において１ＬＨ3、１ＨＬ 3、１ＨＨ3を求め、画像生成部２においてＬＬ 1と１ＬＨ3 、１ＨＬ3 、１ＨＨ 3とから第３の画像データを求めることができる。これは、第１の画像データを１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨと周波数分解し、第２の画像データを２ＬＬ、２ＬＨ、２ＨＬ、２ＨＨ、１ＬＨ、１ＨＬ、１ＨＨと周波数分解し、高周波成分合成部１において１ＬＨ、１ＨＬ、１ＨＨを合成し、画像生成部２で高周波成分合成部１の出力と第１の画像データの１ＬＬ成分とから第３の画像データを生成し出力することができる。
【００１７】
また逆に、第１の画像データに対しては図６に示す画像処理装置１０により低周波成分ＬＬ1 および高周波成分２ＬＨ1 、２ＨＬ 1、２ＨＨ1 、１ＬＨ 1、１ＨＬ1 、１ＨＨ 1を抽出し、第２の画像データに対しては図４に示す画像処理装置１０により高周波成分１ＬＨ2 、１ＨＬ2 、１ＨＨ2 を抽出し、高周波成分合成部１において１ＬＨ 3、１ＨＬ3 、１ＨＨ 3を求め、画像生成部２においてＬＬ1、２ＬＨ 1、２ＨＬ1、２ＨＨ 1と１ＬＨ3、１ＨＬ 3、１ＨＨ3 とから第３の画像データを求めることができる。これは、第１の画像データを２ＬＬ、２ＬＨ、２ＨＬ、２ＨＨ、１ＬＨ、１ＨＬ、１ＨＨと周波数分解し、第２の画像データを１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨと周波数分解し、高周波成分合成部１において１ＬＨ、１ＨＬ、１ＨＨを合成し、画像生成部２で高周波成分合成部１の出力と第１の画像データの２ＬＬ、２ＬＨ、２ＨＬ、２ＨＨ成分とから第３の画像データを生成し出力することができる。
また、上述した実施の形態の例では画像データの周波数分解を行うにあたり、図４と図６および式（１−１）〜（１−４）に示すウェーブレット変換を用いたが、離散余弦変換等の他の周波数分割方法を用いることが可能である。
【００１８】
【発明の効果】
以上のように、本発明は以下のような優れた効果を発揮する。
請求項１記載の発明に係る画像処理装置によれば、第１の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものと、第２の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものとを高周波成分合成手段によって加算し、加算したそれぞれの高周波成分を第３の画像データの高周波成分とみなして、画像生成手段によって第１の画像データの低周波成分と第３の画像データの高周波成分とを合成して第３の画像データを生成するようにしているので、第１の画像データおよび第２の画像データの高周波成分を各々の周波数に応じて強調もしくは低減させた高精細な合成画像を得ることができる。
また、請求項２記載の発明に係る画像処理方法によれば、第１の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものと、第２の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものとを加算し、加算したそれぞれの高周波成分を第３の画像データの高周波成分とみなして、第１の画像データの低周波成分と第３の画像データの高周波成分とを合成して第３の画像データを生成するようにしているので、第１の画像データおよび第２の画像データの高周波成分を各々の周波数に応じて強調もしくは低減する高精細な合成画像を得ることができる。
【図面の簡単な説明】
【図１】請求項１及び請求項４に対応する実施の形態の一例を示す機能ブロック図である。
【図２】請求項２及び請求項５に対応する実施の形態の一例を示す機能ブロック図である。
【図３】請求項３及び請求項６に対応する実施の形態の一例を示す機能ブロック図である。
【図４】画像データに対して周波数分解を行う周波数分解装置の詳細なブロック図である。
【図５】（Ａ）は低周波成分抽出のための基本ウェーブレット関数の説明図、（Ｂ）は高周波成分抽出のための基本ウェーブレット関数の説明図である。
【図６】画像データに対して周波数分解を行う他の周波数分解装置の詳細なブロック図である。
【図７】（Ａ）は合成前の第１画像の説明図、（Ｂ）は合成前の第２画像の説明図、（Ｃ）は従来の画像処理装置または画像処理方法によって第１画像と第２画像を合成した画像の説明図、（Ｄ）は本発明の画像処理装置または画像処理方法によって第１画像と第２画像を合成した画像の説明図である。
【符号の説明】
１ 高周波成分合成部（高周波成分合成手段）、２ 画像生成部（画像生成手段）、３ 低周波成分抽出部、４ 高周波第１抽出部、５ 高周波第２抽出部、６ 高周波第１定数倍部、７ 高周波第２定数倍部、８ 高周波第３定数倍部、９ 高周波第４定数倍部、１０ 画像処理装置。
【発明の属する技術分野】
本発明は、デジタル複写機、レーザプリンタ、ファクシミリ、画像ファイリング装置等の画像処理装置および画像処理方法に関し、特に入力された二つの画像を合成して合成画像を得る画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
画像処理方法の一つとして、第１の物体の画像と第２の物体の画像が与えられたときに、第１の物体の表面（あるいは輪郭）の質感があたかも第２の物体の表面（あるいは輪郭）のそれと同じであるかのように見えるように画像合成する手法がある。
従来この種の技術として、例えば、特許番号第２５９９０４０号公報に記載のように、第１の画像データから抽出した低周波成分と、第２の画像データから抽出した高周波成分とを合成することにより第３の画像データを得る方法が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、特許番号第２５９９０４０号公報の画像処理方法では、第２の画像データから抽出した高周波成分によって画像の表面の質感やざらつき感を表す成分を抜き出し、第１の画像データから抽出した低周波成分の画像データ上に抜き出した成分を重畳し第３の画像データを得ているが、第１の画像データの高周波成分を利用していないため、第３の画像データでは高精細な画像が得られないと云う不具合が生じていた。
そこで、本発明が解決しようとする課題は、第１の画像データの高周波成分と第２の画像データの高周波成分とを加え第３の高周波成分とし、第３の高周波成分と第１の画像データの低周波成分とから第３の画像データを生成するようにして、合成画像の画質を向上する画像処理装置および画像処理方法を提供することにある。
【０００４】
【課題を解決するための手段】
上記課題を解決するために、請求項１記載の発明は、第１の画像データからなる画像の表面の質感が第２の画像データからなる画像の表面の質感と同じになるよう画像合成して第３の画像データを得る画像処理装置において、前記第１の画像データからウェーブレット変換により低周波成分（ LL 1 ）と高周波成分（ LH 1 ,HL 1 ,HH 1 ）に分解する第１の周波数分解手段と、前記第２の画像データからウェーブレット変換により低周波成分（ LL 2 ）と高周波成分（ LH 2 ,HL 2 ,HH 2 ）に分解する第２の周波数分解手段と、前記第１の画像データの高周波成分（ LH 1 ,HL 1 ,HH 1 ）と、前記第２の画像データの高周波成分（ LH 2 ,HL 2 ,HH 2 ）とを、各々の周波数に応じた倍数で定数倍し、定数倍した各々の成分同士を加算することで出力（ LH 3 ,HL 3 ,HH 3 ）を得る高周波成分合成手段と、前記高周波成分合成手段の出力（ LH 3 ,HL 3 ,HH 3 ）と前記第１の画像データの低周波成分（ LL 1 ）とから前記第３の画像データを生成する画像生成手段とを備えたことを特徴とする。
また、請求項２記載の発明は、第１の画像データからなる画像の表面の質感が第２の画像データからなる画像の表面の質感と同じになるよう画像合成して第３の画像データを得る画像処理方法において、前記第１の画像データからウェーブレット変換により低周波成分（ LL 1 ）と高周波成分（ LH 1 ,HL 1 ,HH 1 ）に分解する第１の周波数分解ステップと、前記第２の画像データからウェーブレット変換により低周波成分（ LL 2 ）と高周波成分（ LH 2 ,HL 2 ,HH 2 ）に分解する第２の周波数分解ステップと、前記第１の画像データの高周波成分（ LH 1 ,HL 1 ,HH 1 ）と、前記第２の画像データの高周波成分（ LH 2 ,HL 2 ,HH 2 ）とを、各々の周波数に応じた倍数で定数倍し、定数倍した各々の成分同士を加算することで出力（ LH 3 ,HL 3 ,HH 3 ）を得る高周波成分合成ステップと、前記高周波成分合成ステップにより得られた出力（ LH 3 ,HL 3 ,HH 3 ）と前記第１の画像データの低周波成分（ LL 1 ）とから第３の画像データを生成する画像生成ステップとを実行することを特徴とする。
【０００５】
上記のように、請求項１記載の発明に係る画像処理装置では、第１の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものと、第２の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものとを高周波成分合成手段によって加算し、加算したそれぞれの高周波成分を第３の画像データの高周波成分とみなして、画像生成手段によって第１の画像データの低周波成分と第３の画像データの高周波成分とを合成して第３の画像データを生成するようにしているので、第１の画像データおよび第２の画像データの高周波成分を各々の周波数に応じて強調もしくは低減させた高精細な合成画像を得ることができる。
また、請求項２の発明に係る画像処理方法によれば、第１の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものと、第２の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものとを加算し、加算したそれぞれの高周波成分を第３の画像データの高周波成分とみなして、第１の画像データの低周波成分と第３の画像データの高周波成分とを合成して第３の画像データを生成するようにしているので、第１の画像データおよび第２の画像データの高周波成分を各々の周波数に応じて強調もしくは低減する高精細な合成画像を得ることができる。
【０００６】
【発明の実施の形態】
次に、本発明の実施の形態を添付図面に基づいて詳細に説明する。
図１は、本発明の画像処理装置及び画像処理方法に関する実施の形態の一例を示す機能ブロック図である。この形態例では、第２の画像の輪郭を高周波成分の抽出動作によって抜き出し、第１の画像データに加算して第３の画像データとすることで説明するが、逆に第１の画像の輪郭を高周波成分の抽出動作によって抜き出し、第２の画像データに加算して第３の画像データとして処理することも、第１の画像データと第２の画像データを入れ替えただけで全く同じことある。図１に示すように、画像処理装置１０は、第１の画像データと第２の画像データとが入力され、画像処理装置１０内にて両画像データの必要な周波数成分を抽出し、両成分を合成して第３の画像データとして出力する構成になっている。詳細には、画像処理装置１０に入力された第１の画像データは、低周波成分抽出部３によって低周波成分が抽出され、後述する画像生成部２に第１の画像データの低周波成分として導かれる。また、第１の画像データは高周波第１抽出部４によって高周波成分が抽出され、高周波成分合成部１に伝達される。一方、画像処理装置１０に入力された第２の画像データは、高周波第２抽出部５によって高周波成分が抽出され、高周波成分合成部１に導かれる。また、上述したように高周波第１抽出部４の出力と高周波第２抽出部５の出力とが高周波成分合成部１に導かれて、合成させられ、第３の画像データの高周波成分として画像生成部２に伝達される。画像生成部２では前記低周波成分抽出部３からの第１の画像データの低周波成分の出力と、高周波成分合成部１からの第３の画像データの高周波成分としての出力とから第３の画像データを生成させ、画像処理装置１０より出力する。
【０００７】
次に、画像データから低周波成分を抽出したり高周波成分を抽出したりする周波数分解装置の構成を説明する。図４はウェーブレット変換を用いた周波数分解装置の構成を例示したものであり、この周波数分解装置２０では、下記の式（１−１）〜（１−４）に示すＸ方向（主走査方向）とＹ方向（副走査方向）の各々に対するローパスフィルタｓ（ｘ）、ｓ（ｙ）とハイパスフィルタｈ（ｘ）、ｈ（ｙ）を用いて周波数分解を行う。ローパスフィルタｓ（ｘ）, ｓ（ｙ）とハイパスフィルタｈ（ｘ）、ｈ（ｙ）は下記の式（１−１）〜（１−４）に示す。
ｓ（ｘ）＝（ｘn ＋ｘn+1 ）／２ ・・・・（１−１）
ｓ（ｙ）＝（ｙn ＋ｙn+1 ）／２ ・・・・（１−２）
ｈ（ｘ）＝ｘn −ｘn+1 ・・・・（１−３）
ｈ（ｙ）＝ｙn −ｙn+1 ・・・・（１−４）
すなわち、実空間画像信号ｄijは、ローパスフィルタｓ（ｘ）２１とハイパスフィルタｈ（ｘ）２２により各々主走査方向の低周波成分と高周波成分の係数信号に分解された後、ダウンサンプラー２３、２４により１／２にダウンサンプリングされ、係数信号ｗ１、ｗ２を得る。さらに、各々の係数信号ｗ１、ｗ２に対してローパスフィルタｓ（ｙ）２５、２７とハイパスフィルタｈ（ｙ）２６、２８により副走査方向の低周波成分と高周波成分の係数信号に分解され、その後ダウンサンプラー２９、３０、３１、３２により１／２にダウンサンプリングされ、係数信号ＬＬ、ＬＨ、ＨＬ、ＨＨを得る。
【０００８】
図５（Ａ）は低周波成分抽出のための基本ウェーブレット関数波形を表し、図４のローパスフィルタｓ（ｘ）とｓ（ｙ）に該当する。また、図５（Ｂ）は高周波成分抽出のための基本ウェーブレット関数波形を表し、図４のハイパスフィルタｈ（ｘ）とｈ（ｙ）に該当する。
また、図１に示した低周波成分と高周波成分の周波数抽出部に図４の周波数分解装置２０を用いた場合には、低周波成分抽出部３は、図４に示す周波数分解装置２０により第１の画像データに対して周波数分解を行い、低周波成分である信号ＬＬを画像生成部２に出力する。同時に、高周波第１抽出部４は周波数分解装置２０により高周波成分である信号ＬＨ、ＨＬ、ＨＨを高周波成分合成部１に出力する。
また、高周波第２抽出部５は周波数分解装置２０により第２の画像データに対して周波数分解を行い、高周波成分である信号ＬＨ、ＨＬ、ＨＨを高周波成分合成部１に出力する。さらに、高周波成分合成部１は、高周波第１抽出部４と高周波第２抽出部５とから入力された高周波成分に対して、下記の式（２−１）〜（２−３）を用いて第３の画像データの高周波成分ＬＨ3 、ＨＬ3 、ＨＨ3 を求め、画像生成部２に出力させる。
【０００９】
ＬＨ3＝ＬＨ1＋ＬＨ2・・・・（２−１）
ＨＬ3＝ＨＬ1＋ＨＬ2・・・・（２−２）
ＨＨ3＝ＨＨ1＋ＨＨ2・・・・（２−３）
式（２−１）〜（２−３）では、第１の画像データの高周波成分ＬＨ1、ＨＬ1、ＨＨ1と、第２の画像データの高周波成分ＬＨ2、ＨＬ2、ＨＨ2から第３の画像データの高周波成分ＬＨ3、ＨＬ3、ＨＨ3を求めている。また、画像生成部２は、低周波成分抽出部３と高周波成分合成部１とから入力された画像データを、低周波成分抽出部３からの入力を第３の画像データの低周波成分と見なし、高周波成分合成部１からの入力を第３の画像データの高周波成分と見なして、図４で示す周波数分解装置２０と逆の処理を行う図示しない装置により画像を生成し、第３の画像データとして画像生成部２から出力する。図４に示す周波数分解装置２０と逆の処理を行う装置では、式（３−１）〜（３−４）に示すフィルタに対する逆フィルタである式（３−１）〜（３−４）を用いて処理を行う。
ｘn＝ｓ（ｘ）＋ｈ（ｘ）／２・・・・（３−１）
ｘn+1＝ｓ（ｘ）−ｈ（ｘ）／２・・・・（３−２）
ｙn＝ｓ（ｙ）＋ｈ（ｙ）／２・・・・（３−３）
ｙn+1＝ｓ（ｙ）−ｈ（ｙ）／２・・・・（３−４）
図２は、画像処理装置と画像処理方法に関する実施の形態の一例を示す機能ブロック図である。図２において、画像処理装置１０に入力された第１の画像データは、低周波成分抽出部３によって低周波成分が抽出され、画像生成部２に第３の画像データの低周波成分として伝達される。また、第１の画像データは高周波第１抽出部４によって高周波成分が抽出され、高周波第１定数倍部６によってさらに定数倍され、高周波成分合成部１に渡される。一方、画像処理装置１０に入力された第２の画像データは高周波第２抽出部５によって高周波成分が抽出され、高周波第２定数倍部７によってさらに定数倍され、高周波成分合成部１に導かれる。また、図２では、高周波第１定数倍部６と高周波第２定数倍部７の機能は高周波成分合成部１に属するようになっているが、別に高周波成分合成部１外にあっても差し支えない。さらに、高周波成分合成部１では、上述した高周波第１定数倍部６の出力と高周波第２定数倍部７の出力とを、下記の式（４−１）〜（４−３）に示すように合成させ、第３の画像データの高周波成分ＬＨ3、ＨＬ3、ＨＨ3として画像生成部２に伝達する。
ＬＨ3＝ａＬＨ1＋ｂＬＨ2・・・・（４−１）
ＨＬ3＝ａＨＬ1＋ｂＨＬ2・・・・（４−２）
ＨＨ3＝ａＨＨ1＋ｂＨＨ2・・・・（４−３）
画像生成部２は、前記低周波成分抽出部３からの第３の画像データの低周波成分としての出力と、高周波成分合成部１の第３の画像データの高周波成分としての出力とから、図４のような周波数分解装置２０と逆の処理を行う図示しない装置によって画像を生成し、第３の画像データとして画像処理装置１０より出力する。ここで、上記の式（４−１）〜（４−３）で、第１の画像データの高周波成分ＬＨ1、ＨＬ1 、ＨＨ1と、第２の画像データの高周波成分ＬＨ2、ＨＬ2、ＨＨ2とから、第３の画像データの高周波成分ＬＨ3、ＨＬ3、ＨＨ3を求める。また、この中での定数ａとｂは、それぞれ高周波第１定数倍部６と高周波第２定数倍部７での定数倍値を示している。図１の実施の形態はａ＝１、ｂ＝１の場合に相当する。定数ａとｂを変えることで出力画像の高周波成分が変化し、例えば、ｂを大きい値とすることで第２の画像データの高周波成分が強調されるため、第２の画像の輪郭が強く現れる第３の画像が得られることになる。
【００１０】
また、上記の説明では、第３の画像データのＬＨ、ＨＬ、ＨＨ成分を、第１の画像データの対応する成分に対してはａを乗じ、第２の画像データの対応する成分に対してはｂを乗じ、両者を加算することで求めた。しかしながら、各成分に対して別の定数を乗ずることで求めることもできる。例えば、ＬＨ、ＨＬ成分に対しては第１の画像データの対応する成分に対してｐを乗じ、第２の画像データの対応する成分に対してはｑを乗じて、両者を加算する。さらに、ＨＨ成分に対しては第１の画像データの対応する成分に対してｒを乗じ、第２の画像データの対応する成分に対してはｓを乗じて、両者を加算することで第３の画像データの対応する成分を求めることもできる。
また、図３は本発明の画像処理装置１０と画像処理方法に関する実施の形態の一例を示す機能ブロック図である。図２と図３とは基本的には同じ構成を示している。ただし、図２の例では、高周波第１定数倍部６と高周波第２定数倍部７は、第１の画像データと第２の画像データの高周波成分に対して定数倍するように動作したが、図３の例では、第１の画像データと第２の画像データの高周波成分に対して各々の周波数に応じた倍数により定数倍するように動作することが異なっている。
【００１１】
図３において、画像処理装置１０に入力された第１の画像データは、低周波成分抽出部３によって低周波成分が抽出され、画像生成部２に第３の画像データの低周波成分として伝達される。また、第１の画像データは高周波第１抽出部４によって高周波成分が抽出され、さらに高周波第３定数倍部８によって各々の周波数に応じた倍数により定数倍され、高周波成分合成部１に伝達される。一方、画像処理装置１０に入力した第２の画像データは高周波第２抽出部５によって高周波成分が抽出され、さらに高周波第４定数倍部９によって各々の周波数に応じた倍数により定数倍され、高周波成分合成部１に導かれる。また、ここで高周波第１定数倍部６と高周波第２定数倍部７の機能は高周波成分合成部１に属する用になっているが、別に高周波成分合成部１外にあっても差し支えない。
さらに、高周波成分合成部１では、上述した高周波第３定数倍部８の出力と高周波第４定数倍部９との出力とを合成させ、第３の画像データの高周波成分として画像生成部２に伝達する。画像生成部２は、前記低周波成分抽出部３からの第３の画像データの低周波成分としての出力と、高周波成分合成部１からの第３の画像データの高周波成分としての出力とから第３の画像データを生成させ、画像処理装置１０より出力する。
【００１２】
次に、画像データから低周波成分を抽出したり、高周波成分を抽出したりする周波数分解装置の構成例を説明する。図６の周波数分解装置４０は、Ｘ方向（主走査方向）とＹ方向（副走査方向）の各々に対するローパスフィルタｓ（ｘ）、ｓ（ｙ）とハイパスフィルタｈ（ｘ）、ｈ（ｙ）を用いて周波数分解を行う。実空間画像信号ｄijは、ローパスフィルタｓ（ｘ）４１とハイパスフィルタｈ（ｘ）４２により各々主走査方向の低周波成分と高周波成分の係数信号に分解された後、ダウンサンプラー４３、４４により１/ ２にダウンサンプリングされ、係数信号ｗ１、ｗ２を得る。さらに、各々の係数信号ｗ１、ｗ２に対してローパスフィルタｓ（ｙ）４５、４７とハイパスフィルタｈ（ｙ）４６、４８により副走査方向の低周波成分と高周波成分の係数信号に分解され、しかる後ダウンサンプラー４９、５０、５１、５２により１/ ２にダウンサンプリングされ、係数信号ｗ３、１ＬＨ、１ＨＬ、１ＨＨを得る。
さらに、係数信号ｗ３は主走査方向に対するローパスフィルタｓ（ｘ）５３とハイパスフィルタｈ（ｘ）５４により各々主走査方向の低周波成分と高周波成分の係数信号に分解され、しかる後にダウンサンプラー５５、５６により１／２にダウンサンプリングされ、係数信号ｗ４、ｗ５を得る。次に、係数信号ｗ４、ｗ５のそれぞれに対してローパスフィルタｓ（ｙ）５７、５９とハイパスフィルタｈ（ｙ）５８、６０により副走査方向の低周波成分と高周波成分の係数信号に分解され、その後ダウンサンプラー６１、６２、６３、６４により１／２にダウンサンプリングされ、係数信号ＬＬ、２ＬＨ、２ＨＬ、２ＨＨを得る。
【００１３】
したがって、図３に示した画像処理装置１０のそれぞれの周波数抽出部に図６のような周波数分解装置４０を用いた場合には、低周波成分抽出部３は、図６に示す周波数分解装置４０により第１の画像データに対して周波数分解を行い、低周波成分である信号ＬＬを画像生成部２に出力する。また、高周波第１抽出部４は周波数分解装置４０により高周波成分である信号１ＬＨ、１ＨＬ、１ＨＨ、２ＬＨ、２ＨＬ、２ＨＨを抽出し、さらに高周波第３定数倍部８によって各々の周波数に応じた倍数により定数倍させ、高周波成分合成部１に出力する。
さらに、高周波第２抽出部５は周波数分解装置４０により第２の画像データに対して周波数分解を行い、高周波成分である信号１ＬＨ、１ＨＬ、１ＨＨ、２ＬＨ、２ＨＬ、２ＨＨを抽出し、さらに高周波第４定数倍部９によって各々の周波数に応じた倍数により定数倍させ、高周波成分合成部１に出力する。さらに、高周波成分合成部１は、高周波第３定数倍部８と高周波第４定数倍部９とから入力された高周波成分に対して、下記の式（５−１）〜（５−６）を用いて第３の画像データの高周波成分を求め、画像生成部２に出力させる。
【００１４】
１ＬＨ3＝ａ×１ＬＨ1＋ｂ×１ＬＨ2・・・・（５−１）
１ＨＬ3＝ａ×１ＨＬ1＋ｂ×１ＨＬ2・・・・（５−２）
１ＨＨ3＝ａ×１ＨＨ1＋ｂ×１ＨＨ2・・・・（５−３）
２ＬＨ3＝ｃ×２ＬＨ1＋ｄ×２ＬＨ2・・・・（５−４）
２ＨＬ3＝ｃ×２ＨＬ1＋ｄ×２ＨＬ2・・・・（５−５）
２ＨＨ3＝ｃ×２ＨＨ1＋ｄ×２ＨＨ2・・・・（５−６）
また、上記の式（５−１）〜（５−６）では、第１の画像データの高周波成分１ＬＨ1、１ＨＬ1、１ＨＨ1、２ＬＨ1、２ＨＬ1、２ＨＨ1と、第２の画像データの高周波成分１ＬＨ2、１ＨＬ2、１ＨＨ2、２ＬＨ2、２ＨＬ2、２ＨＨ2とから、第３の画像データの高周波成分１ＬＨ3、１ＨＬ3、１ＨＨ3、２ＬＨ3、２ＨＬ3、２ＨＨ3を求める。また、この中でのａ、ｂ、ｃ，ｄは定数であり、図３に基づく画像処理装置１０では高周波成分を各々の周波数に応じた倍数により定数倍されるように定められており、図１に基づく画像処理装置１０ではａ＝１、ｂ＝１、ｃ＝１、ｄ＝１である。画像生成部２は、低周波成分抽出部３からの第３の画像データの低周波成分としての出力と、高周波成分合成部１からの第３の画像データの高周波成分としての出力とから、図６のような周波数分解装置４０と逆の処理を行う図示しない装置によって画像データを生成し、第３の画像データとして画像処理装置１０より出力する。
【００１５】
また、図７（Ａ）〜（Ｄ）は、第１の画像と第２の画像を合成して第３の画像を得る際に、従来の画像処理装置または画像処理方法と、図１の画像処理装置または画像処理方法とにおいて、得られた第３の画像を比較したものである。すなわち、図７（Ａ）を第１の画像とし、（Ｂ）を第２の画像として、両方の画像を従来の画像処理装置または画像処理方法で合成させたものが図７（Ｃ）であり、図１に示した画像処理装置または画像処理方法で合成させたものが図７（Ｄ）である。図７（Ｄ）では、図７（Ｃ）に較べて第１の画像データの高周波成分まで利用した画像となっているため、明らかに第１の画像の人物図がシャープに描かれる。また、図示はしていないが、図２に示した画像処理装置または画像処理方法での画像も、従来の画像処理装置または画像処理方法での画像と較べてみると、非常に高精細になっているのが判る。
【００１６】
また、図１〜図３の実施の形態では、画像処理装置１０内に周波数を分解するものを持っているため実画像データを入力したが、あらかじめ周波数分解されている画像データを高周波成分合成部１および画像生成部２に入力して処理することも可能である。また、第２の画像データの低周波成分は利用しないため、第２の画像データをあらかじめ周波数分解し高周波成分のみを保存しておき、利用することで保存のために必要な記憶領域を少なくできる。
また、この実施の形態では画像データの周波数分解を行うにあたりウェーブレット変換を用いた。ウェーブレット変換はピラミット構造、即ち高域になるにつれて帯域幅が広がるように周波数帯域を分割した特徴を持つものである。このようなピラミット構造の周波数分解方式をとることで、第１の画像データと第２の画像データとで周波数分解の階層数が異なっている場合においても合成を行うことができる。即ち、第１の画像データに対しては図４に示す画像処理装置１０により低周波成分ＬＬ1および高周波成分１ＬＨ 1、１ＨＬ1、１ＨＨ 1を抽出し、第２の画像データに対しては図６に示す画像処理装置１０により高周波成分２ＬＨ2、２ＨＬ 2、２ＨＨ2、１ＬＨ 2、１ＨＬ2、１ＨＨ 2を抽出し、高周波成分合成部１において１ＬＨ3、１ＨＬ 3、１ＨＨ3を求め、画像生成部２においてＬＬ 1と１ＬＨ3 、１ＨＬ3 、１ＨＨ 3とから第３の画像データを求めることができる。これは、第１の画像データを１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨと周波数分解し、第２の画像データを２ＬＬ、２ＬＨ、２ＨＬ、２ＨＨ、１ＬＨ、１ＨＬ、１ＨＨと周波数分解し、高周波成分合成部１において１ＬＨ、１ＨＬ、１ＨＨを合成し、画像生成部２で高周波成分合成部１の出力と第１の画像データの１ＬＬ成分とから第３の画像データを生成し出力することができる。
【００１７】
また逆に、第１の画像データに対しては図６に示す画像処理装置１０により低周波成分ＬＬ1 および高周波成分２ＬＨ1 、２ＨＬ 1、２ＨＨ1 、１ＬＨ 1、１ＨＬ1 、１ＨＨ 1を抽出し、第２の画像データに対しては図４に示す画像処理装置１０により高周波成分１ＬＨ2 、１ＨＬ2 、１ＨＨ2 を抽出し、高周波成分合成部１において１ＬＨ 3、１ＨＬ3 、１ＨＨ 3を求め、画像生成部２においてＬＬ1、２ＬＨ 1、２ＨＬ1、２ＨＨ 1と１ＬＨ3、１ＨＬ 3、１ＨＨ3 とから第３の画像データを求めることができる。これは、第１の画像データを２ＬＬ、２ＬＨ、２ＨＬ、２ＨＨ、１ＬＨ、１ＨＬ、１ＨＨと周波数分解し、第２の画像データを１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨと周波数分解し、高周波成分合成部１において１ＬＨ、１ＨＬ、１ＨＨを合成し、画像生成部２で高周波成分合成部１の出力と第１の画像データの２ＬＬ、２ＬＨ、２ＨＬ、２ＨＨ成分とから第３の画像データを生成し出力することができる。
また、上述した実施の形態の例では画像データの周波数分解を行うにあたり、図４と図６および式（１−１）〜（１−４）に示すウェーブレット変換を用いたが、離散余弦変換等の他の周波数分割方法を用いることが可能である。
【００１８】
【発明の効果】
以上のように、本発明は以下のような優れた効果を発揮する。
請求項１記載の発明に係る画像処理装置によれば、第１の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものと、第２の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものとを高周波成分合成手段によって加算し、加算したそれぞれの高周波成分を第３の画像データの高周波成分とみなして、画像生成手段によって第１の画像データの低周波成分と第３の画像データの高周波成分とを合成して第３の画像データを生成するようにしているので、第１の画像データおよび第２の画像データの高周波成分を各々の周波数に応じて強調もしくは低減させた高精細な合成画像を得ることができる。
また、請求項２記載の発明に係る画像処理方法によれば、第１の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものと、第２の画像データの高周波成分を各々の周波数に応じた倍数により定数倍したものとを加算し、加算したそれぞれの高周波成分を第３の画像データの高周波成分とみなして、第１の画像データの低周波成分と第３の画像データの高周波成分とを合成して第３の画像データを生成するようにしているので、第１の画像データおよび第２の画像データの高周波成分を各々の周波数に応じて強調もしくは低減する高精細な合成画像を得ることができる。
【図面の簡単な説明】
【図１】請求項１及び請求項４に対応する実施の形態の一例を示す機能ブロック図である。
【図２】請求項２及び請求項５に対応する実施の形態の一例を示す機能ブロック図である。
【図３】請求項３及び請求項６に対応する実施の形態の一例を示す機能ブロック図である。
【図４】画像データに対して周波数分解を行う周波数分解装置の詳細なブロック図である。
【図５】（Ａ）は低周波成分抽出のための基本ウェーブレット関数の説明図、（Ｂ）は高周波成分抽出のための基本ウェーブレット関数の説明図である。
【図６】画像データに対して周波数分解を行う他の周波数分解装置の詳細なブロック図である。
【図７】（Ａ）は合成前の第１画像の説明図、（Ｂ）は合成前の第２画像の説明図、（Ｃ）は従来の画像処理装置または画像処理方法によって第１画像と第２画像を合成した画像の説明図、（Ｄ）は本発明の画像処理装置または画像処理方法によって第１画像と第２画像を合成した画像の説明図である。
【符号の説明】
１ 高周波成分合成部（高周波成分合成手段）、２ 画像生成部（画像生成手段）、３ 低周波成分抽出部、４ 高周波第１抽出部、５ 高周波第２抽出部、６ 高周波第１定数倍部、７ 高周波第２定数倍部、８ 高周波第３定数倍部、９ 高周波第４定数倍部、１０ 画像処理装置。
Claims (2)
- 第１の画像データからなる画像の表面の質感が第２の画像データからなる画像の表面の質感と同じになるよう画像合成して第３の画像データを得る画像処理装置において、
前記第１の画像データからウェーブレット変換により低周波成分と高周波成分に分解する第１の周波数分解手段と、
前記第２の画像データからウェーブレット変換により低周波成分と高周波成分に分解する第２の周波数分解手段と、
前記第１の画像データの高周波成分と、前記第２の画像データの高周波成分とを、各々の周波数に応じた倍数で定数倍し、定数倍した各々の成分同士を加算することで出力を得る高周波成分合成手段と、
前記高周波成分合成手段の出力と前記第１の画像データの低周波成分とから前記第３の画像データを生成する画像生成手段とを備えたことを特徴とする画像処理装置。 - 第１の画像データからなる画像の表面の質感が第２の画像データからなる画像の表面の質感と同じになるよう画像合成して第３の画像データを得る画像処理方法において、
前記第１の画像データからウェーブレット変換により低周波成分と高周波成分に分解する第１の周波数分解ステップと、
前記第２の画像データからウェーブレット変換により低周波成分と高周波成分に分解する第２の周波数分解ステップと、
前記第１の画像データの高周波成分と、前記第２の画像データの高周波成分とを、各々の周波数に応じた倍数で定数倍し、定数倍した各々の成分同士を加算することで出力を得る高周波成分合成ステップと、
前記高周波成分合成ステップにより得られた出力と前記第１の画像データの低周波成分とから第３の画像データを生成する画像生成ステップと、
を実行することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13269998A JP3691247B2 (ja) | 1998-04-27 | 1998-04-27 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13269998A JP3691247B2 (ja) | 1998-04-27 | 1998-04-27 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11313205A JPH11313205A (ja) | 1999-11-09 |
| JP3691247B2 true JP3691247B2 (ja) | 2005-09-07 |
Family
ID=15087493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13269998A Expired - Fee Related JP3691247B2 (ja) | 1998-04-27 | 1998-04-27 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3691247B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706583B2 (en) | 2002-11-11 | 2010-04-27 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP2004165800A (ja) * | 2002-11-11 | 2004-06-10 | Canon Inc | 画像処理装置 |
| JP6462372B2 (ja) * | 2015-01-21 | 2019-01-30 | 日本放送協会 | 超解像装置及びプログラム |
| JP6671267B2 (ja) | 2016-09-08 | 2020-03-25 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
-
1998
- 1998-04-27 JP JP13269998A patent/JP3691247B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11313205A (ja) | 1999-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Eslami et al. | Translation-invariant contourlet transform and its application to image denoising | |
| Eslami et al. | A new family of nonredundant transforms using hybrid wavelets and directional filter banks | |
| JP5541339B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
| JP4733127B2 (ja) | 適応性３ｄノイズ減少装置及び方法 | |
| US6215908B1 (en) | Symmetric filtering based VLSI architecture for image compression | |
| JP5352942B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
| JPS60500349A (ja) | ブロック・オ−バラップ変換手順を用いた画像処理方法 | |
| JP5256582B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
| KR100561587B1 (ko) | 3차원 웨이브렛 변환 방법 및 장치 | |
| JP3691247B2 (ja) | 画像処理装置及び画像処理方法 | |
| Kingsbury | Complex wavelets and shift invariance | |
| JP4004561B2 (ja) | 画像処理方法および装置 | |
| KR101464743B1 (ko) | 카메라 모듈에서 신호 의존적인 잡음 추정 장치 및 방법 | |
| JP6165491B2 (ja) | 画像処理装置および画像処理方法 | |
| Kwan et al. | A complete image compression scheme based on overlapped block transform with post-processing | |
| US7940991B2 (en) | Image signal processing apparatus | |
| JP3977661B2 (ja) | フィルタ係数変換方法、フィルタ係数変換装置 | |
| JP4866756B2 (ja) | 撮像装置 | |
| Unaldi et al. | Undecimated wavelet transform-based image interpolation | |
| Rohith et al. | A novel approach to super resolution image reconstruction algorithm from low resolution panchromatic images | |
| Zeng et al. | Image interpolation based on median-type filters | |
| Lazar et al. | Combining the discrete wavelet transform and mixed-domain filtering | |
| TWI783834B (zh) | 超解析影像處理方法及其系統 | |
| Ravikiran et al. | A Hybrid Progressive Image Compression, Transmission, and Reconstruction Architecture | |
| KR100395614B1 (ko) | 2차원 이산 웨이브렛 변환 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050615 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080624 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110624 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |