JP4087010B2

JP4087010B2 - 画像処理装置

Info

Publication number: JP4087010B2
Application number: JP09937199A
Authority: JP
Inventors: 清岩崎; 三奈子宮間
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 1999-04-06
Filing date: 1999-04-06
Publication date: 2008-05-14
Anticipated expiration: 2019-04-06
Also published as: JP2000293682A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、特に実写画像やＣＧ画像などの原画像の一部にテクスチャ画像を合成する画像合成や、テクスチャ画像のマッピングを行う三次元画像処理に適用して好適な画像処理装置に関する。
【０００２】
【従来の技術】
実写画像やＣＧ画像などの原画像の一部（貼込領域）にテクスチャ画像を合成する画像合成装置において、元のテクスチャ画像が合成後のテクスチャ画像と比較し、解像度が高い場合（元のテクスチャと比較して縮小されて合成される場合）、テクスチャ画像をそのまま合成するとモアレが発生してしまう。そこで一般に、モアレの発生を抑えるためにテクスチャ画像に対して前もってローパスフィルタ処理等を行い、テクスチャ画像の高周波成分をカットしてぼかしたテクスチャ画像を用いて合成を行っている。テクスチャ画像のマッピングを行う三次元画像処理装置においても同様の理由により、前もってローパスフィルタ処理等を行ったテクスチャ画像を用いてテクスチャマッピングを行っている。
【０００３】
【本発明が解決しようとする課題】
しかしながら、前述のように前もってテクスチャ画像にローパスフィルタ処理を行った画像を合成またはマッピングする場合には、モアレの発生を抑えることは可能であるが、高品質な画像を得るには以下のような問題点がある。
【０００４】
例えば、実際に合成した画像を見てモアレが発生していたら、より帯域制限の強い（高周波側の）ローパスフィルタを選択したり、逆にテクスチャがぼけすぎていたら、帯域制限の弱いローパスフィルタを選択するなどして、ローパスフィルタの選択を試行錯誤で行わなければならない。
【０００５】
また、原画像にテクスチャを合成する際に射影変換を行って合成する場合やテクスチャマッピングを行う場合等では、テクスチャの縮小率が変化する（合成画像上の１画素分の距離に対する、テクスチャ座標上での距離は、後述する図８等に示されるように、合成する場所により変わってくる）ため、単一のローパスフィルタ処理では、縮小率の小さな場所にフィルタパラメータを合わせると縮小率の大きな場所でモアレが発生してしまい、逆に縮小率の大きな場所にフィルタパラメータを合わせると縮小率が小さな場所がぼけすぎてしまうことがある。
【０００６】
また、テクスチャ画像に対するローパスフィルタ処理をＸＹ両方向とも同じにしてしまうと、例えば、建物を正面に近い角度から見た場合の側面の壁にテクスチャを合成する時のように、Ｘ方向とＹ方向の縮小率が大きく違う場合に縮小率が小さい方向に合わせるとモアレが発生してしまい、縮小率が大きい方向に合わせると縮小率が小さい方向ではテクスチャの模様がぼけてしまうことがある。
【０００７】
本発明は、前記従来の問題点を解決するべくなされたもので、前もってテクスチャ画像にローパスフィルタ処理をする必要がなく、また、縮小率が変化する面やｘ方向、ｙ方向で縮小率が大きく違う面に対しても、自動的に適切なローパスフィルタ処理を行い、高品質な画像合成やテクスチャマッピング等の画像処理が可能な画像処理装置を提供することを課題とする。
【０００８】
【課題を解決するための手段】
本発明は、原画像の一部にテクスチャ画像を貼り込む画像処理を行なう画像処理装置において、テクスチャ画像が貼り込まれる貼込領域の２次元座標上の点について、隣接点間の距離に対応する、テクスチャ画像座標上での距離を計算する計算手段と、計算された距離を基に前記各点についてｘ、ｙ方向のローパスフィルタパラメータを自動的に選択するフィルタパラメータ選択手段と、前記各点についてのｘ、ｙ方向のフィルタパラメータの組み合わせを取得する手段と、前記ｘ、ｙ方向のフィルタパラメータの組み合わせに基づいてフィルタ処理されたテクスチャ画像を、前記ｘ、ｙ方向のフィルタパラメータの組み合わせが選択されている貼込領域内の画素に貼り込む画像処理手段と、を備えていると共に、前記フィルタパラメータ選択手段が、前記テクスチャー画像座標上での距離を基に、予め設計して用意されている複数のローパスフィルタパラメータの中から、前記計算された距離を基に、それに近い距離に用意されているローパスフィルタパラメータを自動選択することにより、前記課題を解決したものである。
【０００９】
即ち、本発明においては、原画像上の隣接点間の距離、即ち単位距離に対応するテクスチャ画像上の距離が反映されている上記ローパスフィルタパラメータを用いて対応するローパスフィルタを選択し、フィルタ処理するようにしたので、貼込領域の点（画素）毎に、テクスチャ画像が貼り込まれる際の縮小率に応じた適切なローパスフィルタ処理を行うことが可能となるため、高品質な画像処理を行うことが可能となる。
【００１０】
【発明の実施の形態】
以下、図面を参照して、本発明に係る実施形態の画像合成装置について詳細に説明する。本実施形態の画像合成装置は、本出願人が既に特開平６−２７４６４９で提案している射影的正規化変換を施して合成を行う画像合成装置と同様の機能を基本的機能として有している。
【００１１】
図１は、本発明に係る一実施形態の画像合成装置の概略構成を示すブロック図である。本実施形態の画像合成装置は、画像入力装置１０、指示入力装置１２、画像処理装置１４、表示装置１６及び画像出力装置１８を備えている。
【００１２】
上記画像入力装置１０は、実写画像やＣＧ画像等の原画像や、これに合成する（貼り込む）テクスチャ画像等を入力するイメージスキャナや、これら画像データが格納され、読み出すことができるハードディスク等の記憶装置で構成されている。又、前記指示入力装置１２は、キーボードやマウス等からなり、種々の情報を指示入力できるようになっている。
【００１３】
又、前記画像処理装置１４はコンピュータからなり、該装置１４には、テクスチャ画像が合成される合成領域の２次元座標上の点（画素）について、隣接点間の距離（基本距離）に対応する、テクスチャ画像座標上での距離を計算する計算手段と、計算された距離を基に前記各点についてローパスフィルタパラメータを自動的に選択するフィルタパラメータ選択手段と、選択されたローパスフィルタパラメータを用いてフィルタ処理されたテクスチャ画像を、前記合成領域に合成する合成手段の各手段が、ソフトウェアにより実現されている。
【００１４】
次に、本実施形態の作用を、図２に示したフローチャートを用いて説明する。
【００１５】
まず、前記画像入力装置１０で原画像（図３）とテクスチャ画像（図４）を入力する（ステップ１、２）。ここでは、便宜上、テクスチャ画像の方を拡大して示してある。
【００１６】
次いで、原画像中でテクスチャ画像を合成する合成領域（貼込領域）を、前記指示入力装置１２により指定する（ステップ３）。ここでは、図５に示す４角形Ｐ1〜Ｐ4を指定した場合を示す。そして、その合成領域に合成したいテクスチャ画像の長方形の領域に対して、合成領域のＰ1に対応する左上の座標値と、該長方形の幅と高さを、同様に指定する。ここでは、図４に示したテクスチャ画像の全ての領域を指定したとして説明する。
【００１７】
次いで、前記画像処理装置１４において以下の処理を行う。まず、原画像で指定した合成領域内の全ての画素に対して、原画像の座標値（ｘ，ｙ）を射影的正規化変換（この座標変換については、例えば「計算機幾何と地理情報処理」bit 別冊共立出版（１９８６）に詳説されている）を、下記（１）、（２）式で規定されるｃ、ｄを含む（３）、（４）式により行い、求まる正規化座標値α、βを用いて、下記（５）、（６）式によりテクスチャ画像上の座標値（ｘ_t、ｙ_t）に変換を行う（ステップ４）。
【００１８】
【数１】

ここで、ｘ，ｙ：合成領域のｘ，ｙ座標
ｘ_t，ｙ_t：変換されたテクスチャ画像上の座標
ｘ1〜ｘ4，ｙ1〜ｙ4：合成領域の４角形の頂点のｘ，ｙ座標
ｘ₀′，ｙ₀′：合成するテクスチャの４角形の左上のｘ，ｙ座標
Ｗt，Ｈt：合成するテクスチャの４角形の幅と高さ
α：射影的正規化変換後のｘ座標
β：射影的正規化変換後のｙ座標
【００１９】
次に、合成領域内の全ての画素について、原画像上での隣接点（画素）間の距離に対応する、テクスチャ画像上での距離（画素単位）を、テクスチャ画像上でのｘ，ｙ方向別々に計算する（ステップ５）。図６に、合成領域内のある注目点Ｐ（ｘ，ｙ）について隣接点との間の単位距離に対応する、テクスチャ画像上での距離の計算例を示す。この図６（Ａ）に示した原画像上の点Ｐと、これに隣接する上下左右の４点が同図（Ｂ）に示したようにテクスチャ画像上に変換されているとすると、ｘ方向の距離ｄx、ｙ方向の距離ｄyを、それぞれ同図（Ｂ）に示した矢印の長さの半分、即ちそれぞれの方向の隣接点との間の平均距離とする。ｘ方向の距離がｄxということは、テクスチャ画像を合成領域に合成すると、テクスチャ画像が同方向に１／ｄxに縮小されることを意味する。
【００２０】
次に、合成領域内の全ての画素について、上記のように計算した距離を用いて適切なフィルタパラメータをｘ、ｙ方向別々に選択する（ステップ６）。ここで、適切なフィルタパラメータについて説明すると、ある画素Ｐ（ｘ，ｙ）について計算した前記距離ｄxが５であったとすると、ｘ方向に関しては帯域制限が１／５になるように設計されたローパスフィルタパラメータを選択する。ここで、フィルタパラメータの設計に関しては、特開平１０−１８７９６５で開示されているフィルタ設計手法を用いることができ、これによれば任意の帯域制限を行えるフィルタパラメータを設計することが可能である。実際には帯域制限が1/2,1/3,1/4,1/5....1/10,1/12,1/14,1/16,1/18,1/20,1/22,1/24,1/27,1/30,1/35,1/40,1/45,1/50...となるようなフィルタパラメータを飛び飛びで用意しておき、計算された距離ｄxを基にそれに近いフィルタパラメータをプログラムにより自動選択するようになっている。その際、用意するフィルタの数は多いほうがいいが、選択するフィルタの数が多くなると、合成時間が長くなるので画質と処理時間を考慮して選択する必要がある。
【００２１】
次に、上記のように選択されたフィルタパラメータを用いてフィルタ処理を行い、前記合成領域にテクスチャ画像を合成する処理を行う（ステップ７、８）。
【００２２】
ここで、フィルタ処理の一例について具体的に説明する。画素Ｐ(x,y)に対して実際に１／２の帯域制限をかける場合であれば、フィルタパラメータをｃ_-10〜ｃ₁₀とし、該画素Ｐ(x,y)のＲＧＢの色データをＲ(0,0)、Ｇ(0,0)、Ｂ(0,0)とし、近隣の点Ｐ′(x+n,y+m)の色データをＲ(n,m)、Ｇ(n,m)、Ｂ(n,m)で表し、フィルタ処理後のＰ(x,y)の色データをｆＲ，ｆＧ，ｆＢとすると、ｆＲは下記（７）計算式により計算できる。また、ｆＧ，ｆＢも同様に計算可能である。なお、この例は、色データをＲＧＢで持っている場合であるが、ＣＭＹＫ,Ｌａｂ等の他の色データの場合であっても同様に計算可能である。
【００２３】
【数２】

【００２４】
以下に、上記ステップ７で実行されるフィルタ処理の手順について、図７を用いて説明する。ここでは、説明の便宜上、用意されたフィルタパラメータのうち、実際に選択されたフィルタパラメータがf1,f2,f3,f4,f5の5つであったとする。又、各画素についてｘ、ｙ方向のフィルタパラメータの組み合わせを、ｘ方向がｆ1、ｙ方向がｆ2であったときに（ｆ1，ｆ2）と表記するとした場合、画素全体でフィルタの組み合わせが、以下に示す１１個であったとする。
【００２５】
(f1,f1)(f1,f2)(f1,f3)
(f2,f1)(f2,f2)(f2,f3)(f2,f4)
(f3,f2)(f3,f3)(f3,f4)(f3,f5)
【００２６】
ローパスフィルタはｘ、ｙ方向それぞれ独立して処理できるので、上の組合せで、左上の（ｆ1，ｆ1）から右へ順にフィルタ処理を行うとする。まず、図７（Ａ）のテクスチャ画像Ｔに対して、そのｘ方向にフィルタパラメータｆ1を用いてフィルタ処理を行って、同図（Ｂ）に示した画像Ｔ′を作成する。次に、この画像Ｔ′に対してｙ方向にフィルタパラメータｆ1を用いてフィルタ処理を行って、同図（Ｃ）に示した画像Ｔ1′を作成する。そして、合成領域の画素の中のフィルタパラメータ（ｆ1，ｆ1）の組み合わせが選択されている画素に対して、この画像Ｔ1′を合成する。
【００２７】
次いで、同じく上記画像Ｔ′に対して、ｙ方向に他のフィルタパラメータｆ2 、ｆ3を用いてフィルタ処理を行って、同図（Ｄ）、（Ｅ）に示した画像Ｔ2′、Ｔ3′を作成し、合成領域の画素の中のフィルタパラメータ（ｆ1，ｆ2）、（ｆ1，ｆ3）の組み合わせが選択されている画素に対してそれぞれ合成を行う。
【００２８】
以下、図示は省略するが、同様にして、テクスチャ画像のｘ方向にフィルタパラメータｆ2、ｆ3を用いてフィルタ処理を行った画像それぞれに対して、組み合わせの存在するフィルタパラメータを用いてｙ方向にフィルタ処理を行い、作成された各画像を対応するフィルタパラメータの組み合わせが選択されている合成領域内の各画素に対してそれぞれ合成を行う。
【００２９】
このようにして、前記図５の合成領域に図４のテクスチャ画像を合成した結果得られた画像を、図８に拡大して示す。比較のために、ローパスフィルタ処理を行わずに合成した画像を図９に、前もってテクスチャ画像に帯域制限が異なるローパスフィルタ処理を行って合成した画像を図１０、図１１、図１２に示す。
【００３０】
図９では、ローパスフィルタ処理を行っていないのでモアレが発生している。図１０は、最も左側の合成領域で適切になるようにフィルタパラメータを選択してフィルタ処理を行ったテクスチャを合成した画像であるが、右側の方ではモアレが発生してしまっている。図１２は、最も右側の合成領域で適切になるようにフィルタパラメータを選択してフィルタ処理を行ったテクスチャを合成した画像であるため、モアレは発生していないが、左側の領域ではテクスチャの模様がかなりぼけてしまっている。図１１は、図１０と図１２の中間くらいのフィルタパラメータを選択してフィルタ処理を行ったテクスチャ画像を合成した画像であるが、最も右側の領域では若干モアレが発生しており、左側の領域ではテクスチャの模様がぼけてしまっている。但し、スキャナで読み込んだ添付図面では解像度が低いため違いが明瞭でない。
【００３１】
以上の図１０〜図１２の各画像に比べて、本実施形態の画像処理装置を用いて合成した前記図８の画像では、モアレの発生はなく、しかも左側の領域でもテクスチャの模様がぼけて潰れることない画像が得られている。このように、本実施形態によれば高品質な合成画像を容易に得ることができる。
【００３２】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００３３】
例えば、前記実施形態では、画像合成装置について説明したが、これに限定されず、原画像に対してテクスチャ画像をマッピングする三次元画像処理装置であってもよいことは言うまでもない。
【００３４】
又、前記実施形態では、選択されたフィルタパラメータを用いてフィルタ処理を行った画像を作成して合成を行ったが、必ずしもフィルタ処理を行ったテクスチャ画像を作成する必要はなく、テクスチャ画像合成時にテクスチャ画像上の必要な画素について、各画素に対応するフィルタパラメータを用いて画素毎にフィルタ処理を行い合成を行ってもよい。
【００３５】
【発明の効果】
以上説明した通り、本発明によれば、前もってテクスチャ画像にローパスフィルタ処理をする必要がなく、また、縮小率が変化する面やｘｙ方向の縮小率が大きく違う面に対しても、自動的に適切なローパスフィルタ処理を行い、高品質な画像合成やテクスチャマッピング等の画像処理を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の画像合成装置の概略構成を示すブロック図
【図２】同実施形態の作用を示すフローチャート
【図３】原画像の一例を示す説明図
【図４】テクスチャ画像の一例を示す説明図
【図５】合成領域を指定した上記原画像を示す説明図
【図６】合成領域の隣接点間の距離に対応する、テクスチャ画像上の距離の計算原理を説明する線図
【図７】本発明におけるローパスフィルタ処理の特徴を示す説明図
【図８】本発明による合成画像の一例を示す説明図
【図９】ローパスフィルタ処理をしない場合の対応合成画像を示す説明図
【図１０】前もってローパスフィルタ処理を行った場合の対応合成画像を示す説明図
【図１１】前もって他のローパスフィルタ処理を行った場合の対応合成画像を示す説明図
【図１２】前もって更に他のローパスフィルタ処理を行った場合の対応合成画像を示す説明図
【符号の説明】
１０…画像入力装置
１２…指示入力装置
１４…画像合成装置
１６…指示装置
１８…画像出力装置

Claims

原画像の一部にテクスチャ画像を貼り込む画像処理を行なう画像処理装置において、
テクスチャ画像が貼り込まれる貼込領域の２次元座標上の点について、隣接点間の距離に対応する、テクスチャ画像座標上での距離を計算する計算手段と、
計算された距離を基に前記各点についてｘ、ｙ方向のローパスフィルタパラメータを自動的に選択するフィルタパラメータ選択手段と、
前記各点についてのｘ、ｙ方向のフィルタパラメータの組み合わせを取得する手段と、
前記ｘ、ｙ方向のフィルタパラメータの組み合わせに基づいてフィルタ処理されたテクスチャ画像を、前記ｘ、ｙ方向のフィルタパラメータの組み合わせが選択されている貼込領域内の画素に貼り込む画像処理手段と、を備えていると共に、
前記フィルタパラメータ選択手段が、前記テクスチャー画像座標上での距離を基に、予め設計して用意されている複数のローパスフィルタパラメータの中から、前記計算された距離を基に、それに近い距離に用意されているローパスフィルタパラメータを自動選択することを特徴とする画像処理装置。
請求項１において、
前記画像処理が、テクスチャ画像の画像合成又はマッピングであることを特徴とする画像処理装置。
請求項１において、
前期計算手段が、注目点を中心とする両隣接点間の距離に対応する、テクスチャ画像上での距離を計算し、その平均値を該注目点についての前記隣接点間の距離とすることを特徴とする画像入力装置。