JP5678295B2 - 画像表示処理方法及び画像表示処理装置 - Google Patents

Description

本発明は、画像表示処理方法及び画像表示処理装置に関し、特に、画像を拡大・回転・変形等して表示する際の補間処理を伴う画像表示処理方法及び画像表示処理装置に関する。

低解像度の画像を高解像度の画像に変換すべく画素を補間する方法や、画像の回転・変形処理において原画素値を用いて新たな画素値を決定する方法としては、従来より様々な方法が提案されている。例えば、バイリニア法は、補間点を囲む４点の画素からの距離に応じて、それらの画素値を線形に内挿して補間画素（少数画素とも称す）値を決定する方法である。また、バイキュービック法は、補間点の周囲にある１６点の画素の画素値を利用して所定の３次元関数の値を算出して補間画素値を決定する方法である。

しかしながら、上述の各方法では、斜め方向のエッジにいわゆるジャギーが発生したり、全体的にぼやけてしまうという課題がある。

そこで、高品質な拡大手法として、コスト関数やエッジ方向などに応じて、画像領域を三角形に分割して画素を補間する三角形分割手法が提案されており、代表的なものとして、Data Dependent Triangulationが挙げられる（例えば、非特許文献１参照）。これは、各画素を頂点とする格子状の各領域に渡って、コスト関数に基づいて、各領域を三角形に分割し、補間すべき画素の値を算出する際のサンプリング（参照）画素点を決定する手法である。

X.Yu, B. S. Morse, and T. W. Sederberg, "Image Reconstruction UsingData-Dependent Triangulation", IEEE Computer Graphics and Applications, Vol.21, No. 3, pp. 62-68 May/Jun. (2001)

上述の三角形分割手法によれば、斜め方向のエッジについて、ジャギーの発生を抑えることができ、ぼやけてしまうという課題が克服できる。

ところで、コミックやイラストにおいては、いわゆるスクリーントーン（登録商標）が多用されている。スクリーントーンの中で最も典型的なのは、網点、ドット、砂目などのノイズ状のパターンである。かかるノイズ状のパターンは、基本パターンの二次元的な繰り返しパターンと捉えることができる（巨視的には市松模様）が、かかる画像に対して、三角形分割手法に基づく拡大を施すと、例えば図１５に示すようにノイズドット（高濃度部分）同士を結ぶ分割パターンを形成することとなり、それにより模様状の歪が発生し、結果として主観画質が低下してしまうという課題があった。

つまり、三角形分割手法基づく拡大によれば、斜め方向のエッジについての課題は解決できるものの、基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンについては、逆に好ましくない補間処理を招いてしまう。

本発明は上述のような事情から為されたものであり、本発明の目的は、三角形分割手法に基づき高品質に補間処理を行える上に、基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンを含んでも模様状の歪が表出することなく適切に補間処理を行える画像表示処理方法及び画像表示処理装置を提供することにある。

上記目的を達成するため、本発明の画像表示処理装置は、補間手法判定部及び三角形分割補間部を有する補間回路を少なくとも備え、画像データの各画素に対して、原則三角形分割手法により補間処理を行って拡大画像を表示する画像表示処理装置における画像表示処理方法であって、前記補間手法判定部は、前記補間処理により求められるべき補間画素の周辺の所定の複数画素に基づき、前記補間画素近傍が基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かを判定し、前記補間回路は、前記補間画素近傍が基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであると判定した場合には、前記補間画素の値を求める補間手法として前記三角形分割手法を採用しないことを要旨とする。

ここで、前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンは、スクリーントーンである。

前記補間画素近傍が前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであると判定された場合には、前記補間画素の値を求める補間手法として、バイリニア法又はバイキュービック法を採用することが好適である。

前記補間画素の周辺の所定の複数画素の勾配に基づき、前記補間画素近傍が前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かを判定することが特別な要旨である。ここで、前記勾配の値が、所定の閾値未満の場合には、前記補間画素近傍が前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであると判定する。

そのとき、複数の閾値を用意しておき、画像の種類に応じて、前記複数の閾値の中から一の閾値を選択して前記所定の閾値として採用することもできる。あるいは、前記画像データに前記所定の閾値が付帯しているようにすることもできる。

また、上記目的を達成するため、本発明の画像表示処理装置は、画像データが格納されている画像メモリと、前記画像メモリに格納された画像データを読み出して、補間処理により求められるべき補間画素がある場合に、原則三角形分割手法により補間処理を行う補間回路と、を備え、拡大画像を表示する画像表示処理装置であって、前記補間回路は、補間処理により求められるべき補間画素がある場合に、前記画像メモリから、その補間画素の周辺の所定の複数画素を読み込み、その複数画素に基づき、前記補間画素近傍が基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かを判定し、前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンである場合には、前記三角形分割手法を採用しないことを要旨とする。

あるいは、上記目的を達成するため、本発明の画像表示処理装置は、圧縮符号化された画像データを伸長処理するデコーダと、前記デコーダにより伸長された画像データを順次受け取り、各画素を頂点とする格子の各々に渡って、少なくとも注目する格子を構成する各画素に基づき、その注目する格子に係る画像近傍が基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かを判定する補間手法判定部と、前記デコーダにより伸長された画像データと、前記補間手法判定部により判定された各格子ごとの、前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かの情報を対応付けて格納する画像メモリと、補間処理により求められるべき補間画素がある場合に、原則三角形分割手法により補間処理を行う補間回路と、を備え、拡大画像を表示する画像表示処理装置であって、前記補間回路は、補間処理により求められるべき補間画素がある場合に、前記画像メモリから、その補間画素を含む格子についての、前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かの情報を読み込み、基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンである場合には、前記三角形分割手法を採用しないことを要旨とする。

本発明の画像表示処理方法及び画像表示処理装置によれば、三角形分割手法に基づき高品質に補間処理を行える上に、基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンを含んでも模様状の歪が表出することなく適切に補間処理を行える。

特に、複数の閾値を用意しておき、画像の種類に応じて、前記複数の閾値の中から一の閾値を選択して前記所定の閾値として採用するようにすれば、画像全体として求める主観画質と、ノイズ状のパターンが含まれる程度とに応じて、柔軟に対応できる。あるいは、前記画像データに前記所定の閾値が付帯しているようにすれば、補間回路内に予め閾値を設定しておく必要がないという利点がある。

本発明の画像表示処理装置の第１実施形態を含む画像処理装置の構成ブロック図である。 画像表示プロセッサ１における描画回路１３の処理手順を示すフローチャートである。 注目する補間画素が含まれる格子を説明するための図である。 三角形分割手法に基づく分割による格子単位の分割パターンの種類を示す図である。 三角形分割手法に基づく画素の補間を説明するための図である。 本発明の画像表示処理装置の第１実施形態の変形例（１）を含む画像処理装置の構成ブロック図である。 第１実施形態における図２（ｂ）に示した処理手順に対応した変形例（１）の処理手順を示すフローチャートである。 本発明の画像表示処理装置の第１実施形態の変形例（２）を含む画像処理装置の構成ブロック図である。 第１実施形態における図２（ｂ）に示した処理手順に対応した変形例（２）の処理手順を示すフローチャートである。 本発明の画像表示処理装置の第２実施形態を含む画像処理装置の構成ブロック図である。 画像表示プロセッサ１ＤにおけるＶＲＡＭ１２への格納までの処理手順を示すフローチャートである。 第２実施形態における各格子ごとの補間手法判定の仕方を説明するための図である。 画像表示プロセッサ１Ｄにおける描画回路１３Ｄの処理手順を示すフローチャートである。 本発明の各実施形態の効果を説明するための図である。 従来技術の課題を説明するための図である。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
＜第１実施形態＞
図１は、本発明の画像表示処理装置の第１実施形態を含む画像処理装置の構成ブロック図である。図１に示した画像処理装置は、概して、画像表示プロセッサ１、画像データＲＯＭ（Read Only Memory）２、及び表示部３を備えている。なお、画像表示プロセッサ１には更にＣＰＵ（Central Processing Unit）が接続され、そのＣＰＵにはプログラムＲＯＭが接続されるのが典型であるが、ここでは省略する。また、この画像処理装置は、典型的には、表示部３の表示画面において、画像、特に動画、による多彩な演出が行われるパチンコ機、ゲーム機等の遊技機に搭載される。

画像表示プロセッサ１は、画像データＲＯＭ２から圧縮された画像データを読み出して伸長処理を行う画像デコーダ１１と、伸長された画像データＰＤが格納されるＶＲＡＭ（Video Random Access Memory）１２と、ＶＲＡＭ１２に展開格納された画像データを参照して、補間処理を含む各種描画処理を行う描画回路１３と、を有している。

描画回路１３は、補間回路１３１を含み、更にその補間回路１３１は、注目する補間により求めるべき画素（以下、「注目する補間画素」とも称す）が含まれる格子を構成する画素の値に基づき、その補間すべき画素の値を、三角形分割手法とバイリニア手法のうちのいずれの手法により求めるかを判定する補間手法判定部１３１１と、三角形分割手法により補間処理を行う三角形分割補間部１３１２と、バイリニア法により補間処理を行うバイリニア補間部１３１３と、を含んでいる。

次に、図１に示した画像処理装置における処理手順について説明する。
まず、図示しないＣＰＵからの指令に応じて、画像デコーダ１１が、画像データＲＯＭ２から所望の画像データを読み出して伸長処理を施し、伸長された画像データＰＤをＶＲＡＭ１２に格納する。

ＶＲＡＭ１２への所望の画像の伸長データの格納が終了した後に、描画回路１３が、それらの情報に基づいて、表示部３に画像表示を行う処理について説明する。図２（ａ）及び（ｂ）は、画像表示プロセッサ１における描画回路１３の処理手順を示すフローチャートである。

同図を参照して、描画回路１３内の補間回路１３１は、拡大・回転・変形等により補間して求めるべき画素が生じた場合、ＶＲＡＭ１２内の複数の画素の値を参照してその画素値を決定する（ステップＳ１）。詳細には、補間すべき画素ごとに以下の処理を行う。すなわち、まず、補間回路１３１は、図３に示すような、注目する補間画素が含まれる格子を認識する（ステップＳ１１）。次に、補間回路１３１内の補間手法判定部１３１１は、当該格子を構成する４つの画素の値をＶＲＡＭ１２から読み込む（ステップＳ１２）。

そこで、補間手法判定部１３１１は、注目する格子を構成する４つの画素の値に基づき、当該格子について、三角形分割手法とバイリニア法のうちのいずれの手法により補間処理を行うかについて判定する（ステップＳ１３）。つまり、本発明の実施形態においては、拡大・回転・変形処理等に伴う補間処理の手法を、基本的には三角形分割手法とするものの、画像によってはバイリニア法に変更するという処理を、格子単位で行う。

ここで、補間手法判定部１３１１における補間手法の決定の仕方について詳細に説明する。すなわち、補間手法は、画素の勾配に基づき決定する。そこで、図３に示すように、補間すべき画素を含む格子に係る４つの画素をそれぞれ画素ａ，ｂ，ｃ，ｄとすると、当該格子について、画素値の勾配の程度を表す式としては、例えば以下のようなものがある（ここでは画素の名称をそのまま画素値としている）。

｜（ａ＋ｂ）−（ｃ＋ｄ）｜ ・・・（１）
｜（ａ＋ｃ）−（ｂ＋ｄ）｜ ・・・（２）
｜｜ａ−ｄ｜−｜ｂ−ｃ｜｜ ・・・（３）
このうち、市松模様状のその度合いに線形に相関するものは式（３）である。すなわち、基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンの度合いに線形に相関するものは式（３）である。従って、格子ごとに式（３）の値を算出すれば、それらの画素近傍の画像について、ノイズ状のパターン、例えばスクリーントーンのうちの網点、ドット、砂目などのパターン、である度合いを、格子ごとに計ることができる。そこで、第１実施形態にあっては、所定の閾値ＴＨを設定し、式（３）に基づき算出された値と閾値ＴＨを比較して、その大小関係により補間手法を決定する。具体的には、式（３）の値が、閾値ＴＨ以上の場合には原則通り三角形分割手法とし、閾値ＴＨ未満の場合には、バイリニア法に変更する。なお、この閾値は、所望の値に任意に設定できるが、比較的小さく設定すると、ノイズ状のパターンに対する補償処理としては十分とは言えない処理となるものの、三角形分割手法の効果により特にエッジ部分の主観画質の向上が保証され、逆に、比較的大きく設定すると、三角形分割手法による主観画質の向上は十分に保証されないものの、ノイズ状のパターンに対する補償処理としては十分に機能するということになる。

そこで、ステップ１３において、補間手法判定部１３１１により、当該格子についての補間手法が三角形分割手法と決定された場合には、三角形分割補間部１３１２が、三角形分割手法に基づき補間画素の値を求める。

ここで、図３乃至図５を参照して、三角形分割手法について簡単に説明する。ここでは、画素値の傾斜を３６０度／１６の精度、すなわち２２．５度単位の精度まで近似する場合を説明する。画素値の傾斜を２２．５度単位の精度まで近似する場合、注目する格子に決定される分割パターンは、図４に示した１５通りとなる。このとき、ノイズ耐性を考慮すると共に各格子領域の分割パターンの連続性を担保しつつ決定するためには、図３に示すように、その格子の各頂点の４画素を含めて周囲３６画素以上を参照する必要がある。

従って、三角形分割補間部１３１２は、注目する格子について、当該格子の各頂点の４画素を含めて周囲３６画素の値をＶＲＡＭ１２から読み込み、図４に示した各分割パターンのうちの一の分割パターンを決定する（ステップＳ１４）。次に、三角形分割補間部１３１２は、注目する格子について決定された分割パターンに基づき、読み込んだ複数の画素のうちのいくつかを参照（サンプリング）画素として、補間画素の値を求める（ステップＳ１５）。

ここで、各分割パターンのそれぞれの場合における参照（サンプリング）画素の取り方について説明する。図５（ａ）〜（ｈ）は、参照画素の取り方を示した分割パターンの例を示す図である。例えば、同図（ａ）のように、分割なしのパターンの場合には、格子の各頂点の画素ｐ（ｕｌ），ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｒ）（ａ，ｂ，ｃ，ｄと同じ）の線形補間により補間すべき画素ｉｐの値を算出する。また、同図（ｂ）の２分割の場合であって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｌ），ｐ（ｕｒ），ｐ（ｄｌ）の値に基づき、補間すべき画素ｉｐの値を算出する。また、同図（ｃ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｌｌ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｄ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｕｒｒ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｅ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｕｒｕ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｆ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｌｄ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｇ）及び（ｈ）に示す４分割の各パターンについても、各分割領域において同様である。更に、図には例示していない他の７つの分割パターンについても同様である。

一方、ステップＳ１３において、補間手法判定部１３１１により、当該格子についての補間手法がバイリニア法と決定された場合には、バイリニア補間部１３１３が、バイリニア法に基づき補間画素の値を求める（ステップＳ１６）。なお、このバイリニア法の場合には、ステップＳ１２において既に必要な４つの画素値を読み込んでいるので、新たに追加して読むべき画素値はない。

なお、三角形分割手法においても図５（ａ）に示すようにバイリニア法で処理される場合があるが、ステップＳ１６の趣旨は、三角形分割手法によれば図４の２分割乃至４分割されてしまう格子についても、一定条件下で、強制的にバイリニア法で処理するという趣旨である。

ステップＳ１５又はステップＳ１６における補間画素値算出が終了すると、ステップＳ１７に移行する。なお、ステップＳ１１において認識する、注目する補間画素が含まれる格子が、既に処理した補間画素に係る格子と同じ場合には、ステップＳ１２及びＳ１３の処理、すなわち、格子に係る４つ画素の値をＶＲＡＭ１２から読み込み、補間手法を判定する処理は行う必要はない。すべての補間すべき画素について値が求まると、ステップＳ１の処理が終了する（ステップＳ１７，Ｓ１８）。

図２（ａ）に戻り、描画回路１３は、その他の描画処理を施し、補間された画素を含む画素の値に基づき、表示部３に画像を表示する（ステップＳ２）。

なお、本実施形態のみならず、後述のすべての実施形態及び変形例に共通であるが、上述のバイリニア法に代えて、バイキュービック法を採用することができる。但し、その場合には、通常、補間に１６画素が必要であるため、ステップＳ１６の前に、補間に必要な追加の画素を読み込む必要がある。更に、バイリニア法やバイキュービック法は、周囲に均等に参照点をとる手法であるので、三角形分割手法のような歪が生じることがない。従って、周囲に均等に参照点をとる手法であればよい。

以上のように、上述の第１実施形態によれば、原則的に三角形分割手法を採用して高品質に補間処理を行うと共に、ノイズ状のパターンの部分には、バイリニア法又はバイキュービック法に切り替えて処理しているので、模様状の歪が表出することなく適切に補間処理を行える。このことを図１４を参照して説明すると、図１４（ａ）に示すような、自然画とスクリーントーンが斜めのエッジを境界として含まれている元画像を拡大する場合、三角形分割手法のみに基づく補間処理によれば、同図（ｃ）に示すように、エッジ部分は鮮明に表れるのに対して、スクリーントーンの部分は、模様状の歪が生じ、元画像にはないようなパターン化が生じてしまう。これに対して、第１実施形態によれば、同図（ｂ）に示すように、エッジ部分が鮮明になる上に、スクリーントーンの部分も拡大に伴ってそのまま自然にぼやけてくれる。

＜第１実施形態の変形例（１）＞
次に、第１実施形態の変形例（１）について説明するが、第１実施形態と同一の構成及び処理については、同符号を付して説明を省略する。そこで、第１実施形態の説明において記述したように、補間手法を決定するための閾値を、比較的小さく設定すると、ノイズ状のパターンに対する補償処理としては十分とは言えない処理となるものの、三角形分割手法の効果により特にエッジ部分の主観画質の向上が保証され、逆に、比較的大きく設定すると、三角形分割手法による主観画質の向上は十分に保証されないものの、ノイズ状のパターンに対する補償処理としては十分に機能する。かかる観点から、本変形例（１）は、値の異なる複数の閾値を予め設定しておき、処理する画像の属性（ノイズ状のパターンを含む程度に相関したもの）に応じて、使用する閾値を選択・可変とすることにより、柔軟に対応できるようにしたものである。

図６は、本発明の画像表示処理装置の第１実施形態の変形例（１）を含む画像処理装置の構成ブロック図である。図６に示した画像処理装置は、概して、画像表示プロセッサ１Ｂ、画像データＲＯＭ２、及び表示部３を備えている。画像表示プロセッサ１Ｂは、画像データＲＯＭ２から圧縮された画像データを読み出して伸長処理を行う画像デコーダ１１と、伸長された画像データＰＤが格納されるＶＲＡＭ１２と、ＶＲＡＭ１２に展開格納された画像データを参照して、補間処理を含む各種描画処理を行う描画回路１３Ｂと、を有している。ここで、この変形例（１）においては、画像データＲＯＭ２には、属性情報ＡＴが付帯した画像データＰＤが圧縮されて格納されているものとする。

描画回路１３Ｂは、補間回路１３１Ｂを含み、更にその補間回路１３１Ｂは、注目する補間画素が含まれる格子を構成する画素の値に基づき、その補間すべき画素の値を、三角形分割手法とバイリニア手法のうちのいずれの手法により求めるかを判定する補間手法判定部１３１１Ｂと、三角形分割手法により補間処理を行う三角形分割補間部１３１２と、バイリニア法により補間処理を行うバイリニア補間部１３１３と、を含んでいる。なお、補間手法判定部１３１１Ｂは、第１実施形態における補間手法判定部１３１１とは異なり、複数の閾値からなる閾値群ＴＨＳを予め備えている。

次に、図６に示した画像処理装置における処理手順について説明する。
この変形例（１）においては、画像データに属性情報が付帯しているので、ＶＲＡＭ１２には、伸長された画像データＰＤと共にその属性情報ＡＴが格納される。

図７は、第１実施形態における図２（ｂ）に示した処理手順に対応した変形例（１）の処理手順を示すフローチャートである。変形例（１）においては、ステップＳ１１の前に、ステップＳ１０Ｂが追加されている。すなわち、ステップＳ１０Ｂにおいては、処理に係る画像の属性情報ＡＴをＶＲＡＭ１２から読み込み、その属性に応じた閾値を閾値群ＴＨＳから選定する。そして、ステップＳ１３においては、選定した閾値を基準として、補間手法の判定を行う。例えば、画像に付帯した属性情報ＡＴが、その画像はコミックに係る画像であることを示している場合には、その画像はノイズ状のパターンを含む確率が極めて高いので、閾値群ＴＨＳから最も大きな閾値が選定され、また、画像に付帯した属性情報ＡＴが、その画像は自然画に係る画像であることを示している場合には、その画像はノイズ状のパターンを含む確率が極めて低いので、閾値群ＴＨＳから最も小さな閾値が選定される。総じて、閾値の選択の基準は、画像全体として求める主観画質と、ノイズ状のパターンが含まれる程度との双方の観点による。

なお、属性情報ＡＴとしては、典型的には、ＰＮＧやＪＰＥＧなどの画像形式の種別や、画像の色深度もしくは画像に対してタグ情報として埋め込まれた画像の種別情報やファイル名である。

また、上述においては、画像情報に付帯した属性情報としたが、これに限られることはなく、画像情報に対して統計処理等を施して得られた情報に基づき閾値を選定する場合もこの変形例に含まれるものとする。例えば、画像情報に対してヒストグラム算出処理を施してその特性に基づき閾値を選定することもできる。その統計処理等は、補間回路１３１Ｂが行う。

以上のように第１実施形態の変形例（１）によれば、第１実施形態に基づく効果に加えて、処理する画像の種別、具体的には、画像全体として求める主観画質と、ノイズ状のパターンが含まれる程度とに応じて、閾値を可変として、柔軟に対応できる。

＜第１実施形態の変形例（２）＞
次に、第１実施形態の変形例（２）について説明するが、第１実施形態及びその変形例（１）と同一の構成及び処理については、同符号を付して説明を省略する。上述の変形例（１）においては、値の異なる複数の閾値を予め設定しておき、処理する画像の属性に応じて、使用する閾値を選択・可変とする態様を説明したが、本変形例（２）においては、各画像データに直接閾値を付帯させ、その閾値に基づき、補間手法を判定する、というものである。なお、付帯させる閾値の大きさの選定の基準は、変形例（１）と同様である。すなわち、付帯させる画像の画像全体として求める主観画質と、ノイズ状のパターンが含まれる程度との双方の観点である。

図８は、本発明の画像表示処理装置の第１実施形態の変形例（２）を含む画像処理装置の構成ブロック図である。図８に示した画像処理装置は、概して、画像表示プロセッサ１Ｃ、画像データＲＯＭ２、及び表示部３を備えている。画像表示プロセッサ１Ｃは、画像データＲＯＭ２から圧縮された画像データを読み出して伸長処理を行う画像デコーダ１１と、伸長された画像データＰＤが格納されるＶＲＡＭ１２と、ＶＲＡＭ１２に展開格納された画像データを参照して、補間処理を含む各種描画処理を行う描画回路１３Ｃと、を有している。ここで、この変形例（２）においては、画像データＲＯＭ２には、個々に閾値ＴＨが付帯した画像データＰＤが圧縮されて格納されているものとする。

描画回路１３Ｃは、補間回路１３１Ｃを含み、更にその補間回路１３１Ｃは、注目する補間画素が含まれる格子を構成する画素の値に基づき、その補間すべき画素の値を、三角形分割手法とバイリニア手法のうちのいずれの手法により求めるかを判定する補間手法判定部１３１１Ｃと、三角形分割手法により補間処理を行う三角形分割補間部１３１２と、バイリニア法により補間処理を行うバイリニア補間部１３１３と、を含んでいる。

次に、図８に示した画像処理装置における処理手順について説明する。
この変形例（２）においては、画像データに、直接、補間手法判定のための閾値が付帯しているので、ＶＲＡＭ１２には、伸長された画像データＰＤと共にその閾値ＴＨが格納される。

図９は、第１実施形態における図２（ｂ）に示した処理手順に対応した変形例（２）の処理手順を示すフローチャートである。変形例（２）においては、ステップＳ１１の前に、ステップＳ１０Ｃが追加されている。すなわち、ステップＳ１０Ｃにおいては、処理に係る画像の閾値ＴＨをＶＲＡＭ１２から読み込み、補間手法判定部１３１１Ｃ内に設定する。そして、ステップＳ１３においては、その設定した閾値ＴＨを基準として、補間手法の判定を行う。

以上のように第１実施形態の変形例（２）によれば、第１実施形態に基づく効果及び変形例（１）に基づく効果に加えて、補間回路内に予め閾値を設定しておく必要がないという利点がある。

＜第２実施形態＞
次に、第２実施形態について説明するが、第１実施形態と同一の構成及び処理については、同符号を付して説明を省略する。第１実施形態においては、補間手法の判定は、描画回路内において、実際に補間処理をする際に行っていたが、この第２実施形態においては、伸長した画像データをＶＲＡＭ１２に格納する段階で、並行して各格子ごとに補間手法を決定しておき、その情報を格子単位で画像データに対応させてＶＲＡＭ１２に格納しておく、というものである。

図１０は、本発明の画像表示処理装置の第２実施形態を含む画像処理装置の構成ブロック図である。図１０に示した画像処理装置は、概して、画像表示プロセッサ１Ｄ、画像データＲＯＭ２、及び表示部３を備えている。画像表示プロセッサ１Ｄは、画像データＲＯＭ２から圧縮された画像データを読み出して伸長処理を行う画像デコーダ１１と、伸長された画像データＰＤが格納されるＶＲＡＭ１２と、ＶＲＡＭ１２に展開格納された画像データを参照して、補間処理を含む各種描画処理を行う描画回路１３Ｄと、画像デコーダ１１により伸長された画像データに基づいて、各画像データを頂点として構成される各格子について、三角形分割手法及びバイリニア手法のうちのいずれの手法により補間処理を行うかについて判定する補間手法判定部１４と、を有している。

描画回路１３Ｄは、補間回路１３１Ｄを含み、更にその補間回路１３１Ｄは、三角形分割手法により補間処理を行う三角形分割補間部１３１２と、バイリニア法により補間処理を行うバイリニア補間部１３１３と、を含んでいる。

図１１（ａ）及び（ｂ）は、画像表示プロセッサ１ＤにおけるＶＲＡＭ１２への格納までの処理手順を示すフローチャートである。同図を参照して、まず、図示しないＣＰＵからの指令に応じて、画像デコーダ１１が、画像データＲＯＭ２から所望の画像データを読み出して伸長処理を施し、伸長された画像データＰＤをＶＲＡＭ１２に格納すると共に、補間手法判定部１４に送る（ステップＳ３）。

補間手法判定部１４は、伸長された画像データＰＤをシーケンシャルに入力しつつ、各格子について補間手法を決定し、補間手法情報ＩＳＩとしてＶＲＡＭ１２に送る（ステップＳ４）。

そこで、補間手法判定部１４は、図１２に示すように、画像デコーダ１１から伸長された画像データがライン単位（同図（ａ））もしくはブロック単位（同図（ｂ））でシーケンシャルに送られてくるのに応じて、注目する格子をシフトしつつ、各格子について、三角形分割手法とバイリニア法のうちのいずれの手法により補間処理を行うかについて決定する（ステップＳ４１）。補間手法の決定の仕方は、第１実施形態と同じである。すなわち、注目する格子に係る４つの画素の値の勾配に基づく。そして、補間手法判定部１４は、各格子について得られた補間手法を、補間手法情報ＩＳＩとしてＶＲＡＭ１２に送り（ステップＳ４２）、ＶＲＡＭ１２は、各格子に対応した情報として補間手法情報ＩＳＩを格納する。これを注目する格子をシフトしつつ最終領域まで行う（ステップＳ４３，Ｓ４４）。このように、補間手法判定部１４においては、画像デコーダ１１の処理に対してパイプライン処理を行い、つまり、伸長された画像データを画像デコーダ１１からシーケンシャルに受け取りつつ、ラインバッファを活用して各格子について順次、補間手法を決定することができる。

次に、ＶＲＡＭ１２への所望の画像の伸長データと補間手法情報ＩＳＩの格納が終了した後に、描画回路１３Ｄが、それらの情報に基づいて、表示部３に画像表示を行う処理について説明する。図１３（ａ）及び（ｂ）は、画像表示プロセッサ１Ｄにおける描画回路１３Ｄの処理手順を示すフローチャートである。

同図を参照して、描画回路１３Ｄ内の補間回路１３１Ｄは、拡大・回転・変形等により補間して求めるべき画素が生じた場合、ＶＲＡＭ１２内の複数の画素を参照してその画素値を決定する（ステップＳ５）。詳細には、補間すべき画素ごとに以下の処理を行う。すなわち、まず、補間回路１３１Ｄは、注目する補間画素が含まれる格子を認識する（ステップＳ５１）。次に、補間回路１３１Ｄは、当該格子について、補間手法情報ＩＳＩをＶＲＡＭ１２から読み込む（ステップＳ５２）。そして、読み出した補間手法情報ＩＳＩが三角形分割手法を示していた場合（ステップＳ５３において肯定判定）、三角形分割補間部１３１２が、補間すべき画素の値を三角形分割手法に基づき求める（ステップＳ５４，Ｓ５５）。このステップＳ５４，Ｓ５５における処理は、第１実施形態におけるステップＳ１４，Ｓ１５における処理と同じである。

一方、読み出した補間手法情報ＩＳＩがバイリニア法を示していた場合（ステップＳ５３において否定判定）には、バイリニア補間部１３１３が、補間すべき画素の値をバイリニア法に基づき求める（ステップＳ５６，Ｓ５７）。なお、この第２実施形態においては、この段階で、補間画素が含まれる格子に対応する４つの画素値をＶＲＡＭ１２から読み込んでいないので、第１実施形態とは異なり、それらの画素値を読み込む処理が、ステップＳ５６として存在する。ステップＳ５７は、第１実施形態におけるステップＳ１６と同じである。そして、すべての補間すべき画素について値が求まると、ステップＳ５の処理が終了する（ステップＳ５８，Ｓ５９）。

図１３（ａ）に戻り、描画回路１３Ｄは、その他の描画処理を施し、補間された画素を含む画素の値に基づき、表示部３に画像を表示する（ステップＳ６）。

以上のように、上述の第２実施形態によれば、第１実施形態の効果に加えて、画像の拡大や変形があるごとに、補間手法を判定する必要はなく、同じ画像であれば、ＶＲＡＭ１２に格納しておいた同一の補間手法情報ＩＳＩを参照できるという利点がある。

＜第２実施形態の変形例＞
上述の第２実施形態に対しても、第１実施形態の変形例（１）及び（２）と同様の変形例を適用することができる。

なお、上述の各実施形態にあっては、画像の値の勾配を判断するのに、４つの画素を基礎としたが、これに限られることはなく、それ以上、例えば、１６個の画素を基礎として判断してもよい。

また、上述の各実施形態にあっては、画像データＲＯＭから画像データを読み出す場合について説明したが、これに限られることはなく、例えば、ネットワーク（例えばＩＰネットワーク）を介して送られてきた圧縮画像データに対して拡大等の処理を行う場合も同様である。そのような例としては、例えば、電子書籍情報の配信がある。

本発明の画像表示処理方法及び画像表示処理装置は、例えば、パチンコ機、ゲーム機等の遊技機における画像表示の処理を担う画像表示プロセッサに適用できる。

１ 画像表示プロセッサ
１１ 画像デコーダ
１２ ＶＲＡＭ
１３ 描画回路
１３１ 補間回路
１３１１ 補間手法判定部
１３１２ 三角形分割補間部
１３１３ バイリニア補間部
１４ 補間手法判定部
２ 画像データＲＯＭ
３ 表示部
ｐ 画素
ｉｐ 補間すべき画素

Claims (9)

1. 補間手法判定部及び三角形分割補間部を有する補間回路を少なくとも備え、画像データの各画素に対して、原則三角形分割手法により補間処理を行って拡大画像を表示する画像表示処理装置における画像表示処理方法であって、
   前記補間手法判定部は、前記補間処理により求められるべき補間画素の周辺の所定の複数画素に基づき、前記補間画素近傍が基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かを判定し、
   前記補間回路は、前記補間画素近傍が基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであると判定した場合には、前記補間画素の値を求める補間手法として前記三角形分割手法を採用しないことを特徴とする画像表示処理方法。
2. 前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンは、スクリーントーンであることを特徴とする請求項１に記載の画像表示処理方法。
3. 前記補間画素近傍が前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであると判定された場合には、前記補間画素の値を求める補間手法として、バイリニア法又はバイキュービック法を採用することを特徴とする請求項１に記載の画像表示処理方法。
4. 前記補間画素の周辺の所定の複数画素の勾配に基づき、前記補間画素近傍が前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かを判定することを特徴とする請求項１に記載の画像表示処理方法。
5. 前記勾配の値が、所定の閾値未満の場合には、前記補間画素近傍が前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであると判定することを特徴とする請求項４に記載の画像表示処理方法。
6. 複数の閾値を用意しておき、画像の種類に応じて、前記複数の閾値の中から一の閾値を選択して前記所定の閾値として採用することを特徴とする請求項５に記載の画像表示処理方法。
7. 前記画像データに前記所定の閾値が付帯していることを特徴とする請求項５に記載の画像表示処理方法。
8. 画像データが格納されている画像メモリと、
   前記画像メモリに格納された画像データを読み出して、補間処理により求められるべき補間画素がある場合に、原則三角形分割手法により補間処理を行う補間回路と、
   を備え、拡大画像を表示する画像表示処理装置であって、
   前記補間回路は、補間処理により求められるべき補間画素がある場合に、前記画像メモリから、その補間画素の周辺の所定の複数画素を読み込み、その複数画素に基づき、前記補間画素近傍が基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かを判定し、前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンである場合には、前記三角形分割手法を採用しないことを特徴とする画像表示処理装置。
9. 圧縮符号化された画像データを伸長処理するデコーダと、
   前記デコーダにより伸長された画像データを順次受け取り、各画素を頂点とする格子の各々に渡って、少なくとも注目する格子を構成する各画素に基づき、その注目する格子に係る画像近傍が基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かを判定する補間手法判定部と、
   前記デコーダにより伸長された画像データと、前記補間手法判定部により判定された各格子ごとの、前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かの情報を対応付けて格納する画像メモリと、
   補間処理により求められるべき補間画素がある場合に、原則三角形分割手法により補間処理を行う補間回路と、
   を備え、拡大画像を表示する画像表示処理装置であって、
   前記補間回路は、補間処理により求められるべき補間画素がある場合に、前記画像メモリから、その補間画素を含む格子についての、前記基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンであるか否かの情報を読み込み、基本パターンの二次元的な繰り返しパターンであるノイズ状のパターンである場合には、前記三角形分割手法を採用しないことを特徴とする画像表示処理装置。

Images