JP5712385B2

JP5712385B2 - 画像表示処理装置及び画像表示処理方法

Info

Publication number: JP5712385B2
Application number: JP2012102866A
Authority: JP
Inventors: 一樹客野
Original assignee: Axell Corp
Current assignee: Axell Corp
Priority date: 2012-04-27
Filing date: 2012-04-27
Publication date: 2015-05-07
Anticipated expiration: 2032-04-27
Also published as: JP2013232059A

Description

本発明は、画像表示処理装置及び画像表示処理方法に関し、特に、ハードウェア回路で構成された画像表示処理装置と、その装置における画像表示処理方法に関する。

低解像度の画像を高解像度の画像に変換すべく画素を補間する方法や、画像の回転・変形処理において原画素値を用いて新たな画素値を決定する方法としては、従来より様々な方法が提案されている。例えば、バイリニア法は、補間点を囲む４点の画素からの距離に応じて、それらの画素値を線形に内挿して補間画素（少数画素とも称す）値を決定する方法である。また、バイキュービック法は、補間点の周囲にある１６点の画素の画素値を利用して所定の３次元関数の値を算出して補間画素値を決定する方法である。

しかしながら、上述の各方法では、斜め方向のエッジにいわゆるジャギーが発生したり、全体的にぼやけてしまうという課題がある。

そこで、高品質な拡大手法として、コスト関数やエッジ方向などに応じて、画像領域を三角形に分割して画素を補間する三角形分割手法が提案されており、代表的なものとして、Data Dependent Triangulationが挙げられる（例えば、非特許文献１参照）。これは、各画素を頂点とする格子状の各領域に渡って、コスト関数に基づいて分割といわゆる”edge swap”とを繰り返して領域を分割し、補間すべき画素の値を算出する際のサンプリング（参照）画素点を決定する手法である。

X.Yu, B. S. Morse, and T. W. Sederberg, "Image Reconstruction UsingData-Dependent Triangulation", IEEE Computer Graphics and Applications, Vol.21, No. 3, pp. 62-68 May/Jun. (2001)

ところで、特に画像処理専用のハードウェアＬＳＩを用いて、画像の拡大・回転等の処理を行う場合、図７（ａ）に示すように、必要に応じて画像デコーダ１１０により画像データを伸長してＶＲＡＭ１２０に展開しておき、描画回路１３０が、補間フィルタを用いて、ＶＲＡＭ１２０に置かれた各画素の中から、補間画素の値を算出するのに必要な画素をサンプリングして行う。

かかるハードウェア装置の描画回路１３０に上述の各手法を採用した場合、処理の複雑さに増すにつれて、その描画回路１３０やＶＲＡＭ１２０での負担が大きくなる。特に、上述の三角形分割手法のような手法を採用した場合、三角形を決定するための処理の時間が長くなるので、描画のパフォーマンスが低下してしまうという課題がある。また、補間画素の値を算出するためのサンプリング画素点が多く必要となる（例えば３６画素）ため、ＶＲＡＭ１２０への負荷が大きいという課題がある。しかも回転・変形などの処理においては、その回転・変形の一処理ごとにＶＲＡＭ１２０内の画素を参照すると共に、図７（ｂ）に示すように、ランダムに参照することとなるので、参照処理は簡略化できず、負担が特に大きい。

本発明は上述のような事情から為されたものであり、本発明の目的は、処理の効率化を図った三角形分割手法を利用した画像表示処理装置及び画像表示処理方法を提供することにある。

上記目的を達成するため、本発明の画像表示処理装置は、圧縮符号化された画像データを伸長処理するデコーダと、前記デコーダにより伸長された画像データを順次受け取り、各画素を頂点とする格子状の各領域に渡って、三角形分割手法に基づき連続的に領域分割することにより、各領域ごとに分割パターンを決定する三角形分割評価回路と、前記デコーダにより伸長された画像データと、前記三角形分割評価回路により決定された各領域の分割パターンとを対応付けて格納する画像メモリと、補間により値を決定すべき画素がある場合に、その補間すべき画素を含む格子の領域についての分割パターンの情報と、その格子に係る所定数の画素の値を、前記画像メモリから読み込み、補間すべき画素の値を、当該分割パターンと、当該所定数の画素の値に基づいて求める描画回路と、を備えることを要旨とする。

ここで、前記三角形分割評価回路は、前記デコーダによりラインもしくはブロック単位で得られる伸長画像データをシーケンシャル入力し、入力しつつ前記分割パターンを順次決定することが更なる特徴である。

また、好適には、前記所定数の画素は、前記格子の各頂点に位置する４画素と、前記４画素の上方２画素の上方に隣接する２画素と、前記４画素の下方２画素に下方に隣接する２画素と、前記４画素の右側２画素の右側に隣接する２画素と、前記４画素の左側２画素の左側に隣接する２画素とで構成される。

また、好適には、前記分割パターンの数は１５であり、前記分割パターンのいずれかを特定する情報は４ビットの情報である。

また、前記描画回路は、一旦前記伸長処理及び前記分割パターン決定処理が行われて前記画像メモリに格納された画像データについて、複数回、拡大又は回転処理を行う場合には、毎回、前記画像メモリ内に格納された同一の分割パターンの情報に基づいて、前記補間により値を決定すべき画素の値を求めることが更なる特徴である。

上記目的を達成するため、本発明の画像表示処理方法は、デコーダ、三角形分割評価回路、及び描画回路を備える画像表示処理装置における画像表示処理方法であって、前記デコーダが、圧縮符号化された画像データを伸長処理し、前記三角形分割評価回路が、前記デコーダにより伸長された画像データの各画素を頂点とする格子状の各領域に渡って、三角形分割手法に基づき連続的に領域分割することにより、各領域ごとに分割パターンを決定し、前記伸長された画像データと、各領域の前記分割パターンとを対応付けてメモリに格納しておき、前記描画回路が、補間により値を決定すべき画素がある場合に、その補間すべき画素を含む格子の領域についての分割パターンの情報と、その格子に係る所定数の画素の値を、前記メモリから読み込み、補間すべき画素の値を、当該分割パターンと、当該所定数の画素の値に基づいて求めることを要旨とする。

ここで、前記分割パターンを決定する処理は、前記伸長処理によりラインもしくはブロック単位で得られる伸長画像データをシーケンシャル入力しつつ実行されることが更なる特徴である。

また、一旦前記伸長処理及び前記分割パターン決定処理が行われて前記メモリに格納された画像データについて、複数回、拡大又は回転処理を行う場合には、毎回、前記メモリ内に格納された同一の分割パターンの情報に基づいて、前記補間により値を決定すべき画素の値を求めることが更なる特徴である。

本発明の画像表示処理装置及び画像表示処理方法によれば、三角形分割手法を利用した場合において、処理の効率化を図ることができる。

特に、三角形分割評価回路が、デコーダにおける伸長処理に対してパイプライン処理的に分割パターンの情報を予め一括して求めておき、伸長画像データと対応させてその分割パターンの情報を格納しておくので、描画回路は、画像の拡大や変形があるごとに、分割パターンを算出する必要はなく、同じ画像であれば、メモリに格納しておいた同一の分割パターンの情報を参照できる。また、デコーダ及び三角形分割評価回路がそれぞれの処理を行っている間は、描画回路は、それとは関わらない任意の描画処理を行うことができる。以上の観点から、処理時間が短縮できる。

本発明の画像表示処理装置の一実施形態を含む画像処理装置の構成ブロック図である。画像表示プロセッサにおけるＶＲＡＭへの格納までの処理手順を示すフローチャートである。分割パターンの種類を示す図である。三角形分割評価回路における分割パターンの決定の仕方を説明するための図である。画像表示プロセッサにおける描画回路の処理手順を示すフローチャートである。描画回路における画素の補間を説明するための図である。従来の技術を説明するための図である。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本発明の画像表示処理装置の一実施形態を含む画像処理装置の構成ブロック図である。図１に示した画像処理装置は、概して、画像表示プロセッサ１、画像データＲＯＭ（Read Only Memory）２、及び表示部３を備えている。なお、画像表示プロセッサ１には更にＣＰＵ（Central Processing Unit）が接続され、そのＣＰＵにはプログラムＲＯＭが接続されるのが典型であるが、ここでは省略する。また、この画像処理装置は、典型的には、表示部４の表示画面において、画像、特に動画、による多彩な演出が行われるパチンコ機、ゲーム機等の遊技機に搭載される。

画像表示プロセッサ１は、画像データＲＯＭ２から圧縮された画像データを読み出して伸長処理を行う画像デコーダ１１と、伸長された画像データが展開格納されるＶＲＡＭ（Video Random Access Memory）１２と、ＶＲＡＭ１２に展開格納された画像データを参照して、補間処理を含む各種描画処理を行う描画回路１３と、画像デコーダ１１により伸長された画像データに基づいて、補間すべき画素が参照すべきサンプリング画素を決定すべく、画像デコーダ１１により伸長された格子状の画素点を含む二次元平面を三角形分割手法に基づき幾何学的に三角形に分割し、各格子領域を複数分割パターンのうちの１つに決定する三角形分割評価回路１４と、を有している。

図２（ａ）及び（ｂ）は、画像表示プロセッサ１におけるＶＲＡＭ１２への格納までの処理手順を示すフローチャートである。同図を参照して、まず、図示しないＣＰＵからの指令に応じて、画像デコーダ１１が、画像データＲＯＭ２から所望の画像データを読み出して伸長処理を施し、伸長された画像データＰＤをＶＲＡＭ１２に展開格納すると共に、三角形分割評価回路１４に送る（ステップＳ１）。

三角形分割評価回路１４は、伸長された画像データＰＤをシーケンシャルに入力しつつ、分割パターン情報ＤＰＩを決定する（ステップＳ２）。ここで、図３及び図４を参照して、三角形分割評価回路１４における処理を説明する。ここでは、画素値の傾斜を３６０度／１６の精度、すなわち２２．５度単位の精度まで近似する場合を説明する。

画素値の傾斜を２２．５度単位の精度まで近似する場合、注目する４つの画素点が形成する格子領域の各々に決定される分割パターンは、図３に示した１５通りとなる。このとき、ノイズ耐性を考慮すると共に各格子領域の分割パターンの連続性を担保しつつ決定するためには、図４（ａ）に示すように、その格子の各頂点の４画素を含めて周囲３６画素を参照する必要がある。

そこで、三角形分割評価回路１４は、図４（ｂ）に示すように、画像デコーダ１１から伸長された画像データがライン単位（もしくはブロック単位）でシーケンシャルに送られてくるのに応じて、注目する格子領域をシフトしつつ、注目する格子領域について、三角形分割手法に基づき、順次、分割パターン（図３に示したいずれか）を決定する（ステップＳ２１）。そして、三角形分割評価回路１４は、各格子領域について得られた分割パターンを、分割パターン情報ＤＰＩとしてＶＲＡＭ１２に送り（ステップＳ２２）、ＶＲＡＭ１２は、各格子領域に対応した情報として分割パターン情報ＤＰＩを格納する。これを注目する格子領域をシフトしつつ最終領域まで行う（ステップＳ２３，Ｓ２４）。このように、三角形分割評価回路１４においては、画像デコーダ１１の処理に対してパイプライン処理を行い、つまり、伸長された画像データを画像デコーダ１１からシーケンシャルに受け取りつつ、ラインバッファを活用して各格子領域について順次、分割パターンを決定することができる。なお、分割パターンは、図３に示すように、１５通りなので、この分割パターン情報ＤＰＩは４ビットで足りる情報である。

次に、ＶＲＡＭ１２への所望の画像の伸長データと分割パターン情報ＤＰＩの格納が終了した後に、描画回路１３が、それらの情報に基づいて、表示部３に画像表示を行う処理について説明する。図５（ａ）及び（ｂ）は、画像表示プロセッサ１における描画回路１３の処理手順を示すフローチャートである。

同図を参照して、描画回路１３内の補間回路１３１は、拡大等により補間して求めるべき画素が生じた場合、ＶＲＡＭ１２内の複数の画素を参照してその画素値を決定する（ステップＳ３）。詳細には、補間すべき画素ごとに以下の処理を行う。すなわち、まず、補間回路１３１は、注目する補間画素が含まれる格子領域を認識する（ステップＳ３１）。次に、補間回路１３１は、当該格子領域について、分割パターン情報ＤＰＩをＶＲＡＭ１２から読み込む（ステップＳ３２）。

ここで、各分割パターンのそれぞれの場合における参照（サンプリング）画素の取り方について説明する。図６（ａ）〜（ｈ）は、参照画素の取り方を示した分割パターンの例を示す図である。例えば、同図（ａ）のように、分割なしのパターンの場合には、格子の各頂点の画素ｐ（ｕｌ），ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｒ）の線形補間により補間すべき画素ｉｐの値を算出する。また、同図（ｂ）の２分割の場合であって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｌ），ｐ（ｕｒ），ｐ（ｄｌ）の値に基づき、補間すべき画素ｉｐの値を算出する。また、同図（ｃ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｌｌ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｄ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｕｒｒ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｅ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｕｒｕ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｆ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｌｄ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｇ）及び（ｈ）に示す４分割の各パターンについても、各分割領域において同様である。更に、図には例示していない他の７つの分割パターンについても同様である。

従って、結局、図６（ｉ）に示す１２個の画素の値があれば、その格子内の補間すべき画素については、値が決定できることになる。しかして、図５（ｂ）に戻り、次に、補間回路１３１は、当該格子領域について、その１２個の画素の値をＶＲＡＭ１２から読み込む（ステップＳ３３）。そして、図６を参照して説明したように、補間回路１３１は、分割パターン情報ＤＰＩと１２個の画素の値に基づき、補間すべき画素ｉｄの値を算出する（ステップＳ３４）。そして、すべての補間すべき画素について値が求まると、ステップＳ３の処理が終了する（ステップＳ３５，Ｓ３６）。なお、ステップＳ３１において認識する、注目する補間画素が含まれる格子領域が、既に処理した補間画素に係る格子領域と同じ場合には、ステップＳ３２及びＳ３３の処理、すなわち、分割パターン情報ＤＰＩ及び所定の１２個の画素の値をＶＲＡＭ１２から読み込む処理は行う必要はない。

図５（ａ）に戻り、描画回路１３は、その他の描画処理を施し、補間された画素を含む画素の値に基づき、表示部３に画像を表示する（ステップＳ４）。

なお、上述においては、１２個の画素を一律にＶＲＡＭ１２から読み込んでいるが、分割パターンに応じて、必要な画素のみを読み込むようにしてもよい。なお、一律に読み込んだ方が、可変の数の画素を読み込むよりは、読み込み処理は簡易な形式となる。

以上のように、上述の一実施形態によれば、三角形分割手法を利用した場合に、処理の効率化を図ることができる。特に、従来においては、描画回路が、拡大・変形等の一処理ごとに、補間に要する参照画素をランダムにＶＲＡＭから読み出してその都度分割パターンを決定し、補間すべき画素の値を求めていたのに対し、本実施形態によれば、三角形分割評価回路１４が、予め画像デコーダ１１における伸長処理に対してパイプライン処理的に分割パターン情報ＤＰＩを一括して求めておき、伸長画像データＰＤと対応させてその分割パターン情報ＤＰＩを格納しておくので、描画回路１３は、画像の拡大や変形があるごとに、分割パターンを算出する必要はなく、同じ画像であれば、ＶＲＡＭ１２に格納しておいた同一の分割パターン情報ＤＰＩを参照できる。また、画像デコーダ１１及び三角形分割評価回路１４がそれぞれの処理を行っている間は、描画回路１３は、それとは関わらない任意の描画処理を行うことができる。

本発明の画像表示処理装置及び画像表示処理方法は、パチンコ機、ゲーム機等の遊技機における画像表示の処理を担う画像表示プロセッサに適用できる。

１画像表示プロセッサ
１１画像デコーダ
１２ＶＲＡＭ
１３描画回路
１３１補間回路
１４三角形分割評価回路
２画像データＲＯＭ
３表示部
ｐ画素
ｉｐ補間すべき画素

Claims

圧縮符号化された画像データを伸長処理するデコーダと、
前記デコーダにより伸長された画像データを順次受け取り、各画素を頂点とする格子状の各領域に渡って、三角形分割手法に基づき連続的に領域分割することにより、各領域ごとに分割パターンを決定する三角形分割評価回路と、
前記デコーダにより伸長された画像データと、前記三角形分割評価回路により決定された各領域の分割パターンとを対応付けて格納する画像メモリと、
補間により値を決定すべき画素がある場合に、その補間すべき画素を含む格子の領域についての分割パターンの情報と、その格子に係る所定数の画素の値を、前記画像メモリから読み込み、補間すべき画素の値を、当該分割パターンと、当該所定数の画素の値に基づいて求める描画回路と、
を備えることを特徴とする画像表示処理装置。
前記三角形分割評価回路は、前記デコーダによりラインもしくはブロック単位で得られる伸長画像データをシーケンシャル入力し、入力しつつ前記分割パターンを順次決定することを特徴とする請求項１に記載の画像表示処理装置。
前記所定数の画素は、前記格子の各頂点に位置する４画素と、前記４画素の上方２画素の上方に隣接する２画素と、前記４画素の下方２画素に下方に隣接する２画素と、前記４画素の右側２画素の右側に隣接する２画素と、前記４画素の左側２画素の左側に隣接する２画素とで構成されることを特徴とする請求項１に記載の画像表示処理装置。
前記分割パターンの数は１５であり、前記分割パターンのいずれかを特定する情報は４ビットの情報であることを特徴とする請求項１に記載の画像表示処理装置。
前記描画回路は、一旦前記伸長処理及び前記分割パターン決定処理が行われて前記画像メモリに格納された画像データについて、複数回、拡大又は回転処理を行う場合には、毎回、前記画像メモリ内に格納された同一の分割パターンの情報に基づいて、前記補間により値を決定すべき画素の値を求めることを特徴とする請求項１に記載の画像表示処理装置。
デコーダ、三角形分割評価回路、及び描画回路を備える画像表示処理装置における画像表示処理方法であって、
前記デコーダが、圧縮符号化された画像データを伸長処理し、
前記三角形分割評価回路が、前記デコーダにより伸長された画像データの各画素を頂点とする格子状の各領域に渡って、三角形分割手法に基づき連続的に領域分割することにより、各領域ごとに分割パターンを決定し、
前記伸長された画像データと、各領域の前記分割パターンとを対応付けてメモリに格納しておき、
前記描画回路が、補間により値を決定すべき画素がある場合に、その補間すべき画素を含む格子の領域についての分割パターンの情報と、その格子に係る所定数の画素の値を、前記メモリから読み込み、補間すべき画素の値を、当該分割パターンと、当該所定数の画素の値に基づいて求めることを特徴とする画像表示処理方法。
前記分割パターンを決定する処理は、前記伸長処理によりラインもしくはブロック単位で得られる伸長画像データをシーケンシャル入力しつつ実行されることを特徴とする請求項６に記載の画像表示処理方法。
前記所定数の画素は、前記格子の各頂点に位置する４画素と、前記４画素の上方２画素の上方に隣接する２画素と、前記４画素の下方２画素に下方に隣接する２画素と、前記４画素の右側２画素の右側に隣接する２画素と、前記４画素の左側２画素の左側に隣接する２画素とで構成されることを特徴とする請求項６に記載の画像表示処理方法。
前記分割パターンの数は１５であり、前記分割パターンのいずれかを特定する情報は４ビットの情報であることを特徴とする請求項６に記載の画像表示処理方法。
一旦前記伸長処理及び前記分割パターン決定処理が行われて前記メモリに格納された画像データについて、複数回、拡大又は回転処理を行う場合には、毎回、前記メモリ内に格納された同一の分割パターンの情報に基づいて、前記補間により値を決定すべき画素の値を求めることを特徴とする請求項６に記載の画像表示処理方法。