JP5712386B2 - 画像表示処理方法及び画像表示処理装置 - Google Patents

Description

本発明は、画像表示処理方法及び画像表示処理装置に関し、特に、画像を拡大して表示する際の補間処理を伴う画像表示処理方法及び画像表示処理装置に関する。

低解像度の画像を高解像度の画像に変換すべく画素を補間する方法や、画像の回転・変形処理において原画素値を用いて新たな画素値を決定する方法としては、従来より様々な方法が提案されている。例えば、バイリニア法は、補間点を囲む４点の画素からの距離に応じて、それらの画素値を線形に内挿して補間画素（少数画素とも称す）値を決定する方法である。また、バイキュービック法は、補間点の周囲にある１６点の画素の画素値を利用して所定の３次元関数の値を算出して補間画素値を決定する方法である。

しかしながら、上述の各方法では、斜め方向のエッジにいわゆるジャギーが発生したり、全体的にぼやけてしまうという課題がある。

そこで、高品質な拡大手法として、コスト関数やエッジ方向などに応じて、画像領域を三角形に分割して画素を補間する三角形分割手法が提案されており、代表的なものとして、Data Dependent Triangulationが挙げられる（例えば、非特許文献１参照）。これは、各画素を頂点とする格子状の各領域に渡って、コスト関数に基づいて、各領域を三角形に分割し、補間すべき画素の値を算出する際のサンプリング（参照）画素点を決定する手法である。

この三角形分割手法によれば、斜め方向のエッジについて、ジャギーの発生を抑えることができ、ぼやけてしまうという課題が克服できる。

ところで、パチンコ機、ゲーム機等のアミューズメント分野における遊技機においては、他の用途では使用しないような巨大な静止画像や動画像を使用する。例えば、一般の用途であれば、いわゆるフルＨＤと呼ばれる1920x1080画素で構成される画像が一般的であるが、アミューズメント分野における遊技機では、4096x4096画素で構成される画像をスクロールさせながら表示するような演出がある。そのような場合、デコード容量を大きくした新たなデコーダを備えたＬＳＩを用意するというようなハードウェア対策がまず考えられる。一方、例えば4096x4096画素で構成される画像を伸長する場合に、画像全体をソフトウェアで分割（個々を「セグメント」と称す）して、1920x1080画素用の小さい容量の既存のデコーダに供給する手法や、画像の一部だけをデコードできるようなデコーダを搭載し、セグメント単位で画像を取り出す手法が考えられる。

かかるソフトウェアによる画像分割手法（以下、単に「画像分割手法」と称す）においては、セグメント単位で伸長処理が行われるが、例えばスクロール等により新たなセグメントの表示が必要になった場合も、その時点でデコーダが画像メモリから当該セグメントに係る圧縮画像データを読み出して伸長処理し、各種画像処理を経て表示される。

X.Yu, B. S. Morse, and T. W. Sederberg, "Image Reconstruction UsingData-Dependent Triangulation", IEEE Computer Graphics and Applications, Vol.21, No. 3, pp. 62-68 May/Jun. (2001)

ここで、上述の画像分割手法が採用されているシステムにおいて、拡大等の処理に伴う補間処理として、前述の三角形分割手法が採用できれば、単純に２つの効果、すなわちハードウェア構成を簡略化している上に、高品質画像が得られるという利点が得られることとなる。

しかしながら、以下の理由から２つの手法を単純に組み合わせることは困難であり、根本的に、組み合わせようとする発想すらなかった。

すなわち、画像分割手法においては、セグメント単位で伸長処理され表示されるので、拡大等の処理に伴う補間処理も基本的にセグメント単位となるが、補間処理に三角形分割手法を採用するとした場合には、いわゆる三角形分割パターンを決定する際に、補間により求められるべき画素の所定の周辺の元画素を参照する必要があるものの、セグメントを超えては参照することができない。仮に単純に組み合わせようとすると、セグメントの境界で三角形分割パターンの不整合が生じ、結果としてノイズとなってしまう。

本発明は上述のような事情から為されたものであり、本発明の目的は、特別な大容量のデコーダを用いることなく、大容量の画像について処理を行うことができる上に、三角形分割手法に基づき補間処理を行っても高品質に拡大表示を行うことができる画像表示処理方法及び画像表示処理装置を提供することにある。

上記目的を達成するため、本発明の画像表示処理方法は、デコーダと、補間回路を有する描画回路とを備えた画像表示処理装置による、画像を拡大して表示するための画素の補間処理を伴う画像表示処理方法であって、前記デコーダが、圧縮符号化された画像データの中から、一のセグメントに係る圧縮画像データと、加えて、当該一のセグメントセグメントが他のセグメントに接する全境界に渡って、他のセグメントに入り込んだ所定幅分の圧縮画像データとを伸長処理し、前記補間回路が、前記画素の補間処理を三角形分割手法に基づき行うに際し、前記伸長処理により得られた伸長画像データに基づいて、補間により求めるべき画素に係る格子の分割パターンを決定し、前記補間回路が、前記伸長画像データ及び前記分割パターンに基づいて、前記補間により求めるべき画素の値を算出し、前記描画回路が、前記伸長画像データから前記所定幅分の伸長画像データを除いて得られた画像データと、前記補間により求められた各画素の画像データとで画像表示を行い、前記伸長処理において、前記所定幅は、前記三角形分割手法に要求される精度に応じて決定されることを要旨とする。

また、前記伸長処理の後、前記伸長処理により得られた伸長画像データを画像メモリに格納することが好適である。

前記圧縮符号化された画像データは、遊技機に表示される画像に係るデータである場合に有意である。

また、上記目的を達成するため、本発明の画像表示処理装置は、圧縮符号化された画像データの中から、一のセグメントに係る圧縮画像データと、加えて、当該一のセグメントセグメントが他のセグメントに接する全境界に渡って、他のセグメントに入り込んだ所定幅分の圧縮画像データとを伸長処理するデコーダと、前記伸長処理により得られた伸長画像データを格納する画像メモリと、画像の拡大に伴う画素の補間処理を行うに際し、前記画像メモリに格納された伸長画像データに基づいて、補間により求めるべき画素に係る格子について、三角形分割手法における分割パターンを決定し、前記伸長画像データ及び前記分割パターンに基づいて、前記補間により求めるべき画素の値を算出する補間回路と、前記伸長画像データから前記所定幅分の伸長画像データを除いて得られた画像データと、前記補間により求められた各画素の画像データとで画像表示を行う描画回路と、を備え、前記デコーダは、前記三角形分割手法に要求される精度に応じ、前記所定幅を決定して前記伸長処理を行うことを要旨とする。

また、画像表示処理装置は、前記圧縮符号化された画像データが、予め格納される画像データ読出し専用メモリと、前記デコーダに前記伸長処理の指令を与える制御部と、を更に備え、前記制御部が与える指令には、前記画像データ読出し専用メモリから読み出すべきセグメントに係る情報が含まれ、前記デコーダは、そのセグメントに係る情報に基づき、前記画像データ読出し専用メモリからの読出しを行うことが典型である。

本発明の画像表示処理方法及び画像表示処理装置によれば、特別な大容量のデコーダを用いることなく、大容量の画像について処理を行うことができる上に、三角形分割手法に基づき補間処理を行っても高品質に拡大表示を行うことができる。

本発明の画像表示処理装置の一実施形態を含む画像処理装置の構成ブロック図である。 セグメントに分割された画像の構成の例を示す図である。 ＣＰＵ５の特定の処理手順を示すフローチャートである。 画像表示プロセッサ１がＣＰＵ５から特定の指令を受けた場合の画像デコーダ１１の処理手順を示すフローチャートである。 画像デコーダ１１による処理を説明するための図である。 画像表示プロセッサ１における描画回路１３の処理手順を示すフローチャートである。 画像をセグメントに分割した場合の、三角形分割手法における分割パターンの決定方法を説明するための図である。 三角形分割手法に基づく分割による格子単位の分割パターンの種類を示す図である。 三角形分割手法に基づく画素の補間を説明するための図である。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本発明の画像表示処理装置の一実施形態を含む画像処理装置の構成ブロック図である。図１に示した画像処理装置は、概して、画像表示プロセッサ１、画像データＲＯＭ（Read Only Memory）２、表示部３、プログラムＲＯＭ４、及びＣＰＵ（Central Processing Unit）を備えている。なお、この画像処理装置は、典型的には、表示部３の表示画面において、大きな画像、特に動画、による多彩な演出が行われるパチンコ機、ゲーム機等の遊技機に搭載される。

また、特に、この画像処理装置は、例えば4096x4096画素で構成される画像を扱うものの、通常容量のデコーダ（例えば1920x1080画素用）を使用すべく、画像全体をソフトウェアにより複数のセグメントに分割し、セグメント単位で伸長処理を含めた画像処理を行う、いわゆる画像分割手法を採用している。従って、画像データＲＯＭ２には、論理的に複数のセグメントで構成された圧縮符号化画像データが格納されている。図２は、その例を示す図である。同図においては、画像全体は、２×２の４つのセグメント（セグメント［１，１］〜［２，２］）で構成されている。しかしながら、２×２とはとは限らず、ｎ×ｍと一般化できる。なお、プログラムＲＯＭ４には、全体画像のサイズと、各セグメントが格納されているアドレスが少なくとも格納されている。

画像表示プロセッサ１は、画像データＲＯＭ２から圧縮された画像データを読み出して伸長処理を行う画像デコーダ１１と、伸長された画像データＰＤが格納されるＶＲＡＭ（Video Random Access Memory）１２と、ＶＲＡＭ１２に展開格納された画像データを参照して、補間処理を含む各種描画処理を行う描画回路１３と、を有している。

描画回路１３は、すくなくとも補間回路１３１を含み、更にその補間回路１３１は、三角形分割手法により補間処理を行う三角形分割補間部１３１１を少なくとも含んでいる。

次に、図１に示した画像処理装置における処理手順について説明する。
図３は、ＣＰＵ５の特定の処理手順を示すフローチャートである。ＣＰＵ５は、基本的には、プログラムＲＯＭ４に格納された指令に基づいて各種制御を行うものであるが、特定の指令、すなわち新規にあるセグメントの拡大表示指令があった場合、又はスクロールにより隣接するセグメントを表示する必要が生じた場合（ステップＳ１において肯定判定）、画像表示プロセッサ１に対して、セグメントを指定して拡大表示の指令を行う（ステップＳ２）。

図４は、画像表示プロセッサ１がＣＰＵ５から特定の指令を受けた場合の画像デコーダ１１の処理手順を示すフローチャートである。また、図５は、画像デコーダ１１による処理を説明するための図である。そこで、画像表示プロセッサ１は、ＣＰＵ５から、セグメントを指定して拡大表示の指令があった場合（ステップＳ３において肯定判定）、その画像デコーダ１１が、画像データＲＯＭ２から、指定されたセグメントの圧縮画像データと、それに加えて、そのセグメントが他のセグメントに接する全境界に渡って、他のセグメントに入り込んだ所定幅分の圧縮画像データとを読み込む（ステップＳ４）。図５は、指定されたセグメントがセグメント［１，１］の場合の例であり、その場合、同図の点線に示すような付加的な所定領域の画素を併せて読み込む。他のセグメントの場合（セグメント［１，１］）も同様である。なお、図５においては、画像全体をセグメント［１，１］〜［２，２］の４つに分割している場合を示しているが、その他、例えば３×３の分割の場合に、セグメント［２，２］については、その四方、つまり左右上下、が他のセグメントと接しているので、その全周囲に渡って追加的に読み込む画素が生ずる。

また、この実施形態あっては、付加的に読み込む領域の幅を３画素の幅としているが（図７参照）、これに限られることはなく、４画素であってもよいし、それ以上であってもよい。それは後述する三角形分割手法における分割ブロックの決定精度による。つまり、６×６の３６画素を参照して求める分割ブロックの精度であれば、少なくとも２画素幅が必要である、ということである。

次に、画像デコーダ１１は、ステップＳ２において読み込んだ圧縮画像データを伸長処理してＶＲＡＭ１２に格納する（ステップＳ５）。

次に、ＶＲＡＭ１２への指定されたセグメントの伸長画像データの格納が終了した後に、描画回路１３が、それらの情報に基づいて、表示部３に拡大画像表示を行う処理について説明する。図６（ａ）及び（ｂ）は、画像表示プロセッサ１における描画回路１３の処理手順を示すフローチャートである。

同図を参照して、描画回路１３内の補間回路１３１は、拡大により補間して求めるべき画素が生じた場合、ＶＲＡＭ１２内の複数の画素の値を参照して、補間して求めるべき画素の値を決定する（ステップＳ６）。詳細には、補間して求めるべき画素ごとに以下の処理を行う。すなわち、まず、補間回路１３１は、図７に示すような、注目する補間画素が含まれる格子を認識する（ステップＳ６１）。

そして、補間回路１３１内の三角形分割補間部１３１１が、三角形分割手法に基づき補間画素の値を求める。

ここで、図７乃至図９を参照して、三角形分割手法について簡単に説明する。ここでは、画素値の傾斜を３６０度／１６の精度、すなわち２２．５度単位の精度まで近似する場合を説明する。画素値の傾斜を２２．５度単位の精度まで近似する場合、注目する格子に決定される分割パターンは、図８に示した１５通りとなる。このとき、ノイズ耐性を考慮すると共に各格子の分割パターンの連続性を担保しつつ決定するためには、図７に示すように、その格子の各頂点の４画素を含めて周囲３６画素以上を参照する必要がある。

従って、三角形分割補間部１３１１は、注目する格子について、当該格子の各頂点の４画素を含めて周囲３６画素の値をＶＲＡＭ１２から読み込み、図８に示した各分割パターンのうちの一の分割パターンを決定する（ステップＳ６２）。なお、注目する格子が、図７の右側に示すような隣接するセグメントとの境界に接するような格子であっても、本発明の実施形態にあっては、付加的な３画素幅の画素データを考慮して分割パターンを決定しているので、隣接するセグメントとの関係で連続的な分割パターンを決定することができる。

次に、三角形分割補間部１３１１は、注目する格子について決定された分割パターンに基づき、読み込んだ複数の画素のうちのいくつかを参照（サンプリング）画素として、補間画素の値を求める（ステップＳ６３）。

ここで、各分割パターンのそれぞれの場合における参照（サンプリング）画素の取り方について説明する。図９（ａ）〜（ｈ）は、参照画素の取り方を示した分割パターンの例を示す図である。例えば、同図（ａ）のように、分割なしのパターンの場合には、格子の各頂点の画素ｐ（ｕｌ），ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｒ）（ａ，ｂ，ｃ，ｄと同じ）の線形補間により補間すべき画素ｉｐの値を算出する。また、同図（ｂ）の２分割の場合であって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｌ），ｐ（ｕｒ），ｐ（ｄｌ）の値に基づき、補間すべき画素ｉｐの値を算出する。また、同図（ｃ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｌｌ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｄ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｕｒｒ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｅ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｕｒｕ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｆ）に示す３分割の１パターンであって、同図に示す位置の補間すべき画素ｉｐの場合、画素ｐ（ｕｒ），ｐ（ｄｌ），ｐ（ｄｌｄ）の値に基づき、補間すべき画素ｉｄの値を算出する。また、同図（ｇ）及び（ｈ）に示す４分割の各パターンについても、各分割領域において同様である。更に、図には例示していない他の７つの分割パターンについても同様である。

なお、ステップＳ６１において認識する、注目する補間画素が含まれる格子が、既に処理した補間画素に係る格子と同じ場合には、ステップＳ６２の処理、分割パターンを決定する処理は行う必要はない。

すべての補間すべき画素について値が求まると、ステップＳ６の処理が終了する（ステップＳ６４，Ｓ６５）。図６（ａ）に戻り、描画回路１３は、表示には必要のない前述の付加的な画素データを削除する処理やその他の必要な描画処理を施し、補間された画素を含む画素の値に基づき、表示部３に画像を表示する（ステップＳ７）。

以上のように、上述の実施形態によれば、スクロール等により新たなセグメントを、三角形分割手法により拡大表示する場合であっても、分割パターンは隣接するセグメント間で連続的であるので、セグメントの境界部分でノイズのない画像表示を行うことができる。要するに、特別な大容量のデコーダを用いることなく、大容量の画像について処理を行うことができる上に、三角形分割手法に基づき補間処理を行っても高品質に拡大表示を行うことができる。

また、上述の各実施形態にあっては、画像データＲＯＭから画像データを読み出す場合について説明したが、これに限られることはなく、例えば、ネットワーク（例えばＩＰネットワーク）を介して送られてきた圧縮画像データに対して拡大等の処理を行う場合も同様である。そのような例としては、例えば、電子書籍情報の配信がある。

本発明の画像表示処理方法及び画像表示処理装置は、パチンコ機、ゲーム機等の遊技機における画像表示の処理を担う画像表示プロセッサに適用できる。

１ 画像表示プロセッサ
１１ 画像デコーダ
１２ ＶＲＡＭ
１３ 描画回路
１３１ 補間回路
１３１１ 三角形分割補間部
２ 画像データＲＯＭ
３ 表示部
４ プログラムＲＯＭ
５ ＣＰＵ
ｐ 画素
ｉｐ 補間すべき画素

Claims (5)

1. デコーダと、補間回路を有する描画回路とを備えた画像表示処理装置による、画像を拡大して表示するための画素の補間処理を伴う画像表示処理方法であって、
   前記デコーダが、圧縮符号化された画像データの中から、一のセグメントに係る圧縮画像データと、加えて、当該一のセグメントセグメントが他のセグメントに接する全境界に渡って、他のセグメントに入り込んだ所定幅分の圧縮画像データとを伸長処理し、
   前記補間回路が、前記画素の補間処理を三角形分割手法に基づき行うに際し、前記伸長処理により得られた伸長画像データに基づいて、補間により求めるべき画素に係る格子の分割パターンを決定し、
   前記補間回路が、前記伸長画像データ及び前記分割パターンに基づいて、前記補間により求めるべき画素の値を算出し、
   前記描画回路が、前記伸長画像データから前記所定幅分の伸長画像データを除いて得られた画像データと、前記補間により求められた各画素の画像データとで画像表示を行い、
   前記伸長処理において、前記所定幅は、前記三角形分割手法に要求される精度に応じて決定されることを特徴とする画像表示処理方法。
2. 前記伸長処理の後、前記伸長処理により得られた伸長画像データを画像メモリに格納することを特徴とする請求項１に記載の画像表示処理方法。
3. 前記圧縮符号化された画像データは、遊技機に表示される画像に係るデータであることを特徴とする請求項１又は２に記載の画像表示処理方法。
4. 圧縮符号化された画像データの中から、一のセグメントに係る圧縮画像データと、加えて、当該一のセグメントセグメントが他のセグメントに接する全境界に渡って、他のセグメントに入り込んだ所定幅分の圧縮画像データとを伸長処理するデコーダと、
   前記伸長処理により得られた伸長画像データを格納する画像メモリと、
   画像の拡大に伴う画素の補間処理を行うに際し、前記画像メモリに格納された伸長画像データに基づいて、補間により求めるべき画素に係る格子について、三角形分割手法における分割パターンを決定し、前記伸長画像データ及び前記分割パターンに基づいて、前記補間により求めるべき画素の値を算出する補間回路と、
   前記伸長画像データから前記所定幅分の伸長画像データを除いて得られた画像データと、前記補間により求められた各画素の画像データとで画像表示を行う描画回路と、
   を備え、
   前記デコーダは、前記三角形分割手法に要求される精度に応じ、前記所定幅を決定して前記伸長処理を行うことを特徴とする画像表示処理装置。
5. 前記圧縮符号化された画像データが、予め格納される画像データ読出し専用メモリと、
   前記デコーダに前記伸長処理の指令を与える制御部と、
   を更に備え、
   前記制御部が与える指令には、前記画像データ読出し専用メモリから読み出すべきセグメントに係る情報が含まれ、前記デコーダは、そのセグメントに係る情報に基づき、前記画像データ読出し専用メモリからの読出しを行うことを特徴とする請求項４に記載の画像表示処理装置。

Images