JP5849555B2

JP5849555B2 - 解像度変換装置及び解像度変換方法

Info

Publication number: JP5849555B2
Application number: JP2011201874A
Authority: JP
Inventors: 悠紀河村; 英明中辻; 典昭池田
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2011-09-15
Filing date: 2011-09-15
Publication date: 2016-01-27
Anticipated expiration: 2031-09-15
Also published as: JP2013065926A

Description

本発明は、解像度を変換する解像度変換装置及び解像度変換方法に関し、特に、液晶ディスプレイ装置などの解像度が一定の表示装置に搭載される解像度変換回路に関する。

表示装置には、解像度を向上させるための解像度変換回路が搭載されている。従来、この解像度変換回路としては、一般的に、良好な画質を得ることができるバイキュービック補間を用いた解像度変換回路が用いられている。

バイキュービック補間では、出力画素位置に対応する入力画素位置の周辺の垂直方向４画素、水平方向４画素を出力画素ごとに参照して画素を生成する。ここで、垂直方向におけるバイキュービック補間では、生成したい画素位置から上下２画素ずつ計４画素を参照する。すなわち、図８に示すように、生成したい画素を補間画素Ｐｏとすると、参照画素は２ライン上の入力画素Ｐ_ｉ１、１ライン上の入力画素Ｐ_ｉ２、１ライン下の入力画素Ｐ_ｉ３、２ライン下の入力画素Ｐ_ｉ４の４点となる。この４点を下記に示す式（１）に代入することで、Ｐ_ｉ２とＰ_ｉ３の間に補間画素Ｐｏを生成することができる。

ここで、ｙはＰ_ｉ２からＰｏの距離を示し、ａには経験値としてａ＝−１前後の値が用いられる。バイキュービック補間を用いることで、図９に示すように、各入力画素間が滑らかな曲線で補間することができる。しかし、この補間方法を用いると、以下に説明するように、入力画像を３ライン格納するメモリが必要であった。

図１０は、バイキュービック補間を用いた場合の解像度変換回路１００の構成図である。入力された画像データ１０１はラインバッファ１０２に供給される。ラインバッファ１０２に溜められた画像データはラインバッファ１０３に供給され、同様にラインバッファ１０３からラインバッファ１０４に供給される。対象となる４ライン分のうち３ライン分の画像データがラインバッファに溜まったら、読み出し制御回路１０５は、入力画像１０１とラインバッファ１０２，１０３，１０４から同時に４画素分の画素データ（Ｐ_ｉ１，Ｐ_ｉ２，Ｐ_ｉ３，Ｐ_ｉ４）を４画素畳み込み演算回路１０７に供給する。それと同時に、重み係数生成回路１０６は、式（２）を用いて重み係数ｆ（ｙ＋１）、ｆ（ｙ）、ｆ（ｙ−１）、ｆ（ｙ−２）を求め、これらの値を４画素畳み込み演算回路１０７に供給する。４画素畳み込み演算回路１０７は、式（１）を用いてＰ_ｉ２とＰ_ｉ３の間の補間画素Ｐｏを算出して水平方向拡大／縮小回路１０８に供給する。水平方向拡大／縮小回路１０８は、水平方向の補間処理を行うことで解像度変換を行って画像データ１０９を出力する。

ところで、年々入力画像の画素数は増加傾向にある。画素数の増加は１ラインを格納するためのメモリ容量の増加に直接影響してしまい、前記の方法では、容量の大きなメモリを搭載する必要がある。そこで、１画素毎のデータ量を削減してメモリに格納する方法が知られている。例えば、特許文献１では、入力画像の画素データＲＧＢを輝度信号と色差信号（ＹＣ_ｂＣ_ｒ）に変換し、２つの色差信号を交互に間引きしてメモリに格納する。これにより、１画素毎のデータ量が減り、メモリ容量を２／３にすることができる。

特開２００２−２１８４９０公報

特許文献１では、入力画像のデータをＲＧＢから例えばＹＣ_ｂＣ_ｒに変換し、間引きすることで、メモリに格納するデータを削減していた。その変換式を以下の式（３）に示す。Ｙは輝度信号を表し、Ｃ_ｂ、Ｃ_ｒは色差信号を表す。輝度信号Ｙと１画素毎にＢ−Ｙ信号かＲ−Ｙ信号をラインメモリに格納することで、メモリに格納する色差信号を半分としている。

しかしながら、この方法によると、色差信号が２画素に１度間引きされるため、間引かれた分の情報が欠落してしまう。そのため、画素間を滑らかな曲線で補間できたとしても、画質の劣化を引き起こしてしまう可能性がある。また、ＲＧＢからＹＣ_ｂＣ_ｒに変換する回路だけではなく、出力時にＹＣ_ｂＣ_ｒからＲＧＢに変換する回路が必要となり、回路量が増えてしまう。

本発明は前記課題を解決するためになされたものであり、その目的は、メモリ容量を削減しながら画質の劣化を抑えることのできる解像度変換装置及び解像度変換方法を提供することである。

前記課題を解決するために、本発明の実施形態に係る解像度変換装置は、入力された画像データを格納するラインバッファと、前記ラインバッファに格納された画素データを含む計３画素を参照して垂直方向の補間画素を生成する際、前記補間画素の上２画素と下１画素を参照する補間（上側の補間）と前記補間画素の上１画素と下２画素を参照する補間（下側の補間）とをフレーム毎に切り替える演算部とを備えることを特徴とする。

前記解像度変換装置において、前記演算部は、Ｌａｇｒａｎｇｅ補間を用いて画素Ｐ_ｉ２とＰ_ｉ３との間の補間画素Ｐｏを生成する際、前記画素Ｐ _ｉ２から前記補間画素Ｐｏの距離をｙとした場合、前記補間画素Ｐｏの上２画素Ｐ_ｉ１，Ｐ_ｉ２，及び前記補間画素Ｐｏの下１画素Ｐ_ｉ３を参照するＬａｇｒａｎｇｅ補間を式（４）に基づいて行い、前記補間画素Ｐｏの上１画素Ｐ_ｉ２，及び前記補間画素Ｐｏの下２画素Ｐ_ｉ３，Ｐ_ｉ４を参照するＬａｇｒａｎｇｅ補間を式（５）に基づいて行ってもよい。

前記解像度変換装置において、更に、前記演算部により生成された補間画素を用いて水平方向の補間処理を行う水平方向拡大／縮小部を備えてもよい。

前記課題を解決するために、本発明の実施形態に係る解像度変換方法は、入力された画像データをラインバッファに格納するステップと、前記ラインバッファに格納された画素データを含む計３画素を参照して垂直方向の補間画素を生成する際、前記補間画素の上２画素と下１画素を参照する補間と前記補間画素の上１画素と下２画素を参照する補間とをフレーム毎に切り替えるステップとを備えることを特徴とする。

本発明では、補間画素の上２画素と下１画素を参照する補間と補間画素の上１画素と下２画素を参照する補間とをフレーム毎に切り替えるようにしている。そのため、メモリ容量を削減しながら画質の劣化を抑えることのできる解像度変換装置及び解像度変換方法を提供することが可能である。

図１は、本発明の実施形態における解像度変換回路の構成図である。図２は、本発明の実施形態におけるＬａｇｒａｎｇｅ補間の説明図である。図３は、本発明の実施形態における上側のＬａｇｒａｎｇｅ補間の結果を示すグラフである。図４は、本発明の実施形態における下側のＬａｇｒａｎｇｅ補間の結果を示すグラフである。図５は、本発明の実施形態における最終的な補間の結果を示すグラフである。図６は、本発明の実施形態における解像度変換回路の動作を示すフローチャートである。図７は、本発明の実施形態における別の解像度変換回路の構成図である。図８は、従来のバイキュービック補間の説明図である。図９は、従来のバイキュービック補間の結果を示すグラフである。図１０は、従来の解像度変換回路の構成図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

図１は、本発明の実施形態における解像度変換回路２００の構成図である。この解像度変換回路２００は、解像度を変換する解像度変換装置の一例であって、図１に示すように、ラインバッファ２０２，２０３と、カウンタ２０４と、読み出し制御回路２０５と、重み係数生成回路２０６，２０７と、３画素畳み込み演算回路２０８と、水平方向拡大／縮小回路２０９とを備えている。以下、解像度変換回路２００に入力される画像データを「入力画像２０１」、解像度変換回路２００から出力される画像データを「出力画像２１０」という場合がある。

ラインバッファ２０２，２０３は、入力画像２０１を格納するメモリである。カウンタ２０４は、入力画像２０１のフレームの数をカウントする。読み出し制御回路２０５は、カウンタ２０４のカウント結果に基づいて、ラインバッファ２０２，２０３から画素データを読み出すタイミング（すなわち、３画素畳み込み演算回路２０８に画素データを供給するタイミング）を制御する。重み係数生成回路２０６，２０７は、３画素畳み込み演算回路２０８で用いる重み係数を生成する。３画素畳み込み演算回路２０８は、重み係数生成回路２０６，２０７により生成された重み係数を用いて３画素畳み込み演算を行い、垂直方向の補間画素を生成する。水平方向拡大／縮小回路２０９は、３画素畳み込み演算回路２０８により生成された補間画素を用いて水平方向の補間処理を行う。

本発明に至るまでの考え方について説明する。

従来技術に記述した通り、滑らかな曲線で補間したい場合、画素の上下２画素ずつ参照する必要がある。この参照画素を３画素に削減した場合、図２に示すように、Ｐ_ｉ２とＰ_ｉ３との間の補間画素Ｐｏを求めるには、参照画素としてＰ_ｉ１，Ｐ_ｉ２，Ｐ_ｉ３を使用する場合とＰ_ｉ２，Ｐ_ｉ３，Ｐ_ｉ４を使用する場合の２通りある。この２通りの補間についてＬａｇｒａｎｇｅ補間を用いて説明する。Ｌａｇｒａｎｇｅ補間は、３画素を参照して補間する方法の１つである。以下、参照画素としてＰ_ｉ１，Ｐ_ｉ２，Ｐ_ｉ３を使用する場合のＬａｇｒａｎｇｅ補間を「上側のＬａｇｒａｎｇｅ補間」と呼ぶ。また、参照画素としてＰ_ｉ２，Ｐ_ｉ３，Ｐ_ｉ４を使用する場合のＬａｇｒａｎｇｅ補間を「下側のＬａｇｒａｎｇｅ補間」と呼ぶ。上側のＬａｇｒａｎｇｅ補間と下側のＬａｇｒａｎｇｅ補間の式を式（４），式（５）に示す。

式（４）、式（５）を用いた場合のグラフを図３〜図５に示す。縦軸は画素値を示し、横軸は垂直方向の座標を示している。まず、上側のＬａｇｒａｎｇｅ補間によると、図３に示すように、垂直方向座標２〜５の間は滑らかな曲線になるが、垂直方向座標０〜１の間は直線になっている。また、垂直方向座標１〜２の間は滑らかな曲線になるが、垂直方向座標０〜１と１〜２の接続が滑らかではなく、１〜２と２〜３の接続が滑らかではない。次に、下側のＬａｇｒａｎｇｅ補間によると、図４に示すように、垂直方向座標０〜３の間は滑らかな曲線になるが、垂直方向座標４〜５の間は直線になっている。また、垂直方向座標３〜４の間は滑らかな曲線になるが、垂直方向座標２〜３と３〜４の接続が滑らかではなく、３〜４と４〜５の接続が滑らかでない。このように、３画素を参照して補間する場合は、どちらかに偏りが生じてしまうことがある。

ところで、人間の目の時間分解能は５０ｍｓ〜１００ｍｓと言われ、一般的に、モニタ上でチラつき（フリッカー）を感じる垂直同期周波数は６０Ｈｚ以下であるとされ、７０Ｈｚ〜８０Ｈｚ以上であるとほとんど気にならないとされている（フリッカーフリー）。つまり、フリッカーフリーのスピードで表示した場合、フレーム間の違いを目で追従できない。そこで、本実施形態では、入力画像２０１の各フレームの時間間隔が目で追従できないほど短い場合は、上側のＬａｇｒａｎｇｅ補間と下側のＬａｇｒａｎｇｅ補間をフレーム毎に切り替えるようにしている。これにより、図５に示すように、両者が混じり合い、滑らかにかつ両端のエッジの補間曲線が左右対称となる。

以下、図６を用いて、解像度変換回路２００の構成をその動作とともに説明する。

まず、解像度変換回路２００に入力された画像データ２０１はラインバッファ２０２に供給され、ラインバッファ２０２に溜められた画像データはラインバッファ２０３に供給される（ステップＳ１）。この時、カウンタ２０４はフレームの数をカウントし（ステップＳ２）、そのカウント結果（現フレームが奇数であるか偶数であるかを示す信号）を読み出し制御回路２０５、重み係数生成回路２０６，２０７、３画素畳み込み演算回路２０８に供給する。読み出し制御回路２０５は、対象となる３ライン分のうち２ライン分の画素データがラインバッファに溜まったら、入力画像２０１とラインバッファ２０２，２０３から同時に３画素分の画素データを３画素畳み込み演算回路２０８に供給する。具体的には、現フレームが奇数の場合は上側の３画素（Ｐ_ｉ１，Ｐ_ｉ２，Ｐ_ｉ３）を、現フレームが偶数の場合は下側の３画素（Ｐ_ｉ２，Ｐ_ｉ３，Ｐ_ｉ４）を３画素畳み込み演算回路２０８に供給するようになっている。それと同時に、現フレームが奇数の場合は重み係数生成回路２０６が重み係数（ｗ_ｏｄｄ１，ｗ_ｏｄｄ２，ｗ_ｏｄｄ３）を生成して３画素畳み込み演算回路２０８に供給する。一方、現フレームが偶数の場合は重み係数生成回路２０７が重み係数（ｗ_{ｅｖｅｎ１}，ｗ_{ｅｖｅｎ２}，ｗ_{ｅｖｅｎ３}）を生成して３画素畳み込み演算回路２０８に供給する。３画素畳み込み演算回路２０８は、上側の３画素（Ｐ_ｉ１，Ｐ_ｉ２，Ｐ_ｉ３）が供給された場合、すなわち現フレームが奇数の場合は、式（４）を用いて補間画素Ｐｏを生成し、生成した補間画素Ｐｏを水平方向拡大／縮小回路２０９に供給する（ステップＳ３→Ｓ４）。一方、下側の３画素（Ｐ_ｉ２，Ｐ_ｉ３，Ｐ_ｉ４）が供給された場合、すなわち現フレームが偶数の場合は、式（５）を用いて補間画素Ｐｏを生成し、生成した補間画素Ｐｏを水平方向拡大／縮小回路２０９に供給する（ステップＳ３→Ｓ５）。水平方向拡大／縮小回路２０９は、水平方向の補間処理を行うことで解像度変換を行って画像データ２１０を出力する（ステップＳ６）。以降も、上側のＬａｇｒａｎｇｅ補間と下側のＬａｇｒａｎｇｅ補間とをフレーム毎に切り替える処理を繰り返す。

以上のように、本発明の実施形態における解像度変換回路２００によれば、メモリ容量を削減しながら画質の劣化を抑えることができる。すなわち、参照画素を４画素から３画素に削減しているため、メモリ容量を削減することが可能である。また、このように参照画素を削減しても、上側のＬａｇｒａｎｇｅ補間と下側のＬａｇｒａｎｇｅ補間とをフレーム毎に切り替えるようにしているため、画質の劣化を抑えることが可能である。しかも、特許文献１のように入力データの変換を行わないので、回路量が増加するという問題も生じない。その結果、コストダウンを図ることが可能である。

なお、解像度変換では、入力時と出力時のクロック周波数が異なる場合、周波数差を吸収するためにラインバッファが１ライン以上必要となる。そのため、例えばバイキュービック補間では、図１０のラインバッファが４ラインとなってしまう。このような場合でも、本発明によれば、図７に示すように、３ラインのラインバッファ３０２，３０３，３０４で対応することが可能である。

また、本発明は、解像度変換回路（装置）２００として実現することができるだけでなく、このような解像度変換回路２００が備える特徴的な処理部をステップとする解像度変換方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

２００…解像度変換回路（解像度変換装置）
２０２，２０３…ラインバッファ
２０８…３画素畳み込み演算回路（演算部）
２０９…水平方向拡大／縮小回路（水平方向拡大／縮小部）

Claims

解像度を変換する解像度変換装置であって、
入力された画像データを格納するラインバッファと、
前記ラインバッファに格納された画素データを含む計３画素を参照して垂直方向の補間画素を生成する際、前記補間画素の上２画素と下１画素を参照する補間と前記補間画素の上１画素と下２画素を参照する補間とをフレーム毎に切り替える演算部と、
を備えることを特徴とする解像度変換装置。
前記演算部は、Ｌａｇｒａｎｇｅ補間を用いて画素Ｐ_ｉ２とＰ_ｉ３との間の補間画素Ｐｏを生成する際、前記画素Ｐ _ｉ２から前記補間画素Ｐｏの距離をｙとした場合、前記補間画素Ｐｏの上２画素Ｐ_ｉ１，Ｐ_ｉ２，及び前記補間画素Ｐｏの下１画素Ｐ_ｉ３を参照するＬａｇｒａｎｇｅ補間を式（４）に基づいて行い、前記補間画素Ｐｏの上１画素Ｐ_ｉ２，及び前記補間画素Ｐｏの下２画素Ｐ_ｉ３，Ｐ_ｉ４を参照するＬａｇｒａｎｇｅ補間を式（５）に基づいて行うことを特徴とする請求項１記載の解像度変換装置。
更に、前記演算部により生成された補間画素を用いて水平方向の補間処理を行う水平方向拡大／縮小部を備えることを特徴とする請求項１又は２記載の解像度変換装置。
解像度を変換する解像度変換方法であって、
入力された画像データをラインバッファに格納するステップと、
前記ラインバッファに格納された画素データを含む計３画素を参照して垂直方向の補間画素を生成する際、前記補間画素の上２画素と下１画素を参照する補間と前記補間画素の上１画素と下２画素を参照する補間とをフレーム毎に切り替えるステップと、
を備えることを特徴とする解像度変換方法。