JP4216830B2

JP4216830B2 - 映像処理装置及び方法並びにコンピュータが読出可能な記憶媒体

Info

Publication number: JP4216830B2
Application number: JP2005184162A
Authority: JP
Inventors: 起玄洪
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-06-23
Filing date: 2005-06-23
Publication date: 2009-01-28
Anticipated expiration: 2025-06-23
Also published as: KR20050122026A; CN1713268A; BRPI0502428A; US7756361B2; NL1029328C2; CN1713268B; NL1029328A1; KR100611179B1; US20050286804A1; JP2006014336A

Description

本発明は映像処理装置及び映像処理方法に関し、特に、映像信号のエッジ部分に対する特性を向上できる映像処理装置及び映像処理方法に関する。

一般に、映像表示装置は、既設定の解像度と異なる解像度を持つ映像が映像信号の提供源から入力される場合、入力される映像の解像度を既設定の解像度に適合するように変換すべきである。

映像表示装置に入力される映像の解像度が既設定の解像度と異なる場合、解像度の変換は、入力される映像信号を構成する画素数を増減して映像信号の解像度を拡大(Ｉｎｔｅｒｐｏｌａｔｉｏｎ、Ｕｐ-Ｓｃａｌｉｎｇ)又は縮小(Ｄｅｃｉｍａｔｉｏｎ、Ｄｏｗｎ-Ｓｃａｌｉｎｇ)する。このような映像処理をスケーリング又はフォーマット変換という。特に、映像表示装置は、既設定の解像度より低解像度の映像が入力される場合、入力される映像の解像度を垂直又は水平の方向に拡大するために所定の線形補間法を適用する。

線形補間法としては、バイリニア補間(Ｂｉ-ＬｉｎｅａｒＩｎｔｅｒｐｏｌａｔｉｏｎ)法、キュービックコンボリューション補間(ＣｕｂｉｃＣｏｎｖｏｌｕｔｉｏｎＩｎｔｅｒｐｏｌａｔｉｏｎ)法などがあり、バイリニア補間法及びキュービックコンボリューション補間法はＦＩＲ(ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ)フィルターを用いる補間であって、入力映像信号を周波数領域に変換した後、補間する位置に隣接した画素の加重値(Ｗｅｉｇｈｔｅｄ)を用いてフィルターリングする。これにより、拡大された最終補間データが出力される。例えば、バイリニア補間法は入力映像信号に対して図１Ａに示す２タブ(ｔａｂ)フィルターリングを適用して補間を行う。即ち、バイリニア補間法は補間する位置の周辺画素の２つを用いて補間を行う。

一方、キュービックコンボリューション補間法は、入力映像信号に対して図１Ｂに示す４タブフィルターリングを適用して補間を行う。即ち、キュービックコンボリューション補間法は補間する位置の周辺画素の４つを用いて補間を行う。しかし、従来の映像補間装置は、１つの補間法、即ち、既設定の１つのフィルターリングを適用して補間を行うことにより、映像信号の周波数領域毎に画質劣化が発生することがある。例えば、入力される映像信号に対してキュービックコンボリューション補間法を適用すれば、高周波成分のない部分では画質劣化が発生しないが、高周波成分の映像信号に対しては画質劣化が発生する。

大部分の映像表示装置では、キュービックコンボリューション補間法やシンク(ｓｉｎｃ)補間法のようなコンボリューションタイプの映像補間法が主に適用されており、両者を共に適用する場合もある。キュービックコンボリューション補間法及びシンク補間法を選択的に適用して映像を再生する場合、映像のエッジ部分で発生するにじみ(ｂｌｕｒｉｎｇ)現象を減少させにくいという問題がある。

キュービックコンボリューション補間法の場合、映像信号のエッジ領域でのリンギング(ｒｉｎｇｉｎｇ)現象の発生は少ないが、映像のエッジ部分でにじみ現象が発生する短所があり、シンク(ｓｉｎｃ)補間法の場合、低周波領域又は映像の変化の少ない領域では周波数特性が良いが、エッジ領域ではリンギングが発生する短所がある。図２はキュービックコンボリューション補間法による矩形波の応答特性を概念的に示すもので、矩形波Ａに対してキュービックコンボリューション補間の適用時、グラフＢに示すように、エッジ部分の波形がつぶれるにじみ現象の発生によりエッジ部分の画質が劣化し、矩形波Ａに対してシンク補間法を適用したグラフＣは、エッジ領域でリンギング現象が発生することが分かる。

これにより、映像信号に対してキュービックコンボリューション補間法とシンク補間法を選択的に適用する従来の映像再生装置では、映像の再生時、キュービックコンボリューション補間がエッジ部分に適用時に発生するにじみ現象を減少できる代案が必要になった。キュービックコンボリューション補間法を映像信号に適用時、映像のエッジ領域でにじみが発生し、これを減少させるために、シンク補間法の一つである８タップポリフェーズ補間法を適用して減少できるが、この場合、エッジ領域でリンギング現象が発生する。よって、本出願人は、シンク補間法を適用してにじみの発生を最小化しながら、映像信号のエッジ領域で発生するリングギング現象を減少できる映像処理装置を提供しようとする。

従って、本発明の目的は、シンク補間法を適用してエッジ領域でのにじみ現象を最小化しながら、映像信号のエッジ領域でのリングギング現象を減少できる映像処理装置を提供することにある。

前記目的を達成するために、本発明は、第１解像度の入力映像信号を所定の解像度変換比率に応じて第２解像度の出力映像信号に補間する映像処理装置において、前記入力映像信号の周波数変化量を検出して、前記入力映像信号に対応する周波数領域を判断する周波数検出部と、前記解像度変換比率に応じて前記入力映像信号に対する補間位置を算出する制御部と、算出された前記補間位置に対応する補間係数を持つ係数保存部と、前記係数保存部から提供される前記補間係数を入力されて前記入力映像信号を補間する補間フィルターと、前記周波数検出部から判断された周波数領域に対する情報に基づいて、前記補間フィルターから出力される前記入力映像信号に対する出力映像信号を補正する補間値補正部とを備える。

前記補間フィルターは、前記入力映像信号を所定時間遅延させた後に出力する複数個の遅延器と、前記複数個の遅延器から各々出力される前記入力映像信号と、前記係数保存部から出力される前記補間係数とを乗算して、複数個の補間データを出力する複数個の乗算器と、前記複数個の乗算器から出力される所定の個数の前記補間データを加算して、前記出力映像信号を生成する加算器とを備え、前記遅延器の中で少なくとも２つの乗算器から出力される補間値は前記補間値補正部に提供されることが好ましい。
前記少なくとも２つの乗算器から出力される補間値は、前記映像信号に対する輝度値であることが好ましい。

前記補間値補正部は、前記少なくとも２つの乗算器から出力される補間値と、前記補間フィルターの出力値との間の差を算出し、前記算出した差に加重値を乗算して前記補間値を補正することが好ましい。

前記補間値補正部は、前記補間フィルターの出力値が前記少なくとも２つの乗算器から出力される補間値より大きい場合、前記補間フィルターの出力値をアンダーシュート(ｕｎｄｅｒｓｈｏｏｔ)と判断する。

前記補間値補正部は、前記補間フィルターの出力値が前記少なくとも２つの乗算器から出力される補間値より小さい場合、前記補間フィルターの出力値をオーバーシュート(ｏｖｅｒｓｈｏｏｔ)と判断する。

前記加重値は０〜１の値であることが好ましい。

前記補間値補正部は、前記周波数検出部の検出結果に応じて、前記入力映像信号を高周波領域及び低周波領域の何れか一つと判断する。
前記補間値補正部は、前記入力映像信号が高周波領域と判断された場合、前記補間フィルターの出力値を出力映像信号として選択することが好ましい。

本発明に係る映像処理装置は、所定解像度の入力映像を異なる解像度に変換するとき、入力映像信号の周波数に応じて補間フィルターの出力値を補正することにより、オーバーシュート及びアンダーシュートの発生を緩和させる。

また、本発明に係る映像処理装置は、補間フィルターで生成される補間データと補間フィルターの出力値との間の差を算出し、前記算出された差に加重値を乗算して前記補間値を補正することにより、オーバーシュート及びアンダーシュートによる画質劣化を減少させる。

以下、添付の図面に基づき、本発明の好適な実施形態を詳細に説明する。
［実施例１］

図３は本発明の一実施形態による映像処理装置のブロック概念図である。
同図に示すように、本発明の一実施形態による映像処理装置は、周波数判別部２００、制御部３００、係数保存部４００、補間フィルター５００及び補間値補正部６００を持つ。

一般に、所定の補間法により画素数を増加させて解像度を拡大する装置は、スケーラ、フォーマット変換装置、映像拡大装置など多様に称することができるが、以下、本発明の実施形態では映像処理装置という。

制御部３００は、第１解像度を持つ入力映像信号を、既設定の解像度変換比率に応じて第２解像度を持つ出力映像信号にアップスケーリング又はダウンスケーリングを行う。即ち、制御部３００は、既設定の解像度変換比率に応じて入力映像信号と出力映像信号との大きさの比を判断し、判断結果に応じて係数保存部４００に既に保存されている係数を選択する。

係数保存部４００は、制御部３００によって選択された係数を補間フィルター５００に提供する。補間フィルター５００は８タブポリフェーズフィルターであることが好ましい。８タブポリフェーズフィルターは、８つの入力映像信号が補間に関与するフィルターリング方式であって、通常のフィルターリング方式の一つであるので、その詳細な説明は省略する。

補間フィルター５００は、複数個の遅延セル５００ａ〜５００ｇと乗算器５０１ａ〜５０１ｈとからなり、係数保存部４００から各乗算器に提供される係数と遅延セル５００ａ〜５００ｇの出力信号とを乗算し、これを合算して入力映像信号に対する出力映像信号を生成する。

周波数判別部２００は、順次入力される入力映像信号間の輝度レベルの増減を分析する。周波数判別部２００は、入力される入力映像信号の輝度値が急激に変化する回数に基づいて、入力映像信号を高周波領域及び低周波領域と判断する。例えば、周波数判別部２００に入力される入力映像信号がモザイクタイプの映像であれば、順次入力される入力映像信号の輝度レベルが複数回大きく変化することになり、周波数判別部２００はこのような入力映像信号を高周波領域の映像信号と判断する。これに対して、周波数判別部２００に入力される入力映像信号の変化が少い、或いは映像のエッジ部分であれば、輝度レベルの変化はほぼ発生しない。このような判別方法により、周波数判別部２００は、入力映像信号の分析結果に応じて入力映像信号が低周波領域の信号と判断する場合は論理“ハイ”レベルの制御信号（ＳＨ＿ＣＯＮＴＬ＿ＦＬＡＧ）を生成し、反対の場合は論理“ロー”レベルの制御信号(ＳＨ_ＣＯＮＴＬ_ＦＬＡＧ)を生成して、これを補間値補正部６００に提供する。ここで、周波数判別部２００が論理レベルに“ハイ”と“ロー”を用いた場合を例として説明しているが、これは本実施形態を容易に理解するためのもので、本発明はこれに限るものではない。

補間値補正部６００は、周波数判別部２００から出力される制御信号(ＳＨ_ＣＯＮＴＬ_ＦＬＡＧ)の値と、補間フィルター５００を構成する乗算器５０１ａ〜５０１ｈの中の二つ(例えば５０１ｄ〜５０１ｅ)から出力される補間データとを参照して、補間フィルター５００から出力される補間値（ＰＲＯＯＵＴ）を補正する。補間値（ＰＲＯＯＵＴ）の補正は下記の表１のような方法にて行われる。

前記表１は、周波数判別部２００から出力される制御信号が論理“ハイ”レベル即ち“ＯＮ”であれば、補間値補正部６００は、乗算器５０１ｄ、５０１ｅから出力される補間データ（即ち、Ｄ１、Ｄ２）の最大値と補間フィルター５００の出力値である補間値（ＰＲＯＯＵＴ）とを比較し、比較の結果、補間フィルター５００の出力値である補間値（ＰＲＯＯＵＴ）の方が大きいと、乗算器５０１ｄ、５０１ｅから出力された補間データＤ１、Ｄ２に加重値(Ｗ)を乗算した値と、補間フィルター５００の出力値である補間値（ＰＲＯＯＵＴ）に(１-Ｗ)の加重値を乗算した値との加算値を出力する。上述と反対の場合、補間値補正部６００は、乗算器５０１ｄ、５０１ｅから出力される補間データの最小値に加重値（Ｗ）を乗算した値と、補間フィルター５００の出力値である補間値（ＰＲＯＯＵＴ）に(１-Ｗ)の加重値を乗算した値との加算値を出力映像信号として生成する。

次に、前記表１を参照して、補間値補正部６００の動作に対する一例を後述する。

まず、Ｄ１、Ｄ２の値が各々輝度レベル１００、１１０であり、補間フィルター５００から出力される補間値の輝度レベルが１３０であり、加重値(Ｗ)が０.５であれば、Ｄ1、Ｄ２の値は補間フィルター５００の出力値に比べてオーバーシュート(ｏｖｅｒ-ｓｈｏｏｔ)状態なので、これを前記表１に示すように計算すれば、Ｄ1、Ｄ２の値の最大値であるＤ２の輝度値１１０を加重値０.５と乗算した値と、加重値(１-Ｗ)を補間フィルター５００の出力値と乗算した値との加算値が得られる。これを数式で示すと、次の通りである。

即ち、補間フィルター５００の出力値である補間値（ＰＲＯＯＵＴ）を下げてオーバーシュート状態を緩和させる。ここで、補間フィルター５００の出力値と補間データは輝度値を例示した。

反対に、Ｄ１、Ｄ２の値が各々輝度レベル１４０、１３０であり、補間フィルターから出力される補間値の輝度レベルが１２０であり、加重値(Ｗ)が０.５であれば、Ｄ1、Ｄ２の値は補間フィルター５００の出力値に比べてアンダーシュート(ｕｎｄｅｒ-ｓｈｏｏｔ)状態なので、これを前記表１に示すように計算すれば、Ｄ1、Ｄ２値の最小値であるＤ２の輝度値１３０を加重値０.５と乗算した値と、加重値(１-Ｗ)を補間フィルター５００の出力値と乗算した値との加算値が得られる。これを数式で示すと、次の通りである。

即ち、補間フィルター５００の出力値を上げてアンダーシュート状態を緩和させる。

図４は、図３の制御部３００から算出された補間位置によって補間係数を生成する方法を説明するための図である。

図４を参照すれば、８タブカーネルは８つの入力映像信号が補間に関与する。また、複数の補間位置が(ｐ-４)、(ｐ-３)、(ｐ-２)、(ｐ-１)、(ｐ)、(ｐ+１)、(ｐ+２)及び(ｐ+３)の場合、最終補間データを得るために必要な複数の補間係数はｆ(ｐ-４)、ｆ(ｐ-３)、ｆ(ｐ-２)、ｆ(ｐ-１)、ｆ(ｐ)、ｆ(ｐ+１)、ｆ(ｐ+２)及びｆ(ｐ+３)である。ここで、ｐは各タブ間での相対的位置値である。

このような補間係数は８タブカーネルにより予め算出されて係数保存部４００に保存される。例えば、各タブ間の間隔を３２区間に分割する場合、タブ間で補間位置は０、１/３２、２/３２、３/３２、…、３１/３２、１等の相対的位置値を持ち、各補間位置に対応する垂直及び水平の補間係数が予め計算されて係数保存部４００に保存される。一方、各タブ間の間隔は１６区間、６４区間等の他の区間にも分割可能である。このような解像度変化比率に応じた補間位置及び各補間位置に対するフィルター係数の算出は、公知の技術であるので、当業者であれば誰でも分かる。よって、その詳細な説明は省略する。

従来の２タブフィルターリングを適用して入力映像信号に対する補間を行う過程を説明するための図である。従来の４タブフィルターリングを適用して入力映像信号に対する補間を行う過程を説明するための図である。キュービックコンボリューション補間法による矩形波の応答特性を示すグラフである。本発明の好適な一実施形態による映像処理装置のブロック概念図である。図３の制御部から算出された補間位置によって補間係数を生成する方法を説明するための図である。

符号の説明

２００周波数判別部
３００制御部
４００係数保存部
５００補間フィルター
５００ａ〜５００ｇ遅延セル
５０１ａ〜５０１ｈ乗算器
６００補間値補正部

Claims

第１解像度の入力映像信号を所定の解像度変換比率に応じて第２解像度の出力映像信号に補間する映像処理装置において、
前記入力映像信号の周波数変化量を検出して、前記入力映像信号に対応する周波数領域を判断する周波数判別部と、
前記解像度変換比率に応じて前記入力映像信号に対する補間位置を算出する制御部と、
算出された前記補間位置に対応する補間係数を持つ係数保存部と、
前記係数保存部から提供される前記補間係数を入力されて前記入力映像信号を補間する補間フィルターと、
前記周波数判別部から判断された周波数領域に対する情報に基づいて、前記補間フィルターから出力される前記入力映像信号に対する出力映像信号を補正する補間値補正部と、を備え、
前記補間フィルターは、
前記入力映像信号を所定時間遅延させた後に出力する複数個の遅延器と、
前記複数個の遅延器から各々出力される前記入力映像信号と、前記係数保存部から出力される前記補間係数とを乗算して、複数個の補間データを出力する複数個の乗算器と、
前記複数個の乗算器から出力される所定の個数の前記補間データを加算して、前記出力映像信号を生成する加算器と
を備え、
前記乗算器の中で少なくとも２つの乗算器から出力される補間値は前記補間値補正部に提供され、
前記補間値補正部は、前記少なくとも２つの乗算器から出力される補間値と、前記補間フィルターの出力値との間の差を算出し、前記算出した差に加重値を乗算して前記補間値を補正することを特徴とする映像処理装置。
前記周波数変化量は、入力映像信号の輝度値が急激に変化する回数である請求項１に記載の映像処理装置。
前記少なくとも２つの乗算器から出力される補間値は、前記映像信号に対する輝度値であることを特徴とする請求項１に記載の映像処理装置。
前記補間値補正部は、前記補間フィルターの出力値が前記少なくとも２つの乗算器から出力される補間値より大きい場合、前記補間フィルターの出力値をアンダーシュート(ｕｎｄｅｒｓｈｏｏｔ)と判断することを特徴とする請求項１に記載の映像処理装置。
前記補間値補正部は、前記補間フィルターの出力値が前記少なくとも２つの乗算器から出力される補間値より小さい場合、前記補間フィルターの出力値をオーバーシュート(ｏｖｅｒｓｈｏｏｔ)と判断することを特徴とする請求項１に記載の映像処理装置。
前記加重値は、０〜１の値であることを特徴とする請求項１に記載の映像処理装置。
前記補間値補正部は、前記周波数判別部の検出結果に応じて、前記入力映像信号を高周波領域及び低周波領域の何れか一つと判断することを特徴とする請求項１に記載の映像処理装置。
前記補間値補正部は、前記入力映像信号が高周波領域と判断された場合、前記補間フィルターの出力値を出力映像信号として選択することを特徴とする請求項７に記載の映像処理装置。
入力映像信号を補間するための映像処理装置において、
複数の前記入力映像信号の部分が補間出力される出力映像信号を決定する補間部と、
前記入力映像信号が低周波領域にある場合、前記出力映像信号の輝度値が少なくとも１つの選択された補間の輝度値より小さいと、前記補間部から受信される前記出力映像信号の輝度値を増加させて前記出力映像信号の輝度値を調整し、前記出力映像信号の輝度値が少なくとも一つの選択された補間の輝度値より大きいと、前記補間部から受信される前記出力映像信号の輝度値を減少させて前記出力映像信号の輝度値を調整する補間値補正部と、
を備えることを特徴とする映像処理装置。
前記入力映像信号が低周波領域にある場合とは、前記映像信号の変化が少ない、或いは映像のエッジ部分である場合である請求項９に記載の映像処理装置。
映像ディスプレイ装置の既設定の解像度と一致する解像度を持つように、入力映像信号を調整する映像処理装置において、
前記入力映像信号の周波数変化量を検出して、前記入力映像信号に対応する周波数領域を判断する周波数判別部と、
前記入力映像信号の複数部分を受信し、複数の対応する補間係数に応じて前記入力映像信号の複数部分を補間し、出力映像信号の値を含む第１出力を出力し、前記入力映像信号の複数の補間部分から選択される少なくとも１つの補間値を含む第２出力を出力する補間部と、
前記周波数判別部から判断された周波数領域に対する情報と前記第１出力と前記第２出力を受信し、前記第１出力と前記第２出力を比較してオーバーシュート又はアンダーシュート補償のために、前記第１出力の調整の可否を決定する調整部と、
を備えることを特徴とする映像処理装置。
入力映像信号を処理する方法において、
前記入力映像信号の複数部分を補間して出力映像信号を決定する段階と、
前記入力映像信号が低周波領域にある場合、前記出力映像信号の輝度値が少なくとも１つの選択された補間の輝度値より小さいと、前記補間部から受信される前記出力映像信号の輝度値を増加させて前記出力映像信号の輝度値を調整し、前記出力映像信号の輝度値が少なくとも一つの選択された補間の輝度値より大きいと、前記補間部から受信される前記出力映像信号の輝度値を減少させて前記出力映像信号の輝度値を調整する段階と、
を含むことを特徴とする映像処理方法。
前記入力映像信号が低周波領域にある場合とは、前記映像信号の変化が少ない、或いは映像のエッジ部分である場合である請求項１２に記載の映像処理方法。
映像ディスプレイ装置の既設定の解像度と一致する解像度を持つように、入力映像信号を調整する実行コードを備えるコンピュータが読出可能な記憶媒体において、
前記入力映像信号の周波数変化量を検出して、前記入力映像信号に対応する周波数領域を判断する第１実行コードと、
前記入力映像信号の複数部分を受信し、複数の対応する補間係数に応じて前記入力映像信号の複数部分を補間し、出力映像信号の値を含む第１出力を出力し、前記入力映像信号の複数の補間部分から選択された少なくとも一つの補間値を含む第２出力を出力する第２実行コードと、
周波数領域に対する情報と前記第１出力と前記第２出力を受信し、前記第１出力と前記第２出力を比較してオーバーシュート又はアンダーシュート補償のために、前記第１出力の調整の可否を決定する第３実行コードと、
を備えることを特徴とするコンピュータが読出可能な記憶媒体。