JP4098319B2 - 解像度変換方法および解像度変換装置 - Google Patents

解像度変換方法および解像度変換装置 Download PDF

Info

Publication number
JP4098319B2
JP4098319B2 JP2005234907A JP2005234907A JP4098319B2 JP 4098319 B2 JP4098319 B2 JP 4098319B2 JP 2005234907 A JP2005234907 A JP 2005234907A JP 2005234907 A JP2005234907 A JP 2005234907A JP 4098319 B2 JP4098319 B2 JP 4098319B2
Authority
JP
Japan
Prior art keywords
interpolation
edge
resolution conversion
value
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005234907A
Other languages
English (en)
Other versions
JP2006054899A (ja
Inventor
晧 榮 李
昌 容 金
斗 植 朴
性 ▼徳▲ 李
ルーキン アレッセイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2006054899A publication Critical patent/JP2006054899A/ja
Application granted granted Critical
Publication of JP4098319B2 publication Critical patent/JP4098319B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G06T5/75—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は解像度変換方法および装置に関し、より詳細には画質劣化要因の発生を防ぎながら入力映像を所望の大きさの解像度を有する出力映像に変換する解像度変換方法および解像度変換装置に関する。
ＬＣＤ(Liquid Crystal Display)などのデジタルディスプレイ装置はＣＲＴ(Cathode Ray Tube)のようなアナログディスプレイ装置とは異なり、画面解像度が製品によって固定されている。そのため、多様な解像度を有する入力映像をディスプレイ装置の画面解像度に合わせて変換することが必須である。特に、ＨＤＴＶ (High Definition Television)の出現によって、既存のＳＤ(Standard Definition)級の解像度の映像をＨＤ(High Definition)級のＴＶシステムに表示するための解像度変換に対する必要性が高まっている。
ところが、このような解像度変換に使われる従来の方法は、人間の視覚による画質認識において大切である、映像のエッジ付近で多くの画質劣化(artifact)を発生させてしまう。代表的な画質劣化現象としては、解像度変換後の映像でエッジ付近にノコギリ歯状のパターンを生み出すジャギング(jagging)、解像度変換による鮮明度低下を発生させるブラーリング(blurring)、それからフィルタ特性の低下によるエッジ近傍のリンギング(ringing)、およびエイリアシング(aliasing)現象などが挙げられる。
一方、解像度変換に関連した従来の技術は、線形フィルタリング技術を用いた方法と、非線形フィルタリング技術を用いた方法とに大別される。すなわち、特許文献１〜３などが開示する方法は、バイリニア(bilinear)およびキュービック(cubic)補間のような線形フィルタリング技法を用いて解像度変換を行なう。ところが、この方法は解像度拡大プロセスにおいて、入力映像の高周波成分の不十分な再現によって鮮明度が劣化して、出力映像の画質が低下するという問題点を抱えている。このような問題点を補うために、特許文献３には低い解像度信号に対してピーキング(peaking)を適用してポテンシャルエッジ画素を識別し、ピーキングされた映像信号に対してアップコンバージョンを行なった後、エッジ画素検出、エッジリンキング(edge linking)、それから輝度トランジション向上(Luminance Transient Improvement)を順次行なって高鮮明映像信号を出力する方法を開示している。しかし、この方法はスケーリングプロセスにおいて既存の線形フィルタを用い、フィルタリング前後に前処理および後処理技法でピーキングおよび輝度トランジション向上機能を適用してディテールおよび鮮明度を向上させるため、膨大な演算量と複雑なハードウェア構造を必要として、その性能の向上には限界がある。
これに対して、特許文献４および５などが開示する非線形フィルタリング技術を用いた方法は、方向性補間技法(directional interpolation)とコンテンツベース補間(content-based interpolation)方法に分けられる。方向性補間技法の場合、映像のエッジ情報を用いてエッジ方向に平行な方向にだけ補間を行なってエッジ成分のブラーリングを防止する方法である。一方、コンテンツベース方法は予め学習プロセス(learning process)を通じて最適化したスケーリングフィルタ係数を求めた後、入力映像の局部的な特性によって学習されたフィルタ係数を選択して解像度変換を行なう方法である。しかし、このような方法は映像のエッジ部分では割合に良好な結果を示すが、細密なテクスチャが多い複雑な領域(finde textured region)の場合に画質が劣化する短所を有する。
米国特許第５，８８９，８９５明細書 米国特許第５，６７１，２９８明細書 米国特許出願公開第２００２/０１４０８５４明細書 米国特許第５，８５２，４７０明細書 米国特許第５，４４６，８０４明細書
本発明は前記した従来技術の問題点を解決するために創案されたもので、その目的は画質劣化要因の発生を除去しつつ、入力映像を所望の大きさの解像度を有する出力映像に変換する解像度変換方法および解像度変換装置を提供することである。
前記の目的を達成するための本発明に係る解像度変換方法は、入力映像にエッジ方向性補間を行なって中間結果映像を算出する段階と、前記中間結果映像に対してサンプリング率を変換して所定解像度の出力映像を算出する段階と、算出された前記出力映像に対して鮮明度を向上させる段階とを含む。
前記エッジ方向性補間段階は、前記入力映像の画素絶対差を用いてエッジ方向性を推定する段階と、推定された前記エッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定する段階と、前記エッジ方向および前記補間係数を使ってエッジ方向性補間値を算出する段階と、前記エッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出する段階とを含む。
この際、前記エッジ方向性は、２つの対角線方向と４つの非対角線方向に対して推定され、前記所定の線形補間法としてはバイキュービック補間法を使用することができる。
望ましくは、補間領域が空間周波数の高い領域であるか否かを判断して、空間周波数が高い領域である場合は前記所定の線形補間法による補間値を使って最終補間値を算出する段階をさらに含み、前記空間周波数が高い領域なのか否かは、前記補間領域内の平均遷移局部分散を用いて判断することがエラーの低減を可能とする。
また、前記出力映像を算出する段階は、前記入力映像の解像度と前記所定解像度により算出されたアップサンプリングとダウンサンプリングの比と、設定されたサイドローブ個数を乗算してフィルタタブ数を算出する段階と、ウィンドウ関数をシンク(sinc)関数に乗算して前記フィルタタブ数ほどの１次フィルタ係数を算出する段階と、前記１次フィルタ係数においてガウス関数とウィンドウ関数の乗算した値を用いて最終フィルタ係数を算出する段階と、前記中間結果映像のサンプリング率を変換させ前記最終フィルタ係数によって水平および垂直方向にフィルタリングをそれぞれ行なって、前記所定の解像度の出力映像を算出する段階とを含む。
この場合、前記フィルタタブ数は以下の式によって算出されることができる。
式中、Ｌはフィルタ長さ、nLobesはサイドローブの個数、ＵとＤは最適化したアップサンプリングとダウンサンプリングの比、SmoothingAmountはフィルタのカットオフ周波数を可変させる定数を示す。
前記１次フィルタ係数は以下の式によって算出されることが可能である。
式中、sin(x)/xは理想的な低周波帯域通過関数、Kaiser(i、β)はカイザーウィンドウ関数、Ｌはフィルタ長さ、Lobesはサイドローブ、ｉはアーギュメントスケーリング定数である。
前記鮮明度を向上させる段階は、重なった所定大きさのブロック内で２つの代表カラーを選定する段階と、選定された前記代表カラー間のコントラストを増加させる段階と、エッジ領域に存在する画素値を前記コントラストが増加された２つの代表カラーのうち近接した代表カラーに遷移させる段階と、ブロック不連続性除去のためにハニングウィンドウを用いて前記重なったブロックの結果値を加算して最終結果画素値を算出する段階とを含む。
この際、前記代表カラーのコントラストは、入力画素と前記２つの代表カラー間の距離および内積を通じて適応的に増加することができ、前記２つの代表カラーはＫミーンズ（K-means）アルゴリズムにより選定することができる。
一方、本発明に係る解像度変換装置は、入力映像にエッジ方向性補間を行なって中間結果映像を算出するエッジ方向性補間部と、前記中間結果映像に対してサンプリング率を変換して所定解像度の出力映像を算出する線形フィルタリング部と、算出された前記出力映像に対して鮮明度を向上させる鮮明度向上部とを備える。
前記エッジ方向性補間部は、前記入力映像の画素絶対差を用いてエッジ方向性を推定し、推定された前記エッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定し、前記エッジ方向および前記補間係数を使って算出したエッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出することが望ましい。
この際、前記エッジ方向性は、２つの対角線方向と４つの非対角線方向に対して推定され、前記所定の線形補間法としてはバイキュービック補間法を使用することができる。
前記エッジ方向性補間部は、補間領域が空間周波数の高い領域の場合は前記所定の線形補間法による補間値を使って最終補間値を算出し、前記空間周波数が高い領域なのか否かは、前記補間領域内の平均遷移局部分散を用いて判断することが可能である。
前記鮮明度向上部は、重なった所定大きさのブロック内で２つの代表カラーを選定してコントラストを増加させ、エッジ領域に存在する画素値を前記コントラストが増加した２つの代表カラーのうち近接した代表カラーに遷移させ、ブロック不連続性除去のためにハニングウィンドウを用いて前記重なったブロックの結果値を加算して最終結果映像を算出する。
この際、前記代表カラーのコントラストの増加は、入力画素と前記２つの代表カラー間距離および内積を通じて適応的に増加し、前記２つの代表カラーはＫミーンズアルゴリズムにより選定されることが望ましい。
補間領域が高周波領域であるか否かを判断する段階において、前記補間領域が高周波領域でない場合は、エッジ方向性補間法および所定の線形補間法を使って補間する段階を含むのが望ましい。
前記補間領域が高周波領域の場合は、前記所定の線形補間法だけを使って補間する段階を含む。
前記所定の線形補間法はバイキュービック(bi-cubic)補間法であることが望ましい。
以上のように、本発明によれば従来の解像度変換方法を使用する場合に発生する恐れのある画質劣化の要因であるジャギング(jagging)、リンギング(ringing)などの鮮明度低下の問題を解決することができる。また、線形フィルタリング部で使われるＦＩＲフィルタ設計技術の場合、適用分野やユーザの好みによって空間領域上でフィルタ設計パラメータを変更して容易にフィルタを設計できる長所を有する。そして、エッジ方向性補間フィルタはエッジ方向性推定が簡単で、かつ、一般的な非線形フィルタが有するエイリアシング(aliasing)特性低下の問題を入力映像の分類を通じて簡単な４タブキュービック(bicubic)補間結果と適応的にブレンディング(blending)してアンチエイリアシング(anti-aliasing)特性を向上させながらもエッジでジャギング現象を最小化することができる。特に、鮮明度向上部は解像度変換映像に残されているリンギングを効率よく除去して簡単なアンシャープマスク(unsharp mask)の適用を通じても効果的に解像度変換映像の鮮明度を向上させられるのみならず、独立して既存に使用されるディテール向上(detail enhancer)方法を置き換えられる。
以下、添付した図面に示すように本発明の１実施形態を詳述する。
図１は本発明の１実施形態による解像度変換装置のブロック図である。
図１を参照して説明すると、解像度変換装置は、エッジ方向性補間部１００と、線形フィルタリング部２００と、鮮明度向上部３００とを備える。
エッジ方向性補間部１００は、入力映像に対してエッジ方向性補間法を適用して水平方向および垂直方向に解像度をそれぞれ２倍に拡大し、解像度変換プロセスから発生するジャギングが除去された中間結果映像を生成する。線形フィルタリング部２００は目標解像度と一致する出力映像を生成するため、エッジ方向性補間部１００から出力される中間結果映像に対して線形ＦＩＲフィルタリングを行なってサンプリング率を可変し、このプロセスを通じてリンギング、エイリアシング等の発生が最小化した目標解像度と同一の解像度を有する出力映像を生成する。そして、鮮明度向上部３００は、エッジ方向性補間部１００および線形フィルタリング部２００における解像度変換プロセスから発生する鮮明度の低下を補って最終出力映像を生成する。
前記の構成の解像度変換装置に対して、以下ではエッジ方向性補間部１００、線形フィルタリング部２００、および鮮明度向上部３００のそれぞれについてさらに詳述する。
図２は、図１の解像度変換装置においてエッジ方向性補間部１００の補間によって生成される補間された画素を説明するための図である。
図２を参照して説明すると、エッジ方向性補間部１００によるエッジ方向性補間は１次補間および２次補間の２段階で行なわれ、１次補間では奇数ラインおよび奇数カラム位置でエッジ方向性補間を通じて補間画素(Interpolated Pixel)を生成し、２次補間では再びエッジ方向性補間を通じて残りの補間画素を生成する。１次補間と２次補間は単に参照される原画素(Original Pixel)の位置が変更されるだけであり、同様な方式のエッジ方向性補間により補間画素が生成される。
図３は、図１の解像度変換装置においてエッジ方向性補間部１００の動作方法の説明するためのフローチャートである。
図３を参照して説明すると、エッジ方向性補間部１００は、まず補間係数およびエッジ方向性を決定し(Ｓ４００)、決定された補間係数およびエッジ方向性によってエッジ方向性補間を行なってエッジ方向性補間値を算出する(Ｓ４０５)。エッジ方向性補間部１００で行なわれるエッジ方向性補間は、図４Ａに示す２つの対角線(diagonal)方向と、図４Ｂに示す４方向の非対角線(non-diagonal)方向で構成される総６方向に対してエッジ方向性を推定する。
エッジ方向性補間部１００は、後記するプロセスによって決定されたエッジ方向性および補間係数により、以下の対角線方向補間(YEDI-Diag)および非対角線方向補間(YEDI-NonDiag)のいずれか１つによってエッジ方向性補間値を算出する。
エッジ方向性補間部１００は（数５）の対角線方向補間と、（数６）の非対角線方向補間のうちいずれか１つを使用するため、（数５）および（数６）において各方向性補間係数(α1)の和はそれぞれ１とする。
エッジ方向性補間に使われる補間係数の決定は入力映像の各画素のＲＧＢ信号に対して（数７）のように輝度信号を求めた後、求められた輝度信号を基にして補間係数を決定し、決定した補間係数は同一空間位置のＲ、Ｇ、Ｂ各画素に対して同一値を適用する。
まず、対角線方向の補間係数は、対角線方向に位置する入力映像の原画素間の絶対差値(Absolute Difference)を用いて決定する。対角線方向補間係数(α0、α1、α2、α3)の決定に使われる入力画素間の絶対差値は、図５Ａおよび図５Ｂに示した通りであり、示された矢印は２つの画素間の絶対差値を示す。補間係数の決定は−４５°および４５°方向に存在する画素間の絶対差値の和は以下の数式のように決定され、最終エッジ方向性の推定は算出されたＤｉｒ0とＤｉｒ1とを比較して最小値を有する方向にエッジ方向性が推定される。
Ｄｉｒ0と Ｄｉｒ1の大小比較を通じた４つの対角線方向補間係数(α0、α1、α2、α3)の決定は以下の（数１０）ないし（数１１）を使って決定する。すなわち、２つの対角線方向の絶対差値の和が０なら、エッジが存在しない平坦な画素として見なし、以下の（数１０）のようにすべての補間係数の値を０．２５として決定する。
２つの対角線方向の絶対差値の和が０でなく、−４５°方向の絶対差値が小さい場合は４５°方向の絶対差値との大小比較を通じて、以下の（数１１）のように補間係数を決定する。
４５°方向の絶対差値が小さい場合は−４５°方向と同様な方法で、以下の（数１２）のように補間係数を決定する。
非対角線方向補間係数の決定は、参照画素の位置が違うだけで対角線方向の補間係数決定と同一の方法を適用し、非対角線方向のエッジ方向性決定に使われる画素群は、図５Ｃないし図５Ｆの通りである。まず、４つの方向絶対差値の平均値が０の場合は平坦な領域と見なして、以下の（数１３）のように８つの画素の補間係数をすべて０．１２５に決定する。
一方、非対角線４方向(Ｄｉｒ2〜 Ｄｉｒ5)のうち最小値を有する方向に存在する２つの画素に対してだけ補間係数を０．５に設定し、残りはすべて０に設定して補間係数を決定するようになるが、以下の（数１４）はＤｉｒ2方向が最小値の場合の補間係数決定の例を示す。
現在の補間画素位置、すなわち補間される画素における最終エッジ方向性補間値の決定は、各エッジ方向の補間係数決定に使用された絶対差値の最大、最小および平均値を用いて以下の数式のように決定され、これにより（数５）および（数６）のいずれか１つを使ってエッジ方向性補間値を算出する。
次の段階において空間周波数が高い領域であるか否かを判断して(Ｓ４１０)、空間的周波数が高い領域でなければ（Ｓ４１６で「Ｎｏ」）、エッジ方向性補間値とバイキュービック補間値とをブレンディングして最終補間値を算出する(Ｓ４１５)。すなわち、エッジ方向性補間法を使用する場合、一般的にエッジ方向性が支配的(dominant)な場合にエッジでジャギングが除去された優れた補間結果が得られるが、テクスチャ(texture)領域のように支配的な方向性がない(Non-dominant)場合には逆に補間結果に悪影響を及ぼす。従って、このような領域に対してはバイキュービック(biCubic)のような線形補間技法を使用することが画質の面では良好な結果を示す。従って、空間周波数が高い領域でない場合、最終方向性補間値とバイキュービック補間値をブレンディング(blending)して前記した画質劣化を防止する(Ｓ４１０、Ｓ４１５)。これを以下に数式で示す。
式中、fBlendはブレンディングの程度を決定する値であって、０≦fBlend≦１の値を有する。fBlendの決定はエッジ方向決定プロセスで求めたＤｉｒ0〜 Ｄｉｒ5の絶対値の差を用いて、最終エッジ方向性が対角線方向の場合は以下の（数１８）のように、非対角線方向の場合は（数１９）のようにfblend定数を決定する。
すなわち、最終エッジ方向性を決定する最小絶対差値の和が、異なる方向性を示す絶対差値の和より相対的に大きい場合は、著しいエッジ方向性を示す領域であるため、fBlendの値を増加させてエッジ方向性補間値を最終補間結果値に対する反映の程度を高めてエッジでジャギングの除去を行う。
ところが、このようなブレンディング方法はほとんどの映像で優れた結果を示すが、単位面積当りに強いエッジ成分の数が多数存在する。すなわち空間周波数が最も高い領域では、ほとんどの最小絶対値差を基にするエッジ方向性補間法は、エッジ方向性推定においてエラーが生ずる可能性が高い。線形技法のブレンディングだけではエッジ方向性補間法による画質の劣化を防ぐには限界が存在する。
このような劣化を防ぐため、推定されるエッジ方向性の個数を増大させる方法があるが、エッジ間隔が密接し過ぎることから周りの画素との最小絶対差値を用いたエッジ方向性推定の正確度が低下するため、その効果は演算量の増加に比べて少ない。従って、エッジ方向性補間部１００は空間周波数が高い領域を検出して高周波領域に分類された画素の場合は強制的に４タブバイキュービック補間の結果を適用(fblend=０)する(Ｓ４１０、Ｓ４２０)。
そして、一般的に高い空間周波数を検出するために分散(variance)を用いるが、分散情報それ自体が人間視覚特性と一致しないだけでなく、正確な空間周波数に対する情報を与えない短所を有する。従って、エッジ方向性補間法による画質劣化が発生する領域である空間周波数が高い領域の検出に使用されるにはその正確性が劣化してしまう。図６は、同一の分散値５６２５を有し、かつ異なる空間周波数を有する４つのブロックを示す。図６に示すように、分散値が同一であっても異なる空間周波数を有する場合もある。このような問題点を改善するため、エッジ方向性補間部１００はブロック内画素それぞれを考慮せず、次の（数２０）のように各画素の周りの隣接画素の平均値との差分を用いて分散を求めて、空間周波数が高い領域であるか否かを判断する。このような平均遷移を考慮した平均局部分散(Mean-deviated Local Variance)を考慮する場合にブロック内画素値変化分布を正確に表現できる長所を有する。
（数２０）を用いて、図６のように人間の視覚が感じる空間周波数が異なる４つのブロックに対して平均遷移局部分散を求めると、(ａ)３９５．５、(ｂ)１１８６．５、(ｃ)２７６８．５、(ｄ)１２６５６．５をそれぞれ示して空間周波数が高いほどその値が増加することが分かる。従って、エッジ方向性補間部１００は平均遷移局部分散を適用してその値がスレショルド値以上の場合は空間周波数が高い領域として見なして、強制的にバイキュービック補間法を適用させて、空間周波数が極めて高い領域におけるエッジ方向性補間による画質劣化を防止する。
エッジ方向性補間部１００で１次補間が完了すると、再び２次補間を行なう(Ｓ４２５)。２次補間の場合は前記したエッジ方向性補間法をそのまま適用し、相違点は図７に示すように、参照する画素を時計回りに４５°回転させる。
線形フィルタリング部２００は、エッジ方向性補間部１００によるエッジ方向性補間を行ない、次いで、サンプリング率変換プロセスを行って、エッジでジャギングが最小化された中間結果映像に対して目標解像度を有する出力映像を得る。
図８は、一般的なサンプリング率変換プロセスを説明するための図である。第１段階にアップサンプリングを通じてＬ倍だけサンプル数が増加した中間変換映像を得た後、第２段階として目標解像度を有する出力映像獲得のためのダウンサンプリングプロセスで入力映像サンプリング率のＬ/Ｍ倍された出力サンプルを得る。解像度変換のためのサンプリング率変換、すなわちリサンプリング(resampling)システムの性能は低域通過フィルタにより一般的に決定され、サンプリング率変換器の性能向上のためのＦＩＲフィルタ設計の設計方法としては多様な技法が存在するが、線形フィルタリング部２００はフィルタ特性決定に容易なウィンドウ技術(windowing technique)を用い、これについて数式で表わせば以下の通りである。
式中、ｈ(ｎ)は最終設計されたフィルタのインパルス応答(impulse response)、ｈd(ｎ)は理想的なフィルタのインパルス応答、それからｓｗ(ｎ)はウィンドウ関数をそれぞれ示す。
ウィンドウフィルタは、理想的なインパルス応答が時間領域で±∞まで存在するため、実際には実現できない。そのため、有限長のウィンドウ関数(window function)を掛けて、切断された有限長のインパルス応答を求める。時間領域における積は周波数領域におけるコンボルーション(convolution)になるため、設計しようとするフィルタの伝達関数は理想的な低域通過フィルタの周波数応答とウィンドウ関数のフーリエ変換された値のコンボルーションになる。以上のような方法で得られる最終設計フィルタの遷移帯域（transition bandwidth）の幅はウィンドウ関数のフーリエ変換スペクトルのメインローブ(main-lobe)の幅によって決定され、通過帯域(pass band)と停止帯域(stop band)のリップル(ripple)はウィンドウ関数のサブローブ、すなわちサイドローブの大きさ(magnitude)により決定される。ウィンドウ方法に使われるウィンドウ関数として多様なウィンドウ関数が存在するが、線形フィルタリング部２００ではサイドローブの大きさの調節に容易な以下の数式のようなカイザーウィンドウを使用する。
式中、Ｍはフィルタ次数（Filter Order）であって、パラメータｄ＝Ｍ／２を決定づける。βはウィンドウスペース、Ｉ0は０次変形ベッセル関数（modified zero-order bessel function）をそれぞれ示す。 解像度変換のための理想的なフィルタは通過帯域で平坦な応答と高い停止帯域減衰特性を有し、フィルタのインパルス応答が可能な小さい数のサイドローブを有しながら、サイドローブの振幅が低くて映像におけるリンギング発生を抑えることが理想的であると言える。このような理想的なフィルタを設計することは難しく、解像度変換時に発生する画質劣化（artifact）としてブラーリング(blurring)、エイリアシング、リンギング等が存在し、このような画質の劣化成分発生を抑えることがフィルタの性能を決定すると言える。
一般に、同時にこのようなすべての劣化成分を除去できるＦＩＲフィルタの設計することは困難であり、各画質劣化（artifact）の発生はトレードオフの関係となる。例えば、ブラーリング発生を抑え映像におけるディテール情報を十分に表すためにフィルタのカットオフ周波数を高くする場合は、映像の高周波成分のエイリアシング発生の程度が悪化して、アンチエイリアシング(anti-aliasing)特性が劣化する。逆に、アンチエイリアシング特性を向上させるためにフィルタのカットオフ周波数を低くする場合は、アンチエイリアシング特性が向上するが映像のブラーリング程度が悪化するようになる。従って、線形フィルタリング部２００はこのような画質劣化要因(ringing、blurring、aliaisng)の発生程度を調節して、適用分野およびユーザの好みに合わせた出力画質を生成させるための適応型フィルタ設計方法を用いる。
ウィンドウベースのＦＩＲフィルタ設計において最も大事なことは、遷移帯域幅と停止帯域減衰レベルを制御することであり、遷移帯域幅はフィルタの長さを調節することで制御し、停止帯域減衰はカイザー（Kaiser）ウィンドウのβパラメータ調節することで制御する。一般に、ＬＰＦフィルタ設計でフィルタのカットオフ周波数が固定された空間領域におけるフィルタカーネルがサイドローブの個数を多く有するほどフィルタの長さは増加し、サイドローブの個数が固定の場合のフィルタの長さはカットオフ周波数に比例する。すなわち、カットオフ周波数が増加するほど設計されたフィルタカーネルのメインローブ(main-lobe)幅が減少し、カットオフ周波数が減少するほどフィルタカーネルのメインローブ幅が増加するので、線形フィルタリング部２００では以下の（数２３）のようにサンプリング率変換のための低域通過フィルタのカットオフ周波数を調節するｍａｘ[Ｄ、Ｕ]×SmoothingAmountと、フィルタカーネルにおけるサイドローブ個数を示すnLobesを通じてフィルタの長さを調節して遷移帯域幅を制御する。
式中、ＤとＵはdecimation factor(Ｍ)およびinterpolation factor(Ｌ)の最大公約数ＫでＭとＬをそれぞれ割った値を示し(すなわち、Ｄ=Ｍ/ｋ、Ｕ=Ｌ/Ｋ)、ｍａｘ(Ｄ、Ｕ)はフィルタのカットオフ周波数を決定する。
空間領域におけるフィルタ係数は以下の（数２４）で決定するようになり、iはフィルタ長さ(０〜Ｌ-１)内で理想的な帯域通過フィルタであるシンク(sinc)関数がnLobesのサイドローブ個数を有するためのargument scaling定数として設計されたフィルタカーネルのサイドローブ個数を調節してリンギングなどの画質劣化の発生を制御する。
式中、sin(x)/xは理想的な低周波帯域通過関数、Kaiser(i、β)はカイザーウィンドウ関数である。
このようなフィルタ設計方法によるフィルタリングは、一般のポリフェーズフィルタリングを通じて実現することができ、２Ｄイメージおよびビデオに適用するためには横と縦方向に分離的に適用して最終的な結果映像が得られ、図９は２Ｄイメージおよびビデオに適用するためのサンプリング率変換回路の一例に対するブロック図である。このような演算およびハードウェアの複雑さを考慮したフィルタリングに、ポリフェーズフィルタリング技法を適用することができる。
前記したエッジ方向性補間部１００および線形フィルタリング部２００により、解像度変換の主な画質劣化要素であるジャギング、リンギング、エイリアシングの発生を除去することができるが、一般に解像度変換後に発生する入力信号の高周波帯域スペクトルの低減による鮮明度低下が避けられない。一般の視聴者の画質認識に最も大事な鮮明度低下の問題を解決するため、ＬＴＩ(Luminance Transition Improvement)およびディテール向上(detail enhancement)等を使って鮮明度向上を図っているが、解像度変換プロセスから発生するエイリアシングおよびリンギングなどの成分も共に向上して画質劣化が逆に強調されてしまう場合が多発し、それゆえ鮮明度向上の程度を最大にすることができない。このような問題点を解決するためには、解像度変換技術を通じて解像度が増加された映像に存在するリンギング成分の除去が必要であり、そのために鮮明度向上部３００はこのような残存のリンギング成分の追加除去を通じて鮮明度向上の程度を最大化することができる鮮明度向上技術を使用している。
図１０は、図１の鮮明度向上部３００の動作方法の説明に用いられるフローチャートである。図１０を参照して説明すると、鮮明度向上部３００において、鮮明度向上方法は重なったブロック(overlapped block)に基づいて実行され、ブロック毎に２つの代表カラーを求めた後、求めた代表カラー間のコントラストを増加させる (Ｓ５００、Ｓ５０５)。鮮明度向上部３００における代表カラーの選定はＫミーンズアルゴリズムを基に、まずK-meansアルゴリズム適用のための初期代表カラーを入力ＲＧＢ信号に対して（数３）を用いて輝度値を求めた後、ブロック内の最大および最小輝度値を有する画素のＲＧＢ値を初期代表カラーとして選定する。初期代表値を基にしてブロック画素情報を用いてK-meansアルゴリズムを適用して初期代表カラー値が更新されるが、一般にK-meansアルゴリズムを用いた初期代表カラー値更新プロセスでは反復演算を通じて最終代表カラーを求めるが、ハードウェア実現のために反復演算の回数を１回に制限する。
図１１は代表カラーの更新のための反復演算制限によるブロック内の実際エッジ(True Edge)成分と推定エッジ(Estimated Edge)成分間の誤差の例を示す。初期代表カラーが輝度値の最大および最小値に決定されるため、推定された２つの代表カラーはブロック内エッジ成分をなす２つのカラー成分を示す。図１１に示すように、実際エッジ成分と推定されたエッジ成分とはＫミーンズアルゴリズムの１回反復演算制限によって誤差が発生するようになり、それを補うために２つの代表カラー間コントラストを増加させ、反復演算制限条件の問題を解決する。代表カラー間のコントラストを増加させた後、ブロック内のすべての入力画素に対して最も隣接した２つの代表カラーで入力画素値を変えてリンギング成分を除去する (Ｓ５１０)。リンギング成分が除去されたブロックデータに対して鮮明度向上のために簡単なアンシャープマスキング(unsharp masking)に基づいた高周波成分向上ブロックを通じた後(Ｓ５１５)、最終結果として映像が得られる。
図１２は２つの代表カラーのコントラストの増加の例を２次元平面上に示した図である。図１２において、２つの地点はＫミーンズアルゴリズムにより推定された２つの代表カラーを示し、代表カラーを包んだ大きい楕円はブロックデータのカラー分布を示す。実際エッジ成分の代表カラーへの近似化のために２つの代表カラーの対比増加方向は矢印で示されており、円は過渡なコントラスト増加を防止するために設定された領域を示す。代表カラーの対比向上プロセスは１つの代表カラーに対してブロックの入力画素と別の代表カラー間の距離および内積(dotproduct)を用いて代表カラー値が更新される。
図１３は代表カラー間のコントラスト増加方法を説明するための図面である、図１３において、Rep＿Color０、Rep＿Color１は２つの代表カラーを示し、PixeliおよびPixelKは任意のブロック内カラーを示す。初期代表カラーの更新のための入力カラーの選択をPixeliに対して説明すれば以下の（数２５）および（数２６）となる。
（数２５）は入力カラーPixeliと代表カラーRep＿Color０とのディスタンスを、（数２６）は２つの代表カラーと入力カラーがなす２つのベクトルＡ・Ｂ間の内積をそれぞれ示す。入力カラーが過渡なコントラスト増加防止のための領域内にあるか、その内積が負の数の場合は代表カラー更新のための候補カラーとして選定して代表カラーの更新に使用される。
過渡なコントラストの増加を防止するためのLimit＿Dist値は以下の式のように定義した。
このような演算をブロック内すべての画素に対して２つの代表カラーに適用して候補画素を決定した後、Ｋミーンズアルゴリズムを適用して更新された代表カラーを得る。コントラストが向上した最終代表カラーの計算後、ブロック内画素を隣接した代表カラーで隣接度(proximity)を測定して適応的に遷移させリンギング現象を除去する。入力カラーが２つの代表カラーの中間に位置する場合はカラー遷移なしで入力値をそのまま出力し、入力カラーが隣接代表カラーに近いほど、あるいはブロック内エッジ成分が強いほどカラー遷移の程度は増加するようになる。代表カラーを用いたカラーの遷移のためにはエッジ強度の測定と２つの代表カラーと現在入力カラーとの隣接度測定が必要であり、まずエッジ強度を決定する方法は次の数式の通りである。
（数２９）は代表カラー間の距離(distance)を示し、（数３０）は入力画素とＫミーンズアルゴリズムの適用時決定された現在入力画素が属する代表カラー間距離を示し、現在入力ブロックに対する最終エッジ成分の強度はpseudo-codeと（数３１）を用いて求める。
２つの代表カラーのうち現在入力カラーが隣接したカラーを求めるためには各代表カラーと現在入力カラーとのディスタンス(distance)を次のように求める。ここで、Ｄｉｓｔ０はＫミーンズアルゴリズムの適用時決定された現在入力画素の代表カラーとのディスタンスを、Ｄｉｓｔ１はその他代表カラーとのディスタンスをそれぞれ示す。
２つの代表カラーと現在入力カラーとのディスタンスを用いた最終隣接度は以下の（数３４）の通りである。
式中、隣接度を示すproximityは０〜１の値を有するようにクリッピングされ、現在入力画素の代表カラーに隣接するほどその値は減少する。最終カラー遷移はブロック内エッジの強度が大きいほど、あるいは隣接カラーとのディスタンスが小さいほどカラー遷移程度は増加し、以下の（数３５）に基づいて求められる。
図１４は鮮明度向上部３００で処理された最終結果の映像を説明するための図である。図１４を参照して説明すると、解像度変換された入力映像はリンギング成分が残っている場合があり、後処理技法でディテール向上(detail enhancement)を適用する場合にリンギング成分も共に増加し、画質が劣化する。鮮明度向上部３００はブロック内で２つの代表カラーを求めた後、これら代表カラーに対してブロック内の画素値を移動させるのでリンギング成分が除去されると同時にＬＴＩまたはＣＴＩと類似した機能を実行する。このように代表カラーを中心にリンギング成分が除去されたブロックに対して、鮮明度の向上のための簡単なアンシャープマスキング技法を適用することにより、鮮明度が向上し、かつリンギング成分等の強調が最小化した最終出力映像が得られる。
一方、以上のような鮮明度向上方法はブロックに基づいた演算なので、独立して処理された各ブロックをそのまま出力させる場合にＪＰＥＧおよびＭＰＥＧのようなブロックに基づいた圧縮方法で発生するブロック間境界で不連続性(discontinuity)が発生する可能性がある。このような問題点の改善のため、鮮明度向上部３００は、重なったブロック構造に基づいて動作し、ハニング（Hanning）ウィンドウを用いて処理されたブロック境界で発生する不連続性を除去する。すなわち、まず入力映像を全ブロックサイズの半分サイズほど重ね、ブロックを構成した後(例えば、入力ブロックのサイズが８×８の場合に隣接ブロックとは４画素ほど重ねる)、独立して処理された各ブロックをハニングウィンドウを用いて隣接ブロック間境界でスムーストランジション(smooth transition)を可能にして不連続性を除去する。
図１５は隣接した２つのブロック間境界においてハニングウィンドウを用いたスムーストランジションの概念図である。図１５を参照して説明すると、まず独立的に処理された各ブロックデータに対して２次元ハニングウィンドウをかけた後、(図１４は１次元形態で説明)ウィンドウ係数が掛けられたブロックデータを互いに加算し最終結果ブロックデータを求める。各ブロックにかけられるウィンドウ関数は重畳されたブロック部分を中心にして一方はブロック境界方向にし、もう一方はブロック境界方向からフェードイン(fade-in)するように分布するようになり、重なったブロック境界部分で２つのウィンドウ関数係数の和は常に１を保って、歪まずスムーストランジションが可能になる。
以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能なことは理解できるであろう。
本発明は、画質劣化の要因発生を防止しつつ入力映像を所望のサイズの解像度を有する出力映像に変換する解像度変換方法および装置に適用される。
本発明の１実施形態に係る解像度変換装置のブロック図である。 図１のエッジ方向性補間部で補間により生成される補間画素を説明するための図である。 図１においてエッジ方向性補間部の動作方法の説明に提供されるフローチャートである。 エッジ方向性補間で方向性推定を説明するための図である。 エッジ方向性補間で方向性推定を説明するための図である。 補間係数の決定方法を説明するための図である。 補間係数の決定方法を説明するための図である。 補間係数の決定方法を説明するための図である。 補間係数の決定方法を説明するための図である。 補間係数の決定方法を説明するための図である。 補間係数の決定方法を説明するための図である。 （ａ）ないし（ｄ）は、ブロック分散の例を説明するための図である。 ２次補間で補間係数の決定方法を説明するための図である。 一般のサンプリング率変換を説明するための図である。 図１の線形フィルタリング部でサンプリング率変換回路の一例に対するブロック図である。 図１において鮮明度向上部の動作方法の説明に提供されるフローチャートである。 実際エッジ成分と推定エッジ成分の誤差を説明するための図である。 代表カラー間のコントラスト増加の例である。 代表カラー間のコントラスト増加方法を説明するための図である。 図１の鮮明度向上部で処理された最終結果の映像を説明するための図である。 ブロック不連続性の除去を説明するための図である。
符号の説明
１００ : エッジ方向性補間部
２００ : 線形フィルタリング部
３００ : 鮮明度向上部

Claims (21)

  1. 入力映像にエッジ方向性補間を行なって中間結果映像を算出する段階と、
    前記中間結果映像に対してサンプリング率を変換して所定解像度の出力映像を算出する段階と、
    を含み、
    更に、前記エッジ方向性補間を行なって中間結果映像を算出する段階は、
    前記入力画像の一部の補間画素を生成する１次補間段階と、
    他の一部の補間画素を生成する２次補間段階と、
    を含み、
    さらに、前記第１次補間段階は、
    前記入力映像の画素の絶対値差を用いてエッジ方向性を推定する段階と、
    推定された前記エッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定する段階と、
    前記エッジ方向および前記補間係数を使ってエッジ方向性補間値を算出する段階と、
    前記エッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出する段階と、
    を含み、
    前記第２次補間段階は、画素を４５°回転させてエッジ方向性補間を行うことを特徴とする解像度変換方法。
  2. 前記エッジ方向性は、２つの対角線方向と４つの非対角線方向に対して推定されることを特徴とする請求項２に記載の解像度変換方法。
  3. 前記所定の線形補間法は、バイキュービック補間法であることを特徴とする請求項１に記載の解像度変換方法。
  4. 補間領域が空間周波数の高い領域であるか否かを判断して、空間周波数の高い領域の場合には前記所定の線形補間法による補間値を使って最終補間値を算出する段階をさらに含むことを特徴とする請求項１に記載の解像度変換方法。
  5. 前記空間周波数が高い領域であるか否かは、前記補間領域内の平均遷移局部分散を用いて判断することを特徴とする請求項４に記載の解像度変換方法。
  6. 前記出力映像を算出する段階は、
    前記入力映像の解像度と前記所定解像度によって算出されたアップサンプリングとダウンサンプリングとの比と、設定されたサイドローブ個数を乗算してフィルタタブ数を算出する段階と、
    ウィンドウ関数をシンク関数で乗算して前記フィルタタブ数だけ１次フィルタ係数を算出する段階と、
    前記１次フィルタ係数でガウス関数とウィンドウ関数の乗算した値を用いて最終フィルタ係数を算出する段階と、
    前記中間結果映像のサンプリング率を変換させ前記最終フィルタ係数により水平方向および垂直方向にフィルタリングをそれぞれ行なって前記所定の解像度の出力映像を算出する段階と、
    を含むことを特徴とする請求項１に記載の解像度変換方法。
  7. 前記フィルタタブ数は以下の式により算出されることを特徴とする請求項６に記載の解像度変換方法。

    式中、Ｌはフィルタ長さ、nLobesはサイドローブの個数、ＵとＤは最適化したアップサンプリングとダウンサンプリングの比、SmoothingAmountはフィルタのカットオフ周波数を可変させる定数である。
  8. 前記１次フィルタ係数は以下の式により算出されることを特徴とする請求項６に記載の解像度変換方法:

    式中、sin(x)/xは理想的な低周波帯域通過関数、Kaiser(i、β)はカイザーウィンドウ関数、Ｌはフィルタ長さ、Lobesはサイドローブ、ｉはアーギュメントスケーリング定数である。
  9. 算出された前記出力映像に対して鮮明度を向上させる段階を含むことを特徴とする請求項１に記載の解像度変換方法。
  10. 前記鮮明度を向上させる段階は、
    重なった所定の大きさのブロックで２つの代表カラーを選定する段階と、
    前記選定された代表カラー間のコントラストを増加させる段階と、
    エッジ領域に存在する画素値を、前記コントラストを増加した２つの代表カラーのうち近接した代表カラーに遷移させる段階と、
    ブロック不連続性の除去のためにハニングウィンドウを用いて前記重なったブロックの結果値を加算して最終結果画素値を算出する段階と
    を含むことを特徴とする請求項９に記載の解像度変換方法。
  11. 前記代表カラーのコントラストの増加は、入力画素と前記２つの代表カラー間の距離および内積を通じて適応的に増加することを特徴とする請求項１０に記載の解像度変換方法。
  12. 前記２つの代表カラーはＫミーンズアルゴリズムにより選定されることを特徴とする請求項１０に記載の解像度変換方法。
  13. 入力映像にエッジ方向性補間を行なって中間結果映像を算出するエッジ方向性補間部と、
    前記中間結果映像に対してサンプリング率を変換し所定解像度の出力映像を算出する線形フィルタリング部と、
    を備え、
    更に、前記エッジ方向性補間部は、前記入力画像の一部の補間画素を生成する１次補間部と、
    他の一部の補間画素を生成する２次補間部と、
    を備え、
    前記第１次補間部は、前記入力映像の画素の絶対値差を用いてエッジ方向性を推定し、
    推定された前記エッジ方向性に対応する位置の画素値に基づき適応的に補間係数を決定し、
    前記エッジ方向および前記補間係数を使ってエッジ方向性補間値を算出し、前記エッジ方向性補間値と所定の線形補間法による補間値を適応的にブレンディングして最終補間値を算出して補間を行い、
    前記第２次補間段階は、画素を４５°回転させてエッジ方向性補間を行うことを特徴とする解像度変換装置。
  14. 前記エッジ方向性は、２つの対角線方向と４つの非対角線方向に対して推定されることを特徴とする請求項１３に記載の解像度変換装置。
  15. 前記所定の線形補間法はバイキュービック補間法であることを特徴とする請求項１３に記載の解像度変換装置。
  16. 前記エッジ方向性補間部は、補間領域が空間周波数の高い領域の場合は前記所定の線形補間法による補間値を使って最終補間値を算出することを特徴とする請求項１３に記載の解像度変換装置。
  17. 前記空間周波数が高い領域であるか否かは、前記補間領域内の平均遷移局部分散を用いて判断することを特徴とする請求項１６に記載の解像度変換装置。
  18. 前記算出された出力映像に対して鮮明度を向上させる鮮明度向上部を更に備えることを特徴とする請求項１３に記載の解像度変換装置。
  19. 前記鮮明度向上部は、重なった所定の大きさのブロック内で２つの代表カラーを選定してコントラストを増加させ、エッジ領域に存在する画素値を、前記コントラストを増加した２つの代表カラーのうち近接した代表カラーに遷移させ、ブロック不連続性の除去のためハニングウィンドウを用いて前記重なったブロックの結果値を加算し、最終結果映像を算出することを特徴とする請求項１８に記載の解像度変換装置。
  20. 前記代表カラーのコントラストは、入力画素と前記２つの代表カラーとの距離および内積を通じて適応的に増加することを特徴とする請求項１９に記載の解像度変換装置。
  21. 前記２つの代表カラーはＫミーンズアルゴリズムにより選定されることを特徴とする請求項１９に記載の解像度変換装置。
JP2005234907A 2004-08-12 2005-08-12 解像度変換方法および解像度変換装置 Active JP4098319B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040063605A KR100648308B1 (ko) 2004-08-12 2004-08-12 해상도 변환방법 및 장치

Publications (2)

Publication Number Publication Date
JP2006054899A JP2006054899A (ja) 2006-02-23
JP4098319B2 true JP4098319B2 (ja) 2008-06-11

Family

ID=36077319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005234907A Active JP4098319B2 (ja) 2004-08-12 2005-08-12 解像度変換方法および解像度変換装置

Country Status (4)

Country Link
US (1) US7876979B2 (ja)
JP (1) JP4098319B2 (ja)
KR (1) KR100648308B1 (ja)
CN (1) CN100484188C (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
KR100734348B1 (ko) * 2000-11-03 2007-07-03 엘지전자 주식회사 디지털 티브이의 다운 변환 처리 장치
JP2005012740A (ja) * 2003-04-21 2005-01-13 Toshiba Corp 画像処理装置および画像処理方法
KR100735551B1 (ko) * 2005-10-14 2007-07-04 삼성전자주식회사 칼라 영역별 적응적 필터링 방법 및 장치
JP4730141B2 (ja) * 2006-03-06 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
JP5047531B2 (ja) * 2006-04-13 2012-10-10 日本電信電話株式会社 画像補間方法及びプログラム
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US20080055338A1 (en) * 2006-08-30 2008-03-06 Ati Technologies Inc. Multi-stage edge-directed image scaling
TWI330492B (en) * 2006-09-26 2010-09-11 Himax Tech Ltd De-interlacing method and apparatus
KR100791388B1 (ko) * 2006-12-11 2008-01-07 삼성전자주식회사 영상의 선명도 향상을 위한 장치 및 방법
US8717502B2 (en) 2007-03-19 2014-05-06 Sony Computer Entertainment Inc. Methods and apparatuses for upscaling video
JP2008252449A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 画像伸張装置、映像表示装置および画像伸張方法
JP4490987B2 (ja) * 2007-04-26 2010-06-30 株式会社東芝 高解像度化装置および方法
US8331720B2 (en) 2007-08-15 2012-12-11 Japan Science And Technology Agency Image processing device, method, and program
US8411940B2 (en) * 2007-08-15 2013-04-02 I.R.I.S. Method for fast up-scaling of color images and method for interpretation of digitally acquired documents
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
EP2188774B1 (en) * 2007-09-19 2019-04-17 Thomson Licensing System and method for scaling images
US8090031B2 (en) * 2007-10-05 2012-01-03 Hong Kong Applied Science and Technology Research Institute Company Limited Method for motion compensation
KR101265956B1 (ko) 2007-11-02 2013-05-22 삼성전자주식회사 블록 기반의 영상 복원 시스템 및 방법
FR2925200A1 (fr) * 2007-12-13 2009-06-19 Thomson Licensing Sas Procede de conversion de format d'image video et dispositif correspondant
CN101903907B (zh) * 2007-12-21 2012-11-14 杜比实验室特许公司 针对边缘的图像处理
US8078007B2 (en) * 2008-01-08 2011-12-13 Seiko Epson Corporation Enlarging a digital image
KR100952667B1 (ko) * 2008-03-20 2010-04-13 중앙대학교 산학협력단 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법
US8670607B2 (en) * 2008-04-03 2014-03-11 Nlt Technologies, Ltd. Image processing method, image processing device and recording medium
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2009155130A1 (en) * 2008-06-19 2009-12-23 Marvell World Trade Ltd. Split edge enhancement architecture
TWI433546B (zh) * 2008-07-03 2014-04-01 Chi Lin Technology Co Ltd 影像解析度調整裝置、顯示裝置以及影像解析度調整方法
JP5369526B2 (ja) * 2008-07-28 2013-12-18 株式会社日立製作所 画像信号処理装置、表示装置、録画再生装置、画像信号処理方法
US9571857B2 (en) * 2008-09-18 2017-02-14 Thomson Licensing Methods and apparatus for video imaging pruning
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
TWI425499B (zh) * 2009-02-27 2014-02-01 Chi Lin Technology Co Ltd 顯示系統
US20110032269A1 (en) * 2009-08-05 2011-02-10 Rastislav Lukac Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
JP5614550B2 (ja) * 2009-08-19 2014-10-29 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
US8270460B2 (en) * 2009-12-21 2012-09-18 Agilent Technologies, Inc. Filter for identifying signal artifacts in bandwidth-limited instruments
JP5668297B2 (ja) * 2010-03-01 2015-02-12 セイコーエプソン株式会社 画像処理装置、プロジェクターおよび画像処理方法
US8249395B2 (en) * 2010-03-05 2012-08-21 Intel Corporation System, method, and computer program product for picture resizing
KR101106613B1 (ko) * 2010-03-24 2012-01-20 전자부품연구원 에지 프로파일을 이용한 영상의 해상도 변환 장치 및 방법
GB2492039B (en) * 2010-05-11 2016-01-06 Zoran France Two dimensional super resolution scaling
US20110298972A1 (en) 2010-06-04 2011-12-08 Stmicroelectronics Asia Pacific Pte. Ltd. System and process for image rescaling using adaptive interpolation kernel with sharpness and de-ringing control
US8494308B2 (en) * 2011-03-10 2013-07-23 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US8812571B2 (en) * 2011-05-12 2014-08-19 Telefonaktiebolaget L M Ericsson (Publ) Spectrum agile radio
KR101773616B1 (ko) * 2011-05-16 2017-09-13 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치
US8923653B2 (en) * 2011-06-27 2014-12-30 Yutaka Yamamoto Super-resolution processing method and system
US8483516B2 (en) * 2011-08-16 2013-07-09 National Taiwan University Super resolution system and method with database-free texture synthesis
KR101392340B1 (ko) * 2012-05-04 2014-05-07 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
US8891906B2 (en) * 2012-07-05 2014-11-18 Intel Corporation Pixel-adaptive interpolation algorithm for image upscaling
JP5954141B2 (ja) * 2012-11-29 2016-07-20 株式会社Ｊｖｃケンウッド 画像拡大装置、画像拡大方法、及び画像拡大プログラム
WO2014096961A2 (en) * 2012-12-19 2014-06-26 Marvell World Trade Ltd. Systems and methods for adaptive scaling of digital images
WO2014113915A1 (en) 2013-01-22 2014-07-31 Silicon Image, Inc. Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams
CN104217395A (zh) * 2013-05-30 2014-12-17 中兴通讯股份有限公司 图像分辨率转换方法、装置及终端
US9076099B2 (en) 2013-07-18 2015-07-07 Ricoh Company, Ltd. Image scaling mechanism
CN104378530B (zh) * 2013-08-16 2018-07-17 英特尔公司 用于图像升频的像素自适应内插算法
CN103871349B (zh) * 2014-03-31 2017-06-23 信利半导体有限公司 一种应用于显示器的数据处理方法及装置
US9536461B2 (en) 2014-07-01 2017-01-03 Sony Interactive Entertainment Inc. Method and system for use in uprendering multimedia content
CN105389776B (zh) * 2014-09-02 2019-05-03 辉达公司 图像缩放技术
JP6398607B2 (ja) * 2014-10-24 2018-10-03 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
CN105763768B (zh) * 2014-12-15 2019-12-13 深圳市中兴微电子技术有限公司 一种图像处理方法、装置和系统
CN105812923B (zh) * 2016-03-18 2019-01-25 青岛海信电器股份有限公司 基于视频点播的播放处理方法及装置
KR102417411B1 (ko) * 2020-06-17 2022-07-05 주식회사 한화 지형 고도 데이터 시스템 및 이의 동작 방법
US20220057269A1 (en) * 2020-08-21 2022-02-24 Analog Devices, Inc. Multi-sensor using a thermal camera
US11930264B2 (en) * 2021-05-18 2024-03-12 Magna Electronics Inc. Vehicular driver monitoring system with camera view optimization
CN116940960A (zh) 2021-05-24 2023-10-24 三星电子株式会社 电子装置及其图像处理方法
KR20230160096A (ko) * 2022-05-16 2023-11-23 주식회사 실리콘아츠 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법
CN116863861B (zh) * 2023-09-05 2023-11-24 欣瑞华微电子(上海)有限公司 基于非显性点判断的图像处理方法、设备及可读存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5008752A (en) * 1989-06-16 1991-04-16 Eastman Kodak Company Digital image interpolator with multiple interpolation algorithms
JP3438032B2 (ja) 1994-03-15 2003-08-18 松下電器産業株式会社 空間周波数適応補間方法および空間周波数適応補間装置
US5446804A (en) * 1994-04-14 1995-08-29 Hewlett-Packard Company Magnifying digital image using edge mapping
US5671298A (en) * 1994-08-30 1997-09-23 Texas Instruments Incorporated Image scaling using cubic filters
US5552825A (en) * 1994-11-08 1996-09-03 Texas Instruments Incorporated Color resolution enhancement by using color camera and methods
TW377431B (en) * 1995-04-14 1999-12-21 Hitachi Ltd Method and apparatus for changing resolution
US5796879A (en) * 1995-05-23 1998-08-18 Hewlett-Packard Company Area based interpolation for image scaling
US5852470A (en) * 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US5880767A (en) * 1996-09-11 1999-03-09 Hewlett-Packard Company Perceptual image resolution enhancement system
US6768559B1 (en) 1998-04-20 2004-07-27 Seiko Epson Corporation Medium on which printing control program is recorded, printing controller, and printing controlling method
JP2000069279A (ja) 1998-08-20 2000-03-03 Fuji Photo Film Co Ltd 画像データの補間演算方法およびその方法を使用した装置
JP2000270208A (ja) 1999-03-12 2000-09-29 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法
JP2001136494A (ja) 1999-11-05 2001-05-18 Matsushita Electric Ind Co Ltd 画像処理装置
US6782143B1 (en) 1999-12-30 2004-08-24 Stmicroelectronics, Inc. Method and apparatus for processing an image
JP4127594B2 (ja) 2000-03-23 2008-07-30 理想科学工業株式会社 画像処理方法および装置
JP3692942B2 (ja) 2001-01-23 2005-09-07 三菱電機株式会社 画像処理装置、画像表示装置、および画像処理方法
US6714688B1 (en) * 2000-11-10 2004-03-30 Eastman Kodak Company Method and apparatus for enhancing the edge contrast of an interpolated digital image
JP3503136B2 (ja) 2000-11-13 2004-03-02 セイコーエプソン株式会社 画素補間装置及び画素補間方法
US6717622B2 (en) * 2001-03-30 2004-04-06 Koninklijke Philips Electronics N.V. System and method for scalable resolution enhancement of a video image
AU2002341315A1 (en) 2001-11-01 2003-05-12 Koninklijke Philips Electronics N.V. Improved spatial resolution of video images
US7423691B2 (en) * 2001-11-19 2008-09-09 Matsushita Electric Industrial Co., Ltd. Method of low latency interlace to progressive video format conversion
JP3717863B2 (ja) * 2002-03-27 2005-11-16 三洋電機株式会社 画像補間方法
WO2004034702A1 (en) * 2002-10-11 2004-04-22 Koninklijke Philips Electronics N.V. A unit for and method of image conversion
US7136541B2 (en) * 2002-10-18 2006-11-14 Sony Corporation Method of performing sub-pixel based edge-directed image interpolation
JP4126541B2 (ja) 2002-11-28 2008-07-30 富士ゼロックス株式会社 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体
KR100505663B1 (ko) * 2003-01-02 2005-08-03 삼성전자주식회사 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법
US7286721B2 (en) * 2003-09-11 2007-10-23 Leadtek Research Inc. Fast edge-oriented image interpolation algorithm
US20050094899A1 (en) * 2003-10-29 2005-05-05 Changick Kim Adaptive image upscaling method and apparatus
KR100530224B1 (ko) * 2004-04-20 2005-11-22 삼성전자주식회사 이미지 변환 장치 및 그 방법
KR100708465B1 (ko) * 2005-02-03 2007-04-18 삼성전자주식회사 컬러 상관 유사도와 다방향 에지 정보를 이용한 컬러 필터보간 방법

Also Published As

Publication number Publication date
KR100648308B1 (ko) 2006-11-23
JP2006054899A (ja) 2006-02-23
US7876979B2 (en) 2011-01-25
CN1735135A (zh) 2006-02-15
US20060033936A1 (en) 2006-02-16
KR20060014879A (ko) 2006-02-16
CN100484188C (zh) 2009-04-29

Similar Documents

Publication Publication Date Title
JP4098319B2 (ja) 解像度変換方法および解像度変換装置
JP4040041B2 (ja) 映像信号の解像度の変換方法及び装置
US7483040B2 (en) Information processing apparatus, information processing method, recording medium, and program
US7782401B1 (en) Method and system for digital image scaling with sharpness enhancement and transient improvement
US7333674B2 (en) Suppression of ringing artifacts during image resizing
US8098961B2 (en) Resolution enhancement apparatus and method
JP5342068B2 (ja) 多重フレームへのアプローチ方法および画像アップスケール処理システム
JP4498361B2 (ja) レティネックス型アルゴリズムを高速化する方法
US7865040B1 (en) Using nonlinear filtering while resizing an image to preserve sharp image detail
WO2011033619A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
US8712191B2 (en) Method for detecting directions of regularity in a two-dimensional image
US20040234165A1 (en) Image interpolation apparatus and method
EP2564373B1 (en) Detection and/or enhancement of contrast differences in digital image data
KR101136688B1 (ko) 이방성 필터링을 이용한 싱글-패스 리샘플링 시스템 및방법
JP5781370B2 (ja) 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体
CN115272068A (zh) 一种用于图像上采样的高效插值方法
JP2005217532A (ja) 解像度変換方法及び解像度変換装置
KR101556625B1 (ko) 영상 확대 보간 방법
JP2004133592A (ja) 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム
US8346021B2 (en) Content adaptive scaler based on a farrow structure
JP4827137B2 (ja) 解像度変換処理方法、画像処理装置、画像表示装置及びプログラム
WO2014034242A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPH1185971A (ja) 階調変換方法および装置
JP2009129073A (ja) 高解像度化装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050812

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071211

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080312

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4098319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140321

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250