JP5192342B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP5192342B2 JP5192342B2 JP2008258438A JP2008258438A JP5192342B2 JP 5192342 B2 JP5192342 B2 JP 5192342B2 JP 2008258438 A JP2008258438 A JP 2008258438A JP 2008258438 A JP2008258438 A JP 2008258438A JP 5192342 B2 JP5192342 B2 JP 5192342B2
- Authority
- JP
- Japan
- Prior art keywords
- coefficient
- image
- component
- coefficient matrix
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000006866 deterioration Effects 0.000 claims description 54
- 239000011159 matrix material Substances 0.000 claims description 43
- 230000015556 catabolic process Effects 0.000 claims description 26
- 238000006731 degradation reaction Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 25
- 238000000605 extraction Methods 0.000 description 17
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000002542 deteriorative effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
本発明は、解像度変換を行う画像処理装置、画像処理方法に関するものである。
従来、解像度変換を行う手法の一つとして、直交変換を用いた方法が知られている（特許文献１）。これは、元画像を離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などの直交変換を用いて周波数成分に分解した後、高周波成分の係数を拡張して０を補う。そしてその拡張された係数を逆変換することで、拡大された画像を得る手法である。
また、拡張して補う高周波成分として、フラクタル画像の高周波成分を補うことで拡大画像を高画質化する手法が知られている（特許文献２）。
さらに、直交変換係数の拡張を行うに先立って、元画像の高周波成分にゲインをかけて画像の高域強調を行うことで拡大画像の高画質化を行う手法も知られている（特許文献３）。
特開平０２−０７６４７２号公報
特開２０００−３１２２９４号公報
特開２００６−０６５８８３号公報
また、拡張して補う高周波成分として、フラクタル画像の高周波成分を補うことで拡大画像を高画質化する手法が知られている（特許文献２）。
さらに、直交変換係数の拡張を行うに先立って、元画像の高周波成分にゲインをかけて画像の高域強調を行うことで拡大画像の高画質化を行う手法も知られている（特許文献３）。
近年、画像信号は、直交変換を応用した画像圧縮がなされることが一般的である。このような手法によって高圧縮率で圧縮された画像は、ＤＣＴ高域成分の係数が失われ、場合によってはほぼ０になってしまう特徴がある。こういった画像に対して係数拡張を行って拡大画像を生成すると、ナイキスト周波数周辺の視覚的に重要な周波数成分が失われてしまっているために、拡大画像にぼやけが生じてしまう問題がある。
また、高域成分の係数が０になってしまっているために、高域成分にゲインをかけて高域強調を行っても係数が０のままになってしまい、高域強調の効果が現れ難いという問題がある。
さらに、符号化圧縮以外にも、撮像時のピンぼけやぶれ、アナログ伝送による高周波信号の減衰などによって高域成分の係数が失われる場合もあり、この場合にも拡大画像にぼやけが生じてしまう問題がある。
また、高域成分の係数が０になってしまっているために、高域成分にゲインをかけて高域強調を行っても係数が０のままになってしまい、高域強調の効果が現れ難いという問題がある。
さらに、符号化圧縮以外にも、撮像時のピンぼけやぶれ、アナログ伝送による高周波信号の減衰などによって高域成分の係数が失われる場合もあり、この場合にも拡大画像にぼやけが生じてしまう問題がある。
本発明の課題は、画像信号から失われてしまった可能性のある周波数成分が存在する場合であっても、これを補い画像の画質を向上させることができる画像処理装置、画像処理方法を提供することである。
本発明の第１の側面としての画像処理装置は、元画像から成分係数行列に変換を行う変換手段と、前記成分係数行列から画像の劣化した周波数成分を判定する判定手段と、前記判定手段が判定した結果と前記成分係数行列とに応じて新たな成分係数行列を生成する係数生成手段と、前記係数生成手段が生成する新たな成分係数行列に対して前記変換手段が行う変換の逆変換を行い画像を出力する逆変換手段と、を備え、前記判定手段は、画像の劣化している周波数成分の劣化度合いを多値化し、前記係数生成手段は、前記判定手段により画像が劣化していると判定された周波数成分の係数を、多値化された前記劣化度合いに応じて新たな係数に置き換えて、新たな成分係数行列を生成する。
本発明の第２の側面としての画像処理装置は、元画像から成分係数行列に変換を行う変換手段と、前記成分係数行列から画像の劣化した周波数成分を判定する判定手段と、前記判定手段が判定した結果と前記成分係数行列とに応じて新たな成分係数行列を生成する係数生成手段と、前記係数生成手段が生成する新たな成分係数行列に対して前記変換手段が行う変換の逆変換を行い画像を出力する逆変換手段と、を備え、前記判定手段は、前記元画像のメディアタイプに応じて設定された周波数成分を、画像の劣化している周波数成分として判定する。
本発明によれば、画像の劣化した情報を補うことが可能となり、画質の向上を図ることができる。
以下、本発明を実施するための最良の形態について図面等を参照して説明する。
なお、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な構成、数値、動作等を示して説明を行うが、これらは、適宜変更することができる。
なお、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な構成、数値、動作等を示して説明を行うが、これらは、適宜変更することができる。
（第１実施形態）
図１は、本発明による画像処理装置の第１実施形態の構成を示す図である。
図２は、ドメインブロック及びレンジブロックの概念図である。
以下、本実施形態の画像処理装置の構成について説明するが、各構成部位に対する制御の詳細は後述する。
元画像保持部１は、不図示の画像入力手段より入力された元画像Ｓ１００を不図示のフレームメモリに保持する。
ドメインブロック抽出部２は、元画像メモリアクセスバスＳ１を通じて元画像からドメインブロックＳ２を抽出する。
ドメインブロック直交変換部４は、ドメインブロック抽出部２により抽出されたドメインブロックＳ２に直交変換である離散コサイン変換（ＤＣＴ）を施し、成分係数行列であるドメインブロックＤＣＴ係数群Ｓ４に変換して出力する変換手段として機能する。
劣化係数判定部５は、ドメインブロック直交変換部４が出力したドメインブロックＤＣＴ係数群Ｓ４から符号圧縮により情報が失われてしまった可能性のある係数を特定し、劣化を判定した結果として劣化判定結果Ｓ５を出力する劣化係数判定手段として機能する。
図１は、本発明による画像処理装置の第１実施形態の構成を示す図である。
図２は、ドメインブロック及びレンジブロックの概念図である。
以下、本実施形態の画像処理装置の構成について説明するが、各構成部位に対する制御の詳細は後述する。
元画像保持部１は、不図示の画像入力手段より入力された元画像Ｓ１００を不図示のフレームメモリに保持する。
ドメインブロック抽出部２は、元画像メモリアクセスバスＳ１を通じて元画像からドメインブロックＳ２を抽出する。
ドメインブロック直交変換部４は、ドメインブロック抽出部２により抽出されたドメインブロックＳ２に直交変換である離散コサイン変換（ＤＣＴ）を施し、成分係数行列であるドメインブロックＤＣＴ係数群Ｓ４に変換して出力する変換手段として機能する。
劣化係数判定部５は、ドメインブロック直交変換部４が出力したドメインブロックＤＣＴ係数群Ｓ４から符号圧縮により情報が失われてしまった可能性のある係数を特定し、劣化を判定した結果として劣化判定結果Ｓ５を出力する劣化係数判定手段として機能する。
レンジブロック縮小部（Ａ）６は、元画像Ｓ１００を縦横それぞれ１／２に縮小した１／４縮小画像Ｓ６を出力する。
レンジブロック保持部（Ａ）７は、１／４縮小画像Ｓ６を不図示のフレームメモリに保持する。
レンジブロック抽出部８は、１／４縮小画像メモリアクセスバスＳ７を通じて、レンジブロック保持部（Ａ）７が保持する１／４縮小画像Ｓ６からレンジブロック候補（Ａ）Ｓ８を抽出する。
レンジブロック相関比較部（Ａ）９は、ドメインブロックＳ２とレンジブロック候補（Ａ）Ｓ８の相関度を計算し、相関係数（Ａ）Ｓ９を出力する。
レンジブロック再抽出部（Ａ）１０は、最も相関度の高かった相関係数（Ａ）Ｓ９とその時のレンジブロック候補（Ａ）Ｓ８の対応を記憶する。そして最も相関度の高かったレンジブロック候補（Ａ）Ｓ１０５のエリアに相当する元画像Ｓ１００のエリアの画素群を元画像メモリアクセスバスＳ１を通じて取得し、レンジブロック（Ａ）Ｓ１０として出力する。
レンジブロック直交変換部（Ａ）１１は、レンジブロック再抽出部（Ａ）１０が出力したレンジブロック（Ａ）Ｓ１０にＤＣＴを施し、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を出力する。
レンジブロック保持部（Ａ）７は、１／４縮小画像Ｓ６を不図示のフレームメモリに保持する。
レンジブロック抽出部８は、１／４縮小画像メモリアクセスバスＳ７を通じて、レンジブロック保持部（Ａ）７が保持する１／４縮小画像Ｓ６からレンジブロック候補（Ａ）Ｓ８を抽出する。
レンジブロック相関比較部（Ａ）９は、ドメインブロックＳ２とレンジブロック候補（Ａ）Ｓ８の相関度を計算し、相関係数（Ａ）Ｓ９を出力する。
レンジブロック再抽出部（Ａ）１０は、最も相関度の高かった相関係数（Ａ）Ｓ９とその時のレンジブロック候補（Ａ）Ｓ８の対応を記憶する。そして最も相関度の高かったレンジブロック候補（Ａ）Ｓ１０５のエリアに相当する元画像Ｓ１００のエリアの画素群を元画像メモリアクセスバスＳ１を通じて取得し、レンジブロック（Ａ）Ｓ１０として出力する。
レンジブロック直交変換部（Ａ）１１は、レンジブロック再抽出部（Ａ）１０が出力したレンジブロック（Ａ）Ｓ１０にＤＣＴを施し、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を出力する。
レンジブロック縮小部（Ｂ）１２は、元画像Ｓ１００を縦横それぞれ１／４に縮小した１／１６縮小画像Ｓ１２を出力する。
レンジブロック保持部（Ｂ）１３は、１／１６縮小画像Ｓ１２を不図示のフレームメモリに保持する。
レンジブロック抽出部（Ｂ）１４は、１／１６縮小画像メモリアクセスバスＳ１３を通じて、レンジブロック保持部（Ｂ）１３が保持する１／１６縮小画像Ｓ１２からレンジブロック候補（Ｂ）Ｓ１４を抽出する。
レンジブロック相関比較部（Ｂ）１５は、ドメインブロックＳ２とレンジブロック候補（Ｂ）Ｓ１４の相関度を計算し、相関係数（Ｂ）Ｓ１５を出力する。
レンジブロック再抽出部（Ｂ）１６は、最も相関度の高かった相関係数（Ｂ）Ｓ１５とその時のレンジブロック候補（Ｂ）Ｓ１４の対応を記憶する。そして最も相関度の高かったレンジブロック候補（Ｂ）Ｓ１０６のエリアに相当する元画像Ｓ１００のエリアの画素群を元画像メモリアクセスバスＳ１を通じて取得し、レンジブロック（Ｂ）Ｓ１６として出力する。
レンジブロック直交変換部（Ｂ）１７は、レンジブロック再抽出部（Ｂ）１６が出力したレンジブロック（Ｂ）Ｓ１６にＤＣＴを施し、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７を出力する。
レンジブロック保持部（Ｂ）１３は、１／１６縮小画像Ｓ１２を不図示のフレームメモリに保持する。
レンジブロック抽出部（Ｂ）１４は、１／１６縮小画像メモリアクセスバスＳ１３を通じて、レンジブロック保持部（Ｂ）１３が保持する１／１６縮小画像Ｓ１２からレンジブロック候補（Ｂ）Ｓ１４を抽出する。
レンジブロック相関比較部（Ｂ）１５は、ドメインブロックＳ２とレンジブロック候補（Ｂ）Ｓ１４の相関度を計算し、相関係数（Ｂ）Ｓ１５を出力する。
レンジブロック再抽出部（Ｂ）１６は、最も相関度の高かった相関係数（Ｂ）Ｓ１５とその時のレンジブロック候補（Ｂ）Ｓ１４の対応を記憶する。そして最も相関度の高かったレンジブロック候補（Ｂ）Ｓ１０６のエリアに相当する元画像Ｓ１００のエリアの画素群を元画像メモリアクセスバスＳ１を通じて取得し、レンジブロック（Ｂ）Ｓ１６として出力する。
レンジブロック直交変換部（Ｂ）１７は、レンジブロック再抽出部（Ｂ）１６が出力したレンジブロック（Ｂ）Ｓ１６にＤＣＴを施し、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７を出力する。
係数合成部１８は、新たな成分係数行列として合成ＤＣＴ係数群Ｓ１８を生成する係数生成手段として機能する。具体的には、係数合成部１８は、ドメインブロックＤＣＴ係数群Ｓ４、劣化係数判定結果Ｓ５、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７に基づいて、合成ＤＣＴ係数群Ｓ１８を生成する。また、係数合成部１８は、ドメインブロックＤＣＴ係数群Ｓ４の少なくとも一部（本実施形態では劣化していない部分）を含み、かつ、劣化した成分を置き換えるようにして、合成ＤＣＴ係数群Ｓ１８を生成する。
逆変換部１９は、合成ＤＣＴ係数群Ｓ１８にＤＣＴの逆変換である逆離散コサイン変換を施して拡大部分画像Ｓ１９を生成する逆変換手段として機能する。
出力画像保持部２０は、拡大部分画像Ｓ１９をフレームメモリに保持して最終的な出力となる拡大画像Ｓ２０を保持する。
また、制御部１００は、不図示の制御信号によって各構成部の動作を制御する。
逆変換部１９は、合成ＤＣＴ係数群Ｓ１８にＤＣＴの逆変換である逆離散コサイン変換を施して拡大部分画像Ｓ１９を生成する逆変換手段として機能する。
出力画像保持部２０は、拡大部分画像Ｓ１９をフレームメモリに保持して最終的な出力となる拡大画像Ｓ２０を保持する。
また、制御部１００は、不図示の制御信号によって各構成部の動作を制御する。
図３は、第１実施形態の制御部１００が制御する画像処理装置全体の動作のフローチャートである。
ステップＰ１においては、不図示の画像入力手段より入力された元画像Ｓ１００を元画像保持部１に蓄積する。またレンジブロック縮小部（Ａ）６により縮小された１／４縮小画像Ｓ６をレンジブロック保持部（Ａ）７に蓄積する。同様に１／１６縮小画像Ｓ１２をレンジブロック保持部（Ｂ）１３に蓄積する。
ステップＰ１においては、不図示の画像入力手段より入力された元画像Ｓ１００を元画像保持部１に蓄積する。またレンジブロック縮小部（Ａ）６により縮小された１／４縮小画像Ｓ６をレンジブロック保持部（Ａ）７に蓄積する。同様に１／１６縮小画像Ｓ１２をレンジブロック保持部（Ｂ）１３に蓄積する。
ステップＰ２においては、ドメインブロック抽出部２により元画像保持部１に保持された元画像から順にドメインブロックＳ２を抽出する。
図４は、ドメインブロックを順に選択する概念を示す図である。
ドメインブロックＳ２は、８×８画素で構成され、元画像Ｓ１００の左上から順に重ならないように抽出される。
ステップＰ３においては、ドメインブロック直交変換部４によりドメインブロックＳ２にＤＣＴを施し、８×８要素で構成されるドメインブロックＤＣＴ係数群Ｓ４を得る。
図４は、ドメインブロックを順に選択する概念を示す図である。
ドメインブロックＳ２は、８×８画素で構成され、元画像Ｓ１００の左上から順に重ならないように抽出される。
ステップＰ３においては、ドメインブロック直交変換部４によりドメインブロックＳ２にＤＣＴを施し、８×８要素で構成されるドメインブロックＤＣＴ係数群Ｓ４を得る。
ステップＰ５においては、劣化係数判定部５により劣化判定結果Ｓ５を得る。劣化係数の判定方法の詳細については後述する。
ステップＰ６においては、レンジブロック（Ａ）の探索を行い、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を得る。レンジブロック（Ａ）の探索の詳細については後述する。
ステップＰ７においては、レンジブロック（Ｂ）の探索を行い、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７を得る。レンジブロック（Ｂ）の探索の詳細については後述する。
ステップＰ６においては、レンジブロック（Ａ）の探索を行い、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を得る。レンジブロック（Ａ）の探索の詳細については後述する。
ステップＰ７においては、レンジブロック（Ｂ）の探索を行い、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７を得る。レンジブロック（Ｂ）の探索の詳細については後述する。
ステップＰ８においては、係数合成部１８により劣化係数判定結果Ｓ５に基づいてドメインブロックＤＣＴ係数群Ｓ４、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７の係数合成を行う。係数合成処理の詳細については後述する。
ステップＰ９においては、逆変換部１９において、合成ＤＣＴ係数群Ｓ１８に逆ＤＣＴを施して拡大部分画像Ｓ１９を得る。
ステップＰ１０においては、出力画像保持部２０に拡大部分画像Ｓ１９を記憶する。
ステップＰ９においては、逆変換部１９において、合成ＤＣＴ係数群Ｓ１８に逆ＤＣＴを施して拡大部分画像Ｓ１９を得る。
ステップＰ１０においては、出力画像保持部２０に拡大部分画像Ｓ１９を記憶する。
ステップＰ１１においては、ステップＰ２におけるドメインブロック抽出が元画像Ｓ１００の全ての領域において選択されて全画面の拡大処理が終了したか否かを検査する。全て終了していればステップＰ１２へ進み、まだ終了していなければステップＰ２へ戻る。
ステップＰ１２においては、出力画像保持部２０に保持されている画素情報を読み出し、拡大画像Ｓ２０を得る。
ステップＰ１２においては、出力画像保持部２０に保持されている画素情報を読み出し、拡大画像Ｓ２０を得る。
次にステップＰ５における劣化係数判定の方法の詳細について説明する。
図５は、劣化係数探索の概念図である。
図５の左上側が低周波側であり、右下側が高周波側である。
本実施形態の劣化係数の探索では、係数を閾値と比較して劣化しているか否かの判定を行う。具体的には、係数を高周波側から順に探索し、係数の値が劣化判定閾値ψより小さければ劣化係数であるとみなす。劣化判定閾値ψ以上の係数が出現したらそれよりも低域の周波数は劣化していないとみなす。ただし、場合によっては、劣化している周波数域の中であっても特異的に大きな係数が残っている場合があるので、その対応として特徴許容閾値ωを導入する。これにより特異的に大きい係数を無視して劣化エリアの判定を継続する。
図５は、劣化係数探索の概念図である。
図５の左上側が低周波側であり、右下側が高周波側である。
本実施形態の劣化係数の探索では、係数を閾値と比較して劣化しているか否かの判定を行う。具体的には、係数を高周波側から順に探索し、係数の値が劣化判定閾値ψより小さければ劣化係数であるとみなす。劣化判定閾値ψ以上の係数が出現したらそれよりも低域の周波数は劣化していないとみなす。ただし、場合によっては、劣化している周波数域の中であっても特異的に大きな係数が残っている場合があるので、その対応として特徴許容閾値ωを導入する。これにより特異的に大きい係数を無視して劣化エリアの判定を継続する。
図６は、劣化係数判定における処理のフローチャートである。
ステップＰ５０１においては、各種変数の初期化を行う。
具体的には、Ｌ（＊，＊）を０とし、ｃｎｔを０とし、ｘｙをＳＩＺＥとする。
ここで、ＳＩＺＥは、ドメインブロックのサイズを示す定数である。本実施形態においてドメインブロックのサイズは、８×８であるのでＳＩＺＥ＝８である。
Ｌ（＊，＊）は、劣化判定結果を格納する２次元配列である。配列サイズは、劣化を判定するＤＣＴ係数群の要素数と同じであり、ここでは、ドメインブロックのサイズと同じ８×８である。直流成分を示す左上の要素のインデックスは、（１，１）である。最も高周波の成分を示す右下の要素のインデックスは、（ＳＩＺＥ，ＳＩＺＥ）である。値が０であれば劣化無し、１であれば劣化ありとする。このステップにおいて全ての要素を０（劣化無し）に初期化する。
ｃｎｔは、劣化していないと判定された係数の数を数えるカウンタである。このステップにおいてカウント値を０に初期化する。
ｘｙは、劣化を判定する係数を指し示すための補助変数である。劣化判定は、高周波を示す右下の係数から順に判定するのでｘｙ＝ＳＩＺＥ（本実施形態においては、ｘｙ＝８）に初期化する。
ステップＰ５０１においては、各種変数の初期化を行う。
具体的には、Ｌ（＊，＊）を０とし、ｃｎｔを０とし、ｘｙをＳＩＺＥとする。
ここで、ＳＩＺＥは、ドメインブロックのサイズを示す定数である。本実施形態においてドメインブロックのサイズは、８×８であるのでＳＩＺＥ＝８である。
Ｌ（＊，＊）は、劣化判定結果を格納する２次元配列である。配列サイズは、劣化を判定するＤＣＴ係数群の要素数と同じであり、ここでは、ドメインブロックのサイズと同じ８×８である。直流成分を示す左上の要素のインデックスは、（１，１）である。最も高周波の成分を示す右下の要素のインデックスは、（ＳＩＺＥ，ＳＩＺＥ）である。値が０であれば劣化無し、１であれば劣化ありとする。このステップにおいて全ての要素を０（劣化無し）に初期化する。
ｃｎｔは、劣化していないと判定された係数の数を数えるカウンタである。このステップにおいてカウント値を０に初期化する。
ｘｙは、劣化を判定する係数を指し示すための補助変数である。劣化判定は、高周波を示す右下の係数から順に判定するのでｘｙ＝ＳＩＺＥ（本実施形態においては、ｘｙ＝８）に初期化する。
ステップＰ５０２においては、探索用インデックス変数のｘをｘｙに初期化する。
ステップＰ５０３においては、探索用インデックス変数のｙを計算する。具体的には、ｙ＝ＳＩＺＥ＋ｘｙ−ｘによりｙを求める。
ステップＰ５０４においては、判定対象の係数Ｄ（ｘ，ｙ）が劣化判定閾値ψより大きいか否かを判定する。劣化判定閾値ψを超えていれば係数は、劣化していないと判断してステップＰ５１０へ進む。そうでなければ係数が劣化していると判断してステップＰ５０５へ進む。
ステップＰ５０３においては、探索用インデックス変数のｙを計算する。具体的には、ｙ＝ＳＩＺＥ＋ｘｙ−ｘによりｙを求める。
ステップＰ５０４においては、判定対象の係数Ｄ（ｘ，ｙ）が劣化判定閾値ψより大きいか否かを判定する。劣化判定閾値ψを超えていれば係数は、劣化していないと判断してステップＰ５１０へ進む。そうでなければ係数が劣化していると判断してステップＰ５０５へ進む。
ステップＰ５０５においては、劣化判定結果配列Ｌ（ｘ，ｙ）に”１”（劣化あり）を書き込む。
ステップＰ５０６においては、探索用インデックス変数のｘを１増加させる。
ステップＰ５０７においては、探索用インデックス変数のｘが所定の探索範囲を超えたか否かを判定する。ｘがＳＩＺＥ以下であればまだ超えていないのでステップＰ５０３へ戻る。超えていればステップＰ５０８へ進む。
ステップＰ５０８においては、補助変数ｘｙの値を１減らす（ｘｙ＝ｘｙ−１）。
ステップＰ５０９においては、補助変数のｘｙが所定の探索範囲を超えたか否かを判定する。１未満になったら探索終了である。そうでなければステップＰ５０２へ戻る。
ステップＰ５０６においては、探索用インデックス変数のｘを１増加させる。
ステップＰ５０７においては、探索用インデックス変数のｘが所定の探索範囲を超えたか否かを判定する。ｘがＳＩＺＥ以下であればまだ超えていないのでステップＰ５０３へ戻る。超えていればステップＰ５０８へ進む。
ステップＰ５０８においては、補助変数ｘｙの値を１減らす（ｘｙ＝ｘｙ−１）。
ステップＰ５０９においては、補助変数のｘｙが所定の探索範囲を超えたか否かを判定する。１未満になったら探索終了である。そうでなければステップＰ５０２へ戻る。
ステップＰ５１０においては、非劣化のカウンタｃｎｔの値を１増やす。
ステップＰ５１１においては、前記非劣化のカウンタ値が示す劣化していない係数の個数が特徴許容閾値ωを超えたか否かを判定する。特徴許容閾値ωを超えていなければステップＰ５０６へ進んで探索を継続する。特徴許容閾値ωを超えたらもうこれ以上の高域側の係数は、仮にψ未満の係数であっても劣化した係数ではないと判断して探索を終了する。
画像によっては、高域部分に特異的に係数の大きな成分が偏在する場合がある。圧縮方法によっては、高域部の特異な特徴を保存しつつさらに低域側の係数を圧縮する場合もあるので、特徴許容閾値ωを適宜設定すると画質の向上が見られる場合がある。撮影時のピンぼけ等のように一様に高域劣化する性質の画像の場合には、特徴許容閾値ωは、低い値でよい。
ステップＰ５１１においては、前記非劣化のカウンタ値が示す劣化していない係数の個数が特徴許容閾値ωを超えたか否かを判定する。特徴許容閾値ωを超えていなければステップＰ５０６へ進んで探索を継続する。特徴許容閾値ωを超えたらもうこれ以上の高域側の係数は、仮にψ未満の係数であっても劣化した係数ではないと判断して探索を終了する。
画像によっては、高域部分に特異的に係数の大きな成分が偏在する場合がある。圧縮方法によっては、高域部の特異な特徴を保存しつつさらに低域側の係数を圧縮する場合もあるので、特徴許容閾値ωを適宜設定すると画質の向上が見られる場合がある。撮影時のピンぼけ等のように一様に高域劣化する性質の画像の場合には、特徴許容閾値ωは、低い値でよい。
次に、ステップＰ６におけるレンジブロック（Ａ）探索の方法の詳細について説明する。
図７は、レンジブロック探索処理のフローチャートである。
ステップＰ６１においては、レンジブロック抽出部（Ａ）６によりレンジブロック保持部（Ａ）７に保持された１／４縮小画像Ｓ６から順にレンジブロック候補（Ａ）Ｓ８を抽出する。
図８は、レンジブロックを順に選択する概念を示す図である。
レンジブロック候補（Ａ）Ｓ８は、８×８画素で構成され、１／４縮小画像Ｓ６の左上から順に１画素ずつ、ずらして抽出される。
図７は、レンジブロック探索処理のフローチャートである。
ステップＰ６１においては、レンジブロック抽出部（Ａ）６によりレンジブロック保持部（Ａ）７に保持された１／４縮小画像Ｓ６から順にレンジブロック候補（Ａ）Ｓ８を抽出する。
図８は、レンジブロックを順に選択する概念を示す図である。
レンジブロック候補（Ａ）Ｓ８は、８×８画素で構成され、１／４縮小画像Ｓ６の左上から順に１画素ずつ、ずらして抽出される。
ステップＰ６２においては、レンジブロック相関比較部（Ａ）９によりドメインブロックＳ２とレンジブロック候補（Ａ）Ｓ８との相関度を算出し、相関係数（Ａ）Ｓ９を得る。相関係数は、以下の方法によって算出される。
ドメインブロックＳ２を構成するそれぞれの画素をＰｄ（Ｘ，Ｙ）、レンジブロック候補（Ａ）Ｓ８を構成するそれぞれの画素をＰｒ（Ｘ，Ｙ）とおく。
ここで、それぞれの画素の差分絶対値
Ｇ（Ｘ，Ｙ）＝｜Ｐｄ（Ｘ，Ｙ）−Ｐｒ（Ｘ，Ｙ）｜
を算出し、画素相関度とする。
さらに、差分絶対値の総和
Ｒ＝Σ｛Ｇ（Ｘ，Ｙ）｝
を算出し、これを相関係数（Ａ）Ｓ９とする。この計算式では、Ｒが小さいほど相関度が高いことを意味する。比較対象が全く同一の場合には、Ｒは０になる。
ドメインブロックＳ２を構成するそれぞれの画素をＰｄ（Ｘ，Ｙ）、レンジブロック候補（Ａ）Ｓ８を構成するそれぞれの画素をＰｒ（Ｘ，Ｙ）とおく。
ここで、それぞれの画素の差分絶対値
Ｇ（Ｘ，Ｙ）＝｜Ｐｄ（Ｘ，Ｙ）−Ｐｒ（Ｘ，Ｙ）｜
を算出し、画素相関度とする。
さらに、差分絶対値の総和
Ｒ＝Σ｛Ｇ（Ｘ，Ｙ）｝
を算出し、これを相関係数（Ａ）Ｓ９とする。この計算式では、Ｒが小さいほど相関度が高いことを意味する。比較対象が全く同一の場合には、Ｒは０になる。
ステップＰ６３においては、レンジブロック再抽出部（Ａ）１０内の不図示のレジスタに記憶されている、既に調査されたレンジブロックの内最も相関の高かったレンジブロック候補の相関度と新たなレンジブロック候補の相関度を比較する。
ステップＰ６４においては、ステップＰ６３の比較結果に基づいて、最も相関度の高いレンジブロックの候補とその相関度の記憶レジスタを更新する。
ステップＰ６４においては、ステップＰ６３の比較結果に基づいて、最も相関度の高いレンジブロックの候補とその相関度の記憶レジスタを更新する。
ステップＰ６５においては、１／４縮小画像の全てについてレンジブロックの探索が完了したか否かを判定する。まだ探索が完了していなければステップＰ６１へ戻る。探索が完了していればステップＰ６６へ進む。
ステップＰ６６においては、記憶されている最もドメインブロックＳ２との相関度の高かったレンジブロック候補（Ａ）Ｓ１０５（図２参照）に相当する、元画像Ｓ１００の部分画像を抽出してレンジブロック（Ａ）Ｓ１０を得る。例えば、最も相関度の高かったレンジブロック候補の部分画像が、１／４縮小画像の（２０，１０）−（２７，１７）の画素群であった場合、元画像の（４０，２０）−（５５，３５）の部分画像がレンジブロック（Ａ）Ｓ８となる。レンジブロック候補（Ａ）Ｓ８は、１／４縮小画像で探索されるので８×８画素で構成されるが、レンジブロック（Ａ）Ｓ１０は、元画像の相当する画素群であるので１６×１６画素で構成される。
ステップＰ６７においては、レンジブロック直交変換部１１においてレンジブロック（Ａ）Ｓ１０にＤＣＴを施し、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を得る。レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１は、１６×１６要素の係数によって構成される。
ステップＰ７におけるレンジブロック（Ｂ）の探索処理は、ステップＰ６におけるレンジブロック（Ａ）の探索処理とほぼ同様である。ただし、レンジブロック保持部（Ｂ）１３に蓄積されている画像が１／１６縮小画像であるので、レンジブロック（Ｂ）Ｓ１６は、３２×３２画素で構成され、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７は、３２×３２要素の係数によって構成される。
次に、ステップＰ８における係数合成処理の詳細について説明する。
図９は、係数合成処理のフローチャートである。
図１０は、係数合成の概念図である。
ステップＰ８１においては、ドメインブロックＤＣＴ係数群Ｓ４を劣化判定結果Ｓ５に基づいて、非劣化ドメインブロック係数Ｓ１１１と劣化ドメインブロック係数Ｓ１１２に分割する。
図９は、係数合成処理のフローチャートである。
図１０は、係数合成の概念図である。
ステップＰ８１においては、ドメインブロックＤＣＴ係数群Ｓ４を劣化判定結果Ｓ５に基づいて、非劣化ドメインブロック係数Ｓ１１１と劣化ドメインブロック係数Ｓ１１２に分割する。
ステップＰ８２においては、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を非劣化レンジブロック（Ａ）係数αＳ１１４、非劣化レンジブロック（Ａ）係数βＳ１１５、劣化レンジブロック（Ａ）係数Ｓ１１６に分割する。この分割は、劣化判定結果Ｓ５とステップＰ８１における分割結果に基づいて行われる。非劣化レンジブロック（Ａ）係数αＳ１１４は、非劣化ドメインブロック係数Ｓ１１１と同じ要素エリアを持つ。レンジブロック（Ａ）においてもドメインブロックと同様に劣化した高域成分が存在する。すなわち、劣化レンジブロック（Ａ）係数Ｓ１１６は、劣化判定結果Ｓ５のエリアを縦横２倍拡大したエリアを持つ。この例を、図を用いて説明する。
図１１は、判定された劣化係数の概念図である。
図１２は、エリア拡大された劣化係数の概念図である。
例えば、劣化判定結果が図１１で示すような（７，８），（８，７），（８，８）の３要素のエリアであった場合、劣化レンジブロック（Ａ）係数Ｓ１１６のエリアは、図１２に示すようになる。すなわち、（１３，１５），（１３，１６），（１４，１５），（１４，１６），（１５，１３），（１５，１４），（１５，１５），（１５，１６），（１６，１３），（１６，１４），（１６，１５），（１６，１６）の１２要素のエリアとなる。そして、非劣化レンジブロック（Ａ）係数βＳ１１５は、それ以外のエリアを持つ。
図１２は、エリア拡大された劣化係数の概念図である。
例えば、劣化判定結果が図１１で示すような（７，８），（８，７），（８，８）の３要素のエリアであった場合、劣化レンジブロック（Ａ）係数Ｓ１１６のエリアは、図１２に示すようになる。すなわち、（１３，１５），（１３，１６），（１４，１５），（１４，１６），（１５，１３），（１５，１４），（１５，１５），（１５，１６），（１６，１３），（１６，１４），（１６，１５），（１６，１６）の１２要素のエリアとなる。そして、非劣化レンジブロック（Ａ）係数βＳ１１５は、それ以外のエリアを持つ。
図９及び図１０に戻って、ステップＰ８３においては、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７を劣化判定結果Ｓ５とステップＰ８１における分割結果とステップＰ８２における分割結果に基づいて分割する。非劣化レンジブロック（Ｂ）係数αＳ１１８は、非劣化ドメインブロック係数Ｓ１１１と同じ要素エリアを持つ。非劣化レンジブロック（Ｂ）係数βＳ１１９は、非劣化レンジブロック（Ａ）係数βＳ１１５と同じ要素エリアを持つ。非劣化レンジブロック（Ｂ）係数γＳ１２０は、劣化レンジブロック（Ａ）係数Ｓ１１６と同じ要素エリアを持つ。レンジブロック（Ｂ）においてもまた、ドメインブロックと同様に劣化した高域成分が存在する。すなわち、劣化レンジブロック（Ｂ）係数Ｓ１２２は、劣化判定結果Ｓ５のエリアを縦横４倍拡大したエリアを持つ。非劣化レンジブロック（Ｂ）係数δＳ１２１は、それ以外のエリアを持つ。
ステップＰ８４においては、非劣化ドメインブロック係数Ｓ１１１と非劣化レンジブロック（Ａ）係数βＳ１１５と非劣化レンジブロック（Ｂ）係数γＳ１２０を合成し、合成ＤＣＴ係数群Ｓ１８を得る。すなわち、ドメインブロックＤＣＴ係数群Ｓ４の内の劣化成分は、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の相当する係数に置き換わる。また、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の内の劣化成分は、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７の相当する係数に置き換わる。
以上説明したように、第１実施形態によれば、画像の拡大処理を行うときに、画像の劣化した情報を補うことが可能となり、拡大された画像の画質を向上できる。
（第２実施形態）
図１３は、第２実施形態における画像処理装置の構成を示す図である。
第２実施形態は、先に説明した第１実施形態よりも簡易な装置構成とした形態である。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
図１３は、第２実施形態における画像処理装置の構成を示す図である。
第２実施形態は、先に説明した第１実施形態よりも簡易な装置構成とした形態である。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
高域係数生成部３１は、ドメインブロックＤＣＴ係数群Ｓ４に基づいて、８×８要素の高域係数Ｓ３１の生成を行う。
図１４は、高域係数生成部３１が行う高域係数生成の概念図である。
図１５は、高域係数生成部３１が高域係数生成を行うときに用いる空間周波数表である。
自然画にＦＦＴ（Fast Fourier Transform ：高速フーリエ変換）やＤＣＴ等の直交変換を施して得られた係数行列は、一般的に中心周波数を軸にして対称性が強い性質がある事が知られている。また、自然画のパワースペクトル分布強度は、空間周波数の逆数に比例する傾向がある事も知られている。高域係数生成部３１では、それらの性質を利用する。
まず、ドメインブロックＤＣＴ係数群Ｓ４の内、低域部分の４×４の係数を取り出す。
次に、残りの高域部分の係数に中心周波数を対称中心として低域の係数をコピーする。その際、図１５の空間周波数表を参照してコピー元の空間周波数とコピー先の空間周波数の比を係数に乗じる。例えば、（７，７）の係数は、コピー元の（２，２）とコピー先の（７，７）の空間周波数を参照して、（０．７１／４．２４）＊ｂ２となる。
図１４は、高域係数生成部３１が行う高域係数生成の概念図である。
図１５は、高域係数生成部３１が高域係数生成を行うときに用いる空間周波数表である。
自然画にＦＦＴ（Fast Fourier Transform ：高速フーリエ変換）やＤＣＴ等の直交変換を施して得られた係数行列は、一般的に中心周波数を軸にして対称性が強い性質がある事が知られている。また、自然画のパワースペクトル分布強度は、空間周波数の逆数に比例する傾向がある事も知られている。高域係数生成部３１では、それらの性質を利用する。
まず、ドメインブロックＤＣＴ係数群Ｓ４の内、低域部分の４×４の係数を取り出す。
次に、残りの高域部分の係数に中心周波数を対称中心として低域の係数をコピーする。その際、図１５の空間周波数表を参照してコピー元の空間周波数とコピー先の空間周波数の比を係数に乗じる。例えば、（７，７）の係数は、コピー元の（２，２）とコピー先の（７，７）の空間周波数を参照して、（０．７１／４．２４）＊ｂ２となる。
図１６は、係数置換部３２により分割されたドメインブロックＤＣＴ係数群Ｓ４の概念図である。
係数置換部３２は、劣化判定結果Ｓ５に基づいて、ドメインブロックＤＣＴ係数群Ｓ４を非劣化ドメインブロック係数Ｓ１１１とハッチングを付して示した劣化ドメインブロック係数Ｓ１１２に分割する。
次に、係数置換部３２は、劣化ドメインブロック係数Ｓ１１２を高域係数Ｓ３１の対応する部分の係数と置換して、置換ドメインブロック係数Ｓ３２を出力する。
図１７は、高域係数Ｓ３１の概念図である。
図１８は、置換ドメインブロック係数Ｓ３２の概念図である。
図１７中でハッチングを付していない部分の係数を、図１６中でハッチングを付して示した劣化ドメインブロック係数Ｓ１１２と置き換えて、図１８に示す置換ドメインブロック係数Ｓ３２を得る。
係数置換部３２は、劣化判定結果Ｓ５に基づいて、ドメインブロックＤＣＴ係数群Ｓ４を非劣化ドメインブロック係数Ｓ１１１とハッチングを付して示した劣化ドメインブロック係数Ｓ１１２に分割する。
次に、係数置換部３２は、劣化ドメインブロック係数Ｓ１１２を高域係数Ｓ３１の対応する部分の係数と置換して、置換ドメインブロック係数Ｓ３２を出力する。
図１７は、高域係数Ｓ３１の概念図である。
図１８は、置換ドメインブロック係数Ｓ３２の概念図である。
図１７中でハッチングを付していない部分の係数を、図１６中でハッチングを付して示した劣化ドメインブロック係数Ｓ１１２と置き換えて、図１８に示す置換ドメインブロック係数Ｓ３２を得る。
係数拡張部３３は、８×８要素の置換ドメインブロック係数Ｓ３２を高域係数生成部３１と同様の方法によって係数を拡張し、１６×１６要素の合成ＤＣＴ係数群Ｓ１８を出力する。
図１９は、係数拡張部３３が合成ＤＣＴ係数群Ｓ１８を生成する係数拡張の概念図である。
係数拡張部３３は、まず、８×８要素の置換ドメインブロック係数Ｓ３２を低域部分に設定する。次に、残りの高域部分の係数に中心周波数を対称中心として低域の係数をコピーする。その際、図１５の空間周波数表を参照してコピー元の空間周波数とコピー先の空間周波数の比を、高域係数生成部３１の場合と同様に係数に乗じ、合成ＤＣＴ係数群Ｓ１８を生成する。
上述した高域係数生成部３１、係数置換部３２、係数拡張部３３以外の各部の動作は、第１実施形態と同様である。
図１９は、係数拡張部３３が合成ＤＣＴ係数群Ｓ１８を生成する係数拡張の概念図である。
係数拡張部３３は、まず、８×８要素の置換ドメインブロック係数Ｓ３２を低域部分に設定する。次に、残りの高域部分の係数に中心周波数を対称中心として低域の係数をコピーする。その際、図１５の空間周波数表を参照してコピー元の空間周波数とコピー先の空間周波数の比を、高域係数生成部３１の場合と同様に係数に乗じ、合成ＤＣＴ係数群Ｓ１８を生成する。
上述した高域係数生成部３１、係数置換部３２、係数拡張部３３以外の各部の動作は、第１実施形態と同様である。
以上説明したように、第２実施形態によれば、簡易な構成であっても、画質の良好な画像拡大を行うことができる。
（第３実施形態）
第３実施形態は、先に説明した第２実施形態における劣化係数判定部５による劣化係数の判定方法を簡略化した形態である。よって、前述した第２実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
図２０は、第３実施形態における劣化係数判定部５が行う劣化エリア判定の概念図である。
圧縮画像の劣化の度合いは、出力されるデータストリームのビットレートと非常に深い相関性を持つ。また、データストリームのビットレートは、映像コンテンツのメディアタイプによってほぼ決まった値となる。
第３実施形態は、先に説明した第２実施形態における劣化係数判定部５による劣化係数の判定方法を簡略化した形態である。よって、前述した第２実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
図２０は、第３実施形態における劣化係数判定部５が行う劣化エリア判定の概念図である。
圧縮画像の劣化の度合いは、出力されるデータストリームのビットレートと非常に深い相関性を持つ。また、データストリームのビットレートは、映像コンテンツのメディアタイプによってほぼ決まった値となる。
そこで、第３実施形態の劣化係数判定部５は、入力される画像のメディアタイプに応じて劣化と見なすブロック（領域）を予め設定している。具体的には、地上波、衛星放送、外部入力の順で劣化と見なすブロックが広くなるように設定されている。なお、これらメディアタイプ毎の劣化と非劣化との境界は、実情に合わせて適宜変更してもよく、上述した順番に限るものではない。
第３実施形態によれば、さらに簡易な構成であっても、第２実施形態と同様な効果を得ることができる。
（第４実施形態）
第４実施形態は、第１実施形態に示した構成において、劣化係数判定部５の出力する劣化判定結果Ｓ５を、多値化することによって画質の向上を図る形態である。第４実施形態における装置の構成は、第１実施形態と同様である。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第４実施形態では、劣化判定閾値ψを３としたとき、ステップＰ５０５において劣化の判定結果を劣化の度合いに応じて以下のように多値化した値にする。
Ｌ（ｘ，ｙ）←１．００［Ｄ（ｘ，ｙ）＝０］
Ｌ（ｘ，ｙ）←０．７５［Ｄ（ｘ，ｙ）＝１］
Ｌ（ｘ，ｙ）←０．５０［Ｄ（ｘ，ｙ）＝２］
Ｌ（ｘ，ｙ）←０．２５［Ｄ（ｘ，ｙ）＝３］
第４実施形態は、第１実施形態に示した構成において、劣化係数判定部５の出力する劣化判定結果Ｓ５を、多値化することによって画質の向上を図る形態である。第４実施形態における装置の構成は、第１実施形態と同様である。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第４実施形態では、劣化判定閾値ψを３としたとき、ステップＰ５０５において劣化の判定結果を劣化の度合いに応じて以下のように多値化した値にする。
Ｌ（ｘ，ｙ）←１．００［Ｄ（ｘ，ｙ）＝０］
Ｌ（ｘ，ｙ）←０．７５［Ｄ（ｘ，ｙ）＝１］
Ｌ（ｘ，ｙ）←０．５０［Ｄ（ｘ，ｙ）＝２］
Ｌ（ｘ，ｙ）←０．２５［Ｄ（ｘ，ｙ）＝３］
また、図９に示したフローチャートのステップＰ８４における合成処理を本実施形態で行うとき、ドメインブロックＤＣＴ係数群Ｓ４とレンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を劣化判定結果Ｓ５に応じて適宜混合して合成ＤＣＴ係数群Ｓ１８を生成する。例えば、Ｌ（７，８）＝０．７５であれば、以下のようになる。
Ｓ１８（７，８）＝Ｓ１１（７，８）＊Ｌ（７，８）＋Ｓ４（７，８）＊（１−Ｌ（７，８））＝Ｓ１１（７，８）＊０．７５＋Ｓ４（７，８）＊（１−０．７５）
ただし、Ｓ１８（７，８）は、合成ＤＣＴ係数群Ｓ１８の（７，８）の要素であり、Ｓ１１（７，８）は、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の（７，８）の要素であり、Ｓ４（７，８）は、ドメインブロックＤＣＴ係数群Ｓ４の（７，８）の要素である。
Ｓ１８（７，８）＝Ｓ１１（７，８）＊Ｌ（７，８）＋Ｓ４（７，８）＊（１−Ｌ（７，８））＝Ｓ１１（７，８）＊０．７５＋Ｓ４（７，８）＊（１−０．７５）
ただし、Ｓ１８（７，８）は、合成ＤＣＴ係数群Ｓ１８の（７，８）の要素であり、Ｓ１１（７，８）は、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の（７，８）の要素であり、Ｓ４（７，８）は、ドメインブロックＤＣＴ係数群Ｓ４の（７，８）の要素である。
また、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の劣化係数についても同様に多値化した劣化判定結果に基づいた合成を行う。
その他の各部の動作及び装置全体の制御については、第１実施形態と同様である。
その他の各部の動作及び装置全体の制御については、第１実施形態と同様である。
以上説明したように、第４実施形態によれば、多値化した劣化判定結果に基づいて、画像の劣化した情報を補うので、拡大された画像の画質を第１実施形態から第３実施形態の場合よりもさらに向上できる。
（第５実施形態）
先に説明した第１実施形態から第４実施形態では、画像の拡大において劣化した部分の画質を改善する例を示した。これに対して第５実施形態は、画像の拡大を伴わずに、画像の鮮明化を目的として本発明を適用する形態である。
図２１は、本発明による画像処理装置の第５実施形態の構成を示す図である。
第４実施形態における装置の構成は、第１実施形態の構成から、レンジブロック（Ｂ）に関する構成を省略した形態である。すなわち、レンジブロック縮小部（Ｂ）１２、レンジブロック保持部（Ｂ）１３、レンジブロック抽出部（Ｂ）１４、レンジブロック相関比較部（Ｂ）１５、レンジブロック再抽出部（Ｂ）１６、レンジブロック直交変換部（Ｂ）１７が省略されている。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
先に説明した第１実施形態から第４実施形態では、画像の拡大において劣化した部分の画質を改善する例を示した。これに対して第５実施形態は、画像の拡大を伴わずに、画像の鮮明化を目的として本発明を適用する形態である。
図２１は、本発明による画像処理装置の第５実施形態の構成を示す図である。
第４実施形態における装置の構成は、第１実施形態の構成から、レンジブロック（Ｂ）に関する構成を省略した形態である。すなわち、レンジブロック縮小部（Ｂ）１２、レンジブロック保持部（Ｂ）１３、レンジブロック抽出部（Ｂ）１４、レンジブロック相関比較部（Ｂ）１５、レンジブロック再抽出部（Ｂ）１６、レンジブロック直交変換部（Ｂ）１７が省略されている。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
係数合成部１８は、非劣化ドメインブロック係数Ｓ１１１と、非劣化レンジブロック（Ａ）係数βＳ１１５の内の劣化ドメインブロック係数Ｓ１１２のエリアに相当する係数との合成を行い、合成ＤＣＴ係数群Ｓ１８として８×８要素の係数を出力する。
その他の構成部の動作は、第１実施形態と同様である。
以上説明したように、第５実施形態によれば、画像の拡大を伴わない場合であっても、本発明を適用して画像の鮮明化を行うことができる。
その他の構成部の動作は、第１実施形態と同様である。
以上説明したように、第５実施形態によれば、画像の拡大を伴わない場合であっても、本発明を適用して画像の鮮明化を行うことができる。
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
（１）各実施形態において、画像の成分係数を得る変換操作として離散コサイン変換（ＤＣＴ）を用いた例を示した。しかし、これに限らずフーリエ変換やアダマール変換等、その他の直交変換を用いてもよい。また、トータル・バリエーション法（ＴＶ法）等の直交変換によらない成分分解法であっても、最終的に逆変換が可能な変換法であればそれらの変換法を用いてもよい。
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
（１）各実施形態において、画像の成分係数を得る変換操作として離散コサイン変換（ＤＣＴ）を用いた例を示した。しかし、これに限らずフーリエ変換やアダマール変換等、その他の直交変換を用いてもよい。また、トータル・バリエーション法（ＴＶ法）等の直交変換によらない成分分解法であっても、最終的に逆変換が可能な変換法であればそれらの変換法を用いてもよい。
（２）各実施形態において、画像の縦横比を維持して拡大する処理、又は、拡大を伴わない処理について説明した。これに限らず、例えば、画像の縦横比を変更する処理であってもよい。
なお、第１実施形態〜第５実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した各実施形態によって限定されることはない。
１ 元画像保持部
２ ドメインブロック抽出部
４ ドメインブロック直交変換部
５ 劣化係数判定部
６ レンジブロック縮小部（Ａ）
７ レンジブロック保持部（Ａ）
８ レンジブロック抽出部（Ａ）
９ レンジブロック相関比較部（Ａ）
１０ レンジブロック再抽出部（Ａ）
１１ レンジブロック直交変換部（Ａ）
１２ レンジブロック縮小部（Ｂ）
１３ レンジブロック保持部（Ｂ）
１４ レンジブロック抽出部（Ｂ）
１５ レンジブロック相関比較部（Ｂ）
１６ レンジブロック再抽出部（Ｂ）
１７ レンジブロック直交変換部（Ｂ）
１８ 係数合成部
１９ 逆変換部
２０ 出力画像保持部
３１ 高域係数生成部
３２ 係数置換部
３３ 係数拡張部
１００ 制御部
Ｓ１００ 元画像
Ｓ１ 元画像メモリアクセスバス
Ｓ２ ドメインブロック
Ｓ４ ドメインブロックＤＣＴ係数群
Ｓ５ 劣化判定結果
Ｓ６ １／４縮小画像
Ｓ７ １／４縮小画像メモリアクセスバス
Ｓ８ レンジブロック候補（Ａ）
Ｓ９ 相関係数（Ａ）
Ｓ１０ レンジブロック（Ａ）
Ｓ１１ レンジブロック（Ａ）ＤＣＴ係数群
Ｓ１２ １／１６縮小画像
Ｓ１３ １／１６縮小画像メモリアクセスバス
Ｓ１４ レンジブロック候補（Ｂ）
Ｓ１５ 相関係数（Ｂ）
Ｓ１６ レンジブロック（Ｂ）
Ｓ１７ レンジブロック（Ｂ）ＤＣＴ係数群
Ｓ１８ 合成ＤＣＴ係数群
Ｓ１９ 拡大部分画像
Ｓ２０ 拡大画像
Ｓ３１ 高域係数
Ｓ３２ 置換ドメインブロック係数
Ｓ１０５ 最も相関度の高かったレンジブロック候補（Ａ）
Ｓ１０６ 最も相関度の高かったレンジブロック候補（Ｂ）
Ｓ１１１ 非劣化ドメインブロック係数
Ｓ１１２ 劣化ドメインブロック係数
Ｓ１１４ 非劣化レンジブロック（Ａ）係数α
Ｓ１１５ 非劣化レンジブロック（Ａ）係数β
Ｓ１１６ 劣化レンジブロック（Ａ）係数
Ｓ１１８ 非劣化レンジブロック（Ｂ）係数α
Ｓ１１９ 非劣化レンジブロック（Ｂ）係数β
Ｓ１２０ 非劣化レンジブロック（Ｂ）係数γ
Ｓ１２１ 非劣化レンジブロック（Ｂ）係数δ
Ｓ１２２ 劣化レンジブロック（Ｂ）係数
２ ドメインブロック抽出部
４ ドメインブロック直交変換部
５ 劣化係数判定部
６ レンジブロック縮小部（Ａ）
７ レンジブロック保持部（Ａ）
８ レンジブロック抽出部（Ａ）
９ レンジブロック相関比較部（Ａ）
１０ レンジブロック再抽出部（Ａ）
１１ レンジブロック直交変換部（Ａ）
１２ レンジブロック縮小部（Ｂ）
１３ レンジブロック保持部（Ｂ）
１４ レンジブロック抽出部（Ｂ）
１５ レンジブロック相関比較部（Ｂ）
１６ レンジブロック再抽出部（Ｂ）
１７ レンジブロック直交変換部（Ｂ）
１８ 係数合成部
１９ 逆変換部
２０ 出力画像保持部
３１ 高域係数生成部
３２ 係数置換部
３３ 係数拡張部
１００ 制御部
Ｓ１００ 元画像
Ｓ１ 元画像メモリアクセスバス
Ｓ２ ドメインブロック
Ｓ４ ドメインブロックＤＣＴ係数群
Ｓ５ 劣化判定結果
Ｓ６ １／４縮小画像
Ｓ７ １／４縮小画像メモリアクセスバス
Ｓ８ レンジブロック候補（Ａ）
Ｓ９ 相関係数（Ａ）
Ｓ１０ レンジブロック（Ａ）
Ｓ１１ レンジブロック（Ａ）ＤＣＴ係数群
Ｓ１２ １／１６縮小画像
Ｓ１３ １／１６縮小画像メモリアクセスバス
Ｓ１４ レンジブロック候補（Ｂ）
Ｓ１５ 相関係数（Ｂ）
Ｓ１６ レンジブロック（Ｂ）
Ｓ１７ レンジブロック（Ｂ）ＤＣＴ係数群
Ｓ１８ 合成ＤＣＴ係数群
Ｓ１９ 拡大部分画像
Ｓ２０ 拡大画像
Ｓ３１ 高域係数
Ｓ３２ 置換ドメインブロック係数
Ｓ１０５ 最も相関度の高かったレンジブロック候補（Ａ）
Ｓ１０６ 最も相関度の高かったレンジブロック候補（Ｂ）
Ｓ１１１ 非劣化ドメインブロック係数
Ｓ１１２ 劣化ドメインブロック係数
Ｓ１１４ 非劣化レンジブロック（Ａ）係数α
Ｓ１１５ 非劣化レンジブロック（Ａ）係数β
Ｓ１１６ 劣化レンジブロック（Ａ）係数
Ｓ１１８ 非劣化レンジブロック（Ｂ）係数α
Ｓ１１９ 非劣化レンジブロック（Ｂ）係数β
Ｓ１２０ 非劣化レンジブロック（Ｂ）係数γ
Ｓ１２１ 非劣化レンジブロック（Ｂ）係数δ
Ｓ１２２ 劣化レンジブロック（Ｂ）係数
Claims (16)
- 元画像から成分係数行列に変換を行う変換手段と、
前記成分係数行列から画像の劣化した周波数成分を判定する判定手段と、
前記判定手段が判定した結果と前記成分係数行列とに応じて新たな成分係数行列を生成する係数生成手段と、
前記係数生成手段が生成する新たな成分係数行列に対して前記変換手段が行う変換の逆変換を行い画像を出力する逆変換手段と、
を備え、
前記判定手段は、画像の劣化している周波数成分の劣化度合いを多値化し、
前記係数生成手段は、前記判定手段により画像が劣化していると判定された周波数成分の係数を、多値化された前記劣化度合いに応じて新たな係数に置き換えて、新たな成分係数行列を生成すること、を特徴とする画像処理装置。 - 前記変換手段が行う変換は、直交変換であり、
前記逆変換手段が行う逆変換は、前記直交変換の逆変換であること、
を特徴とする請求項１に記載の画像処理装置。 - 前記係数生成手段は、前記変換手段が変換した成分係数行列の少なくとも一部を含むように新たな成分係数行列を生成すること、
を特徴とする請求項１又は請求項２に記載の画像処理装置。 - 元画像の一部をなす第１部分画像と、元画像を縮小した縮小画像の一部をなす第２部分画像とを比較して、互いに相関する第１部分画像と第２部分画像とを特定する比較手段をさらに備え、
前記係数生成手段は、前記第１部分画像から生成された係数、若しくは前記第２部分画像から生成された係数、または前記第１部分画像から生成された係数および前記第２部分画像から生成された係数を用いて、前記新たな係数を決定すること、
を特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。 - 前記係数生成手段は、前記新たな係数として、前記劣化度合いが小さいほど前記第１部分画像から生成された係数に近く、前記劣化度合いが大きいほど前記第２部分画像から生成された係数に近い係数を生成すること、
を特徴とする請求項４に記載の画像処理装置。 - 前記判定手段は、前記変換手段が変換した成分係数行列の係数を閾値と比較して、前記成分係数行列から画像の劣化した周波数成分に相当する係数を判定すること、
を特徴とする請求項１から請求項５までのいずれか１項に記載の画像処理装置。 - 元画像から成分係数行列に変換を行う変換手段と、
前記成分係数行列から画像の劣化した周波数成分を判定する判定手段と、
前記判定手段が判定した結果と前記成分係数行列とに応じて新たな成分係数行列を生成する係数生成手段と、
前記係数生成手段が生成する新たな成分係数行列に対して前記変換手段が行う変換の逆変換を行い画像を出力する逆変換手段と、
を備え、
前記判定手段は、前記元画像のメディアタイプに応じて設定された周波数成分を、画像の劣化している周波数成分として判定すること、
を特徴とする画像処理装置。 - 前記メディアタイプは、地上波放送、衛星放送、外部入力の少なくともいずれかを含むことを特徴とする請求項７に記載の画像処理装置。
- 元画像から成分係数行列に変換を行い、
前記成分係数行列から画像の劣化した周波数成分を判定するとともに画像が劣化している周波数成分の劣化度合いを多値化し、
画像が劣化していると判定された周波数成分の係数を、多値化された前記劣化度合いに応じて新たな係数に置き換えることで新たな成分係数行列を生成し、
前記新たな成分係数行列に対して前記変換の逆変換を行い画像を出力する画像処理方法。 - 前記元画像から成分係数行列に変換する場合に直交変換を行い、
前記逆変換として、前記直交変換の逆変換を行うこと、
を特徴とする請求項９に記載の画像処理方法。 - 前記変換を行った成分係数行列の少なくとも一部を含むように前記新たな成分係数行列を生成すること、
を特徴とする請求項９又は請求項１０に記載の画像処理方法。 - 前記新たな成分係数行列を生成する際、元画像の一部をなす第１部分画像と、元画像を縮小した縮小画像の一部をなす第２部分画像とを比較して、互いに相関する第１部分画像と第２部分画像とを特定し、
前記第１部分画像から生成された係数、若しくは前記第２部分画像から生成された係数、または前記第１部分画像から生成された係数および前記第２部分画像から生成された係数を用いて、前記新たな係数を決定すること、
を特徴とする請求項９から請求項１１までのいずれか１項に記載の画像処理方法。 - 前記新たな係数として、前記劣化度合いが小さいほど前記第１部分画像から生成した係数に近く、前記劣化度合いが大きいほど前記第２部分画像から生成した係数に近い係数を生成すること、
を特徴とする請求項１２に記載の画像処理方法。 - 前記変換した成分係数行列の係数を閾値と比較して、前記成分係数行列から画像の劣化した周波数成分に相当する係数を判定すること、
を特徴とする請求項９から請求項１３までのいずれか１項に記載の画像処理方法。 - 元画像から成分係数行列に変換を行い、
前記成分係数行列から、前記元画像のメディアタイプに応じて設定された周波数成分を、画像の劣化している周波数成分として判定し、
画像が劣化していると判定された前記周波数成分の係数を、新たな係数に置き換えることで新たな成分係数行列を生成し、
前記新たな成分係数行列に対して前記変換の逆変換を行い画像を出力する画像処理方法。 - 前記メディアタイプは、地上波放送、衛星放送、外部入力の少なくともいずれかを含むことを特徴とする請求項１５に記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008258438A JP5192342B2 (ja) | 2008-10-03 | 2008-10-03 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008258438A JP5192342B2 (ja) | 2008-10-03 | 2008-10-03 | 画像処理装置、画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010093334A JP2010093334A (ja) | 2010-04-22 |
| JP5192342B2 true JP5192342B2 (ja) | 2013-05-08 |
Family
ID=42255692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008258438A Expired - Fee Related JP5192342B2 (ja) | 2008-10-03 | 2008-10-03 | 画像処理装置、画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5192342B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106358046A (zh) * | 2016-11-12 | 2017-01-25 | 深圳市迪威码半导体有限公司 | 一种高清视频图像无线传输方法和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03238564A (ja) * | 1990-02-15 | 1991-10-24 | Fujitsu Ltd | 画像データ符号化及び復元方法並びに装置 |
| JP2001128176A (ja) * | 1999-10-28 | 2001-05-11 | Asahi Optical Co Ltd | 画像圧縮および伸張装置 |
| JP4763413B2 (ja) * | 2005-10-17 | 2011-08-31 | 日本放送協会 | 画像改善装置 |
| JP4307485B2 (ja) * | 2006-12-27 | 2009-08-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2008
- 2008-10-03 JP JP2008258438A patent/JP5192342B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010093334A (ja) | 2010-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6206879B2 (ja) | 信号処理、および階層化された信号エンコード | |
| CN111133478A (zh) | 信息处理装置和方法 | |
| JP5727873B2 (ja) | 動きベクトル検出装置、符号化装置、及びこれらのプログラム | |
| JPH0944657A (ja) | 画像処理方法および装置 | |
| JP4650123B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6065613B2 (ja) | 動画像符号化装置 | |
| WO2016075914A1 (ja) | 画像信号処理装置、画像信号処理方法及び画像信号処理プログラム | |
| US20230156343A1 (en) | Blind local reshaping in hdr imaging | |
| JP5717548B2 (ja) | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム | |
| JP5192342B2 (ja) | 画像処理装置、画像処理方法 | |
| JP5514132B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム | |
| US9607359B2 (en) | Electronic device, method, and computer program product | |
| JP5498970B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム | |
| Vural et al. | Adaptive reversible video watermarking based on motion-compensated prediction error expansion with pixel selection | |
| JP2000125268A (ja) | 画像データ変換装置及び画像データ変換方法 | |
| KR20190084448A (ko) | 영상 디스플레이 장치 및 그 제어 방법 | |
| JP3867346B2 (ja) | 画像信号処理装置及び方法並びに予測パラメータの学習装置及び方法 | |
| US20050089236A1 (en) | Image transformation method and apparatus, and storage medium | |
| JP2009070407A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP4307485B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6388476B2 (ja) | 符号化装置及びプログラム | |
| JP3775180B2 (ja) | 画像処理方法及び装置 | |
| WO2009130942A1 (ja) | 画像符号化装置および画像復号装置 | |
| JP4225039B2 (ja) | データ処理装置および方法、記録媒体、並びにプログラム | |
| JP7057694B2 (ja) | 画像雑音除去装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130131 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5192342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160208 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |