JP4762352B1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】符号化された画像を復号化し、その復号化した画像を鮮鋭化する際の、鮮鋭化に伴う符号化歪の増幅を抑制することを可能とする。
【解決手段】画像処理装置１は、符号化された符号化動画像信号１０１を復号化する復号化部１０と、符号化動画像信号１０１を生成する際の、量子化の精度を示す量子化情報を取得する符号化実施情報取得部２０と、復号化部１０により復号化された復号化動画像信号１０２に鮮鋭化処理を行う鮮鋭化処理部５０と、取得された量子化情報をもとに、精度の低下に伴って鮮鋭化処理の効果を抑制するように制御する鮮鋭化制御部４０と、を備える。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、動画像の伝送、記録を行う場合には、伝送効率、圧縮効率を高めるために符号化が行われる。一方、符号化された動画像を受信する受信側、再生側では、符号化された動画像の復号化と、復号化した動画像の鮮鋭化とが行われる。このように、符号化された動画像を復号化して鮮鋭化を行う場合は、鮮鋭化に伴って符号化歪が増幅され、画質劣化が生じることがある。

この画質劣化を防止する従来技術としては、特許文献１が知られている。特許文献１には、量子化の度合いに応じて、輪郭強調する際のゲインや、輪郭強調する周波数を可変にすることで、画質劣化を防止することが開示されている。

特開平９−８１１０４号公報

しかしながら、上記従来技術は、輪郭強調する際のゲインや、輪郭強調する周波数を可変にするだけであり、鮮鋭化の効果を抑えるのには十分でないため、鮮鋭化に伴う符号化歪の増幅を十分に抑制することができなかった。

本発明は、上記に鑑みてなされたものであって、符号化された画像を復号化し、その復号化した画像を鮮鋭化する際の、鮮鋭化に伴う符号化歪の増幅を抑制することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、符号化された符号化画像を復号化する復号化手段と、前記符号化画像を生成する際の、量子化の精度を示す量子化情報を取得する取得手段と、前記復号化手段により復号化された復号化画像に鮮鋭化処理を行う鮮鋭化手段と、前記復号化画像ごとに、前記復号化画像において各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを検出する検出手段と、前記取得された量子化情報をもとに、前記精度の低下に伴って前記鮮鋭化処理の効果を抑制するように制御し、前記検出された周波数ヒストグラムをもとに、前記復号化画像が高い周波数成分の画素をより多く含む場合に伴って前記鮮鋭化の効果を抑制するように制御する制御手段と、を備えることを特徴とする。

また、本発明の画像処理方法は、符号化された符号化画像を復号化して鮮鋭化する画像処理装置の画像処理方法であって、復号化手段が、前記符号化画像を復号化するステップと、取得手段が、前記符号化画像を生成する際の、量子化の精度を示す量子化情報を取得するステップと、鮮鋭化手段が、前記復号化手段により復号化された復号化画像に鮮鋭化処理を行うステップと、検出手段が、前記復号化画像ごとに、前記復号化画像において各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを検出するステップと、制御手段が、前記取得された量子化情報をもとに、前記精度の低下に伴って前記鮮鋭化処理の効果を抑制するように制御し、前記検出された周波数ヒストグラムをもとに、前記復号化画像が高い周波数成分の画素をより多く含む場合に伴って前記鮮鋭化の効果を抑制するように制御するステップと、を含むことを特徴とする。

本発明によれば、符号化された画像を復号化し、その復号化した画像を鮮鋭化する際の、鮮鋭化に伴う符号化歪の増幅を抑制することを可能とする、という効果を奏する。

図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。 図２は、鮮鋭化処理部の構成を示すブロック図である。 図３は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。 図４−１は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。 図４−２は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。 図４−３は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。 図５は、本実施形態にかかる画像処理装置の動作の一例を示すフローチャートである。 図６は、鮮鋭化処理部の動作の一例を示すフローチャートである。 図７は、鮮鋭化処理部の構成を示すブロック図である。 図８は、本実施形態にかかる画像処理装置を含むテレビジョン放送受信装置の構成を示すブロック図である。

以下に添付図面を参照して、画像処理装置及び画像処理方法の実施形態を詳細に説明する。本実施形態にかかる画像処理装置及び画像処理方法は、所定の符号化方式により符号化された符号化動画像信号を復号化し、鮮鋭化処理でより高精細な動画像信号に変換して出力するものであり、例えば、テレビジョン受信装置、ＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disc）などの大容量記憶媒体への録画や、録画されたデータの再生を行う録画・再生装置、チューナやセットトップボックス等に用いられる。

図１は、本実施形態にかかる画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、復号化部１０、符号化実施情報取得部２０、ヒストグラム検出部３０、鮮鋭化制御部４０、鮮鋭化処理部５０を備える構成である。なお、上述した画像処理装置１の各部は、各々がマイクロコントローラなどチップで構成されてもよいし、１チップで構成されてもよい。また、画像処理装置１の各部は、ＣＰＵ（Central Processing Unit）がＲＯＭ（Read Only Memory）等に記憶されたプログラムをＲＡＭ（Random Access Memory）の作業領域に展開し、その展開したプログラムを順次実行することで実現されてもよい。

復号化部１０は、所定の符号化方式により符号化された符号化動画像信号１０１を復号化する。復号化部１０が復号化を行う符号化方式は、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などであってよい。復号化部１０は、復号化した動画像信号を、復号化動画像信号１０２としてヒストグラム検出部３０と鮮鋭化処理部５０へ出力する。また、復号化部１０は、符号化動画像信号１０１を復号化する際に得た、符号化動画像信号１０１の符号化を行う際に採用された符号化実施情報を符号化実施情報取得部２０へ出力する。

具体的には、符合化実施情報は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの符号化方式にかかる情報、フィールド又はフレームのピクチャタイプ、量子化情報などである。ピクチャタイプは、ＭＰＥＧにおいて定められている動画を構成している最小単位の構造であるＧＯＰ（Group Of Pictures）を構成する、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどである。量子化情報は、符号化する際の量子化時における精度を示す情報であり、例えばフィールド又はフレームにおける量子化ステップ、マクロブロックの量子化スケールのフィールド又はフレーム平均値などである。

符号化実施情報取得部２０は、符号化方式出力部２１、情報出力部２２を備え、復号化部１０が出力した符号化実施情報を取得する。符号化実施情報は、その内容に応じて符号化方式出力部２１、情報出力部２２に一旦分類して取得される。具体的には、符号化実施情報における符号化方式にかかる情報は符号化方式出力部２１に分類して取得される。また、符号化実施情報におけるピクチャタイプや量子化情報などの情報は情報出力部２２に分類して取得される。

符号化方式出力部２１は、復号化部１０からＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの、符号化動画像信号１０１の符号化方式の種類を取得する。符号化方式出力部２１は取得した符号化方式の種類を鮮鋭化制御部４０に出力する。情報出力部２２は、符号化動画像信号１０１のフィールド又はフレームごとに、そのフィールド又はフレームのピクチャタイプや量子化情報を復号化部１０から取得する。情報出力部２２は、取得したピクチャタイプや量子化情報を鮮鋭化制御部４０に出力する。

ヒストグラム検出部３０は、復号化動画像信号１０２のフィールド又はフレームごとに、周波数成分を横軸、その出現度数（画素数）を縦軸とした周波数ヒストグラムを検出する。ヒストグラム検出部３０は、検出した周波数ヒストグラムを鮮鋭化制御部４０へ出力する。この周波数ヒストグラムの検出により、鮮鋭化制御部４０では、復号化動画像信号１０２のフィールド又はフレームにおいて各周波数成分に対応する画素がどの程度存在するかを判定することができる。すなわち、主に低い周波数成分の画素から構成されるフィールド又はフレームか、主に高い周波数成分の画素から構成されるフィールド又はフレームかを判定できる。

鮮鋭化制御部４０は、符号化方式出力部２１から出力された符号化方式の種類、情報出力部２２から出力されたピクチャタイプや量子化情報、鮮鋭化制御部４０から出力された周波数ヒストグラムに応じて、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。具体的には、鮮鋭化制御部４０は、符号化方式出力部２１、情報出力部２２、鮮鋭化制御部４０からの出力に応じた制御信号１０３を鮮鋭化処理部５０に出力することで、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する（詳細は後述する）。

鮮鋭化処理部５０は、入力される復号化動画像信号１０２を高解像度化するための画像処理（鮮鋭化処理）を施して、復号化動画像信号１０２以上の高解像度の動画像信号１０４を生成する。例えば、鮮鋭化処理部５０は、１４４０×１０８０の解像度の復号化動画像信号１０２からＨＤ解像度（１９２０×１０８０）の動画像信号１０４を生成する。また、鮮鋭化処理部５０では、鮮鋭化制御部４０からの制御信号１０３を用いて鮮鋭化処理を行う。

ここで、鮮鋭化処理とは、入力された動画像信号に含まれる所定の画像信号を強調化し、その入力された動画像信号以上の解像度の動画像信号を生成する処理である。この鮮鋭化処理には、入力された動画像信号と鮮鋭化処理後の動画像信号の解像度が同じであり、強調化のみが行われる場合も含まれる。

ここで、鮮鋭化処理部５０の構成を図２を参照して説明する。図２は、鮮鋭化処理部５０の構成を示すブロック図である。図２に示すように、鮮鋭化処理部５０は、強調化帯域フィルタ５１０、高解像度画像生成部５２０、仮の高解像度画像生成部５３０、差分検出部５４０、コアリング処理部５５０、非線形処理部５６０、パラメータ調整部５７０を備える。

強調化帯域フィルタ５１０は、入力された復号化動画像信号１０２に含まれる所定の帯域の画像信号を抽出して強調化処理を施した後に、復号化動画像信号１０２に加算した動画像信号１１０を差分検出部５４０へ出力する。すなわち、強調化帯域フィルタ５１０は、復号化動画像信号１０２に含まれる所定の帯域の画像信号を強調化するアンシャープマスクである。例えば、強調化帯域フィルタ５１０が高い帯域の画像信号を強調化するアンシャープマスクである場合は、復号化動画像信号１０２に含まれる細密な模様等のあるテクスチャ部分、線や境目等のあるエッジ部分、及び背景等の平坦部分のうち、テクスチャ部分を抽出して強調化を施した動画像信号１１０を出力する。

具体的には、強調化帯域フィルタ５１０は、フィルタ処理部５１１、コアリング処理部５１２、非線形処理部５１３、ゲイン調整部５１４、補正部５１５を備える。フィルタ処理部５１１は、入力された復号化動画像信号１０２から所定の帯域の画像信号を抽出し、コアリング処理部５１２へ出力する。

コアリング処理部５１２は、一定レベル（コアリングレベル）以下をノイズとみなし０に置き換えるコアリング処理を行い、コアリング処理後の画像信号を非線形処理部５１３へ出力する。コアリング処理部５１２のコアリングレベルは制御信号１０３をもとに設定される。例えば、制御信号１０３によりコアリングレベルが大きく設定された場合は、小振幅のノイズについては処理が行われなくなることから、コアリング処理部５１２におけるコアリング処理の効果は弱くなる。逆に、制御信号１０３によりコアリングレベルが小さく設定された場合は、小振幅のノイズに対しても処理が行われることから、コアリング処理部５１２におけるコアリング処理の効果は強くなる。

非線形処理部５１３は、一定レベル（非線形レベル）を境に、入力（画素値）と出力（画素値）との特性が変わる（例えば、等価な関係から出力が緩やかな関係に変わる）、非線形の変換処理を行い、変換処理後の画像信号をゲイン調整部５１４へ出力する。非線形処理部５１３の非線形レベルは制御信号１０３をもとに設定される。例えば、制御信号１０３により非線形レベルが小さく設定された場合は、その非線形レベル以降の入力に対する出力が緩やかなものになることから、非線形の変換処理の効果は弱くなる。逆に、制御信号１０３により非線形レベルが大きく設定された場合は、その非線形レベルまでが入力と出力とが等価な関係であり、非線形レベル以降の入力に対する出力が緩やかになることから、非線形の変換処理の効果は強くなる。

ゲイン調整部５１４は、入力された画像信号のゲインを調整し、調整後の画像信号を補正部５１５へ出力する。ゲイン調整部５１４におけるゲインの調整量は、制御信号１０３をもとに設定される。例えば、制御信号１０３によりゲインの調整量が小さく設定された場合は、ゲイン調整部５１４におけるゲイン調整の効果は弱くなる。逆に、制御信号１０３によりゲインの調整量が大きく設定された場合は、ゲイン調整部５１４におけるゲイン調整の効果は強くなる。

補正部５１５は、復号化動画像信号１０２に対するフィルタ処理部５１１、コアリング処理部５１２、非線形処理部５１３、ゲイン調整部５１４の処理を施した後の画像信号、すなわち、復号化動画像信号１０２に含まれる所定の帯域の画像信号を抽出して強調化処理を施した後の画像信号を、復号化動画像信号１０２に加算した動画像信号１１０を差分検出部５４０へ出力する。なお、補正部５１５は、強調化処理を施した後の画像信号を復号化動画像信号１０２に加算するだけでなく、加減乗除のいずれを行ってもよい。

高解像度画像生成部５２０は、第１解像度の復号化動画像信号１０２から本来の画素値を推定して画素を増やすことにより、第１解像度以上の高解像度な第２解像度の動画像信号１０４を生成する。具体的には、高解像度画像生成部５２０は、復号化動画像信号１０２に含まれる所定の帯域の画像信号を強調化した画像信号と、復号化動画像信号１０２から生成した仮の高解像度画像の画像信号との差分から生成されたパラメータ１１３を、復号化動画像信号１０２から隣り合う画素の情報を元に間の画素を補間した画像信号に加えて、動画像信号１０４を生成する。また、高解像度画像生成部５２０は、入力された復号化動画像信号１０２をフレームバッファ（図示しない）などに保持しており、前述した比較と復元の処理を繰り返す間は、保持している復号化動画像信号１０２を動画像信号１１１として仮の高解像度画像生成部５３０へ出力する。動画像信号１１１は、仮の高解像度画像生成部５３０を介して動画像信号１１２として差分検出部５４０へ出力される。

差分検出部５４０は、強調化帯域フィルタ５１０により生成された動画像信号１１０と、仮の高解像度画像生成部５３０により生成された動画像信号１１２との差分を検出する。差分検出部５４０により検出された差分値（差分信号）はコアリング処理部５５０へ出力される。コアリング処理部５５０、非線形処理部５６０、パラメータ調整部５７０は、差分検出部５４０により検出された差分信号を調整する調整部である。

コアリング処理部５５０は、一定レベル（コアリングレベル）以下をノイズとみなし０に置き換えるコアリング処理を差分信号に行い、コアリング処理後の信号を非線形処理部５６０へ出力する。コアリング処理部５５０のコアリングレベルは制御信号１０３をもとに設定される。例えば、制御信号１０３によりコアリングレベルが大きく設定された場合は、小振幅のノイズについては処理が行われなくなることから、コアリング処理部５５０におけるコアリング処理の効果は弱くなる。逆に、制御信号１０３によりコアリングレベルが小さく設定された場合は、小振幅のノイズに対しても処理が行われることから、コアリング処理部５５０におけるコアリング処理の効果は強くなる。

非線形処理部５６０は、一定レベル（非線形レベル）を境に、入力と出力との特性が変わる（例えば、等価な関係から出力が緩やかな関係に変わる）、非線形の変換処理を行い、変換処理後の信号をパラメータ調整部５７０へ出力する。非線形処理部５６０の非線形レベルは制御信号１０３をもとに設定される。例えば、制御信号１０３により非線形レベルが小さく設定された場合は、その非線形レベル以降の入力に対する出力が緩やかなものになることから、非線形の変換処理の効果は弱くなる。逆に、制御信号１０３により非線形レベルが大きく設定された場合は、その非線形レベルまでが入力と出力とが等価な関係であり、非線形レベル以降の入力に対する出力が緩やかになることから、非線形の変換処理の効果は強くなる。

パラメータ調整部５７０は、入力された信号のゲインを調整する。パラメータ調整部５７０によりゲインを調整した後の信号は、パラメータ１１３として高解像度画像生成部５２０へ出力される。パラメータ調整部５７０におけるゲインの調整量は、制御信号１０３をもとに設定される。例えば、制御信号１０３によりゲインの調整量が小さく設定された場合は、パラメータ調整部５７０におけるゲイン調整の効果は弱くなる。逆に、制御信号１０３によりゲインの調整量が大きく設定された場合は、パラメータ調整部５７０におけるゲイン調整の効果は強くなる。

次に、鮮鋭化制御部４０による鮮鋭化処理部５０の制御について説明する。図３、図４−１、図４−２、図４−３は、鮮鋭化制御部４０による鮮鋭化処理の制御を説明する概念図である。図３に示すように、鮮鋭化制御部４０は、情報出力部２２により取得された符号化動画像信号１０１の量子化の精度を示す量子化情報（量子化ステップ、量子化スケールなど）の大小、すなわち量子化の精度の高低を条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。

より具体的には、量子化ステップ、量子化スケールが大きく、符号化動画像信号１０１の量子化の精度が低い場合は、コアリング処理部５１２、５５０、非線形処理部５１３、５６０、ゲイン調整部５１４、パラメータ調整部５７０の効果を弱くする制御信号１０３（コアリングレベルを大、非線形レベルを小、ゲインを小）を鮮鋭化処理部５０へ出力し、それらの効果の総合である、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、量子化ステップ、量子化スケールが小さく、符号化動画像信号１０１の量子化の精度が高い場合は、コアリング処理部５１２、５５０、非線形処理部５１３、５６０、ゲイン調整部５１４、パラメータ調整部５７０の効果を強くする制御信号１０３（コアリングレベルを小、非線形レベルを大、ゲインを大）を鮮鋭化処理部５０へ出力し、それらの効果の総合である、鮮鋭化処理部５０における鮮鋭化の効果を強くする。

量子化ステップ、量子化スケールが大きく、符号化動画像信号１０１の量子化の精度が低い場合は符号化歪みが発生しやすい。この符号化歪みによる歪成分を含む画像信号に鮮鋭化を強く施すと、画質劣化を引き起こすことがある。したがって、符号化動画像信号１０１の量子化の精度が低い場合は、鮮鋭化の効果を弱くすることで、符号化歪みによる歪成分が鮮鋭化処理により増幅されることを抑制することができる。

図４−１に示すように、鮮鋭化制御部４０は、符号化方式出力部２１により取得された符号化動画像信号１０１の符号化方式を条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、符号化方式がＭＰＥＧ−２の場合には、コアリング処理部５１２、５５０、非線形処理部５１３、５６０、ゲイン調整部５１４、パラメータ調整部５７０の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、それらの効果の総合である、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、符号化方式がＨ．２６４／ＭＰＥＧ−４ ＡＶＣの場合には、コアリング処理部５１２、５５０、非線形処理部５１３、５６０、ゲイン調整部５１４、パラメータ調整部５７０の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、それらの効果の総合である、鮮鋭化処理部５０における鮮鋭化の効果を強くする。

符号化方式がＭＰＥＧ−２の場合は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに比べて符号化歪みが発生しやすい。したがって、符号化方式がＭＰＥＧ−２の場合は、鮮鋭化の効果を弱くすることで、符号化歪みによる歪成分が鮮鋭化処理により増幅されることを抑制することができる。

図４−２に示すように、鮮鋭化制御部４０は、情報出力部２２により取得された符号化動画像信号１０１のピクチャタイプを条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、ピクチャタイプがＩピクチャである場合には、コアリング処理部５１２、５５０、非線形処理部５１３、５６０、ゲイン調整部５１４、パラメータ調整部５７０の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、それらの効果の総合である、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、ピクチャタイプがＢ、Ｐピクチャの場合には、コアリング処理部５１２、５５０、非線形処理部５１３、５６０、ゲイン調整部５１４、パラメータ調整部５７０の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、それらの効果の総合である、鮮鋭化処理部５０における鮮鋭化の効果を強くする。

Ｉピクチャは、符号化信号から単独で生成される。Ｐピクチャは、一方向の動き補償予測を用いて生成されるピクチャであり、ＧＯＰにおけるＩピクチャ及びＰピクチャの差分情報を元に生成される。Ｂピクチャは、双方向予測を用いて生成されるピクチャであり、前後のＩピクチャ又はＰピクチャからの差分情報を元に生成される。このため、ＧＯＰ周期では、Ｉピクチャに含まれる小振幅の差分（ノイズ／ディテール成分）が周期的な揺らぎとして動画像に現れる。よって、ピクチャタイプがＩピクチャである場合は、鮮鋭化の効果を弱くすることで、周期的な揺らぎが鮮鋭化処理により増幅されることを抑制することができる。

図４−３に示すように、鮮鋭化制御部４０は、ヒストグラム検出部３０により検出された復号化動画像信号１０２の周波数ヒストグラムを条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、復号化動画像信号１０２が主に高い周波数成分の画素から構成されるフィールド又はフレームの場合には、コアリング処理部５１２、５５０、非線形処理部５１３、５６０、ゲイン調整部５１４、パラメータ調整部５７０の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、それらの効果の総合である、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、復号化動画像信号１０２が主に低い周波数成分の画素から構成されるフィールド又はフレームの場合には、コアリング処理部５１２、５５０、非線形処理部５１３、５６０、ゲイン調整部５１４、パラメータ調整部５７０の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、それらの効果の総合である、鮮鋭化処理部５０における鮮鋭化の効果を強くする。

このように、主に高い周波数成分の画素から構成されるフィールド又はフレームの場合は、鮮鋭化の効果を弱くすることで、高い周波数成分に含まれるノイズが鮮鋭化処理により増幅されることを抑制することができる。

なお、鮮鋭化制御部４０は、入力された符号化動画像信号１０１における各条件（量子化情報、符号化方式、ピクチャタイプ、周波数ヒストグラム）をもとに鮮鋭化処理部５０へ出力する制御信号１０３は、量子化情報に応じて算出したコアリングレベルの大小、非線形レベルの大小、ゲインの大小の値に、符号化方式、ピクチャタイプ、周波数ヒストグラムなどの他の条件に応じた重み付けを行って算出してもよい。この場合は、鮮鋭化処理部５０における鮮鋭化の効果の制御を、符号化動画像信号１０１における量子化の精度を基準に、他の条件を加味して行うことが可能となる。

また、鮮鋭化制御部４０は、量子化情報と、それ以外の条件（符号化方式、ピクチャタイプ、周波数ヒストグラム）とを用いて鮮鋭化の効果を制御する場合は、効果をより小さくする条件に合わせた制御を行う。例えば、鮮鋭化制御部４０は、入力された符号化動画像信号１０１における条件（量子化情報、符号化方式、ピクチャタイプ、周波数ヒストグラム）ごとに、コアリングレベルの大小、非線形レベルの大小、ゲインの大小の値を算出し、各条件で算出した値の中から、鮮鋭化の効果をより弱くする値（コアリングレベルの最も大きい値、非線形レベルの最も小さい値、ゲインの最も小さい値）を選択し、その選択した値を制御信号１０３として鮮鋭化処理部５０へ出力してもよい。この場合は、各条件の中でノイズなどの影響が大きい条件を基準にして、鮮鋭化の効果を抑制できる。

次に、画像処理装置１の動作を図５、図６を参照して説明する。図５は、本実施形態にかかる画像処理装置１の動作の一例を示すフローチャートである。図６は、鮮鋭化処理部５０の動作の一例を示すフローチャートである。

図５に示すように、符号化動画像信号１０１が復号化部１０に入力されると（Ｓ１）、復号化部１０は、所定の符号化方式により符号化された符号化動画像信号１０１を復号化する（Ｓ２）。次いで、符号化実施情報取得部２０は、符号化実施情報を取得し、取得した符号化実施情報を鮮鋭化制御部４０へ出力する（Ｓ３）。具体的には、符号化実施情報取得部２０の符号化方式出力部２１から符号化動画像信号１０１の符号化方式の種類が鮮鋭化制御部４０に出力され、情報出力部２２から符号化動画像信号１０１のピクチャタイプや量子化情報が鮮鋭化制御部４０に出力される。

次いで、ヒストグラム検出部３０は、復号化動画像信号１０２のフィールド又はフレームごとに周波数ヒストグラムを検出し、検出した周波数ヒストグラムを鮮鋭化制御部４０へ出力する（Ｓ４）。次いで、鮮鋭化処理部５０は、鮮鋭化制御部４０の制御のもと、入力される復号化動画像信号１０２に鮮鋭化処理を施して、復号化動画像信号１０２以上の高解像度の動画像信号１０４を生成する（Ｓ５）。具体的には、鮮鋭化制御部４０は符号化実施情報取得部２０からの出力により取得した符号化実施情報や、周波数ヒストグラムをもとにした制御信号１０３を鮮鋭化処理部５０へ出力する。鮮鋭化処理部５０では、制御信号１０３に応じた鮮鋭化処理が復号化動画像信号１０２に対して行われ、動画像信号１０４を生成する。すなわち、復号化動画像信号１０２に対する鮮鋭化処理では、コアリング処理、非線形処理、ゲイン調整の効果の強弱が制御信号１０３をもとに調整されて、鮮鋭化の効果の強弱が調整される。

図６に示すように、鮮鋭化処理部５０に復号化動画像信号１０２が入力されると（Ｓ１０）、強調化帯域フィルタ５１０は、復号化動画像信号１０２に含まれる所定の帯域の画像信号を強調化し（Ｓ１１〜Ｓ１５）、動画像信号１１０を差分検出部５４０へ出力する。

具体的には、フィルタ処理部５１１は、入力された復号化動画像信号１０２から所定の帯域の画像信号を抽出する（Ｓ１１）。次いで、コアリング処理部５１２は、フィルタ処理部５１１で抽出された画像信号に対するコアリング処理を、制御信号１０３で設定されたコアリングレベルで施す（Ｓ１２）。次いで、非線形処理部５１３は、コアリング処理部５１２によるコアリング処理後の画像信号に対する非線形処理を、制御信号１０３で設定された非線形レベルで施す（Ｓ１３）。次いで、ゲイン調整部５１４は、非線形処理部５１３による非線形処理後の画像信号に対するゲイン調整を、制御信号１０３で設定された調整量に従って施す（Ｓ１４）。次いで、補正部５１５は、ゲイン調整部５１４によるゲイン調整後の画像信号を、復号化動画像信号１０２に加算する（Ｓ１５）。

また、強調化帯域フィルタ５１０によるＳ１１〜Ｓ１５までの処理と並行して、仮の高解像度画像生成部５３０は、高解像度画像生成部５２０から出力された動画像信号１１１から隣り合う画素の情報を元に間の画素を補間して、仮の高解像度画像を生成し（Ｓ１６）、動画像信号１１２を差分検出部５４０へ出力する。

Ｓ１５、Ｓ１６に次いで、差分検出部５４０は、強調化帯域フィルタ５１０により生成された動画像信号１１０と、仮の高解像度画像生成部５３０により生成された動画像信号１１２との差分を検出し（Ｓ１７）、差分信号をコアリング処理部５５０へ出力する。次いで、コアリング処理部５５０は、差分信号に対するコアリング処理を、制御信号１０３で設定されたコアリングレベルで施す（Ｓ１８）。次いで、非線形処理部５６０は、コアリング処理部５５０によるコアリング処理後の信号に対する非線形処理を、制御信号１０３で設定された非線形レベルで施す（Ｓ１９）。次いで、パラメータ調整部５７０は、非線形処理部５６０による非線形処理後の信号に対するゲイン調整を制御信号１０３で設定された調整量に従って施し（Ｓ２０）、パラメータ１１３を高解像度画像生成部５２０へ出力する。

次いで、高解像度画像生成部５２０は、復号化動画像信号１０２に含まれる所定の帯域の画像信号を強調化した画像信号と、復号化動画像信号１０２から生成した仮の高解像度画像の画像信号との差分から生成されたパラメータ１１３を復号化動画像信号１０２に加えて、復号化動画像信号１０２による画像以上の高解像度な高解像度画像を生成し（Ｓ２１）、生成した高解像度画像を動画像信号１０４として出力する（Ｓ２３）。

なお、上述したＳ１０〜Ｓ２３は１フレーム分の鮮鋭化処理を例示したフローチャートであり、動画像の鮮鋭化では各フレームにおいて上述した処理が繰り返し行われる。また、上述したＳ１０〜Ｓ２３では１フレームにおける１回の鮮鋭化処理を示しているが、鮮鋭化処理は、一つのフレームに対して複数回繰り返し施されてもよい。例えば、差分検出部５４０により検出される差分値が予め設定された閾値以下になるまで、Ｓ１１〜Ｓ２１の処理は繰り返し行われてもよい。このように、鮮鋭化処理を繰り返すことで、精度の高い高解像度画像を生成することができる。

なお、上述した鮮鋭化処理には、第１解像度であるＳＤ解像度（７２０×４８０）や中解像度（１４４０×１０８０）の画像信号から本来の画素値を推定して画素を増やすことにより、第１解像度よりも高解像度な第２解像度（例えばＨＤ解像度）であるの画像信号を復元する処理（超解像処理）が含まれてもよい。

ここで、本来の画素値とは、例えば、第１解像度の画像信号を得たときと同じ被写体を、第２解像度の画像信号の画素を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。

また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。

さらに詳しく説明すると、まず、オリジナルの入力画像（第１解像度）から、アップコンバート処理（スケーリング処理）によって、仮の高解像度画像（第２解像度）を作る。つまり、隣り合う画素の情報を元に間の画素を補間し、仮の高解像度画像を生成する。また、仮の高解像度画像の生成に並行して、入力画像をアンシャープマスクにかけ、入力画像に含まれる所定の帯域の画像信号を強調化する。

この仮の高解像度画像で補間された画素は、必ずしもオリジナルの入力画像にあったものとは言えず、計算誤差によるノイズやエッジの乱れなどが発生し得る。すなわち、入力画像に含まれる所定の帯域の画像信号を強調化した画像と、仮の高解像度画像とには相違部分が発生する。そこで、仮の高解像度画像をダウンコンバートした仮の低解像度画像を生成して入力画像と比較し、上述した相違部分である差分を検出し、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力画像に近い超解像処理された出力画像を生成する。

つまり、超解像処理とは、アップコンバートした仮の高解像度画像をダウンコンバートした仮の低解像度画像とオリジナルの入力画像にアンシャープマスクをかけて強調化した画像とを比較し、オリジナルの入力画像が本来持っているはずの画像信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を１回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した画像を後で視聴する場合や、超解像処理に生じるタイムラグが許容され得る場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。

ただし、鮮鋭化処理部における超解像処理の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を一例として、あらゆる手法を適用することができる。超解像処理には、映像そのものの解像度ヒストグラムを分析し、その解像度に応じて最適な高画質処理を行うことも含む。例えば、ＨＤ解像度（１９２０×１０８０）で受信した映像信号の、映像そのものの解像度ヒストグラムを分析し、その解像度（例えば、１９２０×１０８０の解像度）に応じた鮮鋭化処理を含む。この場合は、超解像処理による解像度の変更はないが、画像が視聴者にもたらす解像感を向上させることができる。

ここで、上述した超解像処理を行う鮮鋭化処理部の構成を説明する。図７は、鮮鋭化処理部５０ａの構成を示すブロック図である。より具体的には超解像処理を行う鮮鋭化処理部５０ａの構成を示す図である。図７に示すように、鮮鋭化処理部５０ａは、高解像度画像生成部５２０の前段にスケーリング部５３１と、仮の高解像度画像生成部５３０の代わりに仮の低解像度画像生成部５３２とを備えるところが鮮鋭化処理部５０と異なっている。

スケーリング部５３１は、復号化動画像信号１０２をアップコンバートし、アップコンバート後の画像信号を高解像度画像生成部５２０に出力する。仮の低解像度画像生成部５３２は、高解像度画像生成部５２０から出力された動画像信号１１１をダウンコンバートした仮の低解像度画像を生成する。生成した仮の低解像度画像は、動画像信号１１２として差分検出部５４０へ出力される。

次に、上述した画像処理装置１がテレビジョン受信装置に適用された例を図８を参照して説明する。図８は、本実施形態にかかる画像処理装置１を含むテレビジョン放送受信装置７００の構成を示すブロック図である。

図８に示すように、図１を参照して説明した画像処理装置１は、テレビジョン放送受信装置７００の信号処理部７３４内に設けられている。テレビジョン放送受信装置７００において、デジタルテレビジョン放送受信用のアンテナ７２２で受信したデジタルテレビジョン放送信号は、入力端子７２３を介してチューナ部７２４に供給される。このチューナ部７２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。

また、チューナ部７２４の出力は、デコーダ部７２５でデコードされるとともに、直接セレクタ７２６にも供給されている。この信号から映像・音声情報などがセレクタ７２６で分離される。セレクタ７２６で分離された映像・音声情報は、制御部７３５を介してＨＤＤ（Hard Disk Drive）ユニットにて記録されてもよい。

アナログテレビジョン放送受信用のアンテナ７２７で受信したアナログテレビジョン放送信号は、入力端子７２８を介してチューナ部７２９に供給される。このチューナ部７２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。チューナ部７２９から出力された信号は、Ａ／Ｄ変換部７３０（Analog-To-Digital）によりデジタル化された後、セレクタ７２６に供給される。

セレクタ７２６は、２種類の入力デジタル映像及び音声信号から１つを選択して、信号処理部７３４に供給している。信号処理部７３４は、入力されたデジタル映像信号に所定の信号処理を施して、映像表示器７１４での映像表示に供させている。映像表示器７１４としては、例えば液晶ディプレイやプラズマディスプレイ等のフラットパネルディスプレイが採用される。また、信号処理部７３４は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化してスピーカ７１５に出力することにより、音声再生を行っている。

ここで、テレビジョン放送受信装置７００では、上述した各種の受信動作を含む種々の動作が制御部７３５によって統括的に制御されている。制御部７３５は、ＣＰＵ等を内蔵したマイクロプロセッサであり、操作キーなどの操作部７１６からの操作情報、又はリモートコントローラ７１７から送信された操作情報を受光部７１８を介して受けることにより、その操作内容が反映されるように各部を制御している。この場合、制御部７３５は、メモリ７３６を使用している。メモリ７３６は、主として、ＣＰＵが実行する制御プログラムを格納したＲＯＭと、ＣＰＵに作業エリアを提供するためのＲＡＭと、各種設定情報及び制御情報等が格納される不揮発性メモリとを備えている。

なお、本実施形態では、鮮鋭化処理部５０における画像信号へのコアリング処理、非線形処理、ゲイン調整を、コアリング処理→非線形処理→ゲイン調整の順（コアリング処理部５１２→非線形処理部５１３→ゲイン調整部５１４の順、又はコアリング処理部５５０→非線形処理部５６０→パラメータ調整部５７０の順）で行う場合を例示した。しかしながら、鮮鋭化処理部５０における画像信号へのコアリング処理、非線形処理、ゲイン調整の順序は、上述した順序に限定されない。例えば非線形処理→コアリング処理→ゲイン調整の順で行われてもよい。

また、図３、図４−１、図４−２、図４−３に例示した鮮鋭化処理の制御は、各条件に応じて、コアリング、非線形、ゲインの少なくともいずれか一つを制御することで、鮮鋭化の効果の強弱を制御してよい。例えば、量子化の精度の低下に伴って、コアリングレベルを大きくする、非線形レベルを小さくする、及びゲインの調整量を小さくする制御の少なくともいずれか一つを行うものであってよい。

図３、図４−１、図４−２、図４−３に例示した鮮鋭化処理の制御は、量子化ステップ、符号化方式、ピクチャタイプなどの条件に応じた結果として、鮮鋭化の効果の強弱が制御されればよい。たとえば、量子化ステップが大きい場合は、結果的に鮮鋭化の効果が弱くなればよく、コアリング、非線形、ゲインのすべてを鮮鋭化の効果を弱くするように制御する必要はない。仮に、量子化ステップが大きい場合において、コアリングが小さく設定されており、鮮鋭化の効果を強くするものであったとしても、非線形とゲインとが鮮鋭化の効果を弱くするように制御されており、結果的に鮮鋭化の効果が弱くなれば目的は達成できる。また、上述した説明では、動画像のフィールド又はフレームに対する処理を例示したが、符号化された画像が静止画像の場合において、一枚の静止画像に対して同様の処理を行ってもよいことは言うまでもないことである。

また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１ 画像処理装置
１０ 復号化部
２０ 符号化実施情報取得部
２１ 符号化方式出力部
２２ 情報出力部
３０ ヒストグラム検出部
４０ 鮮鋭化制御部
５０、５０ａ 鮮鋭化処理部
１０１ 符号化動画像信号
１０２ 復号化動画像信号
１０３ 制御信号
５１０ 強調化帯域フィルタ
５１１ フィルタ処理部
５１２、５５０ コアリング処理部
５１３、５６０ 非線形処理部
５１４ ゲイン調整部
５１５ 補正部
５２０ 高解像度画像生成部
５３０ 仮の高解像度画像生成部
５３１ スケーリング部
５３２ 仮の低解像度画像生成部
５４０ 差分検出部
５７０ パラメータ調整部
７００ テレビジョン放送受信装置

Claims (10)

1. 符号化された符号化画像を復号化する復号化手段と、
   前記符号化画像を生成する際の、量子化の精度を示す量子化情報を取得する取得手段と、
   前記復号化手段により復号化された復号化画像に鮮鋭化処理を行う鮮鋭化手段と、
   前記復号化画像ごとに、前記復号化画像において各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを検出する検出手段と、
   前記取得された量子化情報をもとに、前記精度の低下に伴って前記鮮鋭化処理の効果を抑制するように制御し、前記検出された周波数ヒストグラムをもとに、前記復号化画像が高い周波数成分の画素をより多く含む場合に伴って前記鮮鋭化の効果を抑制するように制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記鮮鋭化手段は、前記復号化画像に含まれる所定の帯域の画像信号を強調化するアンシャープマスクと、前記復号化画像から、隣り合う画素の情報を元に間の画素を補間して前記復号化画像以上の解像度の仮の高解像度画像を生成する仮の高解像度生成部と、前記アンシャープマスクで生成された画像と、前記仮の高解像度画像との差分を検出する差分検出部と、前記検出された差分を調整する調整部と、前記調整された差分を加えて、前記復号化画像から前記第２解像度の画像を生成する高解像度生成部と、有し、
   前記制御手段は、前記精度の低下に伴って、前記アンシャープマスクの効果と、前記調整部の効果とを抑制するように制御して、これらの効果の総合である前記鮮鋭化の効果を抑制するように制御すること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記アンシャープマスク及び前記調整部は、予め設定されたコアリングレベル以下のノイズを除去するコアリング処理、予め設定された非線形レベルを境に入力と出力との特性を変更する非線形処理、ゲインを調整するゲイン調整を含み、
   前記制御手段は、前記精度の低下に伴って、前記コアリングレベルを大きくする、前記非線形レベルを小さくする、及び前記ゲインの調整量を小さくする制御の少なくともいずれか一つを行うこと、
   を特徴とする請求項２に記載の画像処理装置。
4. 前記鮮鋭化処理には超解像処理が含まれることを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記量子化情報は、フィールド又はフレームにおける量子化ステップであり、
   前記制御手段は、前記量子化ステップが大きくなるのに伴って前記鮮鋭化処理の効果を抑制するように制御すること、
   を特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記量子化情報は、マクロブロックにおける量子化スケールのフィールド又はフレームの平均値であり、
   前記制御手段は、前記平均値が大きくなるのに伴って前記鮮鋭化処理の効果を抑制するように制御すること、
   を特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記取得手段は、前記符号化画像を生成する際の符号化方式の種類を取得し、
   前記制御手段は、前記取得された符号化方式の種類に応じて、前記鮮鋭化処理の効果の抑制具合を調整すること、
   を特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記取得手段は、前記符号化画像を生成する際のピクチャタイプを取得し、
   前記制御手段は、前記取得されたピクチャタイプに応じて、前記鮮鋭化処理の効果の抑制具合を調整すること、
   を特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、前記量子化情報と、前記周波数ヒストグラムと、前記符号化方式の種類と、前記ピクチャタイプとを用いて前記鮮鋭化の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行うこと、
   を特徴とする請求項８に記載の画像処理装置。
10. 符号化された符号化画像を復号化して鮮鋭化する画像処理装置の画像処理方法であって、
    復号化手段が、前記符号化画像を復号化するステップと、
    取得手段が、前記符号化画像を生成する際の、量子化の精度を示す量子化情報を取得するステップと、
    鮮鋭化手段が、前記復号化手段により復号化された復号化画像に鮮鋭化処理を行うステップと、
    検出手段が、前記復号化画像ごとに、前記復号化画像において各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを検出するステップと、
    制御手段が、前記取得された量子化情報をもとに、前記精度の低下に伴って前記鮮鋭化処理の効果を抑制するように制御し、前記検出された周波数ヒストグラムをもとに、前記復号化画像が高い周波数成分の画素をより多く含む場合に伴って前記鮮鋭化の効果を抑制するように制御するステップと、
    を含むことを特徴とする画像処理方法。

Images