JP5829898B2

JP5829898B2 - 画像空間超解像装置及びプログラム

Info

Publication number: JP5829898B2
Application number: JP2011260910A
Authority: JP
Inventors: 康孝松尾; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2011-11-29
Filing date: 2011-11-29
Publication date: 2015-12-09
Anticipated expiration: 2031-11-29
Also published as: JP2013114510A

Description

本発明は、入力画像の超解像画像を生成する画像空間超解像装置、及びそのプログラムに関するものである。

近年、撮像装置及び表示装置の高精細化が進んでおり、いわゆる４Ｋシステムと呼ばれるデジタルシネマのような高精細映像、又は８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像は、従来のハイビジョン（ＨＤＴＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。高精細画像は膨大な情報量を持つため、送信装置側では低解像度の画像を送信し、受信装置側で低解像度の画像から高解像度の画像を生成する超解像と称される画像の高解像化技術が研究されている。

例えば、あらかじめ変換対象フレーム上に点（仮対応点）を設定し、各仮対応点に対応する他のフレーム上の画素（対応画素）を求め、その対応画素を基準として仮対応点の位置を対応画素に合うように修正するか、他のフレームの画像上で正確なサブピクセル位置を求め、その位置に対応する画素値を補間生成し、また、対応画素を求める際、利用可能な他のフレームのすべてに適当な範囲を設定し、その各画素を対応画素の候補としたうえで、設定した候補のうち対応する可能性が十分に高い（相対的に信頼性が高い）ものだけを残し、それ以外の（相対的に信頼性が低い）候補を排除することにより、他のフレームすべてのうちで相対的に信頼性が高い候補だけを残すことができ、ノイズが混入する可能性を軽減可能とした解像度変換装置が知られている（例えば、特許文献１参照）。

また、基準となる入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定し、サンプリング位相差を変換し、変換後のサンプリング位相差を出力し、変換後のサンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数を増加し、画素数が増加された各画像フレームの画像データを所定量位相シフトし、位相シフトの前後の各画像データに、サンプリング位相差の情報を用いて決定した係数を乗じて加算することにより、折返し成分を除去して超解像画像を出力する解像度変換装置が知られている（例えば、特許文献２参照）。

特開２０１０−３４６９６号公報特開２００９−９４５９３号公報

従来の技術では、原画像を信号成分と雑音成分とを区別することなく超解像処理していた。雑音にはその発生原因により様々な種類がある。例えば、白色雑音は全周波数帯域にほぼ均等にパワーを持つ。一方、画像の信号成分は、一般的に空間低周波成分のパワーが高く、空間高周波成分のパワーが低い。このため、画像信号が白色雑音を含む場合は、空間高波成分のＳＮＲ（信号対雑音比）が低くなる。ＳＮＲが低い空間高周波数帯は、画像超解像処理において画質劣化の原因となる。そのため、画像に雑音成分が多い場合には、十分な超解像画質が得られないという課題があった。

本発明は、上述の課題を鑑みて為されたものであり、入力画像に含まれる雑音レベルを考慮することにより、高画質の超解像画像を生成することが可能な画像空間超解像装置、及びそのプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像空間超解像装置は、入力画像に含まれる雑音レベルを考慮して、入力画像の超解像画像を生成する画像空間超解像装置であって、前記入力画像を多重解像度解析して高周波成分の画像を抽出する第１高周波成分抽出部、及び、前記第１高周波成分抽出部により抽出された高周波成分の画像の雑音レベルを検出する雑音レベル解析部、を有する雑音レベル検出部と、前記入力画像を多重解像度解析して高周波成分の画像を抽出する第２高周波成分抽出部、前記第２高周波成分抽出部により抽出された高周波成分の画像をアップサンプリングし、該高周波成分の拡大画像を生成する高周波成分拡大部、前記雑音レベル検出部から前記雑音レベルを取得し、該雑音レベルが大きいほど、平滑化フィルタの標準偏差として小さい値を生成する標準偏差決定部、前記高周波成分拡大部により生成された拡大画像を、前記標準偏差決定部により生成された標準偏差を有する平滑化フィルタにより平滑化する高周波成分平滑化部、及び、前記高周波成分平滑化部により平滑化された拡大画像を用いて前記入力画像を超解像処理して超解像画像を生成する周波数成分再構成部、を有する雑音考慮型超解像処理部と、を備えることを特徴とする。

さらに、本発明に係る画像空間超解像装置において、前記第１高周波成分抽出部は、前記入力画像を空間方向に多重解像度解析するか、又は前記入力画像を時間方向及び空間方向に多重解像度解析して前記高周波成分の画像を抽出し、第２高周波成分抽出部は、前記入力画像を空間方向に多重解像度解析して前記高周波成分の画像を抽出することを特徴とする。

さらに、本発明に係る画像空間超解像装置において、前記雑音レベル解析部は、前記第１高周波成分抽出部により抽出された高周波成分の画像の孤立点位置を抽出する孤立点位置抽出部と、前記第１高周波成分抽出部により抽出された高周波成分の画像について、前記孤立点位置抽出部により抽出された孤立点位置における画素値に基づく値を前記雑音レベルとする雑音レベル算出部と、を備えることを特徴とする。

さらに、本発明に係る画像空間超解像装置において、前記雑音レベル検出部により検出された各時空間高周波成分の雑音レベルを取得し、入力画像に含まれる雑音レベルのパワーが所定の閾値以上であるか否かの判定を行う雑音レベル判定部を備え、前記高周波成分平滑化部は、前記雑音レベル判定部により入力画像に含まれる雑音レベルのパワーが所定の閾値以上であると判定された場合には、前記標準偏差決定部により生成された標準偏差を有する平滑化フィルタにより平滑化し、前記雑音レベル判定部により入力画像に含まれる雑音レベルのパワーが所定の閾値未満であると判定された場合には、一定の値の標準偏差を有する平滑化フィルタにより平滑化することを特徴とする。

さらに、本発明に係る画像空間超解像装置において、前記雑音レベル判定部は、前記各時空間高周波成分の雑音レベルから雑音レベルのパワースペクトル密度を求めることにより、入力画像に含まれる雑音レベルのパワーが所定の種類のノイズの雑音レベルのパワー以上であるか否かの判定を行うことを特徴とする。

また、上記課題を解決するため、本発明に係る画像空間超解像生成プログラムは、コンピュータを、上述した画像空間超解像装置として機能させることを特徴とする。

本発明によれば、入力画像に含まれる雑音レベルを考慮することにより、高画質の超解像画像を生成することができるようになる。

本発明による実施例１の画像空間超解像装置の概略構成を示すブロック図である。本発明による実施例１の画像空間超解像装置における雑音レベル検出部の概略構成を示すブロック図である。本発明による実施例１の画像空間超解像装置における雑音レベル検出部の高周波成分抽出処理を説明する図である。本発明による実施例１の画像空間超解像装置における雑音レベル検出部の孤立点抽出処理を説明する図である。本発明による実施例１の画像空間超解像装置における雑音考慮型超解像処理部の概略構成を示すブロック図である。本発明による実施例１の画像空間超解像装置における雑音考慮型超解像処理部の動作を説明する図である。本発明による実施例２の画像空間超解像装置の概略構成を示すブロック図である。本発明による実施例２の画像空間超解像装置における超解像処理部の概略構成を示すブロック図である。本発明による実施例２の画像空間超解像装置の動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

本発明による実施例１の画像空間超解像装置について、以下に説明する。図１は、本発明による実施例１の画像空間超解像装置の概略構成を示すブロック図である。図１に示すように、画像空間超解像装置１は、雑音レベル検出部１０と、雑音考慮型超解像処理部２０とを備え、入力画像に含まれる雑音レベルを考慮した超解像画像を生成する。

雑音レベル検出部１０は、入力画像を多重解像度解析して高周波成分を抽出し、高周波成分の画像に含まれる雑音成分の大きさを示す雑音レベルを帯域成分ごとに検出して雑音考慮型超解像処理部２０に出力する。詳細については後述する。

雑音考慮型超解像処理部２０は、入力画像を多重解像度解析して高周波成分を抽出し、高周波成分の画像を平滑化フィルタにより平滑化する。そして、平滑化した高周波成分の画像を用いて入力画像を超解像処理して超解像画像を生成する。雑音考慮型超解像処理部２０は、高周波成分の画像を平滑化する際に、雑音レベル検出部１０により生成された雑音レベルが大きいほど、平滑化フィルタの標準偏差の値を小さくする。これにより、雑音考慮型超解像処理部２０は、入力画像に含まれる雑音レベルを考慮した超解像画像を生成することができる。詳細については後述する。

雑音レベル検出部１０の詳細について、図２から図４を参照して説明する。図２は、雑音レベル検出部１０の概略構成を示すブロック図である。図２に示すように、雑音レベル検出部１０は、第１高周波成分抽出部１１と、雑音レベル解析部１２とを有する。第１高周波成分抽出部１１は、時間周波数分解部１１１と、空間周波数分解部１１２とを有し、入力画像を多重解像度解析して高周波成分の画像を抽出する。雑音レベル解析部１２は、孤立点位置抽出部１２１と、雑音レベル算出部１２２とを有し、第１高周波成分抽出部１１により抽出された高周波成分の画像の雑音レベルを検出する。以下の実施例では、多重解像度解析の一例としてウェーブレット解析を用いるが、これに限られるものではない。

時間周波数分解部１１１は、入力画像を時間方向にウェーブレット分解して、時間低周波成分の画像、及び時間高周波成分の画像を生成する。そして、時間高周波成分の画像を空間周波数分解部１１２に出力する。ウェーブレット分解の階数は、どの程度の周波数帯域まで高周波成分として抽出するかに応じて決定される。なお、ウェーブレット分解では一般的にデシメーションされることが多いが、孤立点位置抽出部１２１にて、各周波数帯域について同一サイズの領域内で同様に孤立点判定できるようにするために、デシメーション無しのウェーブレット分解を行い、生成される各周波数帯域の画像のサイズを同一としてもよい。

空間周波数分解部１１２は、時間周波数分解部１１１により生成された時間高周波成分について、空間方向にウェーブレット分解して時空間低周波成分の画像、及び時空間高周波成分の画像を生成する。そして、時空間高周波成分の画像を孤立点位置抽出部１２１、及び雑音レベル算出部１２２に出力する。時間周波数分解部１１１と同様に、ウェーブレット分解の階数は、どの程度の周波数帯域まで高周波成分として抽出するかに応じて決定される。なお、時間周波数分解部１１１と同様に、デシメーション無しのウェーブレット分解を行い、生成される各周波数帯域の画像のサイズを同一としてもよい。

図３は、時間周波数分解部１１１及び空間周波数分解部１１２の動作を説明する図である。図３（ａ）は、時間周波数分解部１１１が、入力画像を時間方向に１階ウェーブレット分解して時間低周波成分の画像、及び時間高周波成分の画像（斜線部分）を生成する様子を示している。

図３（ｂ）は、空間周波数分解部１１２が、時間周波数分解部１１１により生成された時間高周波成分の画像を空間方向にデシメーション有りの２階ウェーブレット分解して時空間低周波成分の画像、及び時空間高周波成分の画像（斜線部分）を生成する様子を示している。空間方向にｎ階ウェーブレット分解した場合、３ｎ個の帯域の高周波成分が生成される。雑音レベル検出部１０は、３ｎ個の各周波数帯域の高周波成分について、それぞれ雑音レベルを出力する。

なお、図２、３に示す例では、時間周波数分解部１１１及び空間周波数分解部１１２により、時間方向及び空間方向にウェーブレット分解して高周波成分の画像を抽出したが、時間周波数分解部１１１を設けずに、空間周波数分解部１１２により空間方向にのみにウェーブレット分解して高周波成分の画像を抽出するようにしてもよい。

孤立点位置抽出部１２１は、空間周波数分解部１１２により抽出された時空間高周波成分の各帯域成分の画像について、所定の閾値Ｔｈ_１を超える画素の画素値を１とし、閾値Ｔｈ_１以下の画素の画素値を０とする２値化画像Ｂを生成する。閾値Ｔｈ_１は、例えば各帯域成分の非零の全要素値の中央値又は平均値とする。

そして、孤立点位置抽出部１２１は、２値化画像Ｂの画素値が１である画素について、該画素を中心とする所定の判定領域内の画素値の合計値と、所定の閾値Ｔｈ_２とを比較する。２値化画像Ｂの判定領域内の画素値の合計値が閾値Ｔｈ_２を超える場合には、当該画素は孤立点ではないと判定し、２値化画像Ｂの判定領域内の画素値の合計値が閾値Ｔｈ_２以下である場合には、当該画素を孤立点と判定する。そして、孤立点であると判定した画素の位置情報（孤立点画素位置情報）を雑音レベル算出部１２２に出力する。

図４は、孤立点位置抽出部１２１の孤立点判定の動作例を説明する図であり、２値化画像Ｂの一例を示している。図４に示す例では、判定領域は３×３画素である。閾値Ｔｈ_２を１とすると、２値化画像Ｂの画素値が１となる画素の周囲の８画素の画素値が０であるときのみ、２値化画像Ｂの画素値が１である画素を孤立点とみなす。よって、閾値Ｔｈ_２＝１の場合、図中の画素Ｐ１は孤立点であると判定され、画素Ｐ２とＰ３は孤立点と判定されない。

雑音レベル算出部１２２は、空間周波数分解部１１２により生成された時空間高周波成分の各帯域成分の画像について、孤立点位置抽出部１２１から入力される孤立点画素位置情報に基づいて、孤立点と判定された画素位置の画素値を取得し、取得した画素値に基づく値(例えば、非零要素の平均値又は中央値)を、各帯域成分の雑音レベルとして検出する。これは、時空間高周波成分の孤立点成分は、少量の動領域のエッジ成分を除けば、ほとんど雑音成分だからである。

次に、雑音考慮型超解像処理部２０の詳細について、図５及び図６を参照して説明する。図５は、雑音考慮型超解像処理部２０の概略構成を示すブロック図である。図５に示すように、雑音考慮型超解像処理部２０は、第２高周波成分抽出部２１と、高周波成分拡大部２２と、高周波成分平滑化部２３と、周波数成分再構成部２４と、標準偏差決定部２５とを備える。図６は、雑音考慮型超解像処理部２０の動作を説明する図である。

第２高周波成分抽出部２１は、入力画像を空間方向に１階ウェーブレット分解し、空間低周波成分の画像ＬＬ、水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを生成する（ステップＳ１０１）。そして、高周波成分の画像、すなわち水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを高周波成分拡大部２２に出力する。

高周波成分拡大部２２は、第２高周波成分抽出部２１により生成された水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨをそれぞれ拡大処理（アップサンプリング）する（ステップＳ１０２，１０３，１０４）。そして、水平方向高周波成分の画像ＬＨの拡大画像（水平方向高周波成分拡大画像Ｅｘ．ＬＨ）、垂直方向高周波成分の画像ＨＬの拡大画像（垂直方向高周波成分拡大画像Ｅｘ．ＨＬ）、及び斜め方向高周波成分の画像ＨＨの拡大画像（斜め方向高周波成分拡大画像Ｅｘ．ＨＨ）を高周波成分平滑化部２３に出力する。

具体的には、高周波成分拡大部２２は、図６に示すように、垂直方向高周波成分の画像ＨＬを拡大する場合には、垂直方向高周波成分の画像ＨＬを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、垂直方向高周波成分拡大画像Ｅｘ．ＨＬを生成する。同様に、水平方向高周波成分の画像ＬＨを拡大する場合には、水平方向高周波成分の画像ＬＨを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、水平方向高周波成分拡大画像Ｅｘ．ＬＨを生成する。斜め方向高周波成分の画像ＨＨを拡大する場合には、斜め方向高周波成分の画像ＨＨを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、斜め方向高周波成分拡大画像Ｅｘ．ＨＨを生成する。

標準偏差決定部２５は、高周波成分平滑化部２３で用いる平滑化フィルタの標準偏差σを帯域成分ごとに決定し、高周波成分平滑化部２３に出力する（ステップＳ１０５，１０６，１０７）。具体的には、標準偏差決定部２５は、雑音レベル検出部１０から各帯域成分の雑音レベルを取得し、雑音レベルが高いほど標準偏差σを小さくする。

高周波成分平滑化部２３は、高周波成分拡大部２２により生成された、水平方向高周波成分拡大画像Ｅｘ．ＬＨ、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨをそれぞれ、標準偏差決定部２５により生成された標準偏差を有する平滑化フィルタにより平滑化する（ステップＳ１０５，１０６，１０７）。そして、平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、平滑化された垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び平滑化された斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’を周波数成分再構成部２４に出力する。平滑化フィルタとしては、例えば、確率密度関数をガウシアンとし、ガウシアンの標準偏差をσとしたバイラテラルフィルタを用いる。なお、バイラテラルフィルタは一例であり、ガウシアンフィルタなどの他の平滑化フィルタを用いてもよい。

周波数成分再構成部２４は、高周波成分平滑化部２３により平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、平滑化された垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び平滑化された斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’と、入力画像とを用いて再構成処理を行い、超解像画像を生成する（ステップＳ１０８）。

具体的には、周波数成分再構成部２４は、図６に示すように、入力画像を空間低周波成分とし、平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、平滑化された垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び平滑化された斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’を、それぞれ水平方向高周波成分、垂直方向高周波成分、及び斜め方向高周波成分とした画像に対して、空間方向に１階ウェーブレット再構成を行い、超解像画像を生成する。

このように、画像空間超解像装置１は、雑音レベル検出部１０により、入力画像を多重解像度解析して高周波成分の画像を抽出し、該抽出した高周波成分の画像の雑音レベルを検出する。また、雑音考慮型超解像処理部２０により、入力画像を多重解像度解析して高周波成分の画像を抽出し、該抽出した高周波成分の画像をアップサンプリングし、該アップサンプリングした高周波成分の画像を平滑化フィルタにより平滑化した画像を用いて入力画像を超解像処理して超解像画像を生成する。その際、雑音考慮型超解像処理部２０は、雑音レベル検出部１０により検出された雑音レベルが大きいほど、平滑化フィルタの標準偏差を小さくする。これにより、雑音レベルが高い時空間高周波成分については平滑化フィルタの標準偏差が小さくなり、雑音（孤立点）の平滑効果（低域通過特性）が小さくなるので、雑音成分の多い画像でも、高画質な超解像画像を生成することができるようになる。

なお、上述した画像空間超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像空間超解像装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵ（中央演算処理装置）によってこのプログラムを読み出して実行させることで実現することができる。

次に、本発明による実施例２の画像空間超解像装置について説明する。図７は、本発明による実施例２の画像空間超解像装置の概略構成を示すブロック図である。図７に示すように、画像空間超解像装置２は、雑音レベル検出部１０と、雑音考慮型超解像処理部２０と、雑音レベル判定部３０と、超解像処理部４０とを備える。画像空間超解像装置２は、図１を参照して説明した実施例１の画像空間超解像装置１と比較して、更に雑音レベル判定部３０、及び超解像処理部４０を備え、雑音種レベル定部３０の判定結果に応じて、雑音レベル判定部３０、又は超解像処理部４０により超解像処理を行う。雑音レベル検出部１０、及び雑音考慮型超解像処理部２０については、実施例１の画像空間超解像装置１と同様であるため、説明を省略する。

雑音レベル判定部３０は、雑音レベル検出部１０により抽出された各時空間高周波成分の雑音レベルを取得し、入力画像に含まれる雑音レベルのパワーが、所定の閾値以上であるか否かを判定し、判定結果を示すノイズフラグＦを超解像処理部４０、及び雑音考慮型超解像処理部２０に出力する。

雑音レベル判定部３０は、各時空間高周波成分の雑音レベルから雑音レベルのパワースペクトル密度を求めることにより、雑音の種類を判定するようにしてもよい。ここで、雑音の種類としては、ホワイトノイズ、ピンクノイズ、レッドノイズ（ブラウニアンノイズ）などがある。ホワイトノイズ、ピンクノイズ、レッドノイズのパワースペクトル密度は、それぞれ１／ｆ^０，１／ｆ^１，１／ｆ^２に比例する。そのため、所定の閾値をピンクノイズの雑音レベルのパワーとした場合には、雑音レベル判定部３０は、各帯域の時空間高周波成分の雑音レベルが同程度である場合には、雑音の種類をホワイトノイズと判定し、入力画像に含まれる雑音レベルのパワーがピンクノイズの雑音レベルのパワー以上であると判定する。また、雑音レベル判定部３０は、雑音レベルのパワースペクトル密度が１／ｆ^２の関係を満たす場合には、入力画像に含まれる雑音レベルのパワーがピンクノイズの雑音レベルのパワー未満であると判定する。

雑音レベルのパワーが、所定の閾値以上である場合にノイズフラグＦ＝１とし、雑音レベルのパワーが所定の閾値未満である場合にノイズフラグＦ＝０とすると、ノイズフラグＦ＝１の場合には、雑音考慮型超解像処理部２０により、入力画像の超解像画像を生成し、ノイズフラグＦ＝０の場合には、超解像処理部４０により、入力画像の超解像画像を生成する。

超解像処理部４０は、入力画像を超解像処理して超解像画像を生成する。図８は、超解像処理部４０の概略構成を示すブロック図である。図８に示すように、超解像処理部４０は、第２高周波成分抽出部２１と、高周波成分拡大部２２と、高周波成分平滑化部２３と、周波数成分再構成部２４とを備える。超解像処理部４０は図５，６を参照して説明した雑音考慮型超解像処理部２０と比較して、標準偏差決定部２５を備えない点で相違するが、第２高周波成分抽出部２１と、高周波成分拡大部２２と、高周波成分平滑化部２３と、周波数成分再構成部２４については、雑音考慮型超解像処理部２０と同様である。

つまり、超解像処理部４０は、第２高周波成分抽出部２１により、入力画像を空間方向に１階ウェーブレット分解し、水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを抽出し、高周波成分拡大部２２により、水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨをそれぞれ拡大処理（アップサンプリング）する。

そして、超解像処理部４０は、高周波成分平滑化部２３により、高周波成分拡大部２２により生成された、水平方向高周波成分拡大画像Ｅｘ．ＬＨ、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨをそれぞれ平滑化フィルタにより平滑化する。この際、雑音考慮型超解像処理部２０とは異なり、平滑化フィルタの標準偏差σは所定の一定値とする。最後に、周波数成分再構成部２４により、高周波成分平滑化部２３により平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、平滑化された垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び平滑化された斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’と、入力画像とを用いて再構成処理を行い、超解像画像を生成する

図９は、画像空間超解像装置２の動作を示すフローチャートである。画像空間超解像装置１は、雑音レベル検出部１０により、入力画像に含まれる雑音レベルを検出する（ステップＳ２０１）。次に、画像空間超解像装置１は、雑音レベル判定部３０により、入力画像に含まれる雑音レベルのパワーが、所定の種類の雑音（例えば、ピンクノイズ）以上であるか否かを判定する（ステップＳ２０２）。ステップＳ２０２により、雑音レベルのパワーが所定の種類の雑音以上であると判定した場合には（ステップＳ２０２−Ｙｅｓ）、雑音考慮型超解像処理部２０により、入力画像を超解像処理し、超解像画像を生成する（ステップＳ２０３）。一方、ステップＳ２０２により、雑音レベルのパワーが所定の種類の雑音未満であると判定した場合には（ステップＳ２０２−Ｎｏ）、超解像処理部４０により、入力画像を超解像処理し、超解像画像を生成する（ステップＳ２０４）。

また、画像空間超解像装置２は、図７に示した構成では超解像処理部４０を備えているが、超解像処理部４０を備えずに、雑音考慮型超解像処理部２０がノイズフラグＦに応じて平滑フィルタの標準偏差を切り替えるようにしてもよい。すなわち、雑音レベル判定部３０により雑音レベルのパワーが所定の種類の雑音以上であると判定された場合には、雑音考慮型超解像処理部２０の高周波成分平滑化部２３は、標準偏差決定部２５により生成された標準偏差を有する平滑化フィルタにより平滑化し、雑音レベル判定部３０により雑音レベルのパワーが所定の種類の雑音未満であると判定された場合には、雑音考慮型超解像処理部２０の高周波成分平滑化部２３は、一定の値の標準偏差を有する平滑化フィルタにより平滑化するようにしてもよい。

このように、画像空間超解像装置２は、各帯域の時空間周波数成分の雑音レベルを検出し、雑音レベル（雑音種類）を判定する。雑音種類がピンクノイズからホワイトノイズのように空間高周波成分のパワーの強い雑音である場合には、雑音考慮型の超解像処理を行い、雑音種類がそれ以外である場合には、通常の超解像処理を行う。これにより、雑音成分の多い画像でも、高画質な超解像行うことができるようになる。

なお、上述した画像空間超解像装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像空間超解像装置２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵ（中央演算処理装置）によってこのプログラムを読み出して実行させることで実現することができる。

上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

本発明は、超解像画像を生成する任意の用途、例えば、デジタルシネマのような高精細映像や、スーパーハイビジョンのような超高精細映像の生成に有用である。

１，２画像空間超解像装置
１０雑音レベル検出部
１１第１高周波成分抽出部
１２雑音レベル解析部
２０雑音考慮型超解像処理部
２１第２高周波成分抽出部
２２高周波成分拡大部
２３高周波成分平滑化部
２４周波数成分再構成部
２５標準偏差決定部
３０雑音レベル判定部
４０超解像処理部
１１１時間周波数分解部
１１２空間周波数分解部
１２１孤立点位置抽出部
１２２雑音レベル算出部

Claims

入力画像に含まれる雑音レベルを考慮して、入力画像の超解像画像を生成する画像空間超解像装置であって、
前記入力画像を多重解像度解析して高周波成分の画像を抽出する第１高周波成分抽出部、及び、
前記第１高周波成分抽出部により抽出された高周波成分の画像の雑音レベルを検出する雑音レベル解析部、を有する雑音レベル検出部と、
前記入力画像を多重解像度解析して高周波成分の画像を抽出する第２高周波成分抽出部、
前記第２高周波成分抽出部により抽出された高周波成分の画像をアップサンプリングし、該高周波成分の拡大画像を生成する高周波成分拡大部、
前記雑音レベル検出部から前記雑音レベルを取得し、該雑音レベルが大きいほど、平滑化フィルタの標準偏差として小さい値を生成する標準偏差決定部、
前記高周波成分拡大部により生成された拡大画像を、前記標準偏差決定部により生成された標準偏差を有する平滑化フィルタにより平滑化する高周波成分平滑化部、及び、
前記高周波成分平滑化部により平滑化された拡大画像を用いて前記入力画像を超解像処理して超解像画像を生成する周波数成分再構成部、を有する雑音考慮型超解像処理部と、
を備えることを特徴とする画像空間超解像装置。
前記第１高周波成分抽出部は、前記入力画像を空間方向に多重解像度解析するか、又は前記入力画像を時間方向及び空間方向に多重解像度解析して前記高周波成分の画像を抽出し、
第２高周波成分抽出部は、前記入力画像を空間方向に多重解像度解析して前記高周波成分の画像を抽出することを特徴とする、請求項１に記載の画像空間超解像装置。
前記雑音レベル解析部は、前記第１高周波成分抽出部により抽出された高周波成分の画像の孤立点位置を抽出する孤立点位置抽出部と、
前記第１高周波成分抽出部により抽出された高周波成分の画像について、前記孤立点位置抽出部により抽出された孤立点位置における画素値に基づく値を前記雑音レベルとする雑音レベル算出部と、
を備えることを特徴とする、請求項１又は２に記載の画像空間超解像装置。
前記雑音レベル検出部により検出された各時空間高周波成分の雑音レベルを取得し、入力画像に含まれる雑音レベルのパワーが所定の閾値以上であるか否かの判定を行う雑音レベル判定部を備え、
前記高周波成分平滑化部は、前記雑音レベル判定部により入力画像に含まれる雑音レベルのパワーが所定の閾値以上であると判定された場合には、前記標準偏差決定部により生成された標準偏差を有する平滑化フィルタにより平滑化し、前記雑音レベル判定部により入力画像に含まれる雑音レベルのパワーが所定の閾値未満であると判定された場合には、一定の値の標準偏差を有する平滑化フィルタにより平滑化することを特徴とする、請求項１から３のいずれか一項に記載の画像空間超解像装置。
前記雑音レベル判定部は、前記各時空間高周波成分の雑音レベルから雑音レベルのパワースペクトル密度を求めることにより、入力画像に含まれる雑音レベルのパワーが所定の種類のノイズの雑音レベルのパワー以上であるか否かの判定を行うことを特徴とする、請求項４に記載の画像空間超解像装置。
コンピュータを、請求項１から５のいずれか一項に記載の画像空間超解像装置として機能させるための画像空間超解像生成プログラム。