JP4892096B1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像処理の処理負荷を軽減し、メモリの使用量を低減する。
【解決手段】本実施形態の画像処理装置は、作成手段と、高解像度画像作成手段と、分離手段と、生成手段と、合成手段とを有する。作成手段は、入力画像を縮小して低解像度画像を作成する。高解像度画像作成手段は、前記入力画像から前記入力画像よりも高解像度の高解像度画像を作成する。分離手段は、前記作成手段で作成された低解像度画像をテクスチャ成分および骨格成分の画像に分離する。生成手段は、前記分離手段で分離されたテクスチャ成分および骨格成分の画像からテクスチャ成分を生成する。合成手段は、前記生成手段で生成されたテクスチャ成分と、前記高解像度画像作成手段により作成された高解像度画像とを合成して出力画像を作成する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。

従来、入力画像から高解像度の出力画像を作成するための画像処理を行う画像処理装置が知られている。

特開２０１０−２１１３００号公報

しかしながら、この種の画像処理装置では、画像処理の処理負荷が高く、画像処理で使用するメモリの使用量が多いなどの課題が残存している。

そこで、本発明は、前記課題に鑑みてなされたものであり、画像処理の処理負荷を軽減し、メモリの使用量を低減することを目的とする。

実施形態の画像処理装置は、作成手段と、高解像度画像作成手段と、分離手段と、生成手段と、合成手段とを有する。作成手段は、入力画像の輝度成分以外である色彩成分の画像を縮小して低解像度画像を作成する。高解像度画像作成手段は、前記入力画像から前記入力画像よりも高解像度の高解像度画像を作成する。分離手段は、前記作成手段で作成された低解像度画像と、前記入力画像の輝度成分の画像とをそれぞれテクスチャ成分および骨格成分の画像に分離する。生成手段は、前記分離手段で分離された輝度成分のテクスチャ成分の画像と、輝度成分および色彩成分の骨格成分の画像とを入力し、出力画像の各注目点と類似度の高いテクスチャ成分を生成する。合成手段は、前記生成手段で生成されたテクスチャ成分と、前記高解像度画像作成手段により作成された高解像度画像とを合成して出力画像を作成する。
また、実施形態の画像処理装置は、作成手段と、高解像度画像作成手段と、分離手段と、参照画像作成手段と、生成手段と、合成手段とを有する。作成手段は、入力画像の輝度成分および色彩成分を縮小して低解像度画像を作成する。高解像度画像作成手段は、前記入力画像から前記入力画像よりも高解像度の高解像度画像を作成する。分離手段は、前記作成手段で作成された輝度成分および色彩成分の低解像度画像をそれぞれテクスチャ成分および骨格成分の画像に分離する。参照画像作成手段は、前記分離手段で分離された前記輝度成分のテクスチャ成分の画像を拡大した参照画像を作成する。生成手段は、前記参照画像作成手段で作成された輝度成分のテクスチャ成分の画像と、前記分離手段で分離された輝度成分および色彩成分の骨格成分の画像とを入力し、出力画像の各注目点と類似度の高いテクスチャ成分を生成する。合成手段は、前記生成手段で生成されたテクスチャ成分と、前記高解像度画像作成手段により作成された高解像度画像とを合成して出力画像を作成する。

図１は、本実施形態に係る画像処理装置を搭載したテレビジョン受像装置の概略的なハードウェア構成を示すブロック図である。 図２は、第１の実施形態の画像処理装置の構成を示すブロック図である。 図３は、第１の実施形態の画像処理装置における画像処理の処理手順を示すフローチャートである。 図４は、第２の実施形態の画像処理装置の構成を示すブロック図である。 図５は、第２の実施形態の画像処理装置における画像処理の処理手順を示すフローチャートである。 図６は、従来の画像処理装置の一構成例を示すブロック図である。

以下、本発明の実施形態について添付図面を参照して説明する。

なお、本実施形態の画像処理装置は、各種電子機器に搭載されるものであるが、以下では、テレビジョン受像装置に適用した場合について説明する。

（第１の実施形態）
図１は、本実施形態に係る画像処理装置１０を搭載したテレビジョン受像装置１の概略的なハードウェア構成を示すブロック図である。

図１に示すように、このテレビジョン受像装置１は、チューナ２と、信号処理部３と、表示装置４と、制御装置５と、電力供給部６などを有している。

チューナ２は、放送局からアンテナを介してコンテンツデータを受信し、記憶部（不図示）や制御部に出力する。

信号処理部３は、チューナ２や図示しない外部の記憶部から入力したコンテンツデータを映像信号と音声信号とに変換する。また、信号処理部３は、映像信号（入力画像）に対して所定の画像処理を行って高解像度の出力画像を作成して表示装置４に出力する画像処理装置１０と、音声信号に対して所定の処理を行ってスピーカ（不図示）に出力する音声処理装置（不図示）を有している。

表示装置４は、映像を表示する装置であり、例えば、液晶ディスプレイなどで構成される。

制御装置５は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを有しており、このテレビジョン受像装置１の全体を統括的に制御する。

電力供給部６は、商用電源などの電源から各負荷部に必要な電力を供給するものである。

図２は、第１の実施形態の画像処理装置１０の構成を示すブロック図である。

なお、この画像処理装置１０は、概略的には、入力画像から作成した仮高解像度画像（土台画像）に高周波成分（テクスチャ成分）を付加する所定の画像処理を行うことで、表示装置４で表示させる画像の質感を向上させることを可能にしたものである。また、以下では、画像処理装置１０が、入力画像と異なるサイズの出力画像を作成する場合について説明する。

図２に示すように、この画像処理装置１０は、仮低解像度画像作成部１１と、骨格／テクスチャ分離部１２と、仮高解像度画像作成部１３と、テクスチャ生成部１４と、合成部１５と、画像ぼけ抑制部１６とを有している。

ここで、仮低解像度画像作成部１１は、入力画像のＹ（輝度）成分以外のＵＶ（色彩）成分の画像を縮小して仮低解像度画像を作成するものである。なお、入力画像としては、例えば、セミハイビジョン（ＨＤ）「１４４０×１０８０」サイズのＹＵＶ４２０形式の画像などが挙げられる。

骨格／テクスチャ分離部１２は、仮低解像度画像作成部１１で作成されたＵＶ（色彩）成分の仮低解像度画像と、入力画像のＹ（輝度）成分の画像とをそれぞれテクスチャ成分の画像および骨格成分の画像に分離するものである。

仮高解像度画像作成部１３は、入力画像から入力画像よりも高解像度の仮高解像度画像（土台画像）を作成するものである。なお、入力画像と出力画像のサイズが同じ場合は、仮高解像度画像（土台画像）は作成しない。なお、仮高解像度画像作成部１３は、例えば、Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎフィルタで構成される。

テクスチャ生成部１４は、骨格／テクスチャ分離部１２で分離されたＹ成分のテクスチャ成分と、Ｙ、ＵおよびＶ成分それぞれの骨格成分の画像とから、仮高解像度画像作成部１３で作成された仮高解像度画像に合成するテクスチャ成分（高周波成分）を生成する。なお、前記合成するテクスチャ成分とは、ＹＵＶ４２０形式などの出力画像の所定領域（各注目点）と類似度の高いテクスチャ成分のことである。また、テクスチャ生成部１４は、エッジ周辺のノイズを抑制または除去するために、仮高解像度画像作成部１３で作成されたＹ（輝度）成分の仮高解像度画像を更に入力する。

合成部１５は、テクスチャ生成部１４で生成されたテクスチャ成分と、仮高解像度画像作成部１３で作成された高解像度画像と合成してＹＵＶ４２０形式などの出力画像を作成するものである。

画像ぼけ抑制部１６は、仮高解像度画像作成部１３で作成されたＹ（輝度）成分の高解像度画像のぼけ（画像のぼけ感）を抑制するものである。なお、この画像ぼけ抑制部１６は、例えば、アンシャープマスクフィルタ（ＵＳＭ：Ｕｎｓｈａｒｐ Ｍａｓｋ）で構成され、オプションにより有効／無効を判断するが、デフォルトでは無効としている。また、この画像ぼけ抑制部１６は、画像処理装置１０に搭載しなくても良い。

次に、第１の実施形態の画像処理装置１０の処理動作について説明する。

図３は、第１の実施形態の画像処理装置１０における画像処理の処理手順を示すフローチャートである。

図３に示すように、画像処理装置１０では、ＹＵＶ４２０形式などの入力画像を入力すると（ステップＳ１）、まず、仮低解像度画像作成部１１が、入力画像のＵＶ（色彩）成分の画像を、それぞれ任意の縮小サイズに縮小して仮低解像度画像を作成する（ステップＳ２）。

続いて、骨格／テクスチャ分離部１２が、仮低解像度画像作成部１１で作成されたＵＶ（色彩）成分の仮低解像度画像と、入力画像のＹ（輝度）成分の画像とをそれぞれテクスチャ成分および骨格成分の画像に分離する（ステップＳ３）。なお、骨格／テクスチャ分離部１２は、まず、テクスチャ成分を抽出し、その抽出したテクスチャ成分のデータを用いて骨格成分を生成する。

続いて、仮高解像度画像作成部１３が、入力画像を出力サイズに拡大して仮高解像度画像（土台画像）を作成する（ステップＳ４）。

続いて、テクスチャ生成部１４が、骨格／テクスチャ分離部１２で分離されたＹ成分のテクスチャ成分の画像と、Ｙ、ＵおよびＶ成分それぞれの骨格成分の画像と、仮高解像度画像作成部１３から入力したＹ（輝度）成分の仮高解像度画像（土台画像）とから、ＹＵＶ４２０形式などの出力画像の所定領域（各注目点）と類似度の高いテクスチャ成分（高周波成分）を生成する（ステップＳ５）。

具体的には、ステップＳ５の処理では、テクスチャ生成部１４は、出力画像サイズ分、各注目点について類似度の高いテクスチャパターンを検出し、検出箇所に該当するテクスチャ成分の値を仮データとして保持する。なお、テクスチャ生成部１４は、類似度の高いテクスチャパターンを検出する方法として、出力画像の各注目点の所定周囲（例えば、１６×１６）の探索範囲を設定し、各探索点の所定周囲（例えば、１６画素）と注目点の所定周囲（例えば、１６画素）とから、有効なデータについてのＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）の平均値を算出し、探索範囲内で前記平均値が最小となる箇所を、類似度が高いテクスチャパターンとして検出する。そして、テクスチャ生成部１４は、前記した方法によりフレーム全体に対して仮データを生成する。

続いて、合成部１５が、テクスチャ生成部１４で生成されたテクスチャ成分（仮データ）と、仮高解像度画像作成部１３で作成されたＹ（輝度）成分の仮高解像度画像（土台画像）とを合成して、ＹＵＶ４２０形式などの出力画像（即ち、質感の高い高解像度画像）を作成する（ステップＳ６）。

即ち、以上説明した実施形態の画像処理装置１０によれば、入力画像を縮小した低解像度画像を骨格／テクスチャ分離部１２に入力するようにしたため、図６に示す従来の構成に比べ、骨格／テクスチャ分離部１２の処理負荷を軽減して、画像処理装置１全体の処理負荷を軽減することができるとともに、画像処理装置１０（例えば、骨格／テクスチャ分離部１２）のメモリの使用量を低減することができる。

また、本実施形態の画像処理装置１０によれば、入力画像の各成分のうち、人が敏感であるＹ（輝度）成分については縮小せず、Ｙ（輝度）成分に比べて人が鈍感であるＵＶ（色彩）成分のみを縮小して骨格／テクスチャ分離部１２に入力するようにしたため、人が感じる画質の劣化を防止または抑制することができる。

また、本実施形態の画像処理装置１０によれば、画像処理装置１全体の処理負荷を軽減することで、人が見て不快が無いように、表示装置４において１秒間に６０枚のフレーム画像を表示するなどの規定を満たすことができない（性能未達）などの不都合が発生するのを未然に防止または抑制することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。

図４は、第２の実施形態の画像処理装置１００の構成を示すブロック図である。なお、この画像処理装置１００は、図１の画像処理装置１０に代わってテレビジョン受像装置１に搭載することができる。

図４に示すように、この画像処理装置１００は、仮低解像度画像作成部１０１と、骨格／テクスチャ分離部１０２と、仮高解像度画像作成部１０３と、テクスチャ生成部１０４と、合成部１０５と、画像ぼけ抑制部１０６と、参照テクスチャ画像作成部１０７とを有している。

即ち、この画像処理装置１００では、第１の実施形態の画像処理装置１０と比較して、参照テクスチャ画像作成部１０７が追加された点が異なるとともに、仮低解像度画像作成部１０１、骨格／テクスチャ分離部１０２およびテクスチャ生成部１０４の処理が異なるものである。なお、以下の説明では、第１の実施形態の画像処理装置１０と同様の構成および処理については説明を省略する。

仮低解像度画像作成部１０１は、ＹＵＶ４２０形式などの入力画像の各成分（Ｙ、ＵおよびＶ成分）の画像を縮小して仮低解像度画像を作成するものである。即ち、この仮低解像度画像作成部１０１は、仮低解像度画像作成部１１とは異なり、入力画像のＹ（輝度）成分の画像も縮小して低解像度画像を作成している。

骨格／テクスチャ分離部１０２は、仮低解像度画像作成部１０１で作成された各成分（Ｙ、ＵおよびＶ成分）の仮低解像度画像をそれぞれテクスチャ成分の画像および骨格成分の画像に分離するものである。

参照テクスチャ画像作成部１０７は、骨格／テクスチャ分離部１０２で分離されたＹ（輝度）成分（所定成分）のテクスチャ成分の画像を入力画像に拡大（戻）した参照テクスチャ画像を作成するものである。なお、参照テクスチャ画像作成部１０７は、例えば、Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎフィルタで構成される。

テクスチャ生成部１０４は、参照テクスチャ画像作成部１０７で作成された参照テクスチャ画像と、骨格／テクスチャ分離部１０２で分離されたＹ、ＵおよびＶ成分それぞれの骨格成分の画像とから、仮高解像度画像作成部１０３で作成された仮高解像度画像に合成するテクスチャ成分を生成する。なお、このテクスチャ生成部１０４は、前記したテクスチャ生成部１４と同様に、エッジ周辺のノイズを抑制または除去するために、仮高解像度画像作成部１０３で作成されたＹ（輝度）成分の仮高解像度画像を更に入力する。

次に、第２の実施形態の画像処理装置１００の処理動作について説明する。

図５は、第２の実施形態の画像処理装置１００における画像処理の処理手順を示すフローチャートである。

図５に示すように、画像処理装置１００では、ＹＵＶ４２０形式などの入力画像を入力すると（ステップＳ１１）、まず、仮低解像度画像作成部１０１が、入力画像の各成分（Ｙ、ＵおよびＶ成分）の画像を、それぞれ任意の縮小サイズに縮小して仮低解像度画像を作成する（ステップＳ１２）。

続いて、骨格／テクスチャ分離部１０２が、第１の実施形態で説明した抽出方法により、仮低解像度画像作成部１０１で作成された各成分（Ｙ、ＵおよびＶ成分）の仮低解像度画像をそれぞれテクスチャ成分および骨格成分の画像に分離する（ステップＳ１３）。

続いて、仮高解像度画像作成部１０３が、入力画像を出力サイズに拡大して仮高解像度画像（土台画像）を作成する（ステップＳ１４）。

続いて、参照テクスチャ画像作成部１０７が、骨格／テクスチャ分離部１０２で分離された入力画像のＹ（輝度）成分のテクスチャ成分の画像を入力画像に拡大（戻）した参照テクスチャ画像を作成する（ステップＳ１５）。

続いて、テクスチャ生成部１０４が、参照テクスチャ画像作成部１０７で作成された参照テクスチャ画像と、骨格／テクスチャ分離部１０２で分離されたＹ、ＵおよびＶ成分それぞれの骨格成分の画像とから、ＹＵＶ４２０形式などの出力画像の所定領域（各注目点）と類似度の高いテクスチャ成分を生成する（ステップＳ１６）。なお、テクスチャ生成部１０４の類似度の高いテクスチャパターンを検出する方法は、第１の実施形態で説明した方法と同様である。

続いて、合成部１０５が、テクスチャ生成部１０４で生成されたテクスチャ成分（仮データ）と、仮高解像度画像作成部１０３で作成されたＹ（輝度）成分の仮高解像度画像（土台画像）とを合成して、ＹＵＶ４２０形式などの出力画像（即ち、質感の高い高解像度画像）を作成する（ステップＳ１７）。

即ち、以上説明した実施形態の画像処理装置１００によれば、第１の実施形態の画像処理装置１０よりも、画像処理装置１００全体の処理負荷を軽減することができ、画像処理装置１００のメモリの使用量を低減することができる。

以上、例示的な実施形態に基づいて説明したが、本実施形態は、前記した実施形態により限定されるものではない。

例えば、前記した実施形態では、画像処理装置１０、１００は、入力画像とは異なるサイズの出力画像を作成する場合について説明したが、これに限定されず、入力画像と同じサイズの出力画像を作成するようにしてもよい。

また、前記した画像処理装置１０、１００では、電子回路などのハードウェアで実現する場合について説明したが、これに限らず、画像処理装置１０、１００の各構成部をソフトウェアで実現することも可能である。

また、前記した実施形態では、画像処理装置１０、１００が搭載される電子機器としてテレビジョン受像装置の場合について説明したが、これに限定されず、録画装置などのその他の電子機器に搭載することも可能である。

その他、前記した実施形態におけるテレビジョン受像装置１および画像処理装置１０、１００のハードウェア構成や、入力画像および出力画像の形式などは、単なる一例として記載したものであり、本実施形態は、これらにより限定されない。

１ テレビジョン受像装置
１０、１００ 画像処理装置
１１、１０１ 仮低解像度画像作成部（作成手段）
１２、１０２ 骨格／テクスチャ分離部（分離手段）
１３、１０３ 仮高解像度画像作成部（高解像度画像作成手段）
１４、１０４ テクスチャ生成部（生成手段）
１５、１０５ 合成部（合成手段）
１６、１０６ 画像ぼけ抑制部（抑制手段）
１０７ 参照テクスチャ画像作成部（参照画像作成手段）

Claims (7)

1. 入力画像の輝度成分以外である色彩成分の画像を縮小して低解像度画像を作成する作成手段と、
   前記入力画像から前記入力画像よりも高解像度の高解像度画像を作成する高解像度画像作成手段と、
   前記作成手段で作成された低解像度画像と、前記入力画像の輝度成分の画像とをそれぞれテクスチャ成分および骨格成分の画像に分離する分離手段と、
   前記分離手段で分離された輝度成分のテクスチャ成分の画像と、輝度成分および色彩成分の骨格成分の画像とを入力し、出力画像の各注目点と類似度の高いテクスチャ成分を生成する生成手段と、
   前記生成手段で生成されたテクスチャ成分と、前記高解像度画像作成手段により作成された高解像度画像とを合成して出力画像を作成する合成手段と、
   を有する画像処理装置。
2. 入力画像の輝度成分および色彩成分を縮小して低解像度画像を作成する作成手段と、
   前記入力画像から前記入力画像よりも高解像度の高解像度画像を作成する高解像度画像作成手段と、
   前記作成手段で作成された輝度成分および色彩成分の低解像度画像をそれぞれテクスチャ成分および骨格成分の画像に分離する分離手段と、
   前記分離手段で分離された前記輝度成分のテクスチャ成分の画像を拡大した参照画像を作成する参照画像作成手段と、
   前記参照画像作成手段で作成された輝度成分のテクスチャ成分の画像と、前記分離手段で分離された輝度成分および色彩成分の骨格成分の画像とを入力し、出力画像の各注目点と類似度の高いテクスチャ成分を生成する生成手段と、
   前記生成手段で生成されたテクスチャ成分と、前記高解像度画像作成手段により作成された高解像度画像とを合成して出力画像を作成する合成手段と、
   を有する画像処理装置。
3. 前記高解像度画像作成手段で作成された高解像度画像のぼけを抑制する抑制手段、
   を更に有し、
   前記合成手段は、前記テクスチャ成分と、前記抑制手段で画像ぼけが抑制された高解像度画像とを合成する、請求項１または２に記載の画像処理装置。
4. 電子機器に搭載される、請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記電子機器は、テレビジョン受像装置である、請求項４に記載の画像処理装置。
6. 入力画像の輝度成分以外である色彩成分の画像を縮小して低解像度画像を作成し、
   前記入力画像から前記入力画像よりも高解像度の高解像度画像を作成し、
   前記作成された低解像度画像と、前記入力画像の輝度成分の画像とをそれぞれテクスチャ成分および骨格成分の画像に分離し、
   前記分離された輝度成分のテクスチャ成分の画像と、輝度成分および色彩成分の骨格成分の画像とを入力し、出力画像の各注目点と類似度の高いテクスチャ成分を生成し、
   前記生成されたテクスチャ成分と、前記作成された高解像度画像とを合成して出力画像を作成する画像処理方法。
7. 入力画像の輝度成分および色彩成分を縮小して低解像度画像を作成し、
   前記入力画像から前記入力画像よりも高解像度の高解像度画像を作成し、
   前記作成された輝度成分および色彩成分の低解像度画像をそれぞれテクスチャ成分および骨格成分の画像に分離し、
   前記分離された前記輝度成分のテクスチャ成分の画像を拡大した参照画像を作成し、
   前記作成された輝度成分のテクスチャ成分の画像と、前記分離された輝度成分および色彩成分の骨格成分の画像とを入力し、出力画像の各注目点と類似度の高いテクスチャ成分を生成し、
   前記生成されたテクスチャ成分と、前記作成された高解像度画像とを合成して出力画像を作成する画像処理方法。

Images