JP4799674B1 - 画像処理装置、画像表示装置及び画像処理方法 - Google Patents

Abstract

【課題】フリッカノイズの低減を効率的に行うことが可能な画像処理装置、画像表示装置及び画像処理方法を提供する。
【解決手段】符号化動画像信号を復号化し、復号化動画像信号を生成する復号化手段と、前記復号化動画像信号のフィールド又はフレームのピクチャタイプを出力するピクチャタイプ出力手段と、前記復号化動画像信号のフィールド又はフレームのフレーム間の差分を、前記ピクチャタイプの変化毎に検出するフレーム間差分検出手段と、前記復号化動画像信号に含まれるフリッカノイズを、複数のフィールド又はフレームの前記復号化動画像信号を用いて低減するフリッカ低減手段と、前記フレーム間差分検出手段が検出したフレーム間の差分に基づいて、前記変化後のピクチャタイプと同じピクチャタイプのフィールド又はフレームに対する、前記フリッカ低減手段による前記フリッカノイズの低減効果の強度を制御するフリッカ低減制御手段と、を備える。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像表示装置及び画像処理方法に関する。

動画像の伝送・記録を行う場合には、伝送効率や圧縮効率を高めるために符号化が行われている。一方、符号化された動画像を受信・再生する装置では、符号化された動画像を復号化し、符号化歪みにより生じたノイズを低減するための処理が行われている。従来、この符号化歪みにより生じたフリッカノイズを低減するため、ＩピクチャとこのＩピクチャ直前のＰピクチャとの画素値の差を低減する技術が知られている。

特開２０１０−５０８６０号公報

しかしながら、従来の技術では、ＩピクチャとＰピクチャとの差を低減対象としているが、他のピクチャタイプ間の差については考慮されていないため、フリッカノイズを十分に低減することができない可能性がある。

本発明は、上記に鑑みてなされたものであって、フリッカノイズの低減を効率的に行うことが可能な画像処理装置、画像表示装置及び画像処理方法を提供することを目的とする。

実施の形態の画像処理装置は、復号化手段と、ピクチャタイプ検出手段と、フレーム間差分検出手段と、フリッカ低減手段と、フリッカ低減制御手段とを備えている。復号化手段は、第１のビデオ符号化方式で符号化された符号化ビデオ信号を復号化し、復号化ビデオ信号を生成する。ピクチャタイプ検出手段は、前記復号化ビデオ信号のフィールド又はフレームのピクチャタイプを出力する。フレーム間差分検出手段は、前記ピクチャタイプ検出手段が出力する前記ピクチャタイプが変化した場合に、前記復号化ビデオ信号のフィールド又はフレームのフレーム間の差分を検出する。フリッカ低減手段は、前記復号化ビデオ信号に含まれるフリッカノイズを、当該復号化ビデオ信号の複数のフィールド又はフレームに基づいて低減する。フリッカ低減制御手段は、前記ピクチャタイプ検出手段が出力する前記ピクチャタイプが変化した場合に、前記フレーム間差分検出手段が検出したフレーム間の差分に基づいて、前記フリッカ低減手段が前記フリッカノイズを低減する低減強度を制御する。

本実施形態に係る画像処理装置の構成を示すブロック図である。 復号化動画像信号のＧＯＰ構成の一例を表す模式図である。 本実施形態に係る動画像信号処理の手順を示すフローチャートである。 本実施形態の画像処理装置を含むテレビジョン放送受信装置の構成を示すブロック図である。

図１は、本実施形態にかかる画像処理装置１０の構成を示すブロック図である。同図に示すように、画像処理装置１０は、復号化部１１、ピクチャタイプ出力部１２、フレーム間差分検出部１３、フリッカ低減制御部１４及びフリッカ低減部１５を備えている。

なお、上述した画像処理装置１０の各部は、各々がマイクロコントローラ等の専用チップで構成される形態としてもよいし、各部の機能を統合した１チップで構成される形態としてもよい。また、画像処理装置１０の各部は、ＣＰＵ（Central Processing Unit）がＲＯＭ（Read Only Memory）等に記憶されたプログラムをＲＡＭ（Random Access Memory）に展開し、その展開したプログラムを順次実行することで実現される形態としてもよい。

復号化部１１は、所定の符号化方式で符号化された符号化動画像信号Ｐ１を復号化し、復号化動画像信号Ｐ２を生成する。ここで、符号化動画像信号Ｐ１の符号化方式は、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２等、Ｉピクチャ、Ｂピクチャ及びＰピクチャ等の複数のピクチャタイプを用いるものが挙げられる。

また、復号化部１１は、生成した復号化動画像信号Ｐ２を、フィールド又はフレーム単位でフレーム間差分検出部１３及びフリッカ低減部１５へ出力する。また、復号化部１１は、符号化動画像信号Ｐ１を復号化する際に得た、符号化動画像信号Ｐ１の符号化を行う際に採用された符号化条件を示す符号化実施情報を、ピクチャタイプ出力部１２へ出力する。

ここで、符号化実施情報には、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの符号化方式に関する情報やフィールド又はフレームのピクチャタイプが含まれる。ピクチャタイプは、ＭＰＥＧにおいて定められたＧＯＰ（Group Of Pictures）を構成する、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ等である。

ピクチャタイプ出力部１２は、復号化部１１から入力される符号化実施情報から、この符号化実施情報の出力と同期して復号化部１１から出力された復号化動画像信号Ｐ２（フィールド又はフレーム）のピクチャタイプを取得する。そして、ピクチャタイプ出力部１２は、取得したピクチャタイプを、フレーム間差分検出部１３及びフリッカ低減制御部１４へ出力する。

ここで、図２は、復号化動画像信号Ｐ２のＧＯＰ構成の一例を表す模式図である。同図に示すように、復号化動画像信号Ｐ２は、Ｉピクチャ（図中“Ｉ”で表すフレーム）、Ｐピクチャ（図中“Ｐ”で表すフレーム）及びＢピクチャ（図中“Ｂ”で表すフレーム）で構成されている。この図２では、図中左方向から右方向にかけて時間経過を表しており、フレームＦ１〜Ｆ１２の順で復号化部１１から順次出力される。

図２の場合、ピクチャタイプ出力部１２は、フレームＦ１及びＦ２についてＢピクチャを、フレームＦ３についてＰピクチャを、フレームＦ４及びＦ５についてＢピクチャを、フレームＦ６についてＩピクチャを、フレームＦ７及びＦ８についてＢピクチャを、フレームＦ９についてＰピクチャを、フレームＦ１０及びＦ１１についてＢピクチャを、フレームＦ１２についてＰピクチャを、各フレームのピクチャタイプとしてフレーム間差分検出部１３及びフリッカ低減制御部１４に順次出力する。

図１に戻り、フレーム間差分検出部１３は、ピクチャタイプ出力部１２から入力されたピクチャタイプに基づいて、復号化部１１から順次入力される復号化動画像信号Ｐ２のフィールド又はフレームのフレーム間の差分をピクチャタイプ毎に検出し、フリッカ低減制御部１４へ出力する。

具体的に、フレーム間差分検出部１３は、少なくとも１フレーム分のデータ量を保持することが可能なバッファ（図示せず）を有し、復号化部１１から復号化動画像信号Ｐ２のフィールド又はフレームが入力される毎に、その対応するフレームを直前フレームとしてバッファに保持する。また、フレーム間差分検出部１３は、ピクチャタイプ出力部１２から入力されるピクチャタイプの変化を検出すると、その変化を検出したタイミングで復号化部１１から入力された復号化動画像信号Ｐ２のフレームと、このフレームの直前に入力された直前フレームとに含まれる画像の動き量や輝度値等の差分を検出（算出）し、フレーム間差分としてフリッカ低減制御部１４へ出力する。

以下、図２を参照して、フレーム間差分検出部１３の動作について説明する。ピクチャタイプ出力部１２からフレームＦ４及びＦ５のピクチャタイプ“Ｂピクチャ”が入力された後、フレームＦ６のピクチャタイプ“Ｉピクチャ”が入力されると、フレーム間差分検出部１３は、“Ｂピクチャ”から“Ｉピクチャ”への変化を検出する。このとき、フレーム間差分検出部１３は、復号化部１１から入力されるフレームＦ６と、このフレームＦ６の直前に入力されたフレームＦ５（直前フレーム）とに基づいて、変化後のＩピクチャについてのフレーム間差分を検出しフリッカ低減制御部１４へ出力する。

また、続くフレームＦ７のピクチャタイプについて、ピクチャタイプ出力部１２から“Ｂピクチャ”が入力されると、フレーム間差分検出部１３は“Ｉピクチャ”から“Ｂピクチャ”への変化を検出する。このとき、フレーム間差分検出部１３は、復号化部１１から入力されるフレームＦ７と、このフレームＦ７の直前に入力されたフレームＦ６（直前フレーム）とに基づいて、変化後のＢピクチャについてのフレーム間差分を検出しフリッカ低減制御部１４へ出力する。

また、ピクチャタイプ出力部１２からフレームＦ７及びＦ８のピクチャタイプ“Ｂピクチャ”が入力された後、フレームＦ９のピクチャタイプ“Ｐピクチャ”が入力されると、フレーム間差分検出部１３は“Ｂピクチャ”から“Ｐピクチャ”への変化を検出する。このとき、フレーム間差分検出部１３は、復号化部１１から入力されるフレームＦ９と、このフレームＦ９の直前に入力されたフレームＦ８（直前フレーム）とに基づいて、変化後のＰピクチャについてのフレーム間差分を算出しフリッカ低減制御部１４へ出力する。

このように、フレーム間差分検出部１３は、復号化部１１から入力されるピクチャタイプの変化毎にそのフレーム間の差分を順次検出し、変化後のピクチャタイプについてのフレーム間差分としてフリッカ低減制御部１４へ出力する。

図１に戻り、フリッカ低減制御部１４は、各ピクチャタイプのフレーム間差分に基づき、フリッカノイズを低減させるためフリッカ低減部１５が行う後述するフリッカ低減処理の低減効果の強度をピクチャタイプ毎に設定し、指示信号Ｐ３としてフリッカ低減部１５へ出力することでフリッカ低減部１５の動作を制御する。ここで、“フリッカノイズ”とは、符号化の際に生じた画像内容のギャップ（歪み）により、フレームが切り替わる際に映像の不連続が視覚的に感じられてしまうことを意味する。

具体的に、フリッカ低減制御部１４は、ピクチャタイプ出力部１２から入力されるピクチャタイプと、フレーム間差分検出部１３から入力されるフレーム間差分とに基づいて、各ピクチャタイプとフレーム間差分とを対応付ける。また、フリッカ低減制御部１４は、各ピクチャタイプでのフレーム間差分の相対的な大小関係を比較し、特定のピクチャタイプについてのフレーム間差分が、他のピクチャタイプのフレーム間差分に対して大きいと判定した場合に、この他のピクチャタイプのフレーム間の切り替わり時にフリッカが発生する可能性が高いと判断する。そして、フリッカ低減制御部１４は、フリッカが発生する可能性が高いと判断した特定のピクチャタイプのフレームに施す低減効果の強度を、フリッカが発生する可能性が高いと判断しない他のピクチャタイプの低減効果よりも強くするよう設定した指示信号Ｐ３を、フリッカ低減部１５に出力する。このように、フレーム間差分検出部１３は、指示信号Ｐ３をフリッカ低減部１５に出力することで、フレーム間差分検出部１３が検出したフレーム間差分に基づいて、このフレーム間差分のピクチャタイプ（即ち、変化後のピクチャタイプ）と同じピクチャタイプのフィールド又はフレームに対する、フリッカ低減部１５によるフリッカノイズの低減効果の強度を制御する。

なお、大小関係を比較する際の基準となるフレーム間差分は、種々の形態を用いることができる。例えば、予め定められた何れか一又は二のピクチャタイプのものを、特定のピクチャタイプに対する基準値として用いる形態としてもよい。この場合、例えば、Ｂピクチャ及び／又はＰピクチャのフレーム間差分を基準値とし、この基準値に対するＩピクチャのフレーム間差分を比較する形態としてもよいし、Ｂピクチャのフレーム間差分を基準値とし、この基準値に対するＰピクチャのフレーム間差分を比較する形態としてもよい。また、フリッカが発生すると判断したピクチャタイプに設定する低減効果の強度は、基準値との差に応じて変化させる形態としてもよい。

フリッカ低減部１５は、指示信号Ｐ３で指示された低減効果の設定に従い、復号化部１１から入力される復号化動画像信号のフィールド又はフレームのピクチャタイプ毎にフリッカ低減処理を施し、フリッカ低減済動画像信号Ｐ４として出力する。ここで、フリッカ低減処理とは、複数のフィールド又はフレームの復号化動画像信号Ｐ２を用いて行う、公知のフレーム巡回型のノイズ低減処理又はフレーム非巡回型のノイズ低減処理を意味する。つまり、フリッカ低減部１５は、指示信号Ｐ３で指示された低減効果の設定に従い、フレーム巡回型のノイズ低減処理又はフレーム非巡回型のノイズ低減処理の、低減効果の強弱に係るパラメータをピクチャタイプ毎に変更する。

次に、図３を参照して、画像処理装置１０の動作について説明する。ここで、図３は、画像処理装置１０の各部が行う動画像信号処理の手順を示すフローチャートである。

まず、図示しない外部装置から符号化動画像信号Ｐ１が復号化部１１に入力されると（ステップＳ１１）、復号化部１１は、この符号化動画像信号Ｐ１を復号化した復号化動画像信号Ｐ２を生成し、フィールド又はフレーム単位でピクチャタイプ出力部１２及びフリッカ低減部１５へ順次出力する（ステップＳ１２）。このとき、復号化部１１は、出力した復号化動画像信号Ｐ２のフィールド又はフレームに対応する符号化実施情報を、ピクチャタイプ出力部１２へ出力する。

次いで、ピクチャタイプ出力部１２は、符号化実施情報からピクチャタイプを取得し、取得したピクチャタイプをフレーム間差分検出部１３及びフリッカ低減制御部１４へ出力する（ステップＳ１３）。

フレーム間差分検出部１３は、ピクチャタイプ出力部１２から入力されるピクチャタイプに基づいて、復号化部１１から入力されたフィールド又はフレームのフレーム間差分をピクチャタイプの変化毎に検出すると、このフレーム間差分をフリッカ低減制御部１４へ出力する（ステップＳ１４）。

フリッカ低減制御部１４は、各ピクチャタイプのフレーム間差分に基づいて、フリッカ低減処理の低減効果の強度をピクチャタイプ毎に設定し、指示信号Ｐ３としてフリッカ低減部１５へ出力する（ステップＳ１５）。具体的に、フリッカ低減制御部１４は、各ピクチャタイプのフレーム間差分に基づいて、フリッカが生じる可能性のあるフレームのピクチャタイプを特定すると、このピクチャタイプのフレームに施す低減効果の強度を、他のピクチャタイプの低減効果よりも強くするよう設定した指示信号Ｐ３を、フリッカ低減部１５に出力する。

続いて、フリッカ低減部１５は、フリッカ低減制御部１４から入力される指示信号Ｐ３に基づき、このフリッカ低減制御部１４で設定されたピクチャタイプの強度で、復号化動画像信号Ｐ２から入力されるフィールド又はフレームにフリッカ低減処理を施し（ステップＳ１６）、フリッカ低減済動画像信号Ｐ４として出力する（ステップＳ１７）。

このように、本実施形態の画像処理装置１０によれば、特定のピクチャタイプのフレーム間差分が、他のピクチャタイプのフレーム間差分に対して大きい場合に、この他のピクチャタイプのフレーム間の切り替わり時にフリッカノイズが発生すると判断し、この特定のピクチャタイプのフレームに施すフリッカ低減処理の低減効果の強度を、他のピクチャタイプの低減効果よりも強くするよう制御する。これにより、Ｉピクチャ、Ｂピクチャ及びＰピクチャのうち、フリッカノイズが発生すると判断した特定のピクチャタイプのフレームと、このピクチャタイプ以外の他のピクチャタイプのフレームとに含まれた画像内容の差を抑えることができるため、フリッカノイズの発生を効率的に低減することができる。

次に、図４を用いて、上述した画像処理装置１０を、テレビジョン信号の受信と表示を行うテレビジョン受信装置に適用した例を説明する。なお、以下では画像表示装置をテレビジョン受信装置とした例を説明するが、これに限らず、ＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disc）等の大容量記憶媒体への録画や、録画されたデータの再生を行う録画・再生装置、チューナやセットトップボックス等としてもよい。

図４は、本実施形態にかかる画像処理装置１０を含むテレビジョン放送受信装置１００の構成を示すブロック図である。

図４に示すように、図１を参照して説明した画像処理装置１０は、テレビジョン放送受信装置１００の信号処理部２５内に設けられている。テレビジョン放送受信装置１００において、デジタルテレビジョン放送受信用のアンテナ２１で受信したデジタルテレビジョン放送信号は、入力端子２２を介してチューナ部２３に供給される。このチューナ部２３は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局して復調し、信号処理部２５に出力する。

信号処理部２５は、画像処理装置１０を有し、チューナ部２３から入力された信号から映像信号・音声信号等を分離する。ここで、画像処理装置１０の復号化部１１は、デコーダ装置として機能し、分離された映像信号を符号化動画像信号Ｐ１として復号化することで復号化動画像信号Ｐ２を生成する。そして、画像処理装置１０の各部は、上述した動画像信号処理を実行することで、復号化動画像信号Ｐ２に含まれるフリッカノイズを低減させたフリッカ低減済動画像信号Ｐ４を表示器２６に出力する。これにより、フリッカ低減済動画像信号が表示器２６に表示される。

表示器２６としては、例えば液晶ディプレイやプラズマディスプレイ等のフラットパネルディスプレイが採用される。また、信号処理部２５は、分離した音声信号に所定の信号処理を施し、アナログ化してスピーカ２７に出力することにより、音声再生を行っている。

ここで、テレビジョン放送受信装置１００では、上述した各種の受信動作を含む種々の動作が制御部２８によって統括的に制御されている。制御部２８は、ＣＰＵ等を内蔵したマイクロプロセッサであり、操作キーなどの操作部２９からの操作情報、又はリモートコントローラ４０から送信された操作情報を、受光部３０を介して受けることにより、その操作内容が反映されるように各部を制御している。この場合、制御部２８は、メモリ３１を使用している。メモリ３１は、主として、ＣＰＵが実行する制御プログラムを格納したＲＯＭと、ＣＰＵに作業エリアを提供するためのＲＡＭと、各種設定情報及び制御情報等が格納される不揮発性メモリとを備えている。

以上、図１〜図４を用いて本実施形態を説明したが、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０ 画像処理装置
１１ 復号化部
１２ ピクチャタイプ出力部
１３ フレーム間差分検出部
１４ フリッカ低減制御部
１５ フリッカ低減部
２１ アンテナ
２２ 入力端子
２３ チューナ部
２４ デコーダ部
２５ 信号処理部
２６ 表示器
２７ スピーカ
２８ 制御部
２９ 操作部
３０ 受光部
３１ メモリ
４０ リモートコントローラ
１００ テレビジョン放送受信装置

Claims (6)

1. 第１のビデオ符号化方式で符号化された符号化ビデオ信号を復号化し、復号化ビデオ信号を生成する復号化手段と、
   前記復号化ビデオ信号のフィールド又はフレームのピクチャタイプを出力するピクチャタイプ検出手段と、
   前記ピクチャタイプ検出手段が出力する前記ピクチャタイプが変化した場合に、前記復号化ビデオ信号のフィールド又はフレームのフレーム間の差分を検出するフレーム間差分検出手段と、
   前記復号化ビデオ信号に含まれるフリッカノイズを、当該復号化ビデオ信号の複数のフィールド又はフレームに基づいて低減するフリッカ低減手段と、
   前記ピクチャタイプ検出手段が出力する前記ピクチャタイプが変化した場合に、前記フレーム間差分検出手段が検出したフレーム間の差分に基づいて、前記フリッカ低減手段が前記フリッカノイズを低減する低減強度を制御するフリッカ低減制御手段と、
   を備えることを特徴する画像処理装置。
2. 前記フリッカ低減制御手段は、第１のピクチャタイプのフレーム間の差分が、第２のピクチャタイプのフレーム間の差分よりも大きい場合、前記第１のピクチャタイプのフィールド又はフレームに対する低減強度を、前記第２のピクチャタイプのフィールド又はフレームに対する低減強度よりも強くすることを特徴とする請求項１に記載の画像処理装置。
3. 前記フリッカ低減手段は、前記フリッカノイズを低減させるため、フレーム巡回型のノイズ低減処理又はフレーム非巡回型のノイズ低減処理を用いることを特徴とする請求項１又は２に記載の画像処理装置。
4. 第１のビデオ符号化方式で符号化された符号化ビデオ信号を復号化し、復号化ビデオ信号を生成する復号化手段と、
   前記復号化ビデオ信号のフィールド又はフレームのピクチャタイプを出力するピクチャタイプ検出手段と、
   前記ピクチャタイプ検出手段が出力する前記ピクチャタイプが変化した場合に、前記復号化ビデオ信号のフィールド又はフレームのフレーム間の差分を検出するフレーム間差分検出手段と、
   前記復号化ビデオ信号に含まれるフリッカノイズを、当該復号化ビデオ信号の複数のフィールド又はフレームに基づいて低減するフリッカ低減手段と、
   前記ピクチャタイプ検出手段が出力する前記ピクチャタイプが変化した場合に、前記フレーム間差分検出手段が検出したフレーム間の差分に基づいて、前記フリッカ低減手段が前記フリッカノイズを低減する低減強度を制御するフリッカ低減制御手段と、
   前記フリッカ低減手段により前記フリッカノイズが低減された復号化ビデオ信号を表示する表示手段と、
   を備えたことを特徴とする画像表示装置。
5. アンテナにより受信された放送信号を選局し、当該選局した放送信号を出力するチューナ手段を更に備え、
   前記復号化手段は、前記チューナ手段から出力される放送信号を、前記符号化ビデオ信号として復号化することを特徴とする請求項４に記載の画像表示装置。
6. 復号化手段が、第１のビデオ符号化方式で符号化された符号化ビデオ信号を復号化し、復号化ビデオ信号を生成する復号化工程と、
   ピクチャタイプ検出手段が、前記復号化ビデオ信号のフィールド又はフレームのピクチャタイプを出力するピクチャタイプ検出工程と、
   フレーム間差分検出手段が、前記ピクチャタイプ検出手段が出力するピクチャタイプが変化した場合に、前記復号化ビデオ信号のフィールド又はフレームのフレーム間の差分を検出するフレーム間差分検出工程と、
   フリッカ低減手段が、前記復号化ビデオ信号に含まれるフリッカノイズを、当該復号化ビデオ信号の複数のフィールド又はフレームに基づいて低減するフリッカ低減工程と、
   フリッカ低減制御手段が、前記ピクチャタイプ検出手段が出力する前記ピクチャタイプが変化した場合に、前記フレーム間差分検出手段が検出したフレーム間の差分に基づいて、前記フリッカ低減手段が前記フリッカノイズを低減する強度を制御するフリッカ低減制御工程と、
   を含むことを特徴とする画像処理方法。

Images