JP5374753B2 - 映像表示装置、および映像表示装置の動作方法 - Google Patents

Description

本発明は、符号化映像を再生表示した際に発生するブロックノイズやモスキートノイズなどを効果的に目立たないようにするための画像処理技術に関する。

現在、映像の符号化処理は、主に不可逆圧縮を含む符号化処理であるため、デコード時には間引かれた情報がブロック状あるいはモスキート状の歪み（ノイズ）として映像上に再現される。そのためテレビ受像機などは、高画質化のためこれらノイズを目立たなくするためのノイズリダクション処理機能を搭載している。具体的には、例えば注目画素の周辺画素輝度値を平均し、その平均値を注目画素の輝度値とするいわゆる平滑化処理を行い、画像のエッジ成分を抑えてぼかすことで上記映像上の歪みを目立たないようにしている。

しかしこの「ぼかし処理」は、被写体のエッジ成分も同時にぼけさせてしまい、映像がいわゆる「眠い」映像となる可能性がある。そこでこの「ぼかし処理」の強度を調整するための技術が様々開示されている。具体的には、上記映像上の歪みは、前述の通り符号化処理過程での情報の間引きによって生じるため、間引き量が大きいほどデコードした際の歪み量が大きくなる。したがって、デコードして復元したフレーム画像のデータ量を参照してその間引き量を判断し、それに応じてぼかし処理の強度を調整するという具合である。

特開平８−４６９６６号公報

しかし、上記従来の技術には以下のような課題がある。すなわちフレーム画像のデータ量は、通常1枚1枚ごとに異なるように符号化されている。そのため復元されたフレーム画像それぞれのデータ量をデコーダから取得して個別にぼかし処理などの強度を判断、制御する必要があり、処理に時間がかかるなどの課題がある。

以上の課題を解決するために、本発明は、フレーム画像のデータ量の替わりに映像の伝送レートを取得し、その伝送レートに応じてぼかし処理などのノイズリダクション処理の強度を制御する機能を備えた映像表示装置を提供する。具体的に、符号化された映像情報を取得する映像情報取得部と、取得された映像情報をデコードしてフレーム映像とするデコード部と、映像情報の伝送レート情報を取得する伝送レート情報取得部と、デコード部からのフレーム映像にフレーム単位でノイズリダクション処理をするノイズリダクション処理部と、伝送レート情報取得部にて取得した伝送レート情報に基づいてノイズリダクション処理部のノイズリダクション処理強度を制御する制御部と、を有する映像表示装置を提供する。

以上のような構成をとる本発明によってぼかし処理などのノイズリダクション処理を時間をかけずに実行し、ブロックノイズやモスキートノイズを目立たなくすることができる。

実施例１の映像表示装置における機能ブロックの一例を表す図 実施例１の映像表示装置の制御部が参照する処理用テーブルの一例を表す図 実施例１の映像表示装置におけるハードウェア構成の一例を表す図 実施例１の映像表示装置における処理の流れの一例を表すフローチャート 実施例２の映像表示装置における機能ブロックの一例を表す図 実施例２の映像表示装置における処理の流れの一例を表すフローチャート

以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例１は、主に請求項１、２、３、４、６について説明する。また実施例２は、主に請求項５について説明する。

≪実施例１≫
<概要>
本実施例の映像表示装置は、ブロックノイズやモスキートノイズを目立たないようにするために、当該映像の伝送レートを取得し、その伝送レートに応じてぼかし処理などの強度を制御する機能を備えることを特徴とする。

<機能的構成>
図１は、本実施例の映像表示装置における機能ブロックの一例を表す図である。なお、本実施例の「映像表示装置」は、映像を表示する機構を外部に有していてもよく、例えばテレビジョン装置などのほかに、各種レコーダ／プレーヤなども挙げられる。また以下に記載する本映像表示装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バス、あるいは二次記憶装置（ハードディスクや不揮発性メモリ、ＣＤやＤＶＤなどの記憶メディアとそれらメディアの読取ドライブなど）、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。

そして主メモリ上に展開したプログラムに従ったＣＰＵの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。また、この発明は映像表示装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。

そして、この図１にあるように、本実施例の「映像表示装置」（０１００）は、「映像情報取得部」（０１０１）と、「デコード部」（０１０２）と、「伝送レート情報取得部」（０１０３）と、「ノイズリダクション処理部」（０１０４）と、「制御部」（０１０５）と、を有する。

「映像情報取得部」（０１０１）は、符号化された映像情報を取得する機能を有し、例えば、デジタル放送用の受信チューナ及び復調回路や、記録媒体に記録された符号化映像情報の読出回路などが挙げられる。また、記録媒体に記録された符号化映像情報を取得する場合には、この映像情報取得部は、録画装置からユーザ操作に基づいて録画された映像情報を取得する「録画映像取得手段」（図示せず）を有していても良い。あるいは記録メディアに記録された映像情報を取得する「メディア記録映像取得手段」（図示せず）を有していても良い。

「デコード部」（０１０２）は、取得された映像情報をデコードしてフレーム映像とする機能を有し、ＣＰＵ（中央演算装置）や主メモリ、デコードプログラム、あるいはこれらをワンチップ化したデコーダ回路などで実現できる。ここで、符号化された映像情報は一般的に圧縮（情報の間引き）を伴う不可逆性を有する符号化であり、そのためデコード処理によって伸張復元されるフレーム画像には、ブロックノイズなどの映像上の歪みが生じている。そしてその歪み量は情報の間引き量に左右される。そこで本実施例の映像表示装置では、以下の構成によって情報の間引き量を取得し、その間引き量に応じてノイズリダクション処理の強度を制御することを特徴とする。

「伝送レート情報取得部」（０１０３）は、映像情報の伝送レート情報を取得する機能を有し、例えばＣＰＵや主メモリ、伝送レート情報取得プログラムなどによって実現できる。具体的には、映像情報であるＰＳ（プログラムストリーム）パケットには「量子化パラメータ（Ｑｕａｎｔｉｚｅｒ Ｓｃａｌｅ）」を示す情報が含まれている。そして「量子化パラメータ」は、符号化処理の一過程である量子化の際に、エンコーダが除数として利用した値である。つまり、この量子化パラメータが大きいほど余りとして間引かれる情報量が大きいことになる。そこで、伝送レート情報取得部は、図示しない「量子化パラメータ取得手段」を有し、伝送レート情報として量子化パラメータを取得する構成が挙げられる。

あるいは、映像情報が記録媒体に記録された放送番組などであれば、以下のようにして伝送レート情報を取得しても良い。すなわち、例えばＨＤＤ／ＤＶＤレコーダなどでは、放送番組を符号化記録する場合、記録媒体の残容量を調整するため録画品質を指定できるよう構成されている。例えば「ＬＰモード」や「ＥＰモード」であれば前述の量子化パラメータを大きく設定して画質を落とす替わりに記録容量を抑えて記録することができる。また「ＸＰモード」であれば量子化パラメータを小さく設定して記憶容量を必要とする替わりに画質を確保して記録することができる、という具合である。そこで、ＨＤＤ／ＤＶＤレコーダなどでは映像情報を符号化記録する際に、ユーザの指定する録画品質情報を映像情報に含めて記録するよう構成する。そしてこの伝送レート情報取得部では、図示しない「録画品質情報取得手段」を有し、伝送レート情報として前記ユーザ操作により指定された録画品質情報を、例えばＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に含まれるＣＥＣ（Ｃｕｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）情報にて外部接続機器（レコーダやプレーヤ）から取得する、という具合である。

また、その他にも、映像情報がＤＶＤや次世代ＤＶＤなどの可搬型メディアに記録されたものであれば、以下のようにして伝送レート情報を取得しても良い。すなわち、いわゆる「ＲＯＭ（リード・オンリー・メモリー）」媒体であれば、伝送レートも適宜調整された高画質の商用作品が記録されている可能性が高い。一方、それ以外の「Ｒ」や「ＲＥ」、「ＲＷ」などの記録媒体であれば、商用のものよりも低画質な家庭用の映像や番組録画映像が記録されている可能性が高い。そこで、伝送レート情報取得部では図示しない「メディア種別情報取得手段」を有し、伝送レート情報として、例えば「ＲＯＭ」や「Ｒ」などの記録メディアの種別情報を、例えばＣＥＣ情報として外部接続機器から取得する、という具合である。また、上記のような量子化パラメータ、録画品質情報、メディア種別情報などを複合し伝送レート情報として処理しても良い。

そしてこれら伝送レート情報を参照することで、以上のように符号化映像情報における情報の間引き量をある程度判断することができる。

「ノイズリダクション処理部」（０１０４）は、デコード部からのフレーム映像にフレーム単位でノイズリダクション処理をする機能を有し、例えばＣＰＵや主メモリ、ノイズリダクションプログラムや、それらをワンチップ化した高画質回路などで実現できる。なお、ここで処理されるノイズは、基本的には前述のように情報の間引きによって発生する映像上の歪みをいい、したがってそのノイズリダクション処理は二次元／三次元ノイズリダクション処理などでは無く、例えば「ぼかし処理」などが挙げられる。この「ぼかし処理」は、注目画素の周辺画素輝度値を平均し、その平均値を注目画素の輝度値とするいわゆる平滑化処理を行い、画像のエッジ成分を抑えてぼかすことで上記映像上の歪みを目立たないようにする処理をいう。

また、ノイズリダクション処理としては、ローパスフィルタを利用することも可能である。具体的には、ローパスフィルタのカットオフ周波数を低くすると映像上の輪郭がぼやける作用がある。つまり、「ぼかし処理」と同様の効果を生じる、という具合である。あるいは「輪郭強調（エンハンス）」処理をかけ過ぎるとブロックノイズやモスキートノイズが必要以上に強調されてしまう。そこでこの輪郭強調処理をするか否かの閾値を高く設定することで、上記ノイズを必要以上に目立たなくする処理もノイズリダクション処理に含まれる。

「制御部」（０１０５）は、伝送レート情報取得部にて取得した伝送レート情報に基づいてノイズリダクション処理部のノイズリダクション処理強度を制御する機能を有し、例えばＣＰＵや主メモリ、制御プログラムなどによって実現できる。具体的には、ノイズリダクション処理が「ぼかし処理」であれば、例えばそのぼかし処理を行うか否かの閾値を処理強度として制御する。そして、符号化映像情報の情報量が大きく間引かれていることが伝送レート情報によって示されていれば、例えば図２に示すような処理テーブルにしたがってその閾値を低く設定し、ぼかし処理を多くかけるようにする、という具合である。また、処理テーブル以外にも、例えば伝送レート情報を変数ｘとするｇ＝ｆ（ｘ）などの関数を利用して、制御用の強度ｇを算出しても良い。このようにして、本実施例の映像表示装置では、伝送レート情報によって映像情報の情報間引き量が多いと判断される際には、そのノイズリダクション処理を強く制御（輪郭強調処理であれば弱く制御）することで、ブロックノイズやモスキートノイズなどを目立たないようすることができる。

<ハードウェア構成>
図３に示すのは、本実施例の映像表示装置におけるハードウェア構成の一例を表す図である。この図にあるように、映像表示装置は、伝送レート情報取得部および制御部であり、その他の各種演算処理を実行するための「ＣＰＵ」（０３０１）と、「主メモリ」（０３０２）と、を備えている。また制御用の処理テーブルなどを保持する「フラッシュメモリ」（０３０３）や、映像情報取得部である「デジタルチューナ」（０３０４）、デコード部である「デコーダ」（０３０５）、ノイズリダクション処理部である「高画質化回路」（０３０６）なども備えている。また図示していないが、内蔵の「記録メディア再生ドライブ」や外部の記録メディア再生装置と接続するための「ＨＤＭＩ接続回路」なども備えていても良い。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。

また、「主メモリ」にはプログラムが読み出され、「ＣＰＵ」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「主メモリ」や「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「ＣＰＵ」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。

ここで「デジタルチューナ」にて受信した放送信号波を復調し、符号化された映像情報を取得する。あるいは内蔵の「記録メディア再生ドライブ」や「ＨＤＭＩ接続回路」を介して符号化映像情報を取得する。すると「ＣＰＵ」は伝送フレーム情報取得プログラムを解釈しその解釈結果にしたがって、例えば取得した映像情報のＰＳパケットから量子化パラメータを取得し、伝送レート情報として「主メモリ」のアドレス１に格納する。あるいは、内蔵の「記録メディア再生ドライブ」や「ＨＤＭＩ接続回路」を介してＨＤＭＩ接続された外部の記録メディア再生装置から、「ＬＰモード」などを示す録画品質情報や「ＤＶＤ−ＲＯＭ」などのメディア種別情報を取得し、伝送レート情報として「主メモリ」のアドレス１に格納する。

つづいて「ＣＰＵ」は制御プログラムを解釈し、その解釈結果にしたがって、例えば「フラッシュメモリ」に保持されている図２に示すような処理用テーブルを「主メモリ」のアドレス２に読み出す。そして、「ＣＰＵ」の論理演算処理によってアドレス１に格納されている伝送レート情報をキーとして当該テーブルを検索し、検索結果として特定された強度を「主メモリ」のアドレス３に格納する。あるいは、「フラッシュメモリ」に保持されている関数ｇ＝ｆ（ｘ）を読み出し、伝送レート情報ｘを用いて「ＣＰＵ」の演算処理によって強度ｇを算出し、「主メモリ」のアドレス３に格納する。そして「ＣＰＵ」はその「主メモリ」のアドレス３に格納されている制御用の強度値を「高画質化回路」に出力する。

すると「高画質化回路」では、その受信した強度値を元に、例えば「ぼかし処理」を行うか否か、または輪郭強調処理を行うか否かなどの閾値を設定する。あるいはローパスフィルタにおけるカットオフ周波数を低く設定する。そして「デコーダ」によってデコードされ生成されたフレーム画像に対して、ぼかし処理や輪郭強調処理を行う、あるいはローパスフィルタを介してフレーム画像を出力することで、ブロックノイズやモスキートノイズが低減された映像を、図示しない「ディスプレイ」に表示することができる、という具合である。

<処理の流れ>
図４は、本実施例の映像表示装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、例えばデジタルチューナやＨＤＭＩ接続回路、内蔵の記録メディア再生ドライブなどを介して、符号化された映像情報を取得する（ステップＳ０４０１）。そして、取得した映像情報をデコードしフレーム画像を生成する（ステップＳ０４０２）。また、例えば映像情報のＰＳパケットに含まれる量子化パラメータや、ＣＥＣ情報として取得される録画品質情報やメディア種別情報などの伝送レート情報を取得する（ステップＳ０４０３）。つづいて、その伝送レート情報に基づいて、例えば処理用テーブルや関数ｇ＝ｆ（ｘ）などを参照してノイズリダクション処理用の強度を決定し（ステップＳ０４０４）、当該強度にて、フレーム画像に対する、例えばぼかし処理や輪郭強調をしない処理、ローパスフィルタによる周波数カットオフ処理などのノイズリダクション処理を実行する（ステップＳ０４０５）。そして、このようにしてブロックノイズやモスキートノイズなどが目立たなくされた映像を表示する、という具合である。

<効果の簡単な説明>
以上のように、本実施例の映像表示装置によって、伝送レート情報に応じて、ぼかし処理などのノイズリダクション処理を時間をかけずに実行し、ブロックノイズやモスキートノイズを目立たなくすることができる。

≪実施例２≫
<概要>
上記実施例の映像表示装置においては、一の映像情報に関して伝送レート情報を一度取得すれば、以降は伝送レートの取得処理およびノイズリダクション処理における強度の決定処理を行わなくとも、適当なノイズリダクション処理を行うことができる。そこで本実施例の映像表示装置は、伝送レート情報の取得タイミングを例えばチャンネル切替えなどによって判断される別映像情報の取得タイミングとすることを特徴とする。

<機能的構成>
図５は、本実施例の映像表示装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「映像表示装置」（０５００）は、実施例１を基本として、「映像情報取得部」（０５０１）と、「デコード部」（０５０２）と、「伝送レート情報取得部」（０５０３）と、「ノイズリダクション処理部」（０５０４）と、「制御部」（０５０５）と、を有する。また図示していない「量子化パラメータ取得手段」、「録画映像取得手段」や「録画品質情報取得手段」、「メディア記録映像取得手段」や「メディア種別情報取得手段」などを有していても良い。なおこれらの構成要件は、上記実施例にて記載済みであるのでその説明は省略する。そして、本実施例の映像表示装置の特徴点は、さらに「トリガー受信部」（０５０６）を有する点と、前記伝送レート情報取得部が「トリガー取得手段」（０５０７）を有する点である。

「トリガー受信部」（０５０６）は、伝送レート情報取得部における伝送レート情報の取得トリガーを受信する機能を有し、例えばＣＰＵや主メモリ、トリガー受信プログラムなどによって実現できる。具体的に、映像情報がテレビ放送であれば、チャンネル切替えが為されると別の映像情報の取得されることになる。そこでリモコン操作などによるチャンネル切替操作信号の受付けを伝送レート情報の取得トリガーとして受信する、という具合である。あるいは、同一チャンネルであっても番組が替われば当然量子化パラメータの異なる別の映像情報となる。そこで例えば内蔵時計や受信放送波から取得した現在時刻情報および現在の受信チャンネル情報をキーとして電子番組表を参照し、前番組の終了及び後番組の開始を判断する。そしてその判断結果を取得トリガーとして受信する構成も挙げられる。また、映像入力端子が複数ある場合、その入力端子の切替えによっても別映像情報の取得が開始されることになる。そこで、入力端子の切替操作信号を、伝送レート情報の取得トリガーとして受信する構成としても良い。そして本実施例では、このような取得トリガーに受信に応じて、「トリガー取得手段」（０５０７）にて伝送レート情報を一度取得する、という具合である。

<処理の流れ>
図６は、本実施例の映像表示装置における処理の流れの一例を表す図である。この図にあるように、まず例えばデジタルチューナやＨＤＭＩ接続回路、内蔵の記録メディア再生ドライブなどを介して、符号化された映像情報を取得する（ステップＳ０６０１）。そして、取得した映像情報をデコードしフレーム画像を生成する（ステップＳ０６０２）。また、例えば映像情報のＰＳパケットに含まれる量子化パラメータや、ＣＥＣ情報として取得される録画品質情報やメディア種別情報などの伝送レート情報を取得する（ステップＳ０６０３）。つづいて、その伝送レート情報に基づいて、例えば処理用テーブルや関数ｇ＝ｆ（ｘ）などを参照してノイズリダクション処理用の強度を決定し（ステップＳ０６０４）、当該強度にて、フレーム画像に対する、例えばぼかし処理やローパスフィルタによる周波数カットオフ処理などのノイズリダクション処理を実行する（ステップＳ０６０５）。そして、上記決定された強度にて一律にノイズリダクション処理を行い、ブロックノイズやモスキートノイズが適宜目立たなくされた映像を表示する。

その後、例えばチャンネル切替え信号などの取得トリガーを受信する（ステップＳ０６０６）と、再度ステップＳ０６０１からの処理を繰り返し、伝送レート情報の新規取得およびノイズリダクション強度の決定、ノイズリダクション処理を実行する、という具合である。

<効果の簡単な説明>
以上のように本実施例のノイズリダクション装置によって、伝送レート情報の取得処理、およびノイズリダクションの強度の決定処理を一の映像情報に関して一律とすることができる。したがって、上記処理に係る演算処理負荷を低減させることができる。

０１００ 映像表示装置
０１０１ 映像情報取得部
０１０２ デコード部
０１０３ 伝送レート情報取得部
０１０４ ノイズリダクション処理部
０１０５ 制御部

Claims (5)

1. 符号化された映像情報を取得する映像情報取得部と、
   取得された映像情報をデコードしてフレーム映像とするデコード部と、
   映像情報の伝送レート情報を取得する伝送レート情報取得部と、
   デコード部からのフレーム映像にフレーム単位でノイズリダクション処理をするノイズリダクション処理部と、
   伝送レート情報取得部にて取得した伝送レート情報に基づいてノイズリダクション処理部のノイズリダクション処理強度を制御する制御部と、
   前記伝送レート情報取得部における伝送レート情報の取得トリガーを、表示すべき映像情報の変更にともなって受信するトリガー受信部と、を有し、
   前記伝送レート情報取得部は、前記取得トリガーの受信に応じて伝送レート情報を取得するトリガー取得手段を有する映像表示装置。
2. 前記伝送レート情報取得部は、伝送レート情報として量子化パラメータを取得する量子化パラメータ取得手段を有する請求項１に記載の映像表示装置。
3. 前記映像情報取得部は、録画装置からユーザ操作に基づいて録画された映像情報を取得する録画映像取得手段を有し、
   前記伝送レート情報取得部は、伝送レート情報として前記ユーザ操作により指定された録画品質情報を取得する録画品質情報取得手段を有する請求項１又は２に記載の映像表示装置。
4. 前記映像情報取得部は、記録メディアに記録された映像情報を取得するメディア記録映像取得手段を有し、
   前記伝送レート情報取得部は、伝送レート情報として前記記録メディアの種別情報を取得するメディア種別情報取得手段を有する請求項１から３のいずれか一に記載の映像表示装置。
5. 符号化された映像情報を取得する映像情報取得ステップと、
   取得された映像情報をデコードしてフレーム映像とするデコードステップと、
   映像情報の伝送レート情報を取得する伝送レート情報取得ステップと、
   デコード部からのフレーム映像にフレーム単位でノイズリダクション処理をするノイズリダクション処理ステップと、
   伝送レート情報取得ステップにて取得した伝送レート情報に基づいてノイズリダクション処理ステップのノイズリダクション処理強度を制御する制御ステップと、
   前記伝送レート情報取得ステップにおける伝送レート情報の取得トリガーを、表示すべき映像情報の変更にともなって受信するトリガー受信ステップと、を計算機に実行させ、
   前記伝送レート情報取得ステップは、前記取得トリガーの受信に応じて伝送レート情報を取得するトリガー取得ステップを含む映像表示装置の動作方法。

Images